DeepCV 模型引數的初始化方式

2021-09-13 18:06:09 字數 717 閱讀 4167

backto deepcv

模型選好了,在訓練之前,那麼多的 w

ww 和 b

bb 該如何初始化呢?trial & error,試錯中前行

超級省事,但是 absolutely wrong!所有引數都是 0 ,還是所有的神經元步調完全一致,怎麼訓練,怎麼梯度下降?

哎,這還靠譜些。比如指定, w∼n

(0,1

)w \sim n(0,1)

w∼n(0,

1), n (0

,1

)n(0,1)

n(0,1)

是均值為0,方差為1 的高斯分布或正太分布(差別不大)。

上面的建議不錯,但是神經元output的方差正比於input的個數。這個影響還是蠻大的,需要校準一下。

# calibrating the variances with 1/sqrt(n)

w = np.random.randn(n)

/ sqrt(n)

對於使用 relu 作為啟用函式的形式,建議採用

# current recommendation

w = np.random.randn(n)

* sqrt(

2.0/n)

至於為什麼relu 中是這樣,移步 kaiming he 大神的**.

mockito初始化引數 初始化Mockito模擬

mockito初始化引數 與未開發的專案相比,維護專案並不有趣,但可以肯定的是,此專案提供了大部分內容。這個星期我沒有檢查生產 而是檢查了測試。在測試中看到的內容揭示了生產 本身是如何編寫的。這是一種以更少的風險使事情變得更好的方法。起初,我只想刪除盡可能多的powermock使用。然後我發現大多數...

C List Dictionary 的初始化方式

從c 3.0 之後提供了初始化器,可以初始化dictionary dictionaryusefor new dictionary,privatedictionary int,string objectinfodict drug newdictionary int,objectinfo drug ob...

引數初始化表

成員初始化表的作用如下 成員初始化錶用在類的建構函式中,對類的資料成員等初始化。其實它的作用還不僅如此。class a public a int a,int b x a y b 這就是成員初始化表 private int x int y class b public b int c private ...