1. 對於神經網路fminunc函式，我們需要初始化神經網路的initialtheta的引數。對於邏輯回歸來說，我們可以全部初始化為0，但是對於神經網路來說將initialtheta全部初始化為0是不可以的。
2.為什麼全部初始化成0是不可以的呢？
如果所有引數初始化成0，那麼隱藏層的每個節點的輸出都是相同的，而且每個引數對成本函式的偏導數也是相同的。
對於每一次更新所計算的輸出都是相同的。這樣隱藏層即使有許多的節點，實際上他們的輸入是一樣的，這樣他們也只是在做相同的計算。這樣神經網路的隱藏層的節點是冗餘的（highly redundant representation）
3. 為了使得引數不一樣，可以利用隨機初始化。
可以使用下面的辦法將所有的引數初始化到[-epsilon epsilon]之間。rand(10,11) 返回的是（取值為0和1之間）10x11的matrix
深度學習 2 1 1 神經網路引數初始化
三種引數初始化方法 zero initialization 將輸入引數初始化為0 random initialization 隨機初始化輸入引數，權重w初始化的值較大 he initialization 在一定範圍內隨即初始化權重w值 zero initialization實現 for l in r...
1 11 神經網路的權重初始化
理想的權重矩陣既不會增長過快，也不會太快下降到 0，從而訓練出乙個權重或梯度不會增長或消失過快的深度網路。有乙個神經元的情況 暫時忽略b z 為了預防 z值過大或過小，你可以看到 n越大，你希望 越小，因為 z是 的和如果你把很多此類項相加，希望每項值更小，最合理的方法就是設定 frac n表示神經...
讀書筆記 初始化神經網路
本文是根據 neuralnetworksanddeeplearning 這本書的第三章improving the way neural networks learn整理而成的讀書筆記，根據個人口味做了刪減 上一章，我們介紹了神經網路容易出現的過擬合問題，並學習了最常用的正則化方法，以及其他一些技巧，...