Normalization如何解決梯度消失

具體計算的方法可以看我的部落格

在訓練過程中，隨著網路加深，分布逐漸發生變動，導致整體分布逐漸往啟用函式的飽和區間移動，從而反向傳播時底層出現梯度消失，也就是收斂越來越慢的原因。

說白了normalization就是為了解決上面問題，不讓梯度往啟用函式的飽和區移動

而normalization則是把分布強行拉回到均值為0方差為1的標準正態分佈，使得啟用輸入值落在非線性函式對輸入比較敏感的區域，這樣輸入的小變化就會導致損失函式較大的變化，避免梯度消失問題產生，加速收斂，如下：

如上，假設正態分佈均值是-2，方差是0.5，如上圖綠色曲線，通過標準化操作轉換為均值為0，方差為1的正態分佈，如上圖紅色曲線。

實際上是將輸入x的取值正態分佈整體右移2（均值變化），圖形曲線更平緩了（方差變化）。那麼這麼做的好處是什麼呢？

圖為標準正態分佈的圖形，可以看到，在乙個標準差範圍，有68%的概率x其值落在[-1,1]的範圍內；在兩個標準差範圍，有95%的概率x其值落在了[-2,2]的範圍內，假如這就是需要進行啟用的分布，啟用函式為sigmoid，如下：

可以看到，在[-2, 2]的範圍內，即是標準正態分佈兩個標註差範圍內，在sigmoid函式中為線性變換區域，微小的變化就能得到很大的改變，也即是梯度比較大。

如果不經過變換，存在乙個均值為-6，方差為1的分布，對應到啟用函式中就是[-8, -4]的區域，這已經是飽和區了，這也就是所謂的梯度消失。

所以標準化其實就是把大部分啟用的值落入非線性函式的線性區內，其對應的導數遠離導數飽和區，這樣來加速訓練收斂過程。飽和區就是梯度接近消失的區域。