池化層在深度學習網路架構中的作用包括:
* 減少計算量
減少特徵圖尺寸,減少後面的層的計算量
上述是池化層的優勢,但是隨著研究的深入,池化層的劣勢也逐漸被發現,比如有實驗發現」均值池化不利於網路的收斂」,至於網路穩定性的問題,也有文獻懷疑resnet這之類加深網路結構的優化會降低網路對目標位置誤差的魯棒性,池化帶來的優勢被抵消了不少,感覺是乙個雞肋般的層.
不論如何,池化層目前還是被廣泛使用的,本文主要說明池化層如何進行反向誤差傳播的.
bp演算法的具體推導可以參考bp反向傳播公式推導,其中推導了梯度資訊從
k k
層傳遞到k−
1' role="presentation">k−1
k−1層的公式如下: δk
−1i=
δkj▽
g(ak
j)wk
i δik
−1=δ
jk▽g
(ajk
)wik
池化層是沒有激勵函式的,可以認為激勵函式g(
x)=x
g (x
)=
x,其導數▽g
(x) ▽g(
x)
=1.
池化層也沒有可學習的權重
w w
,可以認為w=
1' role="presentation">w=1
w=1所以上面的反向傳播公式簡化成 δk
−1i=
δkj δik
−1=δ
jk
似乎很簡單,直接複製就可以了,但是池化層是會改變特徵圖尺寸的,所以上面等式兩邊的尺度不同,不能直接複製. 解決方法就是根據池化層型別,對梯度資訊做上取樣,令尺度相同.
池化層反向傳播
池化層 pooling 的反向傳播是怎麼實現的 參考 原始碼 參考部落格 在看卷積神經網路的時候，突然想起來池化是會改變特徵圖的尺寸的，那反向傳播是怎麼實現的呢。於是搜了一些部落格，感覺上面這個部落格寫得最清晰直觀，就從這個部落格裡面搬了點東西過來作為筆記。pooling池化操作的反向梯度傳播 cn...
池化層 Pooling 的反向傳播
參考部落格 cnn網路中另外乙個不可導的環節就是pooling池化操作，因為pooling操作使得feature map的尺寸變化，假如做2 2的池化，假設那麼第l 1層的feature map有16個梯度，那麼第l層就會有64個梯度，這使得梯度無法對位的進行傳播下去。其實解決這個問題的思想也很簡單...
全連線層及卷積層的反向傳播公式
這裡主要是記錄一下全連線層及卷積層的兩組反向傳播 bp 公式，只要看懂和記住這兩個公式，反向傳播的理解和實現應該都是不難的了。z jl kw jkla kl 1 bjl 1.1 z l j sum k w l a k b l j tag zjl k wj kl a kl 1 bj l 1 1 l a...