這裡主要是記錄一下全連線層及卷積層的兩組反向傳播(bp)公式，只要看懂和記住這兩個公式，反向傳播的理解和實現應該都是不難的了。
z jl
=∑kw
jkla
kl−1
+bjl
(1.1)
z^l_j= \sum_k w^l_ a^_k+b^l_j \tag
zjl=k
∑wj
kla
kl−1
+bj
l(1
.1)δl=
∇alc
⊙σ′(
zl
)(1.2)
\delta^l = \nabla_ c \odot \sigma'(z^l) \tag
δl=∇al
c⊙σ
′(zl
)(1.
2)δ l=
((wl
+1)t
δl+1
)⊙σ′
(zl)
(1.3)
\delta^l = ((w^)^t \delta^) \odot \sigma'(z^l) \tag
δl=((w
l+1)
tδl+
1)⊙σ
′(zl
)(1.
3)∂ c∂
wjkl
=akl
−1δj
l(1.4)
\frac} = a^_k \delta^l_j \tag
∂wjkl
∂c=
akl−
1δj
l(1
.4)∂c∂
bjl=
δj
l(1.5)
\frac = \delta^l_j \tag
∂bjl∂
c=δ
jl(
1.5)
這裡其實把前向傳播的公式也給出來了。式中，j
jj和k
kk為神經元的索引，l
ll為對應層數，l
ll為網路總層數，例如，wjk
lw^l_
wjkl
表示的是l−1
l-1l−
1層中的第k
kk個神經元和l
ll層中的第j
jj個神經元之間的權重值，無下標的變數則為矩陣（向量），⊙
\odot
⊙表示哈達瑪積，也就是element-wise product.
z l=
al−1
∗wl+
bl
(2.1)
z^l= a^ \ast w^l+b^l \tag
zl=al−
1∗wl
+bl(
2.1)
δ l=
∇alc
⊙σ′(
zl
)(2.2)
\delta^l = \nabla_ c \odot \sigma'(z^l) \tag
δl=∇al
c⊙σ
′(zl
)(2.
2)δ l=
(δl+
1⊛ro
t180(w
l+1)
)⊙σ′
(zl)
(2.3)
\delta^l = (\delta^ \circledast rot_(w^)) \odot \sigma'(z^l) \tag
δl=(δl
+1⊛r
ot18
0(w
l+1)
)⊙σ′
(zl)
(2.3)∂c
∂wl=
al−1
∗δ
l(2.4)
\frac = a^ \ast \delta^l \tag
∂wl∂c
=al−
1∗δl
(2.4)∂c
∂bjl
=∑r,
cδjl
(2.5)
\frac = \sum_ \delta^l_j \tag
∂bjl∂
c=r
,c∑
δjl
(2.5
)這裡假設網路輸出層也是卷積層。另外，∗
\ast
∗表示卷積，⊛
\circledast
⊛表示逆卷積，意即δl+
1\delta^
δl+1
執行普通卷積前需要以「full」模式進行填充值為0的padding；rot
180(⋅)
rot_(\cdot)
rot180
(⋅)
表示矩陣旋轉180°；r
rr和c
cc則是當前δ
\delta
δ矩陣的行和列的索引，意即求b
bb的梯度時對需要對δ
\delta
δ進行空間維度上的求和。
上面公式的乙個特點是使用了δ
\delta
δ來表示各層未啟用的輸出值z
zz[1] michael a. nielsen, 「neural networks and deep learning」, determination press, 2015
[2] 反向傳播之六：cnn 卷積層反向傳播
[3] 卷積神經網路cnn的反向傳播原理
全連線層與卷積層（總結）
全連線鞥 卷積層全連線層是使用影象的全域性資訊，全連線層的權重是固定的，要求輸入的feature map的大小也有要求，所以網路開始輸入影象的大小要固定。全連線層的每乙個節點都有上一層的所有節點相連。卷積層取區域性特徵，不需要固定輸入的大小，因為它是對區域性區域進行視窗滑動。例如 feature m...
池化層反向傳播公式推導
池化層在深度學習網路架構中的作用包括 減少計算量 減少特徵圖尺寸,減少後面的層的計算量 上述是池化層的優勢,但是隨著研究的深入,池化層的劣勢也逐漸被發現,比如有實驗發現 均值池化不利於網路的收斂 至於網路穩定性的問題,也有文獻懷疑resnet這之類加深網路結構的優化會降低網路對目標位置誤差的魯棒性,...
全連線層如何轉化為全卷積層
全連線網路其實和卷積網路是等價的，全連線層就可以轉化維卷積層，只不過這個卷積層比較特殊，稱之為全卷積層，下面舉乙個簡單的例子來說明全連線層如何轉化為全卷積層。由圖一所示，我們假定要將乙個2 2 1的feature map通過全連線層輸出乙個4維向量，圖中的矩陣x便是這2 2 1的feature ma...