池化層反向傳播

2021-10-01 16:10:40 字數 322 閱讀 2227

池化層(pooling)的反向傳播是怎麼實現的

參考:原始碼:

參考部落格:

在看卷積神經網路的時候,突然想起來池化是會改變特徵圖的尺寸的,那反向傳播是怎麼實現的呢。於是搜了一些部落格,感覺上面這個部落格寫得最清晰直觀,就從這個部落格裡面搬了點東西過來作為筆記。

pooling池化操作的反向梯度傳播

cnn網路中另外乙個不可導的環節就是pooling池化操作,因為pooling操作使得feature map的尺寸變化,假如做2×2的池化,假設那麼第l+1層的feature map有16個梯度,那麼第l層就會有64個梯度,這使得梯度

池化層反向傳播公式推導

池化層在深度學習網路架構中的作用包括 減少計算量 減少特徵圖尺寸,減少後面的層的計算量 上述是池化層的優勢,但是隨著研究的深入,池化層的劣勢也逐漸被發現,比如有實驗發現 均值池化不利於網路的收斂 至於網路穩定性的問題,也有文獻懷疑resnet這之類加深網路結構的優化會降低網路對目標位置誤差的魯棒性,...

池化層 Pooling 的反向傳播

參考部落格 cnn網路中另外乙個不可導的環節就是pooling池化操作,因為pooling操作使得feature map的尺寸變化,假如做2 2的池化,假設那麼第l 1層的feature map有16個梯度,那麼第l層就會有64個梯度,這使得梯度無法對位的進行傳播下去。其實解決這個問題的思想也很簡單...

反向傳播中的pooling層

pooling層是如何作用在反向傳播的過程中?曾經面試被問過這個問題,當時的回答是pooling不參與反向傳播,但是也沒深究是怎麼個不參與法。本文進行簡析。pooling通常分兩種 max和mean。由於pooling層會改變feature的尺寸,因此有如下假設成立 假設經過pooling後有n個梯...