CONV 反向傳播

2021-08-28 05:00:47 字數 1177 閱讀 1802

前向傳播:

這裡只說cnn前向傳播不同於全連線前向傳播的部分,即:輸入層到卷積層和卷積層到池化層。

1、輸入層到卷積層的前向傳播

輸入層到卷積層,採用的是區域性連線,引數共享,卷積操作的方式,進行計算的,有個最好的說明就是cs231n筆記中的gif圖,現展示如下:

圖中有兩個卷積核,w0和w1,注:這兩個卷積核是已經翻轉過的,然後進行協相關操作。由於輸入的是3個通道的,因此每個卷積核也必須是3個通道的。所謂區域性連線、權值共享都在這幅圖上體現的淋淋盡致,非常好的表達。

現作理論推導:

2、卷積層到池化層的前向傳播:

前向傳播比較簡單,介紹就到這裡,下面分析反向傳播演算法:

cnn的反向傳播其實與全連線神經網路的反向傳播有很大不同,只是從最後的輸出層到最後乙個卷積層的池化層的誤差計算方式是相同的,但是從池化層到卷積層,卷積層到輸出層(or池化層)的誤差傳播方式與全連線網路是大不相同的。

反向傳播演算法

首先我們對數學符號做一些約定。我們首先考慮簡單的情況 前饋神經網路,如圖 所示。我們先假設任意兩層之間沒有權值共享。方向傳播演算法本質上就是梯度下降演算法,所以我們要對損失函式關於每個引數求導。設單個輸入例項 x 損失函式為 j x 那麼我們要求解 j wi 和 j bi i 1,2,n 對 j 關...

彈性反向傳播

正常使用的反向傳播演算法有兩個缺點待解決,其一為學習過程中學習率的選擇較難,一旦學習率選擇不當會造成學習效果不好 其二為反向傳播演算法的梯度瀰散作用,即距離輸出層越遠的神經元學習的速度越慢。martin riedmiller也因此提出了彈性反向傳播演算法 rprop 反向傳播演算法中的學習率為使用者...

反向傳播演算法

反向傳播演算法的工作機制為對 錯誤的神經元施以懲罰。從輸出層開始,向上層次查詢 錯誤的神經元,微調這些神經元輸入值的權重,以達到修復輸出錯誤的目的。神經元之所以給出錯誤的 原因在於它前面為其提供輸入的神經元,更確切地說是由兩個神經元之間的權重及輸入值決定的。我們可以嘗試對權重進行微調。每次調整的幅度...