回顧感知器學習演算法
，其核心思想是梯度下降法，即以訓練樣本被錯分的程度為目標函式，訓練中每次出現錯誤時便使權係數朝著目標函式相對於權係數負梯度方向更新，知道目標中沒有被錯分的樣本為止。
而多層感知器模型中，神經元傳遞函式是階躍函式，輸出端的無恥只能對最後乙個神經元係數求梯度，無法對其他權係數求梯度，所以無法利用梯度下降的方法學習其他的權值。
bp演算法提出主要由於sigmoid函式的出現，代替之前的閾值函式來構造神經元。
sigmoid函式是單調遞增的非線性函式，無限次可微。當且僅當權值較大時可以逼近閾值函式，當權值較小時逼線性函式。
sigmoid函式通常寫作如下形式：
取值範圍是（-1,1），代替神經元階躍函式可寫作：
由於採用sigmoid函式作為神經元傳遞函式，不管網路結構多麼複雜，總可以通過計算梯度來考察各個引數。這就是多層感知器反向傳播演算法的基本思想。
bp演算法就是通過迭代優化網路的權值使得輸出與輸入之間的實際對映關係與所期望的對映關係一致，採用梯度下降演算法通過調整各層權值求目標函式最小化。網路在某個或所有訓練樣本上的**輸出和期望輸出的誤差平方和：
由輸出層誤差逐層反向計算各層各單元的誤差， 並基於梯度下降法修正各權值：
其中，δj(k)是第k層第j單元的區域性梯度，或敏感度(sensitivity) 。
神經網路反向傳播理解
訓練神經網路的目標是 優化代價函式，使得代價函式找到乙個 全域性最小值或者區域性最小值。不管使用何種梯度下降演算法 bgd,sgd adam 都需要先算出各個引數的梯度。反向傳播的作用 就是快速算出所有引數的偏導數。求導數通常可以分為兩類，一類是直接用定義，第二類是公式法 包括鏈式法 定義法 定義法...
基於神經網路的模式識別
實驗目的 理解bp神經網路和離散hopfield神經網路的結構和原理 掌握反向傳播學習演算法對神經元的訓練過程，了解反向傳播公式 通過構建bp網路和離散hopfield網路模式識別例項，熟悉前饋網路和反饋網路的原理及結構 通過編寫源 理解基於神經網路的模式識別 bp神經網路 include incl...
卷積神經網路反向傳播推導
以tensorflow的卷積神經網路為例 卷積 池 卷積 池 全連線 softmax c1層 卷積神經網路的輸入是28 28的矩陣 a 經過f1 個5 5的卷積核k1 i i 1,2,f1 的卷積生成f1 個24 24大小的feature maps c1 i co nv2 a,k1 i,v alid...