目標：通過計算輸出層和期望值之間的誤差（損失函式），來調整網路引數，從而達到誤差最小。
bp演算法的本質：就是通過梯度下降法來優化網路引數。
梯度下降法的本質：通過迭代的形式，計算目標函式的最小值對應的引數。（目標函式在深度學習和機器學習中就是對應的誤差函式）
梯度下降法的形式：泰勒公式
泰勒公式一階導數的形式：就是一階導數。
注：bp演算法通過多次前向傳播和bp演算法，最後找到使誤差最小的神經網路引數。
相關的知識點：（1）誤差函式（網路優化目標）
（2）啟用函式求導(sigmoid函式求導)
（3）導數鏈式法則：本質是輸出結果的全域性梯度乘以區域性梯度
（4）梯度下降法
步驟：1. 通過計算乙個樣本，前向傳播得到輸出層y^和期望值y的誤差函式e。
2. 根據誤差函式求出輸出神經元和隱層神經元的梯度項。
3. 根據梯度下降法，以目標的負梯度方向對引數進行調整。
4. 直到誤差e較小，或者達到預定的訓練次數，停止訓練。
BP演算法和RNN 雙向RNN的理解
我們在學習某種神經網路模型時，一定要把如下幾點理解透了，才算真正理解了這種神經網路。網路的架構 包含那些層，每層的輸入和輸出，有那些模型引數是待優化的 前向傳播演算法 損失函式的定義 後向傳播演算法 什麼情況下認為是發現了過擬合，怎麼進行優化。很多介紹深度學習的書籍，在介紹全連線神經網路時，對這幾個...
BP演算法的推導
bp演算法步驟 1 正向傳播 輸入樣本 輸入層 各隱層 處理 輸出層 注1 若輸出層實際輸出與期望輸出 教師訊號 不符，則轉入2 誤差反向傳播過程 2 誤差反向傳播 輸出誤差 某種形式 隱層 逐層 輸入層 其主要目的是通過將輸出誤差反傳，將誤差分攤給各層所有單元，從而獲得各層單元的誤差訊號，進而修正...
BP演算法調研
bp演算法，即反向傳播方法，是用來訓練前向網路的一種普遍演算法。課本 artifitial intelligence a new synthesis,nils j.nilsson 提供了演算法實現方式，每乙個輸入樣本，利用遞迴等式，根據期望值與實際輸出值的誤差，從後向前逐步調整權重，從而實現網路的訓...