bp神經網路已經應用很久了，值得學習一下！
概念bp神經網路是一種多層的前饋神經網路，其主要的特點是：訊號是前向傳播的，而誤差是反向傳播的。具體來說，對於如下的只含乙個隱層的神經網路模型：
bp神經網路的過程主要分為兩個階段，第一階段是訊號的前向傳播，從輸入層經過隱含層，最後到達輸出層；第二階段是誤差的反向傳播，從輸出層到隱含層，最後到輸入層，依次調節隱含層到輸出層的權重和偏置，輸入層到隱含層的權重和偏置。
bp神經網路流程
神經網路的基本組成單元是神經元。神經元的通用模型如圖所示，其中常用的啟用函式有閾值函式、sigmoid函式和雙曲正切函式。
從圖 可以看出，乙個神經網路包括輸入層、隱含層（中間層）和輸出層。輸入層神經元個數與輸入資料的維數相同，輸出層神經元個數與需要擬合的資料個數相同，隱含層神經元個數與層數就需要設計者自己根據一些規則和目標來設定。在深度學習出現之前，隱含層的層數通常為一層，即通常使用的神經網路是3層網路。
bp網路輸入與輸出關係
bp網路採用的傳遞函式是非線性變換函式——sigmoid函式（又稱s函式）。其特點是函式本身及其導數都是連續的，因而在處理上十分方便。為什麼要選擇這個函式，等下在介紹bp網路的學習演算法的時候會進行進一步的介紹。s函式有單極性s型函式和雙極性s型函式兩種，單極性s型函式定義如下：f(x)=1/1+e−x
net在 -5~0 的時候導數的值為正，且導數的值逐漸增大，說明此時f(x)在逐漸變大 且 變大的速度越來越快
net在 0~5 的時候導數的值為正，且導數的值逐漸減小，說明此時f(x)在逐漸變大 但是 變大的速度越來越慢
對神經網路進行訓練，我們應該盡量將net的值盡量控制在收斂比較快的範圍內。
揭秘有監督的bp神經網路學習過程：
bp演算法直觀解釋
BP神經網路
基本bp神經網路演算法包括 訊號的前向傳播 誤差的反向傳播 也即計算實際輸出時按照輸入到輸出的方向進行，權值閾值調整則相反。bp是一種多層前饋神經網路，由輸入層 隱含層和輸出層組成。層與層之間有兩種訊號在流動 一種是從輸入流向輸出的工作訊號，是輸入和權值的函式 另一種是輸入流向輸出的訊號，即誤差。隱...
BP神經網路
x 為輸入向量，y為隱藏層的神經元，z 為輸出層,d為目標真實值,本文預設 z 不經過sigmod處理。x y的權重為 w,y z的權重為 v yj ix iwij 1 oyi f y j 2 其中激勵函式f x 1 1 e x f x f x 1 f x 3 z k j f yj vjk 此時系統...
BP神經網路
bp是back propagation bp神經網路主要的演算法在於誤差反向傳播error backpropagation 有三層 輸入層 input 隱含層 hidden 輸出層 output 輸入層 n個神經元 隱含層 p個神經元 輸出層 q個神經元 輸入向量 x x1,x2,x n 隱含層輸入...