1.有監督學習
網路的輸出和期望的輸出（即監督訊號）進行比較，然後根據兩者之間的差異調整網路的權重，最終使差異變小。
2.無監督學習
輸入模式進入網路後，網路按照預先設定的規則（如競爭規則）自動調整權重，使網路具有模式分類等功能。
3.再勵學習
介於上述兩者之間的一種學習方法。
1.hebb學習規則
如果處理單元接收到乙個輸入，並且如果兩個單元都處於高度活動狀態，這時兩單元間的連線權重就要被加強。
2.delta學習規則
改變單元間的連線權重來減小系統實際輸出與應有的輸出間的誤差。只適用於線性可分函式。
注：線性函式——只擁有乙個變數的一階多項式函式
線性可分函式——用乙個線性函式可以將兩類樣本完全分開
3.梯度下降學習規則
網路再學習過程中，保持誤差曲線的梯度下降。
注：梯度——表示某一函式在該點處的方向導數沿著該方向取得最大值，即函式在該點處沿著該方向（此梯度的方向）變化最快，變化率最大（為該梯度的模）。
4.kohonen學習規則
在學習過程中，處理單元競爭學習的時候，具有高輸出的單元是勝利者，它有能力阻止它的競爭者並激發相鄰的單元。
只有勝利者才能有輸出，也只有勝利者與其相鄰單元可以調整權重。
5.後向傳播學習規則
誤差的後向傳播規則一般採用delta規則，此過程包括兩步：
第一步是正反饋，當輸入資料輸入網路，網路從前往後計算每個單元的輸出，將每個單元的輸出與期望輸出作比較，並計算誤差；
第二步是向後傳播，從後往前重新計算誤差，並修改權重。
完成這兩步後才能輸入新的輸入資料。
6.概率式學習規則
神經網路處於某一狀態的概率主要取決於在此狀態下的能量，能量越低的狀態，出現的概率越大。同時，此概率還取決於溫度引數t，t越大，不同狀態出現的概率的差異越小，較容易跳出能量的區域性極小點，t越小時，情形正好相反。
7.競爭式學習規則
不同層間的神經元發生興奮性連線以及同一層內距離很近的神經元間發生同樣的興奮性連線，而距離較遠的神經元產生抑制性連線。
神經網路演算法
神經網路其實就是按照一定規則連線起來的多個神經元。上圖展示了乙個全連線 full connected,fc 神經網路，通過觀察上面的圖，我們可以發現它的規則包括 1.神經元按照層來布局。最左邊的層叫做輸入層，負責接收輸入資料 最右邊的層叫輸出層，我們可以從這層獲取神經網路輸出資料。輸入層和輸出層之間...
神經網路學習筆記 04 迴圈神經網路演算法解釋
本文是根據wildml的recurrent neural networks tutorial寫的學習筆記。先看看計算公式 x e ex t z sigma u zx e w zs b z r sigma u rx e w rs b r h tanh u hx e w h s circ r b h s...
神經網路學習之 Hopfield神經網路
1982年，美國加州理工學院的優秀物理學家hopfield提出了hopfield神經網路。hopfield神經網路引用了物理力學的分析方法，把網路作為一種動態系統並研究這種網路動態系統的穩定性。dhnn 離散型hopfield神經網路 這是一種單層全反饋網路，共有n個神經元。其特點是任一神經元的輸出...