神經網路基本模型：
1.前向神經網路：無圈的有向圖n=
（v,e,w
），其中，
v為神經元集合，
e為鏈結權值集合，
w為每一鏈結賦予一實值的權重。
神經元集v
可以被分成無接受域的輸入結點集
v1，無投射域的輸出結點集
v0和既有接受域又有投射域的隱結點集vh。
一般的前向神經網路包括乙個輸入層、乙個輸出層和若干隱單元。
隱單元可分層也可以不分層。若分層，則成為多層前向神經網路。
網路的輸入、輸出神經元的激勵函式一般取線性函式，而隱單元則為非線性函式。
前向神經網路的輸入單元從外部環境中接受訊號，經處理將輸出訊號加權後傳給其投射域中的神經元，網路中的隱含單元或輸出單元從其接受域中接受淨輸入，然後向它的投射域傳送輸出訊號。上述過程一直持續到所有的輸出單元得到輸出為止，它們的輸出作為網路的輸出。
bp神經網路和
rbf網路是應用最為廣泛的兩種前向型神經網路。
2.反饋型神經網路
所有結點都是計算單元，同時既可接受輸入，又可向外界輸出。
閉合反饋環的本質是通過yj
能夠控制輸出yi。
hopfield神經網路是反饋型網路的代表。已在聯想記憶和優化計算中得到成功應用。
前向型和反饋型神經網路都是確定性的網路，組成它們的神經元均為確定性的，即給定神經元的輸入，其輸出時確定的。
3.隨機型神經網路
由於生物神經元中各種各樣的干擾，同時，人工神經元的硬體實現也會有各種各樣的干擾，從而帶來某些不確定性，因此引入了隨機神經元。
具有隨機性取值的模擬退火演算法是針對優化計算中陷入區域性極小這一難題提出的。
boltzmann機是具有隨機輸入值單元的隨機神經網路，它按照概率曲線的能量分布進行狀態的轉移。序列的
boltzmann
機可以看做對二次組合優化問題的模擬退火演算法的具體實現。
4.自組織競爭型神經網路
根據人腦的特定細胞對特定訊號的特別反映能力提出了自組織對映理論。
自組織競爭型神經網路的功能就是，通過自組織方法用大量的訓練樣本資料來調整權值，使得網路的輸出能夠反映樣本資料的分布情況，即這種網路能識別環境的特徵，並自動聚類。
在特徵抽取盒大規模資料處理中已有極為成功的應用。
神經網路學習方法分類:
在神經網路的結構確定後，關鍵的問題是設計乙個學習速度快、收斂性好的學習演算法。神經網路的學習問題就是網路權值的調整問題，隨著網路結構和功能的不同，網路權值的學習演算法也不同。
按照學習過程的組織與管理方法進行分類，可分為死記式學習、有監督學習、無監督學習和混合學習。
按照學習過程的推理和決策方式可分為確定性學習、隨機學習和模糊學習。
常用神經網路：
1.感知機：感知機模型由輸入層和輸出層兩層構成。
2.bp神經網路：（
error back propagation neural network
，bpnn
）誤差反向傳播（error back propagation，bp
）演算法為多層前向神經網路的研究奠定了基礎。多層前向神經網路能逼近任意非線性函式。
傳統的bp
神經網路將誤差反向傳播演算法應用於多層感知器模型，它的網路結構由感知層（輸入層）、聯想層（隱含層）和響應層（輸出層）構成。隱含層和輸出層結點的激勵函式採用
sigmoid
函式，利用梯度搜尋技術將一組樣本的輸入輸出問題轉化為乙個非線性優化問題。
為了獲得好的學習效果，bpnn
的隱含層結點通常不少於輸入層結點數與輸出層結點數。
bp神經網路的輸入可以為連續值或布林值。
3.徑向基函式網路：徑向基函式（radial basis function
，rbf
）rbf神經網路是一種三層前向型神經網路，第一層為輸入層，由訊號源節點組成；第二層為隱含層，隱單元數視所描述的問題而定；第三層為輸出層，它對輸入模式的作用做出響應。
rbf神經網路與
bp神經網路的結構類似，但是它只有乙個隱含層，而且從輸入空間到隱含層空間的變換是非線性的，而從隱含層空間到輸出層空間的變換是線性的。
rbf網路的輸入單元到隱單元的權重固定為
1，只有隱單元到輸出單元的權值可調。
最常用的徑向基函式形式是高斯函式，它的可調引數有兩個：中心位置和方差。
對各rbf
的中心及方差的選擇有三種方式：根據經驗選擇中心、聚類法選擇中心、監督學習法。
4.hopfield網路
hopfield網路可以用乙個加權無向圖表示，圖的每條邊都附有乙個權值，圖的每個結點（神經元）都附有乙個閾值，網路的階數相應於圖中的結點數。
hopfield網路有兩種實用形式：離散型
hopfield
網路和連續型
hopfield
網路。hopfield提出了人工神經網路能量函式（李雅普諾夫函式）的概念，使得對網路執行穩定性的判斷有了可靠而簡便的依據。
hopfield網路的乙個顯著優點：與電子電路存在明顯的對應關係。
5.玻爾茲曼機：玻爾茲曼機（boltzmann machine，bm
）它採用了模擬退火演算法（simulated annealing
）的思想。
玻爾茲曼機網路由可見單元和隱單元構成，每個單元只取1或0
兩種狀態，
1代表接通或接受，
0代表斷開或拒絕，神經元之間的連線為雙向連線，具有對稱的連線權係數。對於分類問題，可見單元又可分為輸入單元和輸出單元。其中輸入單元接受二值化的樣本特徵資訊，輸出單元採用m選
1的方式，表示輸出為
m種類別的哪乙個。
6.自組織特徵對映網路：自組織特徵對映網路（self-organizing feature map
，sofm
）亦成為
kohonen
網路。該網路上層為輸出結點，按某種形式排成了乙個鄰域結構。對輸出層中的每個神經元規定它的鄰域結構。輸入結點處於下方，若輸入向量有m
個元素，則輸入端有
m個結點，所有的輸入結點都有權值連線，而輸出結點相互之間也有可能是區域性連線的。
自組織特徵對映網路通過自組織方法，利用大量的訓練樣本來調整網路的值，網路的輸出反映了樣本資料的分布情況。kohonen
網路可以用於樣本排序、樣本分類及樣本特徵檢測等。
在自組織特徵對映網路中，網路訓練的過程就是某個輸出結點對某一類樣本做出特別反應以代表該類別。
bpnn的快速學習演算法：
1.動量項學習演算法：是加快bp
學習速度最常用的方法，屬於全域性學習演算法。即所有權重採用相同的學習速率與動量係數。
該方法在每個權重調節量上加上一項正比於前次權重變化量的值。一定程度上改善了bp
學習演算法的學習過程，但是該方法收斂速度慢，且存在**。
2.rprop演算法：是一種非常有效地區域性自適應學習演算法。
區域性自適應指的是每個權重都有自己的學習速率，在學習過程中根據每個權重的偏導數對其學習速率進行動態修改。
rprop演算法思想是消除偏導數的大小對權重調節量的影響，權重調節量的符號與偏導數的符號相反，但大小由其他方式決定，與偏導數的大小無關。
神經網路 NN
神經網路有很多演算法，其中最著名的演算法應該是bp演算法。1.bp演算法被使用中在多層向前神經網路上。1.1 通過迭代性來處理訓練集中的例項。1.2 對比經過神經網路後輸入層 值與真實值之間 1.3 反方向來最小化誤差來更新每個連線的權重 1.4 終止條件 權重的更新低於某個閾值 的錯誤率低於某個閾...
機器學習之神經網路NN
神經網路 neural network 以人腦中的神經網路為啟發而產生的，最著名對的演算法是backpropagation bp 演算法。可用來解決分類問題，也可用來解決回歸問題 詳情見前言 多層向前神經網路中使用了bp演算法 多層向前神經網路的組成，每一層由單元組成 圖中小圈圈 輸入層 由訓練集的...
神經網路工具箱nn
使用autograd可實現深度學習模型，但其抽象程度較低，如果用其來實現深度學習模型，則需要編寫的 量極大。在這種情況下，torch.nn應運而生，其是專門為深度學習而設計的模組。torch.nn的核心資料結構是module，它是乙個抽象概念，既可以表示神經網路中的某個層 layer 也可以表示乙個...