人工神經網路

人工神經網路（artificial neural network,ann）通過對大量歷史資料的計算來建立分類和**模型。神經網路的學習就是通過迭代演算法對權值逐步修改優化的過程。學習的目標是通過修改權值是訓練樣本集中所有樣本都能被正確分類。

人工神經元用於模擬生物神經元，人工神經元可以看作乙個多輸入、單輸出的資訊處理單元，它先對輸入變數進行線性組合，然後對組合的結果做非線性變換。最簡單的神經元如圖所示：

其中，n個輸入xi表示其他神經元的輸出值，即當前神經網路的輸入值。n個權值wi相當於突觸的連線強度。f是乙個非線性輸出函式。y表示當前神經元的輸出值。

工作過程為：

step 1、從各輸入端接收輸入訊號xi。

step 2、根據連線權值wi，求出所有輸入的加權和，即

step 3、對net做非線性變換，得到神經元的輸出，即y=f(net)。

f稱啟用函式，常用的集中啟用函式為線性函式、符號函式、對數函式、雙曲正切函式、高斯函式。

bp演算法的學習過程包含兩個基本過程，即工作訊號正向傳遞子過程和誤差訊號反向傳遞子過程。

1）工作訊號正向傳遞子過程

前饋神經網路共分成三層，具有乙個輸入層和乙個輸出層，輸入層和輸出層之間只有乙個隱藏層。每個層具有若干單元（神經元），每一層內的單元之間沒有資訊交流，前一層單元與後一層單元之間通過有向加權邊相連。如圖所示：

設輸入層到隱藏層的權值為vij，隱藏層到輸出層的權值為wij，輸入層單元個數為n，隱藏層單元個數為m，輸出層單元個數為l。並採用對數函式為啟用函式。從輸入訊號到輸出訊號，神經網路內部的連線權值保持固定不變，每一層單元的狀態只影響和它直接連線的後繼層單元狀態。

輸入層的輸入向量為x=(x1,x2,...,xn)，隱藏層的輸出向量為y=(y1,y2,...,ym),並有：

同樣，輸出層輸出向量o=(o1,o2,...,ol),並有：

2）誤差訊號反向傳遞子過程

誤差訊號從輸出層開始反向傳遞到輸入層。誤差訊號每向後傳遞一層，位於兩層之間的連線權值和前一層的閾值都會被修正。

對於某個訓練樣本，實際輸出與期望輸出的誤差，及誤差訊號定義為：

將上式一步一步擴充套件至隱藏層、輸入層。為了使誤差訊號e最快地減少，採用梯度下降法，