人工神經網路（artificial neural network，ann）簡稱神經網路(nn)，是基於生物學中神經網路的基本原理，在理解和抽象了人腦結構和外界刺激響應機制後，以網路拓撲知識為理論基礎，模擬人腦的神經系統對複雜資訊的處理機制的一種數學模型。該模型以並行分布的處理能力、高容錯性、智慧型化和自學習等能力為特徵，將資訊的加工和儲存結合在一起，以其獨特的知識表示方式和智慧型化的自適應學習能力，引起各學科領域的關注。它實際上是乙個有大量簡單元件相互連線而成的複雜網路，具有高度的非線性，能夠進行複雜的邏輯操作和非線性關係實現的系統。
神經網路是一種運算模型，由大量的節點（或稱神經元）之間相互聯接構成。每個節點代表一種特定的輸出函式，稱為啟用函式（activation function）。每兩個節點間的連線都代表乙個對於通過該連線訊號的加權值，稱之為權重（weight），神經網路就是通過這種方式來模擬人類的記憶。網路的輸出則取決於網路的結構、網路的連線方式、權重和啟用函式。而網路自身通常都是對自然界某種演算法或者函式的逼近，也可能是對一種邏輯策略的表達。神經網路的構築理念是受到生物的神經網路運作啟發而產生的。人工神經網路則是把對生物神經網路的認識與數學統計模型相結合，借助數學統計工具來實現。另一方面在人工智慧學的人工感知領域，我們通過數學統計學的方法，使神經網路能夠具備類似於人的決定能力和簡單的判斷能力，這種方法是對傳統邏輯學演算的進一步延伸。
神經網路，是一種應用類似於大腦神經突觸連線結構進行資訊處理的數學模型，它是在人類對自身大腦組織結合和思維機制的認識理解基礎之上模擬出來的，它是根植於神經科學、數學、思維科學、人工智慧、統計學、物理學、電腦科學以及工程科學的一門技術。
人工神經網路首先要以一定的學習準則進行學習，然後才能工作。現以人工神經網路對手寫「a」、「b」兩個字母的識別為例進行說明，規定當「a」輸入網路時，應該輸出「1」，而當輸入為「b」時，輸出為「0」。
所以網路學習的準則應該是：如果網路做出錯誤的判決，則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連線權值賦予(0，1)區間內的隨機值，將「a」所對應的影象模式輸入給網路，網路將輸入模式加權求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使連線權值增大，以便使網路再次遇到「a」模式輸入時，仍然能做出正確的判斷。
如果輸出為「0」(即結果錯誤)，則把網路連線權值朝著減小綜合輸入加權值的方向調整，其目的在於使網路下次再遇到「a」模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網路輪番輸入若干個手寫字母「a」、「b」後，經過網路按以上學習方法進行若干次學習後，網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網路的各個連線權值上。當網路再次遇到其中任何乙個模式時，能夠做出迅速、準確的判斷和識別。一般說來，網路中所含的神經元個數越多，則它能記憶、識別的模式也就越多。
設定網路引數。
以均布隨機隨機數設定加權值矩陣w，與偏權值向量 初始值。
輸入乙個訓練樣本的輸入向量 x 與目標輸出向量 t。
計算推論輸出向量 y。
計算差距量 δ。
計算加權值矩陣修正量δw，以及偏權值向量修正量 δθ。
更新加權值矩陣w，以及偏權值向量 θ。
重複步驟3 至步驟7 直至到收斂或執行一定數目的學習迴圈。
神經網路（一） 單層感知機
感知機是乙個二類分類的線性分類模型，用來做分類的，類別用 1和 1表示。樣本中的各個特徵組成了空間中的不同的點，點被分成兩類，1和 1。我們的目的就是找到乙個超平面將這兩類點分開。超平面可以用wx b表示，或者將b改寫成w 0w 0 w0 將x的第一列加上偏置項 全1 那麼我們就可以用wx來表示這個...
神經網路學習筆記（一） 單層感知機
神經網路分為從傳播來講分為兩種 1.前饋神經網路 前向網路 2.反饋神經網路 前向網路沒有反饋機制，也就是自能向前傳播而不能反向傳播來調整權值引數。感知機就屬於前向網路。如上圖 乙個輸入層，乙個輸出層，中間的所有隱層都是向前傳播。感知機是美國學者f.rosenblatt提出的，他對最早提出的mp不一...
神經網路（單層感知器）
感知器是神經網路中的乙個概念，在1950s由frank rosenblatt第一次引入。單層感知器是最簡單的神經網路。它包含輸入層和輸出層，而輸入層和輸出層是直接相連的。與最早提出的mp模型不同，神經元突觸權值可變，因此可以通過一定規則進行學習。可以快速 可靠地解決線性可分的問題。單層感知器由乙個線...