將輸入值對映為輸出值」0」或」1」
將可能在較大範圍內變化的輸入值擠壓到(0,1)輸出值範圍內
2.1.1 由兩層神經元組成
2.1.2 感知機能容易地實現邏輯與、或、非運算
2.2.1 統一權重和閾值的學習為權重的學習
2.2.2 感知機學習規則
2.2.3 學習率(learning rate)
2.3.1 對線性可分(linearly sparable)問題的學習過程一定會收斂(converge)
2.3.2 對線性不可分問題的學習過程難以收斂，將會發生振盪(fluctuation)
2.4.1 隱層或隱含層(hidden layer)
2.4.2 多層前饋神經網路(multi-layer feedforward neural networks)
上圖網路中有(d+l+1)*q+l個引數需要確定：
輸入層到隱層的d*q個權值、隱層到輸出層的q*l個權值、q個隱層神經元的閾值、l個輸出層神經元的閾值。
演算法過程：
解決如何設定隱層神經元的個數問題
3.4.1 早停(early stopping)
將資料分成訓練集和驗證集，訓練集用來計算梯度、更新連線權和閾值，驗證集用來估計誤差，若訓練集誤差降低但驗證集誤差公升高，則停止訓練，同時返回具有最小驗證集誤差的連線權和閾值
3.4.2 正則化(regularization)
基本思想是在誤差目標函式中增加乙個用於描述網路複雜度的部分，例如連線權與閾值的平方和
加入正則項的誤差目標函式
西瓜書讀書筆記（五） 神經網路
全部筆記的彙總貼 機器學習 西瓜書 讀書筆記彙總貼 神經網路是由具有適應性的 簡單單元組成的廣泛並行互連的網路，它的組織能夠模擬生物神經系統對真實世界物體所作出的互動反應。神經網路中最基本的成分是神經元 neuron 模型，許多的神經元按一定的層次結構連線起來，就得到了神經網路。感知機 percep...
《機器學習》讀書筆記 7 第5章 神經網路 二
誤差逆傳播演算法 bp演算法 通常說 bp網路 時，一般是指用bp演算法訓練的多層前饋神經網路 bp演算法的工作流程 對每個訓練樣例，bp演算法執行以下操作 先將輸入示例提供給輸入神經元，然後逐層將訊號前傳，直到產生輸出層的結果 然後計算輸出層的誤差，再將誤差逆向傳播至隱層神經元，最後根據隱層神經元...
《人工神經網路》讀書筆記
day 1 神經網路 指生物的大腦神經元，細胞，觸點等組成的網路，用於產生生物的意識，幫助生物進行思考和行動。人工神經網路 指旨在模仿人腦結構及其功能的資訊處理系統。人腦與計算機資訊處理機制的比較 1 系統結構 2 訊號形式 3 資訊儲存 4 資訊處理機制 1 系統結構 人腦 由數百億神經元相互連線...