感知機是二類分類的線性模型，其輸入為例項的特徵向量，輸出為例項的類別，取+1和-1二值，屬於判別模型。分為原始形式和對偶形式。是神經網路與支援向量機的基礎。
由輸入空間到輸出空間的如下函式：f(x) = sign(w·x + b) 稱為感知機.
其中，w和b為感知機模型引數，
sign是符號函式，即
感知機模型的假設空間是定義在特徵空間中的所有線性分類模型或線性分類器，即函式集合
感知機有如下幾何解釋：
線性方程 w·x + b = 0 對應特徵空間中的乙個超平面s，其中w是超平面的法向量，b是超平面的截距。這個超平面將特徵空間分成兩部分.位於兩部分的點分別被分為正、負兩類（注意：正負類只是代表兩種不同的類別，而不是正的表示正確分類的類、負的表示錯誤分類的類）。因此，超平面s稱為分離超平面。
感知機學習策略
假設訓練資料是線性可分的，感知機學習的目標是求得乙個能將訓練資料集的正負例項完全正確分開的分離超平面。為了找出這樣的超平面，定義損失函式並將損失函式極小化
損失函式的乙個自然選擇是誤分類點的總數。但是這樣的損失函式不是引數w，b連續可導的函式，不易優化。損失函式的另乙個選擇是誤分類點到超平面s的總距離，這是感知機所採用的。輸入空間中的任一點x0到超平面s的距離：
1/||w|| · |w·x0 + b|
這裡，||w||是w的l2範數。
證明如下：
對於誤分類點來說-yi(w·xi + b) > 0，因此誤分類點xi到超平面s的距離是：-1/||w|| · yi (w·xi + b)
因為||w||是固定的，所以可以不考慮1/||w||，那麼就得到了感知機的損失函式
感知機學習演算法
感知機學習演算法的原始形式
感知機學習演算法是對以下最優化問題的演算法
其中m為誤分類點的集合。
感知機學習演算法是誤分類驅動的，具體採取隨機梯度下降法，首先選取乙個超平面w0，b0，然後用梯度下降法不斷地極小化目標函式。極小化過程不是一次使m中所有誤分類點的梯度下降，而是一次隨機選取乙個誤分類點使其梯度下降。
其中兩個損失函式分別是相對w和相對b的求偏導數得到的。
其中 η(0<
η<=1
)是學習率，這樣通過迭代可以期待損失函式不斷減小，直到為0；
可以用如下演算法實現：
感知機學習演算法原始形式：
輸入：線性可分的資料集
輸出：w，b；
感知機模型f(x) = sign(w·x + b).
(1) 選取初值w0，b0
(2) 在訓練集中選取資料(xi，yi)
(3) 如果yi(w·xi + b) <= 0
w
η·yi·xi
b
η·yi
持續(3)直到
yi(w·xi + b) > 0
(4) 轉至（2）直至訓練集中沒有誤分類點。
感知機學習演算法對偶形式
對偶形式的基本想法是，講w和b表示為xi和yi的線性組合的形式，通過求解其係數而求得w和b，
對於誤分類點(xi，yi)通過
w
η·yi·xi
b
η·yi
逐步修改w，b，設誤分類點(xi，yi)修改ni次，則w，b關於(xi，yi)的增量分別是
αi·yi·xi和αi·yi，這裡αi=ni·η，最後學習得到的w，b可以分別表示為(w0和b0初始值為0)
（注意：因為對於正確分類的點ni= 0，所以上述式子成立）
例項點更新次數越多，意味著它距離分離超平面越近，也就越難正確分類。換句話說，這樣的例項對學習結果影響最大。
演算法：
輸入：線性可分資料集
輸出：w，b；
感知機模型
1、 α
2、在訓練資料集中取(xi，yi)
重複3，直到點(xi，yi)被正確分類
（注意：
1、初始時
αi = 0，i=1、2、···、n，隨著後面不斷的更新直到最後才有ai=ni·η）
4、轉至2直到沒有誤分類資料。
感知機 統計學習方法
一 感知機適用問題以及它的輸入，輸出，求解方法 1 感知機 perceptron 適用於二類分類問題 該分類問題是線性可分問題 2 感知機模型是線性分類模型 3 感知機的幾何解釋，感知機對應的是乙個超平面 4 輸入 例項的特徵向量 5 輸出 例項的類別，取 1和 1二值 6 求解方法 有監督學習 給...
《統計學習方法》 感知機
最近終於有開始看 統計學習方法 了，畢竟無腦調參確實沒有什麼意義。一方面是作為看書的筆記，一方面作為比部落格或許能起到一點參考作用吧。希望可以日更。由輸入空間到輸出空間的函式 f x si gn w x b f x sign w cdot x b f x s ign w x b 稱為感知機。感知機是...
《統計學習方法》筆記二 感知機
本系列筆記內容參考 為李航 統計學習方法 感知機 perceptron 是二分類的線性分類模型，輸入為例項的特徵向量，輸出為例項的類別，取 1。感知機對應與輸入空間中將例項劃分為正負兩類的分離超平面，屬於判別模型。感知機學習旨在求出將訓練資料進行線性劃分的分離超平面，為此，匯入基於誤分類的損失函式，...