參考：
1.《統計學習方法》李航
2.3.
在機器學習中，
感知機（perceptron）是二分類的線性分類模型，屬於監督學習演算法。輸入為例項的特徵向量，輸出為例項的類別（取+1和-1）。感知機對應於輸入空間中將例項劃分為兩類的分離超平面。感知機旨在求出該超平面，為求得超平面匯入了基於誤分類的損失函式，利用梯度下降法 對損失函式進行最優化（最優化）。感知機的學習演算法具有簡單而易於實現的優點，分為原始形式和對偶形式。感知機**是用學習得到的感知機模型對新的例項進行**的，因此屬於判別模型。感知機由
rosenblatt
於2023年提出的，是
神經網路
和支援向量機
的基礎。
假設輸入空間(特徵向量)為x⊆
rn，輸出空間為y=。輸入x∈
x 表示例項的特徵向量，對應於輸入空間的點；輸出y∈y表示示例的類別。由輸入空間到輸出空間的函式為 f
(x)=
sign
(w⋅x
+b)
稱為感知機。其中，引數w叫做權值向量weight，b稱為偏置bias。w⋅
x 表示w和x的點積
∑i=1
mwix
i=w1
x1+w
2x2+
...+
wnxn
sign為符號函式，即 f
(x)=
（其中xi∈x=rn，yi∈y=，i=1,2...n，學習速率為η）
輸出：w, b;感知機模型f(x)=sign(w·x+b)
(1) 初始化w0,b0，權值可以初始化為0或乙個很小的隨機數
(2) 在訓練資料集中選取（x_i, y_i）
(3) 如果yi(w xi+b)≤0
w = w + ηy_ix_i
b = b + ηy_i
(4) 轉至（2）,直至訓練集中沒有誤分類點
解釋：當乙個例項點被誤分類時，調整w,b，使分離超平面向該誤分類點的一側移動，以減少該誤分類點與超平面的距離，直至超越該點被正確分類。
偽**描述：
對於每個w⋅
x 其實是這樣子的（假設x表示的是七維）：
對於輸入的每個特徵都附加乙個權值，然後將相加得到乙個和函式f，最後該函式的輸出即為輸出的y值。
正樣本點：x1
=(3,
3)t ,x2
=(4,
3)t
負樣本點：x1
=(1,
1)t
求感知機模型f(
x)=s
ign(
w⋅x+
b),其中w=
(w(1
),w(
2))t
,x=(
x(1)
,x(2
))t
解答思路：根據上面講解的，寫初始化權值w和偏置b，然後一步一步的更新權值，直到所有的點都分正確為止。
解：（1） 令w0
=0,b
0=0
（2） 隨機的取乙個點，如x1
,計算y1
(w0⋅
x1+b
0),結果為0，表示未被正確分類，根據下面的式子更新w,
b （此例中，我們將學習率
η 設定為1）: w
←w+η
yixi
b←b+η
yi
計算得到 w
1=w0
+ηy1
x1=(
3,3)
t
b1=b
0+ηy
1=1
得到乙個模型 w
1⋅x+
b1=3
x(1)
+3x(
2)+1
（3）接著繼續，計算各個點是否分錯，通過計算得到，x1
和x2 兩個點，yi
(w0⋅
xi+b
1)都大於0，所以是被正確分類的點，無需修改權值w和bias項；而對於x3
通過計算得到y3
(w0⋅
x3+b
1)<
0 ,誤分了，所以修改權值： w
2=w1
+y3x
3=(2
,2)t
b2=b1
+y3=
0 得到線性模型： w
2x+b
2=2x
(1)+
2x(2
) 一次下去，知道所有的點都有yi
(w0⋅
xi+b
1)>
0 即可
……
……
……
最後求得 w
7=(1
,1)t
,b7=
−3
所以感知機模型為： f
(x)=
sign
(x(1
)+x(
2)−3
) 即我們所求的感知機模型。
感知器perceptron在機器學習當中是相當重要的基礎，理解好感知器對後面的svm和神經網路都有很大的幫助。事實上感知器學習就是乙個損失函式的最優化問題，這裡採用的是隨機梯度下降法（sgd）來優化。
機器學習 感知機perceptron
在機器學習中，感知機 perceptron 是二分類的線性分類模型，屬於監督學習演算法。輸入為例項的特徵向量，輸出為例項的類別 取 1和 1 感知機對應於輸入空間中將例項劃分為兩類的分離超平面。感知機旨在求出該超平面，為求得超平面匯入了基於誤分類的損失函式，利用梯度下降法 對損失函式進行最優化 最優...
機器學習 感知機perceptron
在機器學習中，感知機 perceptron 是二分類的線性分類模型，屬於監督學習演算法。輸入為例項的特徵向量，輸出為例項的類別 取 1和 1 感知機對應於輸入空間中將例項劃分為兩類的分離超平面。感知機旨在求出該超平面，為求得超平面匯入了基於誤分類的損失函式，利用梯度下降法 對損失函式進行最優化 最優...
感知機Perceptron模型
特徵向量x，令總共有d個特徵，每個特徵賦予不同的權重w，表示該特徵對輸出的影響有多大。那所有特徵的加權和的值與乙個設定的閾值threshold進行比較 大於這個閾值，輸出為 1，小於這個閾值，輸出為 1。感知機模型，就是當特徵加權和與閾值的差大於或等於0，則輸出h x 1 當特徵加權和與閾值的差小於...