1.簡介
感知機(perceptron)對應於輸入空間(特徵空間)中將例項劃分為正負兩類分離超平面，屬於判別模型，是神經網路及支援向量機的基礎。
2.1感知機
若輸入空間（特徵空間）為χ∈r
n\chi\in r^n
χ∈rn
輸出空間為y
∈y\in\
y∈輸入x表示例項的特徵向量，對應於輸入空間的點，輸出y表示例項類別。對應函式表示為
f (x
)=si
gn(w
x+b)
f(x)=sign(wx+b)
f(x)=s
ign(
wx+b
)則為感知機。w為權值向量，b稱為偏置，sign是符號函式，即
s ig
n(x)
=1if
x≥
0sign(x)=1 ifx\ge0
sign(x
)=1i
fx≥0
s ig
n(x)
=−1i
fx
<
0sign(x)=-1ifx<0
sign(x
)=−1
ifx<0
2.2損失函式
選擇誤分類點到超平面的總距離作為損失函式
1 ∣∣
w∣∣∣
wxi+
b∣
\frac|wx_i+b|
∣∣w∣∣1
∣wx
i+b
∣除以範數∣∣w
∣∣
||w||
∣∣w∣
∣即得到x
ix_i
xi點到超平面的距離
又對於誤分類點而言，−yi
(wxi
+b
)>
0-y_i(wx_i+b)>0
−yi(w
xi+
b)>
0注：誤分類即**值wx+b與實際值y異號，加負號使得乘積必定大於0，又y必定為1或者-1，因此代入-y消去絕對值符號
原式變為−1∣
∣w∣∣
yi(w
xi+b
)-\fracy_i(wx_i+b)
−∣∣w∣∣
1yi
(wx
i+b
)總距離為−1∣
∣w∣∣
∑yi(
wxi+
b)
-\frac\sum y_i(wx_i+b)
−∣∣w∣∣
1∑y
i(w
xi+
b)由於範數為固定值，去掉不影響結果，為簡化運算去除固定值作為損失函式
l (w
,b)=
−∑yi
(wxi
+b
)l(w,b)=-\sum y_i(wx_i+b)
l(w,b)
=−∑y
i(w
xi+
b)2.3 梯度下降
由於感知機由誤分類驅動，選擇隨機梯度下降法
3.1 原始形式演算法
3.2 對偶形式演算法
對偶形式即參考每次更新公式w=w
+ηyi
xi
w=w+\eta y_ix_i
w=w+ηy
ixi
對每乙個點更新到正確分類，若對(xi
,yi)
(x_i,y_i)
(xi,y
i)更新n次使得其正確分類，即w=w
+nηy
ix
iw=w+n\eta y_ix_i
w=w+nη
yix
i對於每個誤分類點更新n
in_i
ni次，最終結果為w=w
0+∑n
iηyi
xi
w=w_0+\sum n_i\eta y_ix_i
w=w0+
∑ni
ηyi
xi 引入ai=
ni
ηa_i=n_i\eta
ai=ni
η,則每次更新a
ia_i
ai
感知機模型
這裡介紹機器學習中最簡單的一種分類方法 感知機模型。感知機模型 其中sign是符號函式，w和b是引數，x是輸入特徵向量，f x 返回決策結果。分離超平面s 對於二類線性可分問題，分離超平面將兩類樣本分在s兩側。空間中一點x0到s的距離 損失函式 定義損失函式的意義是所有誤分類的點到分離超平面的距離之...
感知機模型
參考 感知機模型是理解svm和神經網路的基礎。在這裡我們可以從感知機模型上看到神經網路的影子，通過簡單的堆疊就可以成為mlp 神經網路的一種 在損失函式上看到svm的影子。那到底什麼是感知機呢？定義 在機器學習中，感知機 perceptron 是二分類的線性分類模型，屬於監督學習演算法。輸入為例項的...
感知機模型
在生物神經網路中，其最小的組成單位是神經元。學過高中生物的應該都知道，多個神經元相互連線形成神經網路，乙個神經元興奮時，則向相鄰的神經元傳送化學物質，改變其神經元的內部電位，當點位超過乙個 閾值 時，神經元興奮。神經元的模擬圖如下 xi為第i個輸入，i為第i個輸入的連線權重，y為輸出，為閾值。當達到...