原文
當資料線性不可分時，使用硬間隔支援向量機很難得到理想的結果。但是如果資料近似線性可分，可以採用軟間隔支援向量機(線性支援向量機)進行分類。這通常適用於有少量異常樣本的分類，如果使用線性支援向量機，它會盡量使得所有訓練樣本都正確，如下圖所示。
顯然這並不是最好的結果，軟間隔支援向量機可以權衡「間隔最大」和「誤分類點最少」,得到以下結果。
基於線性可分支援向量機，我們增加乙個可」容忍「不滿足函式間隔大於1的約束條件的考慮。即引進乙個鬆弛變數ξi
≥0，使約束條件變為yi
(ω∗x
i+b)
≥1−ξ
i 同時，修改代價函式（目標函式）為12
||ω|
|2+c
∑i=1
nξi
接下來的步驟就和線性支援向量機一樣，解乙個凸二次規劃問題
minω,b
,ξ12
||ω|
|2+c
∑i=1
nξi
s.t.
yi(ω
⋅xi+
b)≥1
−ξi,
i=1,
2,3,
...,
n ξi
≥0,i
=1,2
,3,.
..,n
根據拉格朗日的對偶性，上述凸二次規劃問題的拉格朗日函式是l(
ω,b,
ξ,α,
μ)=1
2||ω
||2+
c∑i=
1nξi
−∑i=
1nαi
(yi(
w⋅xi
+b)−
1+ξi
)−∑i
=1nμ
iξi
其中αi≥
0 ,μi
≥0
原始問題的對偶問題是拉格朗日函式的極大極小問題，先求l(
ω,b,
ξ,α,
μ)對ω,b
,ξ的極小，再求mi
nω,b
,ξl(
ω,b,
ξ,α,
μ)對α
的極大，可以得到原始問題的對偶問題為
minα12
∑i=1
n∑j=
1nαi
αjyi
yj(x
i⋅xj
)−∑i
=1nα
i s.
t.∑i
=1nα
iyi=
0 0≤
αi≤c
,i=1
,2,.
..,n
設α∗=(α∗
1,α∗
2,..
.,α∗
n)是對偶問題的乙個解，則有ω∗
=∑i=
1nα∗
iyix
i b∗
=yj−
∑i=1
nyiα
∗i(x
i⋅xj
) 其中,j為使得
0j<
c 成立的乙個值。
對偶問題的解α∗
=(α∗
1,α∗
2,..
.,α∗
n)中對應於α∗
i>
0 的樣本點(x
i,yi
) 的例項xi
稱為支援向量(軟間隔的支援向量),例項xi
到間隔邊界的距離為ξi
||ω|
| 軟間隔的支援向量要麼在間隔邊界上， 要麼在間隔邊界和分離超平面之間，要麼在分離超平面誤分一側。若α
∗i<
c 則必有ξi
=0(c−μ
i−α∗
i=0 且μ∗
iξ∗i
=0)，這時候支援向量在間隔邊界上；若α∗
i=c,
0<
1 ，則分類正確，支援向量在間隔邊界與分離超平面之間；若α∗
i=c,
ξi=1
，則xi
在分離超平面上；若α∗
i=c,
ξi>
1 ，則xi
位於分離超平面誤分一側
線性支援向量機學習還有一種類似於邏輯回歸，線性回歸等演算法的學習方式，同樣是最小化乙個目標函式∑i
=1n[
1−yi
(ω⋅x
i+b)
]++λ
||ω|
|2 [
z]+ 表示以下取正值的函式[z
]+={
0,z≤
0z,z
>0
合頁損失函式的意思是，若正確分類,且函式間隔大於1時損失為0；否則，損失為1−
y(ω⋅
x+b)
，這也就是說，合頁損失函式不僅僅只在乎分類的正確性，而且還要使確信度足夠高，這也就意味著，當樣本足夠時，它會自動「過濾」一些異常點，不會使得少量的異常點對結果產生影響。
非線性支援向量機
首先來看看核函式的概念 如果我們把svm看作是乙個飛彈，如果這個飛彈運載核彈的話那麼它就可以取得很大的威力，而核函式就類似於這樣可以取得很大的威力。我們在求解這優化問題的時候真的需要給定 為什麼高斯核函式好呢？因為它可以看作是將原始資料對映到了無窮維，舉個例子來說，比如我們要篩選豆子，它有飽滿和不飽...
支援向量機
支援向量機 svm 一種專門研究有限樣本 的學習方法。是在統計學習理論基礎之上發展而來的。沒有以傳統的經驗風險最小化原則作為基礎，而是建立在結構風險最小化原理的基礎之上，發展成為一種新型的結構化學習方法。結構風險最小歸納原理 解決了有限樣本或小樣本的情況下獲得具有優異泛化能力的學習機器。包含了學習的...
支援向量機
支援向量 與分離超平面距離最近的樣本點的例項 優點 泛化錯誤率低，計算開銷不大，結果易解釋 缺點 對引數調節和核函式選擇敏感，原始分類器不加修改僅適用於處理二分類問題 適合資料型別 數值型和標稱型資料 每次迴圈中選擇兩個alpha進行優化處理。一旦找到一對合適的alpha，那麼久增大其中乙個同時減小...