在實際的應用中，訓練樣本在樣本空間或者特徵空間中可能很難找到乙個合適的核函式使得訓練樣本在特徵空間中線性可分。即使找到了乙個合適的核函式使得樣本在樣本空間中線性可分，我們也無法判斷這個結果是不是由於過擬合造成的。
所謂硬間隔就是非黑即白，即所有樣本都必須劃分正確。
相比於硬間隔，軟間隔允許存在灰色地帶，也就是允許某些樣本不滿足約束條件： yi
(wtx
i+b)
≥1.不過在最大間隔化的同時要求，不滿足約束的樣本數應該盡可能地少。
於是優化目標函式：
minw,b
12||
w||2
+c∑i
=1mℓ
func
tion
(yi(
wtxi
+b)−
1)其中
c>
0 是乙個常數， 當c
→+∞ 則目標函式迫使所有樣本都滿足約束條件。 當c
=con
stan
t 則目標函式允許一部分地樣本不滿足約束條件。 ℓf
unct
ion 被稱為替代損失函式：ℓ0
/1(z
)={1
0,if
z<0;
,oth
erwi
se.
ℓhin
ge(z
)=max(0,
1−z)
ℓexp(z)
=exp(−
z) ℓ
log(z)
=log(1
+exp(−
z))
引入鬆弛變數εi
≥0,於是優化目標函式可以寫成：
minw,b
,εi1
2||w
||2+
c∑i=
1mεi
s.t.
yi(w
txi+
b)≥1
−εiε
i≥0
上式就是軟間隔支援向量機
上式中每乙個樣本都有乙個對於的鬆弛變數，以表徵該樣本不滿足約束的程度。
使用拉格朗日乘子法： l(
w,b,
α,ε,
μ)=minw,
b,εi
12||
w||2
+c∑i
=1mε
i+∑i
=1mα
i(1−
εi−y
i(wt
xi+b
))−∑
i=1m
μiεi
其中：αi
≥0,μ
i≥0 式拉格朗日乘子。 令l
(w,b
,α,ε
,μ) 對
w,b,
εi偏導為零。 w=
∑i=1
mαiy
ixi0
=∑i=
1mαi
yic=
αi+μ
i 同時得到對偶問題：
maxαs.
t.∑i
=1mα
i−12
∑i=1
m∑j=
1mαi
yiαj
yjxt
ixj∑
i=1m
αiyi
=0,0
≤αi≤
c,i=
1,2,
…,m.
機器學習筆記 支援向量機演算法
基本思想 定義在特徵空間上的間隔最大的線性分類器。主要學習策略為使得間隔最大化，可形式化為乙個求解二次規劃的問題，等價於正則化的合頁損失函式的最小化問題。分類 線性 線性可分支援向量機 線性支援向量機 非線性 非線性支援向量機 當訓練資料線性可分時，通過硬間隔最大化，學習乙個線性的分類器，即線性可分...
機器學習 支援向量機
線性可分支援向量機 1.回顧感知機模型 2.函式間隔與幾何間隔 3.支援向量 4.svm模型目標函式與優化 5.線性可分svm的演算法過程 線性可分支援向量機 1.軟間隔最大化 2.線性分類svm的軟間隔最大化目標函式的優化 3.軟間隔最大化時的支援向量 4.軟間隔最大化的線性可分svm的演算法過程...
機器學習 支援向量機
svm就是試圖把棍放在最佳位置，好讓在棍的兩邊有盡可能大的間隙。這個間隙就是球到棍的距離。這裡我們看到兩種不同顏色的小球 我們找到乙個棍子放在其中，把他們分割開來，但是僅僅是這麼簡單嘛，不不，我們還要考慮怎麼放這根棍子，能夠分開這兩種小球的棍子在中間有無數種方法哪種最好呢？保證決策面方向不變且不會出...