在超平面w⋅
x+b=
0 w⋅x
+b=0
確定的情況下，|w
⋅x+b
| |w⋅
x+b|
可以相對地表示點x距離超平面的遠
近。對於兩類分類問題，如果w⋅
x+b>
0 w⋅x
+b
>0，則
x x
的類別被判定為1；否則判定為-1。
所以如果y(
w⋅x+
b)>
0' role="presentation" style="position: relative;">y(w
⋅x+b
)>0y
(w⋅x
+b)>
0，則認為
x x
的分類結果是正確的，否則是錯誤的。且y(
w⋅x+
b)' role="presentation" style="position: relative;">y(w
⋅x+b
)y(w
⋅x+b
)的值越大，分類結果的確信度越大。反之亦然。
對於乙個訓練樣本(x
(i),
y(i)
) (x(
i),y
(i))
我們定義它到超平面(w
,b) (w,
b)
的函式間隔為:γ^
=y(i
)(wt
x(i)
+b) γ^=
y(i)
(wtx
(i)+
b)
我們希望函式間隔越大越好, 即:ify
(i)=
1,wantwt
x(i)
+b≫0
,ify(
i)=−
1,wantwt
x(i)
+b≪0.ify
(i)=
1,
wantwt
x(i)
+b≫0
,ify(
i)=−
1,
wantwt
x(i)
+b≪0.
並且有, 若y(
i)(w
tx(i
)+b)
>
0 y(i
)(wt
x(i)
+b
)>
0則樣本(x
(i),
y(i)
) (x(
i),y
(i))
分類正確。
對於整個訓練集, 我們的函式間隔定義為:γ^
=miniγ
^(i)
γ ^=
miniγ^
(i
)也就是說, 對於整個訓練集來說, 函式間隔為所有樣本中函式間隔最小的那個函式間隔.(判斷效能當然是以最小的那個來確定啦）
那麼問題又來了：
函式間隔越大, 代表我們對於分類的結果非常確定. 我們希望函式間隔越大越好. 看上去好像沒什麼毛病, 但這裡的確有乙個問題, 就是其實我們可以在不改變這個超平面的情況下可以讓函式間隔任意大, 為什麼?
只要我們成比增加
w w
,b' role="presentation" style="position: relative;">b
b就可以達到這個目的了. 例如, 我們將
w w
變為2w
' role="presentation" style="position: relative;">2w2
w, b b
變為2b
' role="presentation" style="position: relative;">2b2
b, 那麼我們的函式間隔將會是原來的兩倍, 但是超平面2w
tx+2
b=0 2wt
x+2b
=0
與wtx+b=
0 wtx
+b=0
是一回事.
為了解決這個問題, 我們就需要加上一些限制條件,所以，需要將
w w
的大小固定，如||
w||=
1' role="presentation" style="position: relative;">||w
||=1
||w|
|=1，使得函式間隔固定。這時的間隔也就是幾何間隔 .(看完後面幾何間隔的定義就明白了）
實際上，幾何間隔就是點到超平面的距離。
想像下中學學習的點(x
i,yi
) (xi
,yi)
到直線ax
+by+
c=0 ax+
by+c
=0
的距離公式:d(
xi,y
i)=|
axi+
byi+
c|a2
+b2√
d (x
i,yi
)=|a
xi+b
yi+c
|a2+
b2
所以在二維空間中，幾何間隔就是點到直線的距離。在三維及以上空間中，就是點到超平面的距離。而函式距離，就是上述距離公式中的分子.
幾何間隔的定義如下:γ(
i)=y
(i)(
wt∥w
∥x(i
)+b∥
w∥) γ(i
)=y(
i)(w
t‖w‖
x(i)
+b‖w
‖)
我們發現當||
w||=
1 ||w
||=1
幾何間隔就是函式間隔.這個時候, 如果任意放大||
w|| ||w
||
,幾何間隔是不會改變的, 因為||
w|| ||w
||
也會隨著被放大.
幾何間隔與函式間隔的關係為:γ(
i)=γ
^(i)
∥w∥.
γ (i
)=γ^
(i)‖
w‖
.定義訓練集到超平面的最小幾何間隔是:γ=
miniγ(
i)γ
=miniγ
(i
)
SVM中函式間隔和幾何間隔的區別
1 用 w x b 表示點x 到超平面0的距離遠近，w x b y表示分類的正確性以及確信度 2 在二分類問題裡，如果 w x b 0 則x的類別被判定為1 如果 w x b 0,x 的類別判定為 1。所以如果要分類正確，就一定要有y w x b 0 3 樣本點 xi，y i 和超平面之間的函式間隔...
1 2 函式間隔和幾何間隔理解2
svm是通過超平面將樣本分為兩類。在超平面 w x b 0 確定的情況下，w x b 可以相對地表示點x距離超平面的遠近。對於兩類分類問題，如果 w x b 0，則的類別被判定為1 否則判定為 1。所以如果 y w x b 0，則認為x的分類結果是正確的，否則是錯誤的。且 y w x b 的值越 大...
函式間隔與幾何間隔及（感知機與支援向量機的區別）
支援向量機中講解了函式間隔與幾何間隔，我們在這篇博文中主要講解函式間隔與幾何間隔的區別。本篇博文主要講解簡單的複習知識，大佬勿噴。在乙個二維平面上，乙個點距離超平面的距離的遠近可以表示為分類 的確信程度，距離越遠表示越有把握分類正確。w x b w x b 表示點x x 距離超平面距離的遠近，而 w...