SVM 簡要推導過程

2021-09-25 10:25:39 字數 1620 閱讀 2737

svm 是一塊很大的內容,網上有寫得非常精彩的部落格。這篇部落格目的不是詳細闡述每乙個理論和細節,而在於在不丟失重要推導步驟的條件下從巨集觀上把握 svm 的思路。

svm (支援向量機) 的主要思想是找到幾何間隔最大的超平面對資料進行正確劃分,與一般的線性分類器相比,這樣的超平面理論上對未知的新例項具有更好的分類能力。公式表示如下:

公式的意思是假設每個訓練樣本點的幾何間隔至少是

由於幾何間隔(沒帽子)和函式間隔(有帽子)的關係是:

最大化

這是乙個 qp 優化問題。

利用拉格朗日乘子法將約束條件融入到目標函式:

svm 的原始問題實際上是乙個極小極大問題:

這個表示式有幾個變數,先從哪乙個著手?答案是函式間隔必須不小於 1轉化到拉格朗日乘子

很容易可以看出,如果樣本點 xi 滿足約束條件,即有必有乙個為 0(vi) 所有的樣本點都滿足約束條件,極小極大問題就轉化為

倒數兩個條件是原始問題的條件,肯定成立。第乙個條件是上面討論過的條件:

原始問題滿足 kkt 條件,可以轉化成乙個最優解等價的對偶極大極小問題,先對極小部分求偏導:

得到對偶最優化問題:

對於乙個新來的樣本,將上面 w 的值帶入 f(x) = w^t·x + b, 可以知道要判斷新來的點,我們只需要計算它與訓練點的內積即可,這是 kernel trick 的關鍵:

軟間隔問題是應對 outliers 的一種方法。軟間隔問題可以建立目標函式:

與硬間隔的優化方法相似,得到的解是:

當然,你也可以將兩個樣本的內積看做最簡單的核函式。kernel method 不僅可以用在 svm 上,還可以用在 pca、線性分類器上等,以後再專門寫一篇 kernel method 的部落格。

SVM 簡要推導過程

svm 是一塊很大的內容,網上有寫得非常精彩的部落格。這篇部落格目的不是詳細闡述每乙個理論和細節,而在於在不丟失重要推導步驟的條件下從巨集觀上把握 svm 的思路。svm 支援向量機 的主要思想是找到幾何間隔最大的超平面對資料進行正確劃分,與一般的線性分類器相比,這樣的超平面理論上對未知的新例項具有...

SVM 簡要推導過程

svm 是一塊很大的內容,網上有寫得非常精彩的部落格。這篇部落格目的不是詳細闡述每乙個理論和細節,而在於在不丟失重要推導步驟的條件下從巨集觀上把握 svm 的思路。svm 支援向量機 的主要思想是找到幾何間隔最大的超平面對資料進行正確劃分,與一般的線性分類器相比,這樣的超平面理論上對未知的新例項具有...

SVM推導簡述

1.函式間隔和幾何間隔 點距離分離平面的遠近可以代表分類 的確信度,在超平面w x b 0 確定的情況下,w x b 表示點x距離超平面的遠近,由於w,b 可以成比例改變,超平面不變,所以需要對分離平面法向量進行約束,因此定義函式間隔和幾何間隔分別為 i yi w x i b i y i w xi ...