SVM相關問題

2021-08-21 19:38:00 字數 1270 閱讀 1376

**:

1.為什麼要通過求解與原問題等價的對偶問題(dual problem)來得到原問題的解?

原因主要有:(1)對偶問題更容易求解;(2)在對偶問題下可以很容易引入核函式,進而擴充套件到線性不可分的場景。

詳見:理解svm的三層境界

2.lagrange duality與wolfe duality的區別何在?

常見的對偶問題lagrange dual problem,但也存在其他的對偶問題,如wolfe dual problem以及fenchel dual problem。

在ranksvm的*****中出現的wolfe duality要求原問題的目標函式以及約束中的函式都是可導的。根據kkt構建約束條件,得到的對偶問題的約束為非凸函式,所以wolfe duality僅滿足弱對偶性。其與lagrange對偶的關係可以用下面的圖來表示:

原問題:min_x f(x) s.t. gj(x)<=0

lagrange對偶問題:max inf(f(x)-sum_j uj*gj(x)) s.t. uj>=0

wolfe對偶問題:當f()以及gj()都是連續可導的時候,lagrange對偶問題的目標函式inf(l)在l的導數為0的點達到極值,將之作為約束,即可得到:max f(x)-sum_j uj*gj(x) s.t. uj>=0 df(x)/dx+sum_j uj*dgj(x)/dx=0

參見:wikipedia的wolfe duality

3.kkt條件的理解

4.支援向量(support vector)的幾何解釋?

支援向量,在最大間隔邊界上,且對應的對偶變數值alpha>0的例項點。

候選支援向量:在最大間隔的邊界上,且對應的對偶變數值alpha=0的例項點。

支援向量的作用:將原問題變數與對偶問題變數聯絡起來,用支援向量進行線性組合,組合係數為對偶變數值alpha即可得到原問題到達最優時的變數配置。

5.如何理解對偶?

對偶問題的解為原問題(minimization)解的下界。

原問題與對偶問題的最優解並不總是等價的,兩者之差稱為dual gap。

僅問題為凸優化問題且滿足constraint qualification時,dual gap為0,即兩者等價。為強對偶

否則為弱對偶。

摘自:wikipedia的duality(optimization)

SVM相關問題

應聘資料探勘工程師或機器學習工程師,面試官經常會考量面試者對svm的理解。以下是我自己在準備面試過程中,基於個人理解,總結的一些svm面試常考問題 想到會再更新 如有錯漏,請批評指正。大神請忽視 svm的原理是什麼?svm是一種二類分類模型。它的基本模型是在特徵空間中尋找間隔最大化的分離超平面的線性...

svm相關概念

svm 遇到對手神經網路 二分類問題 裡面的min,是求離決策邊界最近的雷是哪個i 外面的max,是求哪組wb能使 雷 到邊界距離越大越好 y與y x 同正負,為正負1,y y x 恆大於0 可放縮使y y x 1,則min那項最小就為1 二分之一,求解方便 kkt對偶性質 先求min極小值,偏導 ...

svm相關知識

1.svm是一種二分類模型。它的基本模型是在特徵空間中尋找間隔最大化的分離超平面的線性分類器。2.支援向量機對噪音的敏感程度 當有少量噪音,噪音沒有成為支援向量時,噪音對模型不產生影響,具有很好的魯棒性 當有大量噪音,且噪音成為了支援向量,噪音對模型會有顛覆性的影響,不具備魯棒性 3.svm核函式意...