為什麼要求解對偶問題？一是對偶問題往往更容易求解，二是可以自然的引入核函式。
原問題是：
寫出它的拉格朗日函式：
然後我們的原問題就等價為：
為什麼可以這樣等價：
即：對於不滿足約束條件的（b,w），min裡面趨於無窮大，因此min就把這些b,w捨去了；對於滿足約束條件的解，min裡面就剛好是原來的目標函式，剛好與原問題等價。
首先我們有如下成立：
然後我們取右邊式子中的「best」阿爾法，仍然會有大於等於號成立，因為best is one of any：
這時右邊的式子就是對偶問題。這裡直接給出乙個定理，當滿足下面條件時（對於svm來說剛好滿足），原始問題和對偶問題的解是相同的：
並且它們的最優解滿足kkt條件：偏導為0，對偶互補，拉格朗日乘子大於0.
我們的對偶問題現在是：
根據kkt條件，我們有：
把第乙個代進來：
再把第二個代進來：
這時候，我們的問題裡面就只剩乙個引數阿爾法了。再把平方項展開，寫的好看一點，就得到了標準的硬間隔svm對偶問題：
還是解qp那一套：
之後再求w和b：
（所有支援向量的加權和）
（任取乙個支援向量算出）
引出對偶問題後，我們重現定義支援向量為阿爾法大於0的向量。他們一定是在邊界上的（統計學習方法p107），但是在邊界上的不一定阿爾法大於0：
前面我們也提到過，w和b的計算只需要支援向量，其他向量都是無用的：
機器學習，詳解SVM軟間隔與對偶問題
那針對這樣的問題我們應該怎麼解決呢？在上文當中我們說了，在實際的場景當中，資料不可能是百分百線性可分的，即使真的能硬生生地找到這樣的乙個分隔平面區分開樣本，那麼也很有可能陷入過擬合當中，也是不值得追求的。因此，我們需要對分類器的標準稍稍放鬆，允許部分樣本出錯。但是這就帶來了乙個問題，在硬間隔的場景當...
對偶學習 機器學習
2016 12 07 近年來，以深度學習為代表的人工智慧技術取得了長足的進步，在很多應用取得了巨大的成功。在影象識別中，深度學習已經超過了人類的水平，最近微軟剛剛宣布在語音識別中也超過了人類的平均水平，在機器翻譯中基於深度學習的模型也超過了以前的統計機器翻譯，另外基於深度學習的阿法狗也打敗了圍棋世界...
機器學習 SVM
svm 支援向量機是個二分類模型。給定給乙個包含正例和反例的樣本集合，svm的目的是尋找乙個超平面來對樣本根據正例和反例進行分割。保證最大間隔，間隔最大可以有效避免在分類面上的樣本的誤判率。網上也是對其推崇備至，認為不管什麼任務，先跑跑svm和rf。對於超平面的求取，是乙個凸二次規劃問題，牽扯到對偶...