參考：麥好，《機器學習實踐指南》
svm在解決小樣本、非線性及高維模式識別問題中具有許多優勢。
1、演算法思想
svm首先將向量對映到乙個更高維的空間裡，在其中建立最大間隔超平面，將資料分開；然後，在超平面兩邊再設立兩個互相平行的超平面；最後分隔超平面，使兩個平行平面的距離最大化。svm假定平行超平面的距離或差距越大，分類器的總誤差越小。
2、超平面
超平面的數學形式可以寫作：
其中x是超平面上的點，w是垂直於超平面的向量。
平行超平面可表示為以下兩個方程：
其中w為超平面的法向量，是乙個變數。
如果資料是線性可分的，可找到兩個超平面，在它們之間沒有任何樣本點，並且這兩個超平面之間的距離也最大。
這兩個超平面之間的距離是
後續補充。
支撐向量機SVM
首先，回顧一下svm問題的定義，如下 線性約束很煩，不方便優化，是否有一種方法可以將線性約束放到優化問題本身，這樣就可以無拘無束的優化，而不用考慮線性約束了。其對應的拉格朗日對偶形式為 最終的優化結果保證離超平面遠的點的權重為0。經過上面的對偶變化，下面來一步一步的簡化我們的原始問題，首先對b求偏導...
SVM學習筆記 線性支撐向量機
對於pla演算法來說，最終得到哪一條線是不一定的，取決於演算法scan資料的過程。從vc bound的角度來說，上述三條線的複雜度是一樣的 eout w ein 0 h dvc d 1 直觀來看，最右邊的線是比較好的hyperplane。為什麼最右邊的分隔面最好？對於測量誤差的容忍度是最好的。例如對...
70 什麼是支撐向量機（SVM）
我們將開始學習一種新的機器學習演算法 支撐向量機 svm 那什麼是支撐向量機呢？它的英文是 support vector machine。其實我們使用支撐向量機的思想既可以解決分類問題，也可以解決回歸問題。我們首先會學習使用支撐向量機解決分類問題，之後會學習使用支撐向量機來解決回歸問題。我們先來看看...