svm是一種二類分類模型。它的基本模型是定義在特徵空間上的間隔最大的線性分類器。
支援向量機還包括核技巧，這使它成為實質上的非線性分類器。
支援向量機學習方法包含構建由簡至繁的模型：線性可分支援向量機、線性支援向量機、非線性支援向量機。
支援向量是訓練資料集的樣本點中與分離超平面距離最近的樣本點的例項。
決定分離超平面時只有支援向量起作用，移動支援向量將改變所求解。
引入乙個鬆弛變數，使函式間隔加上鬆弛變數大於等於1，同時每個鬆弛變數支付乙個代價，目標函式加上這個代價。含義是使間隔盡量大同時使誤分類點的個數盡量小。對應於硬間隔最大化，叫做軟間隔最大化。
如果能用rn中的超曲面將正負例項分開，則稱問題為非線性可分問題。
通過乙個非線性變換，可以將非線性問題變換為線性問題。
核技巧的想法是之定義核函式，而不顯式地定義對映函式，計算比較容易。
常用的核函式：多項式核函式，高斯核函式，字串核函式。
支援向量機的學習問題可以形式化為 求解凸二次規劃問題。
smo演算法是一種啟發式演算法，基本思路是：如果所有變數的解都滿足此最優化問題的kkt條件，那麼這個最優化問題的解就得到了。因為kkt條件是該最優化問題的充分必要條件，否則，選擇兩個變數，固定其他變數，針對這兩個變數構建乙個二次規劃問題，這個二次規劃問題關於這兩個變數的解應該更接近原始二次規劃問題的解，因為這會使原始二次規劃問題的目標函式值變得更小。最重要的是子問題可以解析求解，提高了演算法的計算速度，子問題的兩個變數乙個是違反kkt條件最嚴重的的那乙個，另乙個由約束條件確定。
smo演算法包括兩個部分：求解兩個變數二次規劃的解析方法和選擇變數的啟發式方法。
《統計學習方法》 7 支援向量機
第7章 svm 支援向量機 support vector machines,svm 的基本模型定義是在特徵空間上的間隔最大的線性分類器，它的學習策略就是間隔最大化。支援向量機的模型由簡到難分為 線性可分支援向量機 硬間隔最大化 線性支援向量機 軟間隔最大化 非線性支援向量機 核函式 7.1 線性可分...
統計學習方法7 支援向量機
支援向量機 判別模型 種類 硬間隔 軟間隔 核函式 思想 感知機是線性分類器，對線性可分的資料集可以有無窮多個超平面將其分開。而支援向量機選擇其中分類最為靠譜的乙個，而這個靠譜的依據是 重要思想 1.在分類準確的前提下，2.使得離超平面最近的點離超平面的距離最遠，也就是說乙個點可能是很多個超平面的最...
機器學習筆記 六 支援向量機
對於給定的訓練集d yi 分類學習的初衷就是基於訓練集在樣本空間中找到乙個可以有效劃分樣本的超平面。可能存在很多可將樣本分開的超平面，選擇分類結果最魯棒 泛化能力最強的超平面便是支援向量機模型的重點。通過二維樣本點分布的圖示看，最直觀上，找到兩類樣本正中間的超平面是最佳的。如此，在樣本空間中，劃分超...