第7章 svm
支援向量機（support vector machines,svm）的基本模型定義是在特徵空間上的間隔最大的線性分類器，它的學習策略就是間隔最大化。
支援向量機的模型由簡到難分為：
線性可分支援向量機 ——> 硬間隔最大化
線性支援向量機 ——> 軟間隔最大化
非線性支援向量機 ——> 核函式
7.1 線性可分支援向量機
二分類問題中，這裡我們用 |w*x+b|的大小表示點 x 離超平面的遠近，即確信度； w*x+b的符號與類別標記 y（取 +1 或者 -1）是否一致表示正確性。
支援向量機是在特徵空間中學習的，當資料線性可分時，存在多個分離超平面。感知機用誤分類最小的策略，求得分離超平面，但是解有無窮多個，svm用間隔最大化（硬間隔最大化），解就是唯一的。
函式間隔
定義式為 yi(w*xi+b) ，
表示分類 **正確性** 及 **確信度**。 但是只使用函式間隔來選擇分離超平面時，只要成比例的改變 w 和 b，例如將他們改為 2w 和 2b，這樣超平面並沒有改變，但是函式間隔卻變成原來的 2 倍。
幾何間隔
針對上述問題，我們對函式間隔加上規範化這一約束項，使||w|| = 1，這就成了幾何間隔。
間隔最大化
我們希望的得到乙個最大間隔分離超平面，使每個訓練樣本點距離這個超平面的距離都至少是 γ 用幾何間隔來表示就是：
這裡我們取函式間隔為 1 ，代入上述公式，即為 `1/||w||` 最大化問題，其和 1/2||w||2 最小化等價。
以上述問題進行求最優解 w*，和 b*,即是線性可分支援向量機的最優化問題(凸二次優化問題)。 這時使用拉格朗日對偶性，先對 w 和 b 求極小，然後對引入引數求極大，最後將引入引數代入 w 和 b 得到最終結果 w*，和 b* 。
由上圖可見，支援向量是由較少的重要的訓練樣本決定的，移動支援向量將改變解，移動支援向量以外的資料點，甚至刪除它們，對 svm 最後的結果都沒有影響。
7.2 線性支援向量機
這裡倘若資料不是線性可分的，上述方法將不再適用，為了解決這一問題，引入鬆弛變數 εi 的概念，將對間隔的約束條件改為：
對每乙個鬆弛變數 εi 都支付乙個代價，最後的目標函式為：
這裡的 c 是懲罰係數，一般視應用情況而定。 對上面的問題進行間隔最大化求解，就是**軟間隔最大化**。 最後求解出來的 **w 是唯一解， b 則不是唯一解，b 的解存在於乙個區間。**
可以看到，軟間隔的支援向量或者在間隔邊界上，或者在間隔邊界與分離超平面之間，或者在分離超平面誤分一側。
線性支援向量機學習的另一種解釋就是用合頁損失函式（hinge loss function）來解釋,即最小化一下目標函式：
其中 [z]+ 即為合頁損失函式。
這裡合頁損失函式是 0-1 損失函式的上界，因為 0-1 損失函式不是連續可導的，所以這裡用其上界，合頁損失函式構建目標函式，便於優化。
7.3 非線性支援向量機
核函式核函式表示將輸入空間（歐式空間 rn 的子集或離散集合）對映到特徵空間（希爾伯特空間）得到的向量之間的內積。
函式需要是正定函式才能稱為核函式，正定是充要條件。
常用的核函式
多項式核函式
高斯核函式
字串核函式
這是用在離散資料集合上的，如本文分類，資訊檢索，生物資訊學等方向。
非線性支援向量機
利用上述核技巧，利用所給非線性分類訓練集，結合核函式與軟間隔最大化來學習分類決策函式
7.4 序列最小最優化演算法
正常對上述向量機求解過程進行學習，當樣本裡很大時是很慢的，快速的學習演算法稱為關鍵，這裡序列最小最優演算法（smo）就是這類演算法，先固定引數 α1，α2，固定 α3 —— αn,利用 kkt 來確定 α2，α1 也隨之確定，依次類推，知道整體所有變數滿足 kkt 條件為止。
統計學習方法7 支援向量機
支援向量機 判別模型 種類 硬間隔 軟間隔 核函式 思想 感知機是線性分類器，對線性可分的資料集可以有無窮多個超平面將其分開。而支援向量機選擇其中分類最為靠譜的乙個，而這個靠譜的依據是 重要思想 1.在分類準確的前提下，2.使得離超平面最近的點離超平面的距離最遠，也就是說乙個點可能是很多個超平面的最...
統計學習方法（六）支援向量機
svm是一種二類分類模型。它的基本模型是定義在特徵空間上的間隔最大的線性分類器。支援向量機還包括核技巧，這使它成為實質上的非線性分類器。支援向量機學習方法包含構建由簡至繁的模型 線性可分支援向量機 線性支援向量機 非線性支援向量機。支援向量是訓練資料集的樣本點中與分離超平面距離最近的樣本點的例項。決...
統計學習方法讀書筆記（七） 支援向量機
全部筆記的彙總貼 統計學習方法讀書筆記彙總貼 支援向量機 support vector machines,svm 是 一種二類分類模型。它的基本模型是定義在特徵空間上的間隔最大的線性分類器，間隔最大使它有別於感知機 支援向量機還包括核技巧，這使它成為實質上的非線性分類器。本文的大體內容可以參考白板推...