基本思想：定義在特徵空間上的間隔最大的線性分類器。主要學習策略為使得間隔最大化，可形式化為乙個求解二次規劃的問題，等價於正則化的合頁損失函式的最小化問題。
分類：線性：線性可分支援向量機、線性支援向量機；
非線性：非線性支援向量機
當訓練資料線性可分時，通過硬間隔最大化，學習乙個線性的分類器，即線性可分支援向量機；
當訓練資料近似線性可分時，通過軟間隔最大化，學習乙個線性的分類器，即線性支援向量機；
當訓練資料線性不可分時，通過使用核技巧及軟間隔最大化，學習非線性支援向量機。
線性可分支援向量機：
目標：求解能夠正確劃分訓練資料集，且幾何間隔最大的分離超平面。這裡的幾何間隔最大化又稱為硬間隔最大化。
輸入：訓練集t；
輸出：分離超平面和分類決策函式；
演算法重點：構造並且求解約束最優化問題；
線性支援向量機：
與線性可分支援向量機不同，樣本資料近似線性可分，所以樣本不能完全滿足線性約束條件，所以需要對每個樣本點引進乙個鬆弛變數，修改最優化目標的約束。此時對應於硬間隔最大化，變為軟間隔最大化，其餘求解思想基本相同。
非線性支援向量機：
線性切割不再適用，引入核函式，其餘求解方法與上述方法相同。常用的核函式有：多項式核函式、高斯核函式。
支援向量回歸：
支援向量機不僅可以解決分類的問題，還可以解決回歸的問題。基本思想是允許f(x)與y之間存在一定誤差，未超過則認為**準確，但超過一定誤差標準記為偏差。偏差損失大小，為支援向量回歸問題的損失函式，令其最小化，是回歸學習的主要切入口。
svm的優缺點：
優點：本質上是非線性方法，樣本量小時，容易抓住資料和特徵之間的非線性關係，即較能解決非線性問題；
可以避免神經網路結果選擇和區域性極小點問題；
可以提高泛化效能；
可以解決高維問題；
缺點：對缺失資料敏感；
對非線性問題沒有通用的解決方案，需謹慎選擇核函式；
計算複雜度高，主流演算法複雜度o(n^2);
存在兩個對結果影響相當大的超引數（如果用rbf核，是核函式的引數gamma、懲罰項c），超引數無法通過概率方法求解，只能通過窮舉試驗來求出，計算時間高於不少類似的非線性分類器。
機器學習演算法 支援向量機
適用問題 二分類問題 模型型別 判別模型 模型特點 分離超平面 核技巧 學習策略 極小化正則化合頁損失 軟體額最大化 學習演算法 概率計算公式 em演算法 定義 支援向量機 support vector machine,svm 是一類按監督學習方式對資料進行二元分類的廣義線性分類器，其決策邊界是對學...
機器學習演算法 支援向量機SVM
在上兩節中，我們講解了機器學習的決策樹和k 近鄰演算法，本節我們講解另外一種分類演算法 支援向量機svm。svm是迄今為止最好使用的分類器之一，它可以不加修改即可直接使用，從而得到低錯誤率的結果。案例背景 從前有兩個地主，他們都是占山為王的一方霸主。本來各自吃飽自己的飯萬事無憂，可是人心不知足蛇吞象...
機器學習 支援向量機
線性可分支援向量機 1.回顧感知機模型 2.函式間隔與幾何間隔 3.支援向量 4.svm模型目標函式與優化 5.線性可分svm的演算法過程 線性可分支援向量機 1.軟間隔最大化 2.線性分類svm的軟間隔最大化目標函式的優化 3.軟間隔最大化時的支援向量 4.軟間隔最大化的線性可分svm的演算法過程...