【決策面方程】
針對2類樣本點，尋找使得分類間隔最大的分類決策面,以二維空間為例
二維空間的直線判別方程：y=ax+b => ax-y+b=0 => ax1-x2+b=0
方程向量化：[a -1][x1 x2]t+b=0
進一步，使用w列向量和x列向量以及標量y轉化：wtx+y=0
其中w=[w1 w2]tx=[x1 x2]t
以劃分直線y=x+1為例 對應w=[1 -1]可以看到 w向量即為原直線的法向量而y即為原直線截距
也就是判別直線可以由法向量w以及標量y決定控制
進一步推廣到n維情況，那麼判別直線變為判別超平面
其方程為：wtx+y=0稱為決策面方程超平面方程
【分類間隔】
分類間隔w=2*支援向量到決策面的距離d
以二維平面為例子,點到直線的距離公式為：
採用向量表示即為：
w=[w1 w2] x=[x1 x2]
推廣到n維：
二範數
二範數即所有分量的平方和的開根，用於描述向量的大小
那麼線性svm劃分問題：尋找使得分類間隔最大的超平面作為分類器
轉化為：使得支援向量到決策超平面距離最大的問題
【最優化問題】
針對二維平面兩類劃分問題，規定正樣本點標記為1 負樣本點標記為-1
即針對每個樣本點xi加上額外標記量yi
要分類正確需要滿足以下方程：幾何含義是位於超平面的兩側
如果超平面剛好位於中間處，那麼支援向量樣本點到決策超平面的距離為d
進一步約束方程變為：
兩邊同時處以d 由於同時除以標量 那麼約束方程轉化為
進一步同一兩類約束方程：
那麼求解線性svm的問題轉化為乙個最優化問題：
使得帶入支援向量樣本點
即使得針對二範數（由於存在二次開方）
即等價於使得
約束條件是：
即：
min
s.t
【拉格朗日求解思路】
針對該求解問題，基本思路是：將有約束的最優化問題=》無約束的最優化問題
拉格朗日函式思路：
在可行域內滿足約束條件時與原始函式一致，在非可行域內不滿足約束條件時數值非常大
統計學習方法 SVM
在統計學習方法這個板塊中，我們學習了多個分類演算法，比如邏輯斯蒂回歸，在邏輯斯蒂回歸模型中，我們對資料集有預先的假設 資料集滿足邏輯斯蒂分布。今天我們學習另外一種分類模型，這種分類模型對資料集沒有做任何假設，它的適用性更廣，當我們尚不明確資料分布特性時，使用這個模型分類可能更合適。這個模型叫svm，...
統計學習方法 SVM學習筆記（一）
1.線性可分支援向量機 定義 通過給出的線性可分的訓練集，通過間隔最大化的求解凸二次規劃問題學習得到分割超平面 w x b 0以及相應的分類決策函式 f x sign w x b 預備知識介紹 如圖所示，圖中的實線就是乙個分割超平面，在圖中可以把兩類分開的超平面有無數個，我們要做的就是尋找乙個間隔最...
統計學習 統計學習三要素
模型是所要學習的條件概率分布或者決策函式。統計學習的目的在於從假設空間中選取最優模型。故需要引入損失函式與風險函式。損失函式 衡量模型一次 的好壞。風險函式 衡量平均意義模型 的好壞。l y,f x begin 1,y neq f x 0,y f x end l y,f x y f x 2 l y,...