本系列部落格是自己對於《統計學習方法》這本書的讀書筆記，在讀過每個章節以後根據自己的理解寫下這一章的知識框架以及補充一些延伸知識點。
目錄
寫在前面
本章框架
線性可分svm與硬間隔最大化
線性svm與軟間隔最大化
非線性svm與核函式
序列最小最優化演算法（smo）
補充知識點
歐氏空間與希爾伯特空間
凸函式、凸優化、凸二次規劃
kkt（karush-kuhn-tucher）條件
根據訓練資料的線性可分、近似線性可分、線性不可分這三個程度，svm由簡單到複雜地呈現為線性可分svm、線性svm以及非線性svm三種。本章先分別介紹這三種svm，再介紹了學習演算法（序列最小最優化演算法）。
針對不同訓練資料的svm分類器
訓練資料型別
分類器學習策略
約束最優化問題
線性可分
線性可分svm
硬間隔最大化
原始最優化問題：
最優化的對偶問題：
近似線性可分
線性svm
軟間隔最大化
原始最優化問題：
對偶問題：
線性不可分
非線性svm三種
核函式用核函式來替換對偶問題中的內積
學習目標：在特徵空間中找到乙個分離超平面
和感知機的區別：
分類器學習策略
解的個數
感知機誤分類個數最小
無窮個線性可分svm
硬間隔最大化（幾何間隔）
唯一其中關於間隔：
支援向量：與分離超平面距離最近的點，超平面是完全由支援向量決定的。
給線性可分svm新增了乙個鬆弛變數。
原始最優化問題是乙個凸二次規劃問題，w的解唯一但b解不唯一。
合頁損失函式
核技巧：通過乙個非線性變化將輸入空間對應到乙個高維特徵空間，在特徵空間中進行線性分類。
核函式：對映後的內積。只定義核函式，不顯式地給定對映函式和特徵空間。
核函式的應用：線性svm的對偶問題中，目標函式和決策函式都涉及到例項和例項之間的內積， 將內積替換為核函式。
常用核函式：
多項式核函式、高斯核函式、字串核函式
「不斷地將原二次規劃問題分解為只有兩個變數的二次規劃子問題，並對子問題進行解析求解，直到所有變數滿足kkt條件為止。」
參考部落格
這個定義和我們傳統的凹凸定義是相反的。
凸優化是指以下約束最優化：
凸二次規劃問題是上述凸優化問題的乙個特殊形式，當目標函式 f 是二次型函式且約束函式 g 是仿射函式時，就變成乙個凸二次規劃問題。
拉格朗日乘子法和 kkt 條件
參考部落格
統計學習方法 第七章 支援向量機
第七章 支援向量機 2.線性支援向量機與軟間隔最大化 支援向量機 svm 是一種二分類模型，支援向量機的學習策略是 間隔最大化。訓練資料線性可分 通過硬間隔最大化，學習線性分類器，即線性可分支援向量機，又稱為硬間隔支援向量機。訓練資料近似線性可分，通過軟間隔最大化，學習乙個線性分類器，即線性支援向量...
統計學習方法學習筆記（第七章 支援向量機）
支援向量機是一種二類分類模型，它的基本模型是定義在特徵空間上的間隔最大的線性分類器，間隔最大使它有別於感知機 支援向量機還包括核技巧，這使它稱為實質上的非線性分類器。支援向量機的學習策略就是間隔最大化。可以形式化為乙個求解凸二次優化的問題，也等價於正則化的合頁損失函式的最小化問題。支援向量機的學習演...
統計學習方法讀書筆記
感知機 perceptron 沒啥說的，感知機就是尋找乙個將空間分為兩部分的超平面 前提可分 學習過程既是損失函式極小化的過程。模型 啟用函式 損失函式 推導 首先考慮任意一點x0到超平面的距離 對於誤分類點 xi,yi 來說 所以誤分類點到超平面的總距離 損失函式 損失函式極小化 簡單的梯度下降即...