定義函式間隔，
定義幾何間隔
目標，幾何間隔最大化？
令函式間隔=1，將原問題轉為凸二次規劃問題
怎麼求解凸二次規劃呢？原問題不好求？
所以，拉格朗日，得到對偶問題。求解了對偶問題，得到拉格朗日乘子，利用kkt，得到w,b
所以接下來的目標，求解對偶問題的最優化
怎麼求呢？smo
後來呢，遇到線性不可分的問題怎麼辦？加鬆弛變數
再後來，遇到非線性咋整？對映，將例項空間對映到線性可分的空間，再利用svm分開就行，可是。。。這對映函式不好找啊，咋整？
麼事，咱麼有核函式，啥意思麼？核函式可以在低維進行計算，而將實質上的分類效果表現在了高維上，完美！！！
支援向量機通俗導論（理解svm的三層境界）
smo優化演算法
統計學習方法概論 《統計學習方法》李航著
統計學習由 監督學習，非監督學習，半監督學習和強化學習組成。監督學習方法主要包括 分類 標註 與 回歸問題 回歸問題 輸入變數 和 輸出變數 均為連續變數的 問題 分類問題 輸出變數為有限個離散變數的 問題 標註問題 輸入與輸出變數均為變數序列的 問題 統計學習三要素 模型，策略，演算法 損失函式度...
（李航統計學習方法）提公升方法
本文主要包括adaboost和提公升樹，後期會擴充套件到xgboost和lightgbm。boosting通過改變樣本訓練權重，學習多個弱分類器，最後進行線性組合，提高分類效能。兩個著重點 如何改變資料的樣本權重或概率分布 如何將弱分類器整合成強分類器 初始化樣本資料權重，假設樣本權重均勻分布，得到...
《統計學習方法》 李航 學習大綱
最近在學習李航寫的統計學習方法概論，每一章都用xmind理清了思路，括號裡是書裡的公式，第一次寫博文，敬請指教 第一章 統計學習方 第二章 感知機 每個方法其實只需要著重掌握三要素和輸入輸出就可以了，主要看模型 策略和演算法。感知機主要是二類分類的線性分類模型。看到後面會注意感知機和支援向量機的區別...