名稱：svm（support vector machine）支援向量機
要解決的問題：二分類問題
形象理解：用乙個超平面，將資料二分類。尋找最優超平面，並使得兩個類別中，距離超平面距離最近的點，距超平面的距離最遠。也即：兩個類別中，距離超平面最近的點，會分別決定兩個平行的超平面，這兩個超平面稱為支援向量。
本質：凸函式優化問題（一定有全域性最優解），優化的目標為：兩個支援向量距離最遠。
線性可分：在n維空間中，若有n-1維的向量可完成資料的分類，該問題即線性可分，尋找到的n-1維向量即超平面。
如何解決非線性問題：通過核函式，將資料對映到高緯空間，使得在低緯度空間的非線性問題轉化為高緯度的非線性問題。
核函式：svm中常用的有高斯核函式，多項式核函式。在尋找最優解的過程中，只涉及到樣本點間內積的計算，故核函式不需要給出顯式的計算過程，只需要給出樣本點內積計算的函式對映即可。
SVM演算法的理解
距離上次看svm演算法已經快過了半個月了，今天再次看到，溫故知新後決定把自己的理解寫出來。不過由於本人文筆不佳，所以想到什麼寫什麼，等有空了再整理。看到覺得混亂的還請見諒。剛剛看svm的時候，只能明白支援向量機之所以叫支援向量機是因為支援向量，後面懂得了w的內容是什麼 幾何距離的意義 低維對映到高維...
SVM幾點理解
以下內容是我在學習完 統計學習方法 及查閱相關資料後，對svm的一些疑惑的理解，可能還有理解不到位的地方，如有不對，請及時指出。樣本線性可分 硬間隔最大化 樣本近似線性可分 軟間隔最大化 樣本線性不可分 核函式 軟間隔最大化 1 硬間隔最大化時，解是唯一的，即分離超平面wx b 0中w和b是唯一的。...
SVM演算法的另外一種理解
解決乙個機器學習問題的一般套路是先構建乙個目標函式，然後解決乙個優化問題。目標函式通常由損失函式和正則項組成。常見的損失函式log loss,square loss,cross entropy loss等，常見的正則化方法有l1正則 l2正則等，常見的優化方法有梯度下降 隨機梯度下降等。svm也可以...