支援向量機，就是常說的svm，為學習複雜的非線性方程提供一種更為清晰，更加強大的方式。
我們從邏輯回歸對svm的cost function進行推導演繹。
回顧邏輯回歸我們可以知道，當z>>0的時候可以認為y=1；當z<<0時候，y=0。
由上圖可以知道，我們由邏輯回歸的costfunction使用紅色的折線進行近似替代，因此由邏輯回歸的costfunction：
我們可以得到svm的cost function如下：
在這裡我們可以將c看作是1/λ。
我們有時候將svm看作是大間距分類器，接下來將介紹其中的含義，並有助於我們直觀理解svm模型的假設。
因此如果我們在使用svm的時候，只要c的值合適，我們就可以得到如圖中黑色的decision boundary。
這樣的決策邊界會給兩種資料樣本留以足夠的間距，因此有時候說svm是大間距分類器。當c設定的不要太大，則你最終會得到這條黑線，當然資料如果不是線性可分的，如果你在這裡有一些正樣本或者你在這裡有一些負樣本，則支援向量機也會將它們恰當分開。因此，大間距分類器的描述，僅僅是從直觀上給出了正則化引數 c 非常大的情形，同時，要提醒你 c 的作用類似於 1/λ，λ是我們之前使用過的正則化引數。這只是c 非常大的情形，或者等價地λ非常小的情形。你最終會得到類似粉線這樣的決策界，但是實際上應用支援向量機的時候，當 c 不是非常非常大的時候，它可以忽略掉一些異常點的影響，得到更好的決策界。甚至當你資料不是線性可分的時候，支援向量機也可以給出好的結果。
因此，c 較大時，相當於 λ 較小，可能會導致過擬合，高方差。
c 較小時，相當於 λ 較大，可能會導致低擬合，高偏差。
我們之前討論過可以使用高階數的多項式模型來解決無法用直線進行分隔的分類問題：例如下圖：
給定乙個訓練例項x，我們利用x的各個特徵與我們預先選定的標誌l1,l2,l3的相似程度來選取新的特徵f1,f2,f3.
例如：我們使用高斯核函式來衡量x中的所有特徵和標誌位l1的之間的距離的和。
其中：如何選擇標誌？
我們通常是根據訓練集的數量選擇地標的數量，即如果訓練集中有 m 個例項，則我們
選取 m 個地標，並且令：l(1)=x(1),l(2)=x(2),…,l(m)=x(m)。這樣做的好處在於：現在我們得到的新特徵是建立在原有特徵與訓練集中所有其他特徵之間距離的基礎之上的，
下面是支援向量機的兩個引數 c 和 σ 的影響：
c 較大時，相當於 λ 較小，可能會導致過擬合，高方差；
c 較小時，相當於 λ 較大，可能會導致低擬合，高偏差；
σ 較大時，導致高方差；
σ 較小時，導致高偏差。
下面是一些普遍使用的準則：
n 為特徵數，m 為訓練樣本數。
(1)如果相較於 m 而言，n 要大許多，即訓練集資料量不夠支援我們訓練乙個複雜的非
線性模型，我們選用邏輯回歸模型或者不帶核函式的支援向量機。
(2)如果 n 較小，而且 m 大小中等，例如 n 在 1-1000 之間，而 m 在 10-10000 之間，
使用高斯核函式的支援向量機。
(3)如果 n 較小，而 m 較大，例如 n 在 1-1000 之間，而 m 大於 50000，則使用支援向量機會非常慢，解決方案是創造、增加更多的特徵，然後使用邏輯回歸或不帶核函式的支援向量機。
支援向量機（SVM）
簡介 術語 支援向量機 svm 是乙個類分類器，正式的定義是乙個能夠將不同類樣本在樣本空間分隔的超平面。換句話說，給定一些標記 label 好的訓練樣本 監督式學習 svm演算法輸出乙個最優化的分隔超平面。首先我們假定有乙個未知的欲分類的集合，可以進行分割，但是我們不知道分割的函式 超平面，也叫真實...
支援向量機SVM
支援向量機svm support vector machine 是機器學習領域的乙個有監督的學習模型。一 簡介 支援向量機建立在統計學習理論的基礎之上。統計學習理論 statistical learning theory簡稱slt 是一種處理小樣本的統計理論 為研究有限樣本情況下的統計模式識別和更廣...
SVM支援向量機
在機器學習領域，很多時候會用到分類的一些演算法，例如knn，貝葉斯。我們可以把分類的樣本簡單除暴的分為兩種型別。線性可分和非線性可分。可以使用乙個非常簡單的例子來解釋什麼是線性可分，什麼是線性不可分。a 線性可分的2類樣本 b 非線性可分的2類樣 已知乙個線性可分的資料集,其中x表示乙個n維向量，當...