支援向量機（svm）有嚴格的數學基礎和推導理論的模式識別方法，是針對小樣本的的統計學理論，基於結構風險最小化原則，演算法在優化過程中具有全域性最優解，泛化能力也比較突出，是一套優秀的機器學習技術。
機器學習是乙個不斷學習發展加深的過程，正如乙個讀書人學習svm的時候，他看書的境界分為三層，如先讀資料探勘導論，而後他覺講得太淺，於是去讀支援向量機導論，甚而，他覺還是不夠，於是他去讀資料探勘中的新方法：支援向量機，最後，他又會覺得紙上終覺淺，於是他會嘗試去證明它，再繼續，他會去寫**如何實現他，然後到了某一天，他還是覺得不夠，他總覺得這個演算法**有缺陷，然後他想著怎麼才能去優化他，他甚至會幻想某一天，他也能發明創造出這樣乙個演算法，就好了。
引用自csdn博主july的原話
隨著機器學習時代的到來，越來越多的學習演算法鶯歌燕舞，在這樣的乙個大背景下，分類作為資料探勘中一項必要的工作，對於其判別的方法，心中要有乙個評判標準去衡量一套演算法的優劣（追尋的4個標準）：
（1）模式的簡潔度（乙個好的演算法，模式是最為重要的，是其深入下去並取得突破的基礎）
（2）**的準確度（**結果是我們最關心的問題，準確度保證是前提）
（3）計算的複雜度（在時間和空間上計算複雜度）
（4）應用的泛化度（在應用上的呈現）
在這樣的背景下，對於機器學習領域分類方法的研究，我做了一下分類（根據監督在學習過程中參與方式）：
（1）監督學習：
logistic回歸（lr）、反向傳播的神經網路（bpnn）
（2）非監督學習：
apriori演算法、k-means演算法
（3）半監督學習：
圖論推理演算法（graph inference）、
拉普拉斯支援向量機（laplacian svm）
（4）強化學習：與環境的互動學習（ql）
本部落格主要針對支援向量機的方法進行相關的闡述。
關於支援向量機的應用，一年前，最初接觸支援向量機是為了解決列印字型的光學字元識別（ocr），分類類別包括：0-9、a-z。下面主要針對應用介紹：
（1）手寫字型數字識別
（2）文字分類：郵件過濾、web挖掘、資訊檢索
（3）影象分類
（4）其他領域：語音頻號、資訊保安、時間序、核方法
線性分類器：在高維的資料輸入空間中，尋找到乙個具有分類的超平面,使得高維輸入資料分隔最大。
logistic回歸：簡單的0/1分類模型，輸入空間的取值範圍為（-∞，+∞），對應對映到輸出空間的取值範圍為（0，1）。
通俗的可以認為：logistic可以將大範圍高維度的輸入資料表徵為小範圍低維度的輸出分類，可以用下面的公式來表示特徵被分類為：y=1的概率：
支援向量機（一）
本篇是學習svm的初學講義，希望能夠對大家有所幫助。svm涉及到很多拉格朗日對偶等最優化知識，強烈推薦大家學習 最優化計算方法 不然理解svm會遇到很多困難。學習之前強烈推薦先玩一玩林智仁的svm toy.exe，對理解svm很有幫助，鏈結在 好了，接下來我們開始svm的學習。在本文中，會盡量避免一...
支援向量機 一）
最近在看史丹福大學的機器學習的公開課，學習了支援向量機，再結合網上各位大神的學習經驗總結了自己的一些關於支援向量機知識。一 什麼是支援向量機 svm 1 支援向量機 support vector machine，常簡稱為svm 是一種監督式學習的方法，可廣泛地應用於統計分類以及回歸分析。支援向量機屬...
支援向量機（一）
支援向量機 support vector machines，簡稱svm 是一種二類分類模型。它在一些情況下，對於一些複雜的非線性問題能提供相比邏輯回歸模型或神經網路模型更為簡潔的解決方案。優化目標 我們通過不斷改進邏輯回歸模型以實現支援向量機。邏輯回歸模型的假設函式h x 為 其中 其代價函式j 為...