硬間隔svm
軟間隔svm
核函式：
svm分類超平面的解是唯一的，要滿足間隔最大化
感知機的解不唯一，沒有間隔最大化的約束條件，滿足分開資料點的分介面都是可以的
相同點：
第一，lr和svm都是分類演算法。
第二，如果不考慮核函式，lr和svm都是線性分類演算法，也就是說他們的分類決策面都是線性的
第三，lr和svm都是監督學習演算法。
第四，lr和svm都是判別模型。
兩種方法都是常見的分類演算法，其中心思想都是增加對分類影響較大的資料點的權重，減少與分類關係較小的資料點的權重。
svm的處理方法是只考慮support vectors，也就是和分類最相關的少數點，去學習分類器。
而邏輯回歸通過非線性對映，大大減小了離分類平面較遠的點的權重，相對提公升了與分類最相關的資料點的權重。兩者的根本目的都是一樣的。
比較：
0、概率值
lr給出了後驗概率，svm只有01分類，沒有後延概率
1、損失函式
lr採用logistic損失（誤差平方和損失）
svm採用合頁（hinge）損失。（損失函式是二者的本質區別）
svm的損失函式就自帶正則！！！（損失函式中的1/2||w||^2項），這就是為什麼svm是結構風險最小化演算法的原因！！！而lr必須另外在損失函式上新增正則項！！
2、異常值
lr對異常值敏感；svm對異常值不敏感，泛華能力強，分類效果好。
3、訓練資料體量
在訓練集較小時，svm較適用，而lr需要較多的樣本。
4、起作用點的範圍
lr模型找到的那個超平面，是盡量讓所有點都遠離他，而svm尋找的那個超平面，是只讓最靠近中間分割線的那些點盡量遠離，即只用到那些支援向量的樣本。
5、非線性問題的處理方式
對非線性問題的處理方式不同，lr主要靠特徵構造，必須組合交叉特徵，特徵離散化；
svm也可以這樣，還可以通過kernel，kernel很強大。
6、理解性：
lr相對來說模型更簡單，好理解，實現起來，特別是大規模線性分類時比較方便。而svm的理解和優化相對來說複雜一些。但是svm的理論基礎更加牢固，有一套結構化風險最小化的理論基礎.
7.線性svm依賴資料表達的距離測度，所以需要對資料先做normalization，lr不受其影響
乙個機遇概率，乙個機遇距離
線性回歸：
實際應用中，概率p與因變數往往是非線性的，為了解決該類問題，我們引入了logit變換，使得logit(p)與自變數之
間存在線性相關的關係，
邏輯回歸：
通過推導，概率p變換如下，這與sigmoid函式相符，也體現了概率p與因變數之間的非線性關係。以0.5為界限，預
測p大於0.5時，我們判斷此時y更可能為1，否則y為0。
（非線性情況下，可以加kernel，或者特徵相乘）
優：計算代價不高，易於理解和實現。
缺：容易欠擬合，分類精度可能不高。
優：泛化錯誤率低，計算開銷不大，結果易解釋。
缺：svm對引數調節和核函式的選擇敏感，原始分類器不加修改僅適用於處理二類問題。
svm:
SVM與感知機的異同點
svm與感知機一樣是通過尋找超平面，用於解決二分類問題的分類演算法 超平面一側的點計算分數結果為負是負例，另一側結果分數為正是正例與感知機相同，通過 sign 給出 標籤，正例為 1，負例為 1，模型判別式同樣 損失函式與感知機和邏輯回歸都不同 感知機是通過判錯的點尋找超平面，邏輯回歸是通過最大似然...
SVM定義 BP與反饋區別 感知機
svm，支援向量機 support vector machine 公升維操作，把線性不可分系統變為線性可分的系統。高維變成低維，線性可分可能變成線性不可分 低維變成高維，不會破壞線性不可分性。如下圖，左圖二維線性不可分經過公升維操作後，變成右圖三維空間的線性可分系統。仿射變換，形如y ax b，a是...
感知機 SVM 神經網路的區別
感知機和svm的區別 1 相同點 都是屬於監督學習的一種分類器 決策函式 2 不同點 感知機追求最大程度正確劃分，最小化錯誤，很容易造成過擬合。支援向量機追求大致正確分類的同時，一定程度上避免過擬合 感知機使用的學習策略是梯度下降法 而svm採用的是由不等式約束條件構造拉格朗日函式，然後求偏導令其為...