SVM和logistic回歸的比較

2021-08-16 07:02:25 字數 689 閱讀 9700

svm和logistic回歸都是比較常用的演算法,而這兩個演算法有什麼異同點呢。下面是自己的總結,當然也是自己的一些見解。

相同點:

1.都是分類模型

2.都是判別模型

不同點:

1.從損失函式角度:svm用的是hinge loss,而logistic回歸用的是對率損失

2.從方法角度: svm用的是統計方法,svm最大間隔有完備的理論,logistic回歸是概率方法。

3.從對雜訊的影響角度:svm對雜訊比較敏感,而logistic回歸對雜訊不是很敏感,是因為如果雜訊點落在了支援向量上,將會直接影響判別面的方程。而logistic回歸通過最大似然求解模型引數,將會弱化雜訊的影響。

4.從結果角度:svm只能得到測試點屬於哪一類,而logistic回歸能得到屬於哪一類的概率,當然在svm也可以通過樣本點離判別面的相對距離進行輸出屬於該類的概率。

5.從優化方法角度:svm有專門屬於自己的特點的優化方法,smo演算法,該演算法對於優化svm非常的高效。logistic回歸可以通過一些常用的演算法,如梯度下降,共軛梯度下降,牛頓法

6.處理非線性的角度: svm可以通過核方法,logistic可以通過特徵的離散化將其非線性化。

7.處理大資料角度: svm很難處理大資料,因為svm模型主要是由支援向量決定,而支援向量隨著資料量多項式增加。而logistic可以很容易運用到大資料當中。

logistic回歸 logistic回歸

logistic回歸 logistic回歸分析可用於估計某個事件發生的可能性,這是乙個分類模型而不是乙個回歸模型!它的基本思想是利用一條直線將平面上的點分為兩個部分,即兩個類別,要解決的問題就是如何擬合出這條直線,這個擬合的過程就稱之為 回歸 logistic模型 假設你有乙個需要 的內容,要通過三...

logistic分類(logistic回歸 LR)

幾乎所有的教材都是從logistic分類開始的,因為logistic分類實在太經典,而且是神經網路的基本組成部分,每個神經元 cell 都可以看做是進行了一次logistic分類。所謂logistic分類,顧名思義,邏輯分類,是一種二分類法,能將資料分成0和1兩類。logistic分類的流程比較簡單...

線性回歸和logistic分類回歸的區別

回歸問題和分類問題是深度學習裡面需要分清楚的兩種情況,需要根據不同的情況制定不同的演算法,完成不同的任務。兩者最本質的區別是回歸問題代表連續的擬合曲線 值,而分類問題則是將輸入的幾個值分為幾個離散的類。例如 線性回歸處理的是回歸問題 e xp ect y w x bexpect y wx b exp...