LR模型與SVM對比

2021-10-24 12:20:54 字數 1107 閱讀 9880

相同點

1. 都是線性分類器。本質上都是求乙個最佳分類超平面。都是監督學習演算法。

2. 都是判別模型。通過決策函式,判別輸入特徵之間的差別來進行分類。

不同點

1.損失函式不同:lr的損失函式是交叉熵,svm損失函式為合頁損失函式

svm目標函式為損失函式加正則項:

2. 兩個模型對資料和引數的敏感程度不同:(1) svm考慮分類邊界線附近的樣本, 在支援向量外新增或減少任何樣本點對分類決策面沒有任何影響;

lr受所有資料點的影響。直接依賴資料分布,每個樣本點都會影響決策面的結果

(2) lr 是引數模型,svm 是非引數模型

引數模型的前提是假設資料服從某一分布,該分布由一些引數確定,在此基礎上構建的模型稱為引數模型;

非引數模型對於總體的分布不做任何假設,只是知道總體是乙個隨機變數,其分布是存在的,但是無法知道其分布的形式和相關引數

3.svm 基於距離分類,lr 基於概率分類

svm依賴資料表達的距離測度,所以需要對資料先做 normalization;lr不受其影響。

4.在解決非線性問題時,支援向量機採用核函式的機制,而lr通常不採用核函式的方法

5. 在小規模資料集上,linear svm要略好於lr,但差別也不是特別大,而且linear svm的計算複雜度受資料量限制,對海量資料lr使用更加廣泛

6. svm的損失函式自帶正則,而 lr 必須另外在損失函式之外新增正則項

參考文章參考文章1

LR與SVM的異同

1.本質上是其loss function不同 邏輯回歸採用的是logistical loss,svm採用的是hinge loss。可以看出,二者的唯一區別就是對於單個資料點,計算損失的方法不同。logistic regression中的log loss 而svm中的hinge loss。可以看出,二...

SVM與LR的區別

在大大小小的面試過程中,多次被問及這個問題 請說一下邏輯回歸 lr 和支援向量機 svm 之間的相同點和不同點 第一次被問到這個問題的時候,含含糊糊地說了一些,大多不在點子上,後來被問得多了,慢慢也就理解得更清楚了,所以現在整理一下,希望對以後面試機器學習方向的同學有所幫助 至少可以瞎扯幾句,而不至...

LR與SVM的區別

lr與svm的區別 相同點 1.lr和svm都是分類演算法 2.如果不考慮核函式,lr和svm都是線性分類演算法,即它們的分類決策函式都是線性的 3.lr和svm都是監督學習演算法 4.lr和svm都是判別模型。不同點 1.從目標函式來看,lr採用的是對數損失函式,svm採用的是合頁損失函式。這兩個...