LR,SVM,RF的區別是什麼?

2021-08-19 02:08:52 字數 1081 閱讀 3584

1、lr和svm都是分類演算法,lr和svm都是監督學習演算法,

都是判別模型。

2、如果不考慮核函式,lr和svm都是線性分類演算法,也就是說他們的分類決策面都是線性的。

lr的優缺點:

1.適合需要得到乙個分類概率的場景

2.實現效率較高

3.對邏輯回歸而言,多重共線性並不是問題,它可以結合l2正則化來解決;

4.邏輯回歸廣泛的應用於工業問題上

邏輯回歸的缺點:

1.當特徵空間很大時,邏輯回歸的效能不是很好;

2.不能很好地處理大量多類特徵或變數;

4.對於非線性特徵,需要進行轉換;

5.依賴於全部的資料特徵,當特徵有缺失的時候表現效果不好。

svm的優點:

1.能夠處理大型特徵空間

2.能夠處理非線性特徵之間的相互作用

3.無需依賴整個資料

svm的缺點:

1.當觀測樣本很多時,效率並不是很高

2.有時候很難找到乙個合適的核函式

為此,我試著編寫乙個簡單的工作流,決定應該何時選擇這三種演算法,流程如下:

首當其衝應該選擇的就是

邏輯回歸

,如果它的效果不怎麼樣,那麼可以將它的結果作為基準來參考;

然後試試

決策樹(隨機森林)

是否可以大幅度提公升模型效能。即使你並沒有把它當做最終模型,你也可以使用

隨機森林來移除雜訊變數

如果特徵的數量和觀測樣本特別多,那麼當資源和時間充足時,使用

svm不

失為一種選擇。

決策樹的優點:

1.直觀的決策規則

2.可以處理非線性特徵

3.考慮了變數之間的相互作用

決策樹的缺點:

1.訓練集上的效果高度優於測試集,即過擬合[隨機森林克服了此缺點]

2.沒有將排名分數作為直接結果

GBDT,XGBoost,RF的區別是什麼?

rf gbdt和xgboost都屬於整合學習 ensemble learning 整合學習的目的是通過結合多個基學習器的 結果來改善單個學習器的泛化能力和魯棒性。根據個體學習器的生成方式,目前的整合學習方法大致分為兩大類 即個體學習器之間存在強依賴關係 必須序列生成的序列化方法,以及個體學習器間不存...

ERP CRM OA的區別是什麼

沒有dms的資料分析支援,營銷工作不好開展還 得忙死 正如erp的根據企業資源來定的計畫能不能實現要 依人品 所以得出沒有crm的話銷售是會 出人命 的這樣乙個觀點 雖然只是乙個段子,但卻基本說明了erp 企業資源計畫管理 crm 客戶關係管理 和oa 辦公自動化流程管理 之間的區別和這些管理軟體所...

APAAS PAAS SAAS的區別是什麼?

當我們在接觸到apaas paas saas這些英文縮寫時,通常都會較難理解其中的含義,但它們本質上又存在著根本的區別,本文給大家簡單說明一下它們主要的區別。什麼是apaas?apaas代表應用程式平台即服務,借助apaas,可立即獲得完整的web應用程式生命週期的支援 構建,測試,部署,管理和更新...