機器學習推薦系統評價指標之AUC

2021-09-10 23:40:06 字數 711 閱讀 8251

auc是機器學習模型中常見評價指標,在推薦系統中也十分常見。和常見的評價指標acc,p,r相比,auc具備一定的優勢

一般說起auc,都會從混淆矩陣,acc,精確率p,召回率r,然後說到roc,再到auc,我在這裡簡單的梳理一下:

由混淆矩陣引出tp,fp,fn和tn。

接著引出準確率,精確率,召回率和f1值的概念。

接著引出tpr和fpr的概念,tpr代表tp的比率,fpr代表了fp的比例,那麼可想而知,tpr越大,fpr越小分類器的效果越好。

接著引出roc曲線的概念,fpr為橫軸,tpr為縱軸,所以曲線越接近左上,分類器效果越好。

接著引出最後的auc,字面意思是roc曲線下面的面積,auc越大,分類器效果越好。

auc取值在0-1之間,越接近1代表模型效果越好,1代表完全分對了。

使用auc作為評價模型指標的優勢主要有以下兩點:

不必為分類器選擇閾值。假如我們在進行二分類時,得到的**結果是概率值,我們需要為正負類選擇閾值(雖然一般來說是0.5),再對結果進行評價,但是當我們使用auc時,則不必選擇閾值。

auc可以作為不均衡資料集的評價指標,其他評價指標在面對不均衡資料集時都有一定的缺陷。

現在可以思考為什麼auc具備這個優勢,auc的真實含義是什麼?

水平有限,這裡參考了知乎的回答1

,auc反映了模型對樣本的排序能力。

[auc相關知乎回答]

評價推薦系統指標

評價指標 名稱符號 偏好是否依賴於推薦列表長度備註準 確度 評分準確度 平均絕對誤差 mae 小否 適用於比較關注精確的 評分的系統 平均平方誤差 mse 小均方根誤差 rmse 小 標準平均絕對誤差 nmae 小 評分關聯 pearson關聯 pcc 大適用於不關注精確 評分的系統,其中ndmp適...

推薦系統常用評價指標

自己在網上查詢了很多推薦指標包括準確率,精確率,召回率,p r曲線,auc曲線,map,mrr,ndcg評價指標。但是分類模型的評價指標和推薦系統的指標的計算方法是不一樣的,分類模型評價指標計算是根據混淆矩陣進行計算,而推薦模型是根據推薦列表和分割的20 測試集作為真實值進行計算。在分類模型中,是明...

機器學習 評價指標整理

目錄 1.準確率 accuracy 2.召回率 recall 3.精確率 precision 4.召回率與精確率的關係 5.誤報率 fpr 與漏報率 fnr 準確率是指我們的模型 正確的結果所佔的比例。正式點說,準確率的定義如下 accuracy frac 對於二元分類,也可以根據正類別和負類別按如...