機器學習(五)模型評估

2021-09-25 11:53:12 字數 1065 閱讀 8589

混淆矩陣(confusion matrix)中包含四種資料:

(t/f表示**正確與否,p/n表示被**為正例還是負例)

由以上四種資料得到四種比率如下:

tpr(true positive rate,又稱靈敏度:sensitivity):tpr=tptp+fn

,即正例被正確**為正例的數目實際正例的數目

fpr(false positive rate):fpr=fpfp+tn

,即負例被錯誤**為正例的數目實際負例的數目

fnr(false negative rate):fnr=fntp+fn

,即正例被錯誤**為負例的數目實際正例的數目

tnr(true negative rate,又稱 特指度:specificity):tnr=tnfp+tn

,即負例被正確**為負例的數目實際負例的數目

評價指標

precision,即查準率:p=tp/(tp+fp)

recall,即查全率:r=tp/(tp+fn)

f-score,即precision和recall的調和平均值,更接近precision和recall中較小的那乙個值:f=2×p×r/(p+r)

accuracy,分類器對整體樣本的分類能力,即正例分為正例,負例分為負例:a=tp+tn/(tp+fp+fn+tn)

roc曲線:

如何繪製:

統計正負樣本數量:p/n

橫座標刻度間隔:1/n

縱座標刻度間隔:1/p

根據**概率從高到低排序

(0, 0)開始

遇到正樣本,沿縱軸繪製一刻度;

遇到負樣本,沿橫軸繪製一刻度;

(1, 1)結束

和p-r曲線的區別

auc
參考資料

分類演算法中常用的評價指標

機器學習的模型評估

機器演算法有很多,各種模型的在不同的場景下各有優劣。所以需要一些方法來對機器學習的方法有乙個判斷。真實情況 正例反例 正例tp 真正例 fn 假反例 反例fp 假正例 tn 真反例 p tpt p fp r tptp fnroc reciever operating characteristic 是...

機器學習模型評估方法

分類模型評價度量 概率輸出型 這個有邏輯回歸 隨機森林 梯度提公升 adaboost等演算法,都是以概率作為輸出的。要想把概率型輸出變為分型別輸出,只要為其設立乙個閾值即可。positive predictive value 陽性 值 or precision 精度 陽性 值被 正確的比例。nega...

機器學習 模型評估指標

from sklearn.metrics import accuracy score print 準確率 accuracy score y true,y pred,normalize true print 正確分類的數量 accuracy score y true,y pred,normalize ...