機器學習 分類器效能指標

2021-09-02 22:12:27 字數 1190 閱讀 6189

1. 錯誤率:

e = 錯誤分類個數/總樣本數

2. 正確率:

tp:分類正確正例

tn:分類正確負例

fp:分類錯誤正例

fn:分類錯誤負例

precision = 分類正確的正類/(**結果中被分為正類的個數)  = tp/(tp+fp)

3. 召回率:

recall = 分類正確的正類/(所有正類的個數) = tp/(tp+fn)

4. f1 score

5. roc曲線

roc(receiver operating characteristic)「受試者工作特徵」。roc縱軸為「真正例率」(tpr),橫軸是「假正例率」(fpr),其中:

tpr = 分類正確正例/ 所有正例 = tp/(tp+fn)

fpr = 分類錯誤的正例/ 所有負例 = fp/(tn+fp)

生成過程:

① 將分類結果按照分成正例的概率從小到大排序,最左邊即最不可能是正例的例子;

② 從左往右依次將每個樣例設為閾值,閾值左邊(包含當前樣例)均判為正例,右邊均判為負例;

③ 然後計算對應的tpr和fpr,即為ruc的乙個座標;(計算tipes:假設上一輪的座標為(x,y)若當前的閾值是正例則更新y = y + 1/正例個數,若當前值是反例則更新x= x + 1/反例個數)。

由上圖:

① 左上角表示效能最佳的分類器(所有樣例分類正確),右下角表示效能最差的分類器(所有樣例分類錯誤)。

②roc曲線越靠左上角,分類器效能越好。 

③圖中的虛直線表示「隨機猜測」的roc線,也就是有50%的樣例被**錯誤;

③ roc所圍成的區域的面積稱為auc,auc越大分類效果越好。auc > 0.5, 效果好於隨機猜測。auc = 0.5, 效果和隨機猜測一樣。auc<0.5, 效果不如隨機猜測。auc代表了分類器的平均效能。

圖中2和3的roc曲線覆蓋了1的,說明2和3的分類效能好;2和3的roc曲線大部分重合,為了判斷哪個更好,可以使用auc面積來比較。

機器學習之分類器效能指標之ROC曲線 AUC值

分類器效能指標之roc曲線 auc值 一roc曲線 1 roc曲線 接收者操作特徵 receiveroperating characteristic roc曲線上每個點反映著對同一訊號刺激的感受性。橫軸 負正類率 false postive rate fpr 特異度,劃分例項中所有負例佔所有負例的比...

資料建模 分類器效能指標 效能測評

表示分類正確 true positive 本來是正樣例,分類成正樣例。true negative 本來是負樣例,分類成負樣例。表示分類錯誤 false positive 本來是負樣例,分類成正樣例,通常叫誤報。false negative 本來是正樣例,分類成負樣例,通常叫漏報。準確度 真正類率 t...

評價分類器效能指標之AUC ROC

本文內容大部分來自於如下兩個部落格 假設有下面兩個分類器,哪個好?樣本中有a類樣本90個,b 類樣本10個。a類樣本 b類樣本 分類精度 分類器c1 a 90 100 a 10 0 90 分類器c2 a 70 b 20 78 a 5 b 5 50 75 分類器c1把所有的測試樣本都分成了a類,分類器...