評價指標總結

2021-10-03 22:25:22 字數 1107 閱讀 7205

我們需要通過評價指標來判斷模型的好壞:

1、分類準確度:即**成功的在總數中的佔比

2、利用混淆矩陣:

​ fn:false negative,被判定為負樣本,但事實上是正樣本。fp:false positive,被判定為正樣本,但事實上是負樣本。tn:true negative,被判定為負樣本,事實上也是負樣本。tp:true positive,被判定為正樣本,事實上也是證樣本。

2.1、精準率和召回率

​ 精準率(查準率)::**值為1,且**對了的比例,即:我們關注的那個事件,**的有多準。

​ 召回率(查全率):所有真實值為1的資料中,**對了的個數,即:我們關注的那個事件真實的發生情況下,我們成功**的比例是多少。

2.2、f1 score

​ f1 score是精準率和召回率的調和平均值,可以平衡這兩個指標。

3、roc曲線

​ roc曲線(receiver operation characteristic cureve),描述tpr和fpr之間的關係。x軸是fpr,y軸是tpr。

3.1、分類閾值

​ 分類閾值,即設定判斷樣本為正例的閾值threshold

3.2、tpr

​ **tpr:**為1,且**對了的數量,佔真實值為1的資料百分比。**很好理解,就是召回率。

3.3、fpr

​ **fpr:**為1,但**錯了的數量,佔真實值不為1的資料百分比。**與tpr相對應,fpr除以真實值為0的這一行所有的數字和 。

4、auc:直觀判斷模型的好壞

一般在roc曲線中,我們關注是曲線下面的面積, 稱為auc(area under curve)。這個auc是橫軸範圍(0,1 ),縱軸是(0,1)所以總面積是小於1的。

1、均方誤差mse

​ **值與真實值之差的平方和,再除以樣本量

2、均方根誤差rmse

​ 為了消除量綱,將mse開方

3、平均絕對誤差mae

​ **值與真實值之差的絕對值,再除以樣本量

4、r方

​ 因此用1減去較少的錯誤除以較多的錯誤,實際上是衡量了我們的模型擬合住資料的地方,即沒有產生錯誤的相應指標。

模型評價指標

機器學習模型中常見的是分類問題,分類模型的評價指標主要有 1 精確率 2 召回率 3 f值 4 auc值 roc曲線 分類問題可劃分成二分類和多分類問題,其中二分類最為常見,多分類問題大都也是轉化成二分類問題求解,因此本文主要基於二分類模型進行模型評價指標的分析。1 給定標記好的模型訓練資料,經分類...

分割評價指標

iou標準介紹 1目標檢測和影象分割的評價標準是一樣的,核心都是使用iou標準 2 目標檢測和影象分割使用的iou方法都是一樣的,不同的是目標檢測面向判斷選定框和 框 而影象分割面向的是選定掩碼和 掩碼 3 在目標檢測中,檢測目標用box進行評價。我們的iou評價方式為 將 框和選定框放入公式中去判...

nlp BLEU ROUGE評價指標

bleu,rouge一般在翻譯裡用 bltk工具箱中就有bleu的評估指標實現 bleu通過比較 語句和參考語句裡的n gram 從1 gram到4 gram 的重合程度。顯然,重合程度越高,譯文的質量就高。1 gram主要是用於比較單個單詞的準確率,而2 4 gram則用於衡量句子的流暢性。這個評...