目錄
1.準確率（accuracy）
2.召回率（recall）
3.精確率（precision）
4.召回率與精確率的關係
5.誤報率（fpr）與漏報率（fnr）
準確率是指我們的模型**正確的結果所佔的比例。正式點說，準確率的定義如下：
$accuracy = \frac$
對於二元分類，也可以根據正類別和負類別按如下方式計算準確率：
$accuracy = \frac$
其中，tp = 真正例，tn = 真負例，fp = 假正例，fn = 假負例。
例如：該模型將 100 條流分為tor （正類別）或no-tor（負類別）：
準確率為 0.91，即 91%（總共 100 個樣本中有 91 個**正確）。
但仔細琢磨正負例的比例，顯然是不夠能說明問題的。例如，我有1000個樣本，其中910都是負例，模型只要學到將所有樣本**為負例，準確率即可達到91%，這樣卻永遠檢測不出正例。
所以，當使用分類不平衡的資料集（比如正類別標籤和負類別標籤的數量之間存在明顯差異）時，單單準確率一項並不能反映全面情況。
在2、3部分中，我們將介紹兩個能夠更好地評估分類不平衡問題的指標：召回率和精確率。
召回率表示在所有正類別樣本中，被正確識別為正類別的比例。從數學上講，召回率的定義如下：
$recall=\frac$
讓我們來計算一下流量分類器的召回率(上面的例子)：
$recall=\frac = \frac = 0.11$
該模型的召回率是 0.11，也就是說，該模型能夠正確識別出所有tor流量的百分比是 11%。
精確率表示被識別為正類別的樣本中，確實為正類別的比例。精確率的定義如下：
$precision=\frac$
讓我們來計算一下流量分類器（上面的例子）的精確率：
$precision=\frac =\frac = 0.5$
該模型的精確率為 0.5，也就是說，該模型在**tor流量方面的正確率是 50%。
參考：
在資訊檢索領域，召回率和精確率又被稱為查全率和查準率：
由此可以理解：
參考：機器學習效能評估指標
真正例率 tpr = tp / (tp + tn)
表示，被挑出來的（**是「正」的），且正確的（**值=真實值）的，佔總的**正確的比率。
反正例率 fpr = fp / （fp + tn）
表示，被挑出來的（**是「正」的），但錯誤的（**值!=真實值）的，佔總的**錯誤的比率。
tpr越大，則表示挑出的越有可能（是正確的）；fpr越大，則表示越不可能（在挑選過程中，再挑新的出來，即再挑認為是正確的出來，越有可能挑的是錯誤的）。
tnr（true negative rate）可以理解為所有反類中，有多少被**成反類（反類**正確），給出定義如下：
fnr（false negative rate）可以理解為所有正類中，有多少被**成反類（反類**錯誤），給出定義如下：
誤報率（fpr）、漏報率（fnr）
機器學習演算法的評價指標
機器學習的目標是使得我們模型的泛化能力足夠強，因此我們需要有衡量模型泛化能力的評價標準。對不同種類的機器學習問題，評價標準不一樣。回歸問題常用均方誤差 mse 絕對誤差 mae 等評價指標，分類問題評價指標則較多，如下圖所示。本文主要講解分類問題的評價指標。首先解釋幾個二分類問題中常用的概念 tru...
機器學習 評估方法 評價指標
在選擇模型的時候，我們會選擇好的模型，丟棄不好的模型。模型的好或者不好是根據評價指標來衡量的，這篇文章介紹了分類任務中幾種常用的評價指標，包括 錯誤率 error rate 和精度 accuracy 查準率 precision 查全率 recall 和f1 roc auc。錯誤率 error rat...
機器學習模型評價指標 混淆矩陣
在機器學習領域中，混淆矩陣 confusion matrix 是一種評價分類模型好壞的形象化展示工具。其中，矩陣的每一列表示的是模型 的樣本情況 矩陣的每一行表示的樣本的真實情況。1.混淆矩陣的舉例 例如用乙個分類模型來判別乙個水果是蘋果還是梨，混淆矩陣將會模型的 結果總結成如下表所示的 模型 結果...