p-r圖，即以查全率做橫軸，查準率做縱軸的平面示意圖，通過p-r曲線，來綜合判斷模型的效能。
p-r圖的畫法是先對對**結果進行排序，排在前面的是學習器認為最可能是正例的樣本，排在最後面的是最不可能的樣本。按順序，依次將每乙個樣本劃分為正例進行**，就得到了多組查準率和查全率的值。
roc空間是乙個以假陽性率（fpr，false positive rate）為x軸，真陽性率（tpr, true positive rate）為y軸的二維座標系所代表的平面。
在乙個二分類模型中，對於所得到的連續結果，假設已確定乙個閥值，比如說 0.6，大於這個值的例項劃歸為正類，小於這個值則劃到負類中。如果減小閥值，減到0.5，固然能識別出更多的正類，也就是提高了識別出的正例佔所有正例 的比類，即tpr,但同時也將更多的負例項當作了正例項，即提高了fpr。為了形象化這一變化，在此引入roc，roc曲線可以用於評價乙個分類器。
接下來，我們從高到低，依次將「score」值作為閾值threshold，當測試樣本屬於正樣本的概率大於或等於這個threshold時，我們認為它為正樣本，否則為負樣本。舉例來說，對於圖中的第4個樣本，其「score」值為0.6，那麼樣本1，2，3，4都被認為是正樣本，因為它們的「score」值都大於等於0.6，而其他樣本則都認為是負樣本, 其中分類的正確的（即模型認為是正例和反例的樣本，其標記剛好也是正例和反例），tp = 3, fn = 9, fp = 1, tn = 7。tpr
=tpt
p+fn
=33+
9=0.25
tpr = \frac = \frac = 0.25
tpr=tp
+fnt
p=3
+93
=0.25fp
r=fp
tn+f
p=11
+7=0.125
fpr = \frac = \frac = 0.125
fpr=tn
+fpf
p=1
+71
=0.1
25每次選取乙個不同的threshold，我們就可以得到一組fpr和tpr，即roc曲線上的一點。這樣一來，我們一共得到了20組fpr和tpr的值，將它們畫在roc曲線的結果如下圖：
假設分類器的輸出是樣本屬於正類的socre（置信度），則auc的物理意義為，任取一對（正、負）樣本，正樣本的score大於負樣本的score的概率。從而我們能夠理解對於auc而言，並不關心具體**的結果是標籤或者概率，也不需要卡什麼閾值，只要在**結果之間有排序即可。
那麼如何計算auc?
【這裡】介紹了三種方法。
《百面機器學習》模型評估
沒有測量，就沒有科學。門捷列夫 在模型評估過程中，分類問題 排序問題 回歸問題往往需要使用不同的指標進行評估。在諸多的評估指標中，大部分指標只能片面地反映模型的一部分效能。如果不能合理地運用評估指標，不僅不能發現模型本身的問題，而且會得出錯誤的結論。準確率 accuracy 精確率 precisio...
機器學習面筆試 資料篇
常用的有白化，去均值，歸一化和pca。可參考這裡。常用的歸一化方法 線性歸一化和0均值標準化 線性歸一化將資料轉換到 0,1 之間 xn orm x xm inxm ax x min xno rm x xmi nxma x xm in 0均值標準化，均值為0，方差為1的資料集 z x z x 為資料...
機器學習面筆試 資料篇
常用的有白化，去均值，歸一化和pca。可參考這裡。常用的歸一化方法 線性歸一化和0均值標準化 線性歸一化將資料轉換到 0,1 之間 xn orm x xm inxm ax x min role presentation xno rm x xmi nxma x xm inxn orm x xm inx...