作者|aniruddha bhandari 編譯|vk **|analytics vidhya
你已經建立了你的機器學習模型-那麼接下來呢？你需要對它進行評估，並驗證它有多好（或有多壞），這樣你就可以決定是否實現它。這時就可以引入auc-roc曲線了。
這個名字可能有點誇張，但它只是說我們正在計算「receiver characteristic operator」（roc）的「area under the curve」（auc）。
別擔心，我們會詳細了解這些術語的含義，一切都將是小菜一碟！
現在，只需知道auc-roc曲線可以幫助我們視覺化機器學習分類器的效能。雖然它只適用於二值分類問題，但我們將在最後看到如何擴充套件它來評估多類分類問題。
我們還將討論敏感性(sensitivity )和特異性(specificity )等主題，因為這些是auc-roc曲線背後的關鍵主題。
混淆矩陣：
從混淆矩陣中，我們可以得到一些在前面的文章中沒有討論過的重要度量。讓我們在這裡談談他們。
敏感度/真正例率/召回率
敏感度告訴我們什麼比例的正例得到了正確的分類。
乙個簡單的例子是確定模型正確檢測到的實際病人的比例。
假反例率
假反例率（fnr）告訴我們什麼比例的正例被分類器錯誤分類。
更高的tpr和更低的fnr是可取的，因為我們希望正確地分類正類。
特異性/真反例率
特異性告訴我們什麼比例的反例類得到了正確的分類。
以敏感性為例，特異性意味著確定模型正確識別的健康人群比例。
假正例率
fpr告訴我們哪些負類被分類器錯誤分類。
更高的tnr和更低的fpr是可取的，因為我們想正確地分類負類。
在這些指標中，敏感性和特異性可能是最重要的，我們稍後將看到如何使用它們來構建評估指標。
但在此之前，我們先來了解一下為什麼**概率比直接**目標類要好。
機器學習分類模型可以直接**資料點的實際類別或**其屬於不同類別的概率。
後者使我們對結果有更多的控制權。我們可以確定自己的閾值來解釋分類器的結果。這更為謹慎！
為資料點設定不同的分類閾值會無意中改變模型的敏感性和特異性。
其中乙個閾值可能會比其他閾值給出更好的結果，這取決於我們的目標是降低假反例還是假正例的數量。
請看下表：
度量值隨閾值的變化而變化。我們可以生成不同的混淆矩陣，並比較上一節中討論的各種度量。
但這樣做並不明智。相反，我們所能做的是在這些度量之間生成乙個圖，這樣我們就可以很容易地看到哪個閾值給了我們乙個更好的結果。
auc-roc曲線正好解決了這個問題！
roc曲線是二值分類問題的乙個評價指標。它是乙個概率曲線，在不同的閾值下繪製tpr與fpr的關係圖，從本質上把「訊號」與「雜訊」分開。
曲線下面積（auc）是分類器區分類的能力的度量，用作roc曲線的總結。
auc越高，模型在區分正類和負類方面的效能越好。當auc=1時，分類器能夠正確區分所有的正類點和負類點。然而，如果auc為0，那麼分類器將**所有的否定為肯定，所有的肯定為否定。
當0.5
當auc=0.5時，分類器無法區分正類點和負類點。這意味著分類器要麼**所有資料點的隨機類，要麼**常量類。
因此，分類器的auc值越高，其區分正類和負類的能力就越好。
在roc曲線中，較高的x軸值表示假正例數高於真反例數。而y軸值越高，則表示真正例數比假反例數高。
因此，閾值的選擇取決於在假正例和假反例之間進行平衡的能力。
讓我們深入一點，了解不同閾值下roc曲線的形狀，以及特異性和敏感性的變化。
我們可以嘗試通過為每個對應於閾值的點生成混淆矩陣來理解此圖，並討論分類器的效能：
a點是敏感性最高，特異性最低的地方。這意味著所有的正類點被正確分類，所有的負類點被錯誤分類。
事實上，藍線上的任何一點都對應於真正例率等於假正例率的情況。這條線上的所有點都對應於屬於正類的正確分類點的比例大於屬於負類的錯誤分類點的比例的情況。
雖然b點與a點具有相同的敏感性，但具有較高的特異性。這意味著錯誤的負類點數量比上乙個閾值要低。這表明此閾值比前一閾值好。
在c點和d點之間，在相同特異度下，c點的敏感性高於d點。這意味著，對於相同數量的錯誤分類的負類點，分類器**的正類點數量更高。因此，c點的閾值優於d點。
現在，取決於我們要為分類器容忍多少錯誤的分類點，我們將在b點和c點之間進行選擇，以**你是否可以在pubg中擊敗我。
「錯誤的希望比恐懼更危險。」——j.r.r.托爾金e點是特異性最高的地方。也就是說沒有假正例被模型分類。該模型能對所有的負類點進行正確的分類！如果我們的問題是給使用者提供完美的歌曲推薦，我們會選擇這一點。按照這個邏輯，你能猜出乙個完美的分類器對應的點在圖上的什麼位置嗎？
對！它將位於roc圖的左上角，對應於笛卡爾平面中的座標（0，1）。在這裡，敏感性和特異性都將是最高的，分類器將正確地分類所有的正類點和負類點。
現在，要麼我們可以手動測試每個閾值的敏感性和特異性，要麼讓sklearn為我們做這項工作。我們選擇sklearn
讓我們使用sklearn make_classification 方法建立任意資料：
我將在此資料集上測試兩個分類器的效能：
sklearn有乙個非常有效的方法roc_curve()，它可以在幾秒鐘內計算分類器的roc！它返回fpr、tpr和閾值：
可以使用sklearn的roc_auc_score()方法計算auc得分：
我們還可以使用matplotlib繪製這兩種演算法的roc曲線：0.9761029411764707 0.9233769727403157結果表明，logistic回歸roc曲線的auc明顯高於knn-roc曲線。因此，我們可以說logistic回歸在分類資料集中的正類方面做得更好。
就像我之前說過的，auc-roc曲線只適用於二元分類問題。但是，我們可以通過一對多技術將其擴充套件到多類分類問題。
因此，如果我們有三個類0、1和2，那麼class 0的roc將如此生成，正例為類0，反例為非類0，也就是類1和類2。以此類推。
多類分類模型的roc曲線可以確定如下：
我希望你發現本文有助於理解auc-roc曲線度量在衡量分類器效能方面的強大功能。你會在工業界，甚至在資料科學經常用到這個。最好熟悉一下！
sklearn機器學習中文官方文件：
機器學習 AUC ROC
混淆矩陣的概念 正 反 實際正tp fn實際反 fptn 真陽性率 tp tp fn 偽陽性率 fp fp tn 在二維空間中，橫軸為偽陽性率，縱軸為真陽性率，改變演算法的引數，真陽性率和偽陽性率都會發生改變，將這樣的多個點串連起來，即得roc曲線，auc即為roc曲線下的面積 0.5當roc曲線為...
機器學習中的PR曲線和ROC曲線
主要是我對周志華 機器學習 第二章模型估計與選擇中一些內容的總結 對於二分類問題，可將樣例根據其真實類別與學習器 類別的組合劃分為真正例 tp 假反例 fn 假正例 fp 真反例 tn 具體分類結果如下 查準率p和查全率r分別定義為 查準率關心的是 出正例的正確率 即從正反例子中挑選出正例的問題。查...
機器學習中的PR曲線和ROC曲線
主要是我對周志華 機器學習 第二章模型估計與選擇中一些內容的總結 1.查準率 查全率和f1 對於二分類問題，可將樣例根據其真實類別與學習器 類別的組合劃分為真正例 tp 假反例 fn 假正例 fp 真反例 tn 具體分類結果如下 查準率p和查全率r分別定義為 查準率關心的是 出正例的正確率 即從正反...
