一下內容**自：
roc（receiver operating characteristic）曲線和auc常被用來評價乙個二值分類器（binary classifier）的優劣。
1） roc曲線
在訊號檢測理論中，接收者操作特徵曲線（receiver operating characteristic curve，或者叫roc曲線）是一種座標圖式的分析工具，用於(1) 選擇最佳的訊號偵測模型、捨棄次佳的模型。 (2) 在同一模型中設定最佳閾值。
在做決策時，roc分析能不受成本／效益的影響，給出客觀中立的建議。在機器學習的可能就是不受訓練資料的影響，可以直接評價該模型的的效能。
分類模型（又稱分類器，或診斷）是將乙個例項對映到乙個特定類的過程。roc分析的是二元分類模型，也就是輸出結果只有兩種類別的模型，例如：（陽性／陰性）（有病／沒病）（垃圾郵件／非垃圾郵件）（敵軍／非敵軍）。當分類的的物件是乙個連續值時必須要使用閾值進行分隔，分隔點就叫做分隔門限。
二元分類有四種結果（以高血壓**為例）：
真陽性（tp）：診斷為有，實際上也有高血壓。
偽陽性（fp）：診斷為有，實際卻沒有高血壓。
真陰性（tn）：診斷為沒有，實際上也沒有高血壓。
偽陰性（fn）：診斷為沒有，實際卻有高血壓。
關於上面這四種結果記起來比較繞，true false前面的表示**結果的是否正確，true表示**對了，false表示**錯了。postive、negtive表示**的結果是什麼，n表示**的結果是負樣本，p表示**的結果是正樣本。
在上面的四種分類結果中t表示true也就是表示**的結果是正確的，false則表示**的結果是錯誤的；postive則表示訓練資料的真實分類為正的，negtive表示訓練資料的真實分類為負。對以上的結果可以使用乙個2*2的矩陣進行描述：
從上面的二維矩陣中可以引出一下幾個指標：這些東西的起名都是**的類別相對與真實的樣本之間稱呼。
2） roc空間
roc空間將偽陽性率（fpr）定義為 x 軸，真陽性率（tpr）定義為 y 軸。就能從所有樣本的（陽性／陰性）真實值和**值計算出乙個 (x=fpr, y=tpr) 座標點。從 (0, 0) 到 (1,1) 的對角線將roc空間劃分為左上／右下兩個區域，在這條線的以上的點代表了乙個好的分類結果（勝過隨機分類），而在這條線以下的點代表了差的分類結果（劣於隨機分類）。
完美的**是乙個在左上角的點，在roc空間座標 (0,1)點，x=0 代表著沒有偽陽性，y=1 代表著沒有偽陰性（所有的陽性都是真陽性）；也就是說，不管分類器輸出結果是陽性或陰性，都是100%正確。乙個隨機的**會得到位於從 (0, 0) 到 (1, 1)對角線（也叫無識別率線）上的乙個點；最直觀的隨機**的例子就是拋硬幣。
讓我們來看在實際有100個陽性和100個陰性的案例時，四種**方法（可能是四種分類器，或是同一分類器的四種閾值設定）的結果差異：
對以上的四個例子進行分析：
3） roc曲線
上面的roc空間中的單點是在給定模型並且給定閾值的情況下得出的點，但是對於同一模型來說可能會有很多的閾值，那麼將同一模型的所有閾值產生的點放到roc空間中形成的曲線就是roc曲線。
比較不同分類器時，roc曲線的實際形狀，便視兩個實際分布的重疊範圍而定，沒有規律可循。
在同乙個分類器之內，閾值的不同設定對roc曲線的影響，仍有一些規律可循：
→當閾值設定為最高時，必得出roc座標系左下角的點 (0, 0)。
→當閾值設定為最低時，必得出roc座標系右上角的點 (1, 1)。
→隨著閾值調低，roc點往右上（或右／或上）移動，或不動；但絕不會往左／下／左下移動。
4） auc曲線下面積
在比較不同的分類模型時，可以將每個模型的roc曲線都畫出來，比較曲線下面積做為模型優劣的指標。
意義[編輯
]roc曲線下方的面積（英語：area under the curve of roc (auc roc)），其意義是：
因為是在1x1的方格裡求面積，auc必在0~1之間。
假設閾值以上是陽性，以下是陰性；
若隨機抽取乙個陽性樣本和乙個陰性樣本，分類器正確判斷陽性樣本的值高於陰性樣本之概率
[1]。
簡單說：auc值越大的分類器，正確率越高。
從auc判斷分類器（**模型）優劣的標準：
計算採用梯形法，將每個點與點之間使用直線相連，形成乙個個的梯度，這樣直接計算這些梯度的面積進行求和。
離散分類器（英語：discrete，或稱「間斷分類器」），如決策樹，產生的是離散的數值或者乙個二元標籤。應用到例項中，這樣的分類器最後只會在roc空間產生單一的點。而一些其他的分類器，如樸素貝葉斯分類器，邏輯回歸或者人工神經網路，產生的是例項屬於某一類的可能性，對於這些方法，乙個閾值就決定了roc空間中點的位置。舉例來說，如果可能值低於或者等於0.8這個閾值就將其認為是陽性的類，而其他的值被認為是陰性類。這樣就可以通過畫每乙個閾值的roc點來生成乙個生成一條曲線。
對於分類器只有閾值可調時才能產生roc曲線否則只是roc空間的乙個單點。
二分類問題評價指標
當乙個分類器建立後，要對其分類準確度進行評價。分類器的效能評價不僅能夠指導分類器的訓練過程，而且可以比較不同分類器的效能。本文主要介紹混淆矩陣和常用的幾個評價指標。對於乙個二分類問題，可以得到如下的混淆矩陣，行表示資料在模型上的 類別 predicted class predicted condit...
二分類模型評價指標 AUC
auc的含義和計算 auc針對二分類模型效果進行評價，二分類模型有時可能得到的是乙個概率值，這個概率值表明為 0或1類 的可能性 不同於決策樹分類，我們會直接得到乙個確切分類 我們劃定乙個具體概率值p，大於則為正，小於則為負，然後使用acc或其他指標評價，其實這樣做有很大漏洞，我們不能準確找到這個具...
二分類和多分類問題的評價指標總結
準確率，精確率，召回率，f1 score，auc,roc,p r曲線 1.1 準確率 accuracy 評價分類問題的效能指標一般是分類準確率，即對於給定的資料，分類正確的樣本數佔總樣本數的比例。注意 準確率這一指標在unbalanced資料集上的表現很差，因為如果我們的正負樣本數目差別很大，比如正...