roc曲線（receiver operating characteristic），是乙個二維的曲線圖，橫座標是fpr（即實際為負例樣本，被錯誤判斷為正例的比率），縱座標tpr（即實際為正例樣本，被正確判斷為正例的比率）。roc是怎麼畫出來的？遍歷所有的概率值，例如取概率大於0.7的判斷為正例，小於0.7的判斷為負例，對應可以算出一組(fpr,tpr),閾值最大時，對應座標點為(0,0),閾值最小時，對應座標點(1,1)。曲線距離左上角越近，證明模型效果越好。如下圖紅線。
主要作用：
roc曲線能很容易的查出任意閾值對學習器的泛化效能影響。
有助於選擇最佳的閾值（即界定正負樣本的概率）。roc曲線越靠近左上角，模型的查全率就越高。最靠近左上角的roc曲線上的點是分類錯誤最少的最好閾值，其假正例和假反例總數最少。
可以對不同的學習器比較效能。將各個學習器的roc曲線繪製到同一座標中，直觀地鑑別優劣，靠近左上角的roc曲所代表的學習器準確性最高。
roc只能通過圖形判斷，auc則是用標量來衡量roc的值。auc值為roc曲線所覆蓋的區域面積，顯然，auc越大，分類器分類效果越好。
當auc=1，這個分類器可以完美的分類，但是這個是不存在；
當0.5ks曲線和roc曲線類似，ks值是ks圖中兩條線之間最大的距離，其可以判斷分類器的劃分能力。模型輸出一般為概率，我們會設定乙個閾值來界定發生與不發生，比如50%以上表示發生，50%一下表示不發生。這個閾值就是ks曲線的橫軸。
ks的縱軸分別表示fpr（紅線）、tpr（綠線）與tpr與fpr的距離。從下圖可以看出，當閾值為0.41的時候，差距最大及粉色線的頂點。
模型評價指標
機器學習模型中常見的是分類問題，分類模型的評價指標主要有 1 精確率 2 召回率 3 f值 4 auc值 roc曲線 分類問題可劃分成二分類和多分類問題，其中二分類最為常見，多分類問題大都也是轉化成二分類問題求解，因此本文主要基於二分類模型進行模型評價指標的分析。1 給定標記好的模型訓練資料，經分類...
回歸模型評價指標
回歸模型應用場景 趨勢分析 投資風險分析等 1 mae mean absolute error 平均絕對差值 2 mse mean square error 均方誤差，是回歸任務最常用的效能度量，最小二乘估計也是使用均方誤差 3 log對數損失函式 邏輯回歸 交叉熵損失，其實是由最大似然估計推導而來...
網路模型評價指標
最近看 又發現乙個容易忘記的點，網路的評價指標，就見到乙個乙個的縮寫 ac ja di sp se，dc人是懵的，在這裡寫上乙個筆記，方便自己檢視！accuracy 又稱準確率，中正確的部分佔總 的比重 a c tp tn tp tn f p fn ac tp tn tp tn fp fn ac t...