機器學習 對分類問題的評價方法

2021-09-22 08:24:11 字數 1017 閱讀 5661

準確率(accuracy):正確**的樣本佔所有樣本的比例

精確率/查準率(precision):**為true的樣本中真正為true的比例, p = tp/(tp + fp)

查全率/召回率(recall):所有正樣本中被正確**的比例,r = tp/(tp+fn)

f1-score:查準率和查全率的調和平均值

roc曲線指受試者工作特徵曲線(receiver operating characteristic curve), 是反映敏感性和特異性連續變數的綜合指標,是用構圖法揭示敏感性和特異性的相互關係,它通過將連續變數設定出多個不同的臨界值,從而計算出一系列敏感性和特異性,再以敏感性為縱座標、(1-特異性)為橫座標繪製成曲線,曲線下面積越大,診斷準確性越高。在roc曲線上,最靠近座標圖左上方的點為敏感性和特異性均較高的臨界值

混淆矩陣

混淆矩陣也稱誤差矩陣,是表示精度評價的一種標準格式,用n行n列的矩陣形式來表示。具體評價指標有總體精度、製圖精度、使用者精度等,這些精度指標從不同的側面反映了影象分類的精度。 在人工智慧中,混淆矩陣(confusion matrix)是視覺化工具,特別用於監督學習,在無監督學習一般叫做匹配矩陣。

roc曲線優點

roc曲線缺點

為了更好的衡量roc所表達結果的好壞,area under curve(auc)被提了出來,簡單來說就是曲線右下角部分佔正方形格仔的面積比例。auc 的值在0.5到1之間,越接近1表示分類器的效果越好。對於多個分類器的auc曲線,若其中一條曲線完全包圍另一條曲線時,則可以認為前一條曲線所對應分類器的效果更好,此時它所包含的右下角的面積也更大。

p-r曲線定義

p-r曲線是由查準率和召回率共同構成的曲線,其中橫軸為召回率,縱軸為查準率

使用場景

機器學習評價方法

precision 的結果中 正確的正例 的結果中所有為1的值 recall 的結果中 正確的正例 真實存在的正例數 所以p r curve 對負樣本的比例不敏感 1 真陽性 true positive,tp 檢測不健康,且實際不健康 正確肯定的匹配數目 2 假陽性 false positive,f...

機器學習 評價分類結果(ROC 曲線)

1 定義 模型不限於是否通過極度偏斜的資料訓練所得 比較方式 roc 曲線與座標圖形邊界圍成的面積,越大模型越優 tpr true positive rate 真正率 被 為正的正樣本結果數 正樣本實際數 tpr tp tp fn tnr true negative rate 真負率 被 為負的負樣...

機器學習 分類,回歸,聚類 評價指標

機器學習 分類,回歸,聚類 評價指標 分類問題 roc 接收操作者特徵曲線 最早用於雷達訊號檢測領域,用於區分訊號與雜訊。現用來評價模型的 能力,roc曲線基於混淆矩陣得出的。兩個指標 真陽率 tpr 為縱座標與假陽率 fpr 為橫座標 tpr越高,同時fpr越低 即roc曲線越陡 模型效能越好 a...