分類器評價指標

2021-07-27 10:48:46 字數 1443 閱讀 3313

**:

by the way, classic post like 分類指標準確率(precision)和正確率(accuracy)的區別

精度召回率是廣泛用於資訊檢索和統計學分類領域的兩個度量值,用來評價結果的質量。其中精度是檢索出相關文件數與檢索出的文件總數的比率,衡量的是檢索系統的查準率;召回率是指檢索出的相關文件數和文件庫中所有的相關文件數的比率,衡量的是檢索系統的查全率

一般來說,precision就是檢索出來的條目(比如:文件、網頁等)有多少是準確的,recall就是所有準確的條目有多少被檢索出來了。

正確率、召回率和 f 值是在魚龍混雜的環境中,選出目標的重要評價指標。不妨看看這些指標的定義先:

1. 正確率 = 提取出的正確資訊條數 /  提取出的資訊條數

2. 召回率 = 提取出的正確資訊條數 /  樣本中的資訊條數

兩者取值在0和1之間,數值越接近1,查準率或查全率就越高。

正確率和召回率的相同點:分子相同;不同點在於分母:正確率的分母是提取出的item數量,而召回率的分母是所有item數量)

3. f值  = 正確率 * 召回率 * 2 / (正確率 + 召回率)(

f 值即為正確率和召回率的調和平均值)

【看個荔枝】

某池塘有1400條鯉魚,300只蝦,300只鱉。現在以捕鯉魚為目的。撒一大網(這個網就是分類器,只不過是無條件的分類器),逮著了700條鯉魚,200只蝦,100只鱉。那麼,這些指標分別如下:

正確率 = 700 / (700 + 200 + 100) = 70%

召回率 = 700 / 1400 = 50% 

f值 = 70% * 50% * 2 / (70% + 50%) = 58.3%

【再看個荔枝】

不妨看看如果把池子裡的所有的鯉魚、蝦和鱉都一網打盡,這些指標又有何變化:

正確率 = 1400 / (1400 + 300 + 300) = 70%

召回率 = 1400 / 1400 = 100%

f值 = 70% * 100% * 2 / (70% + 100%) = 82.35%        

由此可見,正確率是

評估捕獲的成果中目標成果所佔得比例

;召回率,顧名思義,就是從

關注領域中,召回目標類別的比例

;而f值,則是

綜合這二者指標的評估指標,用於綜合反映整體的指標

分類器的評價指標

分類器的評價指標主要作用是根據應用場景的不同,來評價不同的分類器效能。比如,癌症診斷中,寧可錯判乙個未患病患者,也不能遺漏乙個真實癌症患者 食品檢測中卻不同,對於不合格的食品,盡可能的乙個不漏。而對於一般的影象分類,就需要總和考慮,哪一方面判斷錯了都是不好的。分類矩陣 分類目標只有兩類,計為正例 p...

分類器常用評價指標

為正樣本 為負樣本 標記為正樣本 tp true positive fn false negative 標記為負樣本 fp false positive tn true negative accuracy a tp tn tp fn fp tn precision p tp tp fp recall...

分類演算法評價指標

第一種分析準則 第二種分析準則 0.0 0.20極低的一致性 slight 0.21 0.40一般的一致性 fair 0.41 0.60 中等的一致性 moderate 0.61 0.80 高度的一致性 substantial 0.81 1幾乎完全一致 almost perfect 例如對於眼底影象...