資料探勘系列(5)分類演算法評價

2021-08-02 15:27:15 字數 2314 閱讀 9397

一、引言

分類演算法有很多,不同分類演算法又用很多不同的變種。不同的分類演算法有不同的特定,在不同的資料集上表現的效果也不同,我們需要根據特定的任務進行演算法的選擇,如何選擇分類,如何評價乙個分類演算法的好壞,前面關於決策樹的介紹,我們主要用的正確率(accuracy)來評價分類演算法。

正確率確實是乙個很好很直觀的評價指標,但是有時候正確率高並不能代表乙個演算法就好。比如某個地區某天**的**,假設我們有一堆的特徵作為**分類的屬性,類別只有兩個:0:不發生**、1:發生**。乙個不加思考的分類器,對每乙個測試用例都將類別劃分為0,那那麼它就可能達到99%的正確率,但真的**來臨時,這個分類器毫無察覺,這個分類帶來的損失是巨大的。為什麼99%的正確率的分類器卻不是我們想要的,因為這裡資料分布不均衡,類別1的資料太少,完全錯分類別1依然可以達到很高的正確率卻忽視了我們關注的東西。接下來詳細介紹一下分類演算法的評價指標。

二、評價指標

1、幾個常用的術語

這裡首先介紹幾個常見的

模型評價術語,現在假設我們的分類目標只有兩類,計為正例(positive)和負例(negtive)分別是:

1)true positives(tp):  被正確地劃分為正例的個數,即實際為正例且被分類器劃分為正例的例項數(樣本數);

2)false positives(fp): 被錯誤地劃分為正例的個數,即實際為負例但被分類器劃分為正例的例項數;

3)false negatives(fn):被錯誤地劃分為

負例的個數,即

實際為正例但被分類器劃分為負例的例項數;

4)true negatives(tn):被正確地劃分為負

例的個數,即實際為負例且被分類器劃分為負例的例項數。

實際類別**類別

yesno總計

yestp fn

p(實際為yes) no

fp tn

n(實際為no) 總計

p』(被分為yes)

n』(被分為no)

p+n

上圖是這四個術語的混淆矩陣,我只知道fp叫偽陽率,其他的怎麼稱呼就不詳了。注意p=tp+fn表示實際為正例的樣本個數,我曾經誤以為實際為正例的樣本數應該為tp+fp,這裡只要記住true、false描述的是分類器是否判斷正確,positive、negative是分類器的分類結果。如果

正例計為1、負例計為-1,即positive=1、negtive=-1,用1表示true,-1表示false,那麼實際的類標=tf*pn,tf為true或false,pn為positive或negtive。例如true positives(tp)的實際類標=1*1=1為正例,false positives(fp)的實際類標=(-1)*1=-1為負例,false negatives(fn)的實際類標=(-1)*(-1)=1為正例,true negatives(tn)的實際類標=1*(-1)=-1為負例。

2、評價指標

1)正確率(accuracy)

正確率是我們最常見的評價指標,accuracy = (tp+tn)/(p+n),這個很容易理解,就是被分對的樣本數除以所有的樣本數,通常來說,正確率越高,分類器越好;

2)錯誤率(error rate)

錯誤率則與正確率相反,描述被分類器錯分的比例,error rate = (fp+fn)/(p+n),對某乙個例項來說,分對與分錯是互斥事件,所以accuracy =1 -  error rate;

3)靈敏度(sensitive)

sensitive = tp/p,表示的是所有正例中被分對的比例,衡量了分類器對正例的識別能力;

4)特效度(specificity)

specificity = tn/n,表示的是所有負例中被分對的比例,衡量了分類器對負例的識別能力;

5)精度(precision)

精度是精確性的度量,表示被分為正例的示例中實際為正例的比例,precision=tp/(tp+fp);

6)召回率(recall)

召回率是覆蓋面的度量,度量有多個正例被分為正例,recall=tp/(tp+fn)=tp/p=sensitive,可以看到召回率與靈敏度是一樣的。

7)其他評價指標

對於某個具體的分類器而言,我們不可能同時提高所有上面介紹的指標,當然,如果乙個分類器能正確分對所有的例項,那麼各項指標都已經達到最優,但這樣的分類器往往不存在。比如我們開頭說的****,沒有誰能準確****的發生,但我們能容忍一定程度的誤報,假設1000次**中,有5次**為發現**,其中一次真的發生了**,而其他4次為誤報,那麼正確率從原來的999/1000=99.9%下降到996/1000=99.6,但召回率從0/1=0%上公升為1/1=100%,這樣雖然謊報了幾次**,但真的**來臨時,我們沒有錯過,這樣的分類器才是我們想要的,在一定正確率的前提下,我們要求分類器的召回率盡可能的高。

資料探勘系列(7)分類演算法評價

一 引言 分類演算法有很多,不同分類演算法又用很多不同的變種。不同的分類演算法有不同的特定,在不同的資料集上表現的效果也不同,我們需要根據特定的任務進行演算法的選擇,如何選擇分類,如何評價乙個分類演算法的好壞,前面關於決策樹的介紹,我們主要用的正確率 accuracy 來評價分類演算法。正確率確實是...

資料探勘回顧一 分類演算法之 kNN 演算法

下面用最簡潔的話語說明 knn 演算法 knn 演算法 k 近鄰演算法 是一種分類演算法,即對於給出的一條待分類的資料或待分類的乙個東西,我們提取出這條資料的特徵值 按照特徵值,通過計算與已經分好類的所有條資料之間的一一歐式距離,把這些所有歐式距離排序,挑選出k個最短的距離 對於這k個最短的距離所對...

資料探勘常用聚類 分類演算法總結

1 knn演算法 k最鄰近分類演算法 from sklearn.model selection import train test split sklearn中引入訓練集測試集分割包 data train,data test,target train,target test train test s...