機器學習中的模型評估指標
二、回歸問題
先明確幾個概念，真/假陽性，真/假陰性。
對於這樣的乙個混淆矩陣，我們希望模型能夠做到，tp和tn盡可能地高，而fp和fn盡可能地低。但是對於乙個定量的評估來說，這樣只憑藉混淆矩陣看一眼來比較是不夠科學客觀的，因此後面也在真/假陽性，真/假陰性定義的基礎上，題出了更多的標準。
a cc
urac
y=tp
+tnt
p+fp
+tn+
fn=正
確分類樣
本個數樣
本總個數
accuracy=\frac=\frac
accura
cy=t
p+fp
+tn+
fntp
+tn
=樣本總
個數正確
分類樣本
個數通過準確率來進行模型評估是最簡單直觀的辦法，但是也有乙個很重要的缺陷，當分類的樣本不均衡時，準確率並不夠客觀。
假如在所有的樣本中，99%的樣本都是負樣本，那麼模型直接無腦全部判別為負樣本，依然會有99%的準確率，這顯然是我們不希望的。
精確率是指分類正確的正樣本的個數，與分類為正樣本的個數之比。
p re
cisi
on=t
ptp+
fpprecision=\frac
precis
ion=
tp+f
ptp
召回率是指分類正確的正樣本的個數，與實際為正樣本的個數之比。
r ec
all=
tptp
+fnrecall=\frac
recall
=tp+
fntp
可以看出，precision和recall是兩個既矛盾又統一的兩個指標，為了提高precision，模型會「小心翼翼」的把最可能是正樣本的例子分類為正，而這又會漏掉部分正樣本，導致了recall的降低。
因此，可以知道，乙個好的模型具備這種特徵：precision和recall都盡可能地高。自然的，就有了p-r曲線：橫軸為recall，縱軸為precision。其缺點是，當正負樣本的比率變化時，p-r曲線也會發生較大的變換，因此這個評價方法也不夠客觀，這也引出了接下來的roc曲線。
對於真陽性率（true positive rate）：
t pr
=tpt
p+fn
tpr=\frac
tpr=tp
+fnt
p發現他的公式與recall是同樣的。同時tpr又叫做靈敏度 sensitivity.
對於假陽性率（false positive rate）：
f pr
=fpt
n+fp
fpr=\frac
fpr=tn
+fpf
proc曲線：reciever operating characteristic。以假陽性率為橫軸，真陽性率為縱軸進行繪製。
同時也有乙個auc的定義：area uncer curve。即roc曲線下的面積，當auc越接近1時，說明模型越好，一般來說，auc的取值範圍是(
0.5,1)
(0.5,1)
(0.5,1
)，如果當auc
<
0.5auc<0.5
auc<0.
5時，可以考慮將分類的結果進行反轉，即pre
dcti
on=1
−pre
dict
ionpredction = 1-prediction
predct
ion=
1−pr
edic
tion
，可以得到更好的效果。若auc
=0.5
auc=0.5
auc=0.
5，說明模型什麼也沒學習到，只是在進行乙個隨機的分類。
回歸問題的評估量化思想主要有兩個，即l1與l2範數的思想。
最常見的是平方根誤差：
r ms
e=∑i
=1n(
yi−y
i^)2
nrmse=\sqrt^(y_i-\hat)^2}}
rmse=n
∑i=1
n(y
i−y
i^
)2
其思想來自l2正則化，衡量的是兩個向量之間的歐式距離，即他們的長度方面的誤差。rmse能很好的反應**值與真實值之間的偏離程度，但它的缺點是對個別的偏離較大的異常點比較敏感。
平均絕對百分比誤差：mean absolute percent error
m ap
e=∑i
=1n∣
yi−y
i^yi
∣×100n
mape=\sum_^\left| \frac} \right|\times\frac
mape=i
=1∑n
∣∣∣
∣yi
yi
−yi
^∣
∣∣∣
×n10
0相對於rmse，mape對每個點的誤差進行了歸一化，降低了離群點帶來的誤差影響。他的魯棒性比rmse更好。
機器學習 模型評估指標
from sklearn.metrics import accuracy score print 準確率 accuracy score y true,y pred,normalize true print 正確分類的數量 accuracy score y true,y pred,normalize ...
機器學習分類模型效果評估指標
機器學習分類模型效果評估指標 準確率 精確率 召回率 f1 score 1 準確率 精確率 召回率 f1 score 我們以分類演算法為例，假設班裡有50個同學，其中男生30個，女生20個，我們根據身高 體重 頭髮長度 聲音分貝等等特徵，想找到所有女生，比如已經有這樣乙個分類器了，得到結果如下 這裡...
Tips 機器學習模型常見評估指標
1.混淆矩陣 confusion matrix positive 1 negative 0 positive 1 tp 1,1 fp 1,0 negative 0 fn 0,1 tn 0,0 列為模型 值，行為樣本實際值。2.準確率 精確率 靈敏度 召回率 特異性 f1 score 3.roc和au...