靈敏度(sensitivity)
特異度(specificity)
1 - 特異度
roc曲線
auc(area under curve)
-**為真
**為假
標籤為真
tpfn
標籤為假
fptn
a cc
urac
y=tp
+tnt
p+fp
+fn+
tnaccuracy= \frac
accura
cy=t
p+fp
+fn+
tntp
+tn
該評價指標容易受到正負樣本不平衡影響，若正樣本數量很少，也可以得到高正確率的模型，但是並沒有實際作用（模型基本沒學到正樣本的特徵）。為了解決這一問題，因此提出了準確率和召回率。
p re
cisi
on=t
ptp+
fpprecision= \frac
precis
ion=
tp+f
ptp
該評價指標衡量正確**正樣本佔實際**為正樣本的比例。
r ec
all=
tptp
+fnrecall= \frac
recall
=tp+
fntp
該評價指標可以衡量正確**正樣本佔正樣本的比例。
一般來說模型的召回率越高，模型的準確率越低；模型的準確率越高，召回率越低。（越貪心犯錯的概率就越大）那麼可以看出過高的召回率或者過高的準確率都不是理想的指標，因此就提出了採用召回率和準確率的調和平均值f1值作為評價指標：
f 1=
21pr
ecis
ion+
1rec
allf1= \frac +\frac}
f1=pre
cisi
on1
+rec
all1
2四種平均數大小關係：調和平均數≤幾何平均數≤算術平均數≤平方平均數。可以看出調和平均數最接近較小值。
如果是多分類情況下，在使用f1分數時可以選擇是micro還是macro，macro指對單個類別計算f1值，再用其算數平均值作為最終結果；而micro將全部類別當作乙個整體，只計算1次f1值。因此macro受到樣本較少類別影響大，micro受樣本較多類別影響大。
靈敏度其實就是召回率
s en
siti
vity
=rec
all=
tptp
+fnsensitivity= recall = \frac
sensit
ivit
y=re
call
=tp+
fntp
s pe
cifi
city
=tnt
n+fp
specificity= \frac
specif
icit
y=tn
+fpt
n該評價指標可以衡量正確**負樣本佔負樣本的比例。
1 −s
peci
fici
ty=f
ptn+
fp1-specificity=\frac
1−spec
ific
ity=
tn+f
pfp
該評價指標可以衡量錯誤**負樣本佔負樣本的比例。
靈敏度又稱為真正率，1-特異度又稱為假正率，可以看出真正率和假正率都是基於真實樣本的條件概率，因此可以有效解決正負樣本不平衡的問題。真正率關心的是全體正樣本中有多少被**為真，假正率是關心全體負樣本中有多少被**為真。roc曲線就是在不同的threshold的條件下（**結果大於threshold記為**結果為真，反之為假），將其對應的真正率和假正率作為（y，x）座標繪製而成。如下圖所示：
為roc曲線下的面積，曲線下面積越大越好
模型評價指標
機器學習模型中常見的是分類問題，分類模型的評價指標主要有 1 精確率 2 召回率 3 f值 4 auc值 roc曲線 分類問題可劃分成二分類和多分類問題，其中二分類最為常見，多分類問題大都也是轉化成二分類問題求解，因此本文主要基於二分類模型進行模型評價指標的分析。1 給定標記好的模型訓練資料，經分類...
回歸模型評價指標
回歸模型應用場景 趨勢分析 投資風險分析等 1 mae mean absolute error 平均絕對差值 2 mse mean square error 均方誤差，是回歸任務最常用的效能度量，最小二乘估計也是使用均方誤差 3 log對數損失函式 邏輯回歸 交叉熵損失，其實是由最大似然估計推導而來...
網路模型評價指標
最近看 又發現乙個容易忘記的點，網路的評價指標，就見到乙個乙個的縮寫 ac ja di sp se，dc人是懵的，在這裡寫上乙個筆記，方便自己檢視！accuracy 又稱準確率，中正確的部分佔總 的比重 a c tp tn tp tn f p fn ac tp tn tp tn fp fn ac t...