機器學習 評估指標

2021-08-18 02:28:54 字數 1327 閱讀 7644

2.1 錯誤率與精度:

m個樣本,有a個分錯。

錯誤率:e=

a/m

精度:acc

=1−a

/m

2.2 查準率、查全率和f1:

tp:真正例 / tn:真反例

fp:假正例 / fn:假反例

查準率:p=

tptp

+fp

查全率:r=

tptp

+fn

f1是查準率和查全率的調和平均數: 1f

1=12

(1p+

1r),

即:f1

=2×p

×rp+

r 與算術平均數相比,調和平均數更加重視較小值。如果對查全率和查準率有偏好,引出了加權調和平均數: fβ

=(1+

β2)×

p×r(

β2×p

)+r

其中β大於1時候,查全率r有更大的影響,小於1時查準率p會有更大的影響。

2.3 roc和auc:

將m+個正例和m-個負例放進模型,然後**值從小到大排列,模型目標是讓正例盡可能小,負例盡可能大,從最小樣例開始,如果是正例,就向上移一格,也就是(x

+1m+

,y) ,座標(0,1)就是所有正例都排在負例之前的理想情況,如果是負例就向右移動一格(x

roc曲線下的面積就是auc值,auc越接近1證明模型效果越好。

2.4 回歸模型評價指標

mse:均方差

mae:平均絕對值誤差

rmse:ms

e‾‾‾

‾‾√

tss:總平方和,表示樣本之間的差異情況。

rss:殘差平方和,表示**值和樣本值之間的差異情況 r2

:取值範圍(負無窮,1],值越大表示模型越擬合訓練資料;最優解是1;當模型**為隨機值的時候,有可能為負;若**值恒為樣本期望,為0 r2

=1−r

ssts

s=1−

∑(yi

−ŷ i

)2∑(

yi−y

⎯⎯)2

3.1 留出法

劃分出互斥的訓練集和測試集,注意兩個集合的分布盡量保持一致,通常採用分層取樣的方法。通過若干次的隨機劃分得到比較穩定可靠的結果。

3.2 交叉驗證法

p次k折的交叉驗證法,就是k-1個子集作為訓練集,剩下的1個作為測試集。

3.3 自助法

機器學習 模型評估指標

from sklearn.metrics import accuracy score print 準確率 accuracy score y true,y pred,normalize true print 正確分類的數量 accuracy score y true,y pred,normalize ...

機器學習 回歸評估指標

1.2 均方誤差 mse 1.3 判定係數 r 2 參考資料 機器學習 目錄 機器學習 分類評估指標 mae mean absolute error 平均絕對誤差,從圖形上看,mae 就相當於將資料點與擬合之間之間的距離絕對值之和。mae 缺點 絕對值函式是不可微分的,這不利於使用諸如梯度下降方法,...

機器學習 回歸評估指標

1.2均方誤差 mse 1.3判定係數 r 2 參考資料 mae mean absolute error 平均絕對誤差,從圖形上看,mae 就相當於將資料點與擬合之間之間的距離絕對值之和。mae 缺點 絕對值函式是不可微分的,這不利於使用諸如梯度下降方法,因此我們將使用更常見的 mse 均方誤差。f...