模型效果驗證方法

2021-09-01 00:09:00 字數 624 閱讀 2692

對於回歸問題,一般採用均方誤差驗證。

對於分類問題,首先要明確兩個概念:查準率和查全率。資料可以分成四種類別:真正例tp、真反例tn、假正例fp、假反例fn。tp是指**結果是正例,實際也是正例的資料;tn指**結果是反例,實際也是反例的資料;fp是指**結果是正例,實際是反例的資料;fn指**結果是反例,實際是正例的資料。它們可以構成乙個混淆矩陣。查準率表示在所有**為正例/反例的資料中實際也是正例/反例的資料的比例,舉例像晚上我們買了幾個西瓜,買的時候覺得它們都很甜,拿回去切開後才發現有幾個還沒熟。查全率表示在實際是正例/反例的資料中**為正例/反例的比例,就好比瓜農拿了幾個好瓜給我們,我們覺得有幾個瓜比較甜,實際上全都很甜。查準率和查全率是比較矛盾的兩個指標,一方較大那麼另一方往往會較小。

p-r曲線可以用來評估兩個學習器的效果好壞,它以查準率為橫軸、查全率為縱軸。如果一條學習器的曲線能完全包住另一條曲線,那麼前者的效果比後者好。如果兩條曲線有交叉,那麼平衡點離兩個座標軸較遠的學習器效果較好。

f1指標是查準率和查全率的調和平均值,它兼顧考慮了兩個量。

對於roc曲線而言,如果乙個學習器的曲線能夠完全包住另一條曲線,那麼前者的效果好於後者,這和p-r曲線相同。當兩條曲線有交叉時也考慮曲線與座標軸的面積,大者較好,auc就是表示roc曲線與座標軸面積的量。

kotlin中join方法效果驗證

kotlin 中join 方法可以在乙個作業中中等待另乙個作業結束後再進行其他操作,如下 對以日誌的形式直觀化這個效果 import kotlinx.coroutines.fun main runblocking finally delay 1300l println main i m tired ...

模型驗證方法 R語言

在資料分析中經常會對不同的模型做判斷 作用 一種比較簡單的模型驗證方法,可算出不同模型的 精度 將模型的 值與實際值組合成乙個矩陣,正例一般是我們要 的目標。真正例就是 為正例且實際也是正例 正確 假反例是實際是正例但模型錯誤 成反例 即 錯誤 假正例是 是模型 是正例,但實際是反例 真反例是 是反...

hoard效果驗證

das前置機和伺服器有崩潰的情況,是否是大量請求時記憶體不足所致?乙個umx檔案載入進記憶體,記憶體消耗為什麼增大了非常多?如幾十m的資料檔案,載入解析成物件後記憶體暴增幾百兆 以前有過此現象 hoard對此的改善有多大?測試 int new buf int times,int size for i...