二 模型評估

2021-09-11 22:25:15 字數 779 閱讀 9896

1、區別歐式距離和餘正弦距離?

2、無偏估計和有偏估計的區別?

4.模型評估中不同的指標應用在什麼場景中?

(1)準確率acc(分類問題)應用於樣本類別比例平衡時,平均準確率,應用在不同類別樣本比例非常不平衡時。

(2)針對實際的需求,權衡不同閾值下的召回率和精確率(pr曲線),使用乙個指標調和平均值來綜合反映模型的效能(排序模型)

(3)均方根誤差用於衡量回歸模型的好壞,但出現樣本的離群點非常大時,從指標的角度考慮,應該選擇平均絕對百分比誤差指標評估

(4)二值分類器的評估指標:精確率,召回率,f1 score,pr曲線,還有一種roc曲線。 其中roc曲線能降低不同測試卷集帶來的干擾,特別適用於正負樣本數量不平衡的情況。若是希望看到模型在特定資料集的表現則pr曲線更加合適。

(5)歐式距離體現數值的絕對差異,余弦距離體現方向的相對差異,實際的使用看哪個的差異較為明顯 kl距離,評估兩個分布之間的差異

(6)a/b測試用於驗證模型的最終效果,分實驗組和測試組

參考:百面

二 模型評估與選擇

m個樣本中有a個分類錯誤,則錯誤率e a m 1 a m 實際 輸出與樣本真實輸出之間的差異稱為誤差,學習器在訓練集上的誤差稱為 訓練誤差 或者 經驗誤差 在新樣本上的誤差稱為 泛化誤差 generalization error 顯然我們希望得到泛化誤差小的機器。過擬合 學習器把訓練樣本學的太好,很...

keras評估模型

當建立好模型並且用來訓練之後,如何評估模型的好壞,準確度又如何呢?三種常用方法 1 使用自動驗證方法 在 fit 函式中增加乙個validation split引數,該引數用來進行驗證效果 該引數可以自由設定,一般設定為20 或者30 也就是測試集佔總資料集的20 或者30 的資料用來進行驗證,其餘...

模型評估方法

有些自己熱愛卻因為被迫無奈而放棄的東西,慢慢記錄吧。以後想起,我還會知道自己學過這些。機器學習 周志華著的這本書是乙個很好的學習資料,其實我更喜歡這本書的樣子,漂亮而且有種童話故事的感覺。一 經驗誤差與過擬合 1.無論什麼時候,我們都希望得到乙個泛化誤差 在新樣本上的誤差 小的學習器。但有時候會出現...