可以分為兩類，一類對於回歸問題，常常採用：
均方誤差(mean squared error)：
平均絕對誤差(mean absolute error ):
另一類對於分類問題，常常採用：
roc 全稱是"受試者工作特徵" (receiver operating characteristic) 曲線，而auc則是指area under roc curve，即roc曲線下的面積。進行學習器的比較時， 若乙個學習器的roc 曲線被另乙個學習器的曲線完全"包住"， 則可斷言後者的效能優於前者;若兩個學習器的roc 曲線發生交叉，則難以-般性地斷言兩者孰優孰劣. 此時如果一定要進行比較， 則較為合理的判據是比較roc 曲線下的面積，即auc (area underroc curve) 。
在現實任務中常會遇到這樣的情況:不同型別的錯誤所造成的後果不同.例如在醫療診斷中，錯誤地把患者診斷為健康人與錯誤地把健康人診斷為患者，看起來都是犯了"一次錯誤"但後者的影響是增加了進→步檢查的麻煩，前者的後果卻可能是喪失了拯救生命的最佳時機;再如，門禁系統錯誤地把口j通行人員攔在門外，將使得使用者體驗不佳，但錯誤地把陌生人放進門內，則會造成嚴重的安全事故.
為權衡不同型別錯誤所造成的不同損失，可為錯誤賦予"非均等代價" (unequa1 cost).以二分類任務為例，我們可根據任務的領域知識設定乙個"代價矩陣" (cost matrix) ，如表2.2 所示，其中costij 表示將第i 類樣本**為第j 類樣本的代價.一般來說， costii = 0; 若將第0 類判別為第1 類所造成的損失更大，則cost01 > costlo; 損失程度相差越大， cost01 與costlo 值的差別越大.
需要注意的一點，前面的roc和auc曲線都是預設在均等代價的條件下直接以次數作為錯誤率的衡量標準，而這個代價敏感錯誤率適用於非均等代價的情況。
周志華西瓜書筆記 第二章
2.1 經驗誤差與過擬合 錯誤率 分類錯誤的樣本佔樣本總數的比例 精度 1 錯誤率 誤差 學習器的實際 輸出與樣本的真實輸出之間的差異 訓練誤差 學習器在訓練集上的誤差 泛化誤差 在新樣本上的誤差 過擬合 過度學習樣本非主要特徵導致學習器泛化能力下降 欠擬合 未完全學習樣本的特徵 過擬合難以避免，欠...
西瓜書 第二章模型評估與選擇
錯誤率 a 分類錯誤的樣本個數 m 樣本個數 精度 1 錯誤率 誤差 實際 輸出與樣本的真實輸出之間的差異 訓練誤差 經驗誤差 學習器在訓練集上的誤差 泛化誤差 學習器在新樣本上的誤差 注 我們希望得到泛化誤差小的學習器 過擬合 學習器的學習能力過於強大，把樣本中所包含的不太一般的特性學到了，導致的...
四級閱讀第二天
abilities 能力 名詞 achieve 完成 動詞 complaints 抱怨 名詞 contributions 貢獻 名詞 displayed 動詞 essentially 至關重要的，本質的 副詞 eventually 最終的 副詞 entent 程度 名詞 psychological ...