1.經驗誤差
「誤差」是學習器的實際**輸出與樣本的真實輸出之間的差異；比如一組資料 1,2,4,5.使用閾值3，將其分為兩類。假設學習器的分類結果為 1和 2，4, 5 。但是實際的結果為1,2,和4,5，分錯的2就是誤差。
那什麼是經驗誤差呢？沒啥神秘，其實就是在訓練集的誤差，也叫訓練誤差。相對於經驗誤差的，還有大家經常遇到的泛化誤差，泛化誤差是在新樣本（測試集）的誤差。
顯然，我們都希望泛化誤差小的學習器。然而，我們事先是不知道新樣本是什麼的樣的，實際上能做的就是使學習器的經驗誤差盡量小。大多數情況，我們可以學的乙個經驗誤差很小、在訓練集上表現良好的學習器。
如果對所有訓練集都分類正確，即分類錯誤率為0，但這樣的學習器好嗎？
2.過擬合
我們實際希望的是在新樣本上表現的很好的學習器。為了達到這個目的，應該為從訓練樣本中盡可能學出是適用於所有潛在樣本的「普遍規律」，就相當於支援向量機分類時尋找到好的支援向量，這樣才能在遇到新樣本時做出正確的判別。然而，當學習器把訓練樣本學的「太好」了的時候，很可能已經把訓練樣本自身的一些特點當作了所有潛在樣本都會具有的一般性質，這會導致泛化效能下降。這種現象在機器學習中稱為「過擬合」。與過擬合相對的是「欠擬合」，這是指對訓練樣本的一般性質尚未學好。圖1，給出關於過擬合和欠擬合的乙個便於直接理解的模擬。
pytorch 誤差與過擬合
錯誤率 error rate 假設有m個樣本，a個分類錯誤，那麼錯誤率e a m.精度 accuracy 是 1 e 經驗誤差 empirical error 在訓練集上，輸出與樣本的真實輸出之間的差異 差異！稱為經驗誤差或訓練誤差。泛化誤差 generalization 在新樣本上的誤差稱為泛化誤...
過擬合，欠擬合，偏差，誤差，正則化
欠擬合 過擬合與偏差 方差關係 過擬合 在訓練資料上表現良好，在未知資料上表現差。高方差 模型把資料學習的太徹底，以至於把雜訊資料的特徵也學習到了，使得測試的時候不能夠很好地識別資料，即不能正確的分類，模型泛化能力太差 解決方法 1 重新清洗資料 2 增大資料的訓練量 3 採用正則化方法，正則化方法...
欠擬合與過擬合
在用機器學習搭建模型時，經常會碰到這樣一種情況，你的模型演算法在樣本資料中匹配的非常完美。但用新資料測試，發現模型結果和實際差距非常大。那麼恭喜你！你掉進了機器學習中常見的乙個大坑 過擬合。什麼是過擬合呢？機器學習本質上是通過建立資料模型，使其和現有資料相吻合，從而找到資料中內在的規律。如下面三張圖...