泛化能力是指學習到的模型對未知資料的**能力；我們通常通過測試誤差來評價學習方法的泛化能力。
所謂過擬合（over-fitting）其實就是所建的機器學習模型或者是深度學習模型在訓練樣本中表現得過於優越，導致在驗證資料集以及測試資料集中表現不佳。打個比喻就是當我需要建立好乙個模型之後，比如是識別乙隻狗狗的模型，我需要對這個模型進行訓練。恰好，我訓練樣本中的所有訓練都是二哈，那麼經過多次迭代訓練之後，模型訓練好了，並且在訓練集中表現得很好。基本上二哈身上的所有特點都涵括進去，那麼問題來了！假如我的測試樣本是乙隻金毛呢？將乙隻金毛的測試樣本放進這個識別狗狗的模型中，很有可能模型最後輸出的結果就是金毛不是一條狗（因為這個模型基本上是按照二哈的特徵去打造的）。所以這樣就造成了模型過擬合，雖然在訓練集上表現得很好，但是在測試集中表現得恰好相反，在效能的角度上講就是協方差過大（variance> is large），同樣在測試集上的損失函式（cost function）會表現得很大。所謂欠擬合呢（under-fitting）？相對過擬合欠擬合還是比較容易理解。還是拿剛才的模型來說，可能二哈被提取的特徵比較少，導致訓練出來的模型不能很好地匹配，表現得很差，甚至二哈都無法識別。
以下三項基本假設闡明了泛化：機器學習模型如何根據以前從未見過的資料做出更好的**在實踐中，我們有時會違背這些假設。例如：
如果違背了上述三項基本假設中的任何一項，那麼我們就必須密切注意指標。
一種方法是將您的資料集分成兩個子集：
一般來說，在測試集上表現是否良好是衡量能否在新資料上表現良好的有用指標，前提是：
模型泛化能力分析
1 模型泛化能力 通過交叉驗證估計泛化效能。2 學習率是最重要的超引數。3 超引數調優。主要方法有網格搜尋和隨機搜尋。網格搜尋會帶來維度災難 隨機搜尋應用隨機取樣。1 整合學習框架中的基模型是弱模型，通常來說弱模型是偏差高 在訓練集上準確度低 方差小 防止過擬合能力強 的模型。但是，並不是所有整合學...
中文預訓練泛化能力比賽
pushd dp0 dir b systemroot servicing packages hyper v mum hyper v.txt for f i in findstr i hyper v.txt 2 nul do dism online norestart add package syst...
泛統計理論初探 模型泛化能力增強技巧
機器學習模型泛化能力增強技巧簡介 在之前的文章中，我們已經介紹了三種提高模型泛化能力的方法，即前一篇文章介紹的l1正則化 l2正則化 dropout方法。在本文中，我們將會從資料角度 模型訓練角度 策略角度進行提高模型泛化能力的方法介紹，嘗試在處理問題的不同階段使用技巧提公升模型的泛化能力。本文主要...