泛化能力
泛化能力用來表徵學習模型對於未知資料的**能力。
很顯然，我們沒有辦法對所有的資料進行**然後判斷來計算乙個模型的模型的泛華能力，所以在
實際應用當中，我們一般還是用的測試集中的資料來近似泛化能力。
過擬合當某個模型過度的學習訓練資料中的細節和噪音，以至於模型在新的資料上表現很差，我們稱過擬合發生了。這意味著訓練資料中的噪音或者隨機波動也被當做概念被模型學習了。而問題就在於這些概念不適用於新的資料，從而導致模型泛化效能的變差。
見下圖
泛化 過擬合與欠擬合
在監督學習中，我們想要在訓練資料上構建模型，然後能夠對沒見過的新資料 這些新資料與訓練集具有相同的特性 做出準確 如果乙個模型能夠對沒見過的資料做出準確 我們就說它能夠從訓練集泛化 generalize 到測試集。我們想要構建乙個泛化精度盡可能高的模型。通常來說，我們構建模型，使其在訓練集上能夠做出...
正則化方法 防止過擬合，提高泛化能力
在訓練資料不夠多時，或者overtraining時，常常會導致overfitting 過擬合 其直觀的表現如下圖所示，隨著訓練過程的進行，模型複雜度增加，在training data上的error漸漸減小，但是在驗證集上的error卻反而漸漸增大 因為訓練出來的網路過擬合了訓練集，對訓練集外的資料卻...
擬合和過擬合
x y example h x 損失函式 j theta 1 2sum h x 欠擬合和過擬合 乙個線性模型 擬合房價曲線 theta theta x 多個項進行擬合 對房價曲線進行擬合 線性擬合 欠擬合 underfitting theta thata x 二次擬合 多次項的擬合 過擬合 over...