機器學習中的泛化，泛化即是，模型學習到的概念在它處於學習的過程中時模型沒有遇見過的樣本時候的表現。在機器學習領域中，當我們討論乙個機器學習模型學習和泛化的好壞時，我們通常使用術語：過擬合和欠擬合。我們知道模型訓練和測試的時候有兩套資料，訓練集和測試集。在對訓練資料進行擬合時，需要照顧到每個點，而其中有一些噪點，當某個模型過度的學習訓練資料中的細節和噪音，以至於模型在新的資料上表現很差，這樣的話模型容易複雜，擬合程度較高，造成過擬合。而相反如果值描繪了一部分資料那麼模型複雜度過於簡單，欠擬合指的是模型在訓練和**時表現都不好的情況，稱為欠擬合。
我們來看一下線性回歸中擬合的幾種情況圖示：
還有在邏輯回歸分類中的擬合情況：
欠擬合指的是模型在訓練和**時表現都不好的情況，欠擬合通常不被討論，因為給定乙個評估模型表現的指標的情況下，欠擬合很容易被發現。矯正方法是繼續學習並且試著更換機器學習演算法。
對於過擬合，特徵集合數目過多，我們需要做的是盡量不讓回歸係數數量變多，對擬合（損失函式）加以限制。
（1）當然解決過擬合的問題可以減少特徵數，顯然這只是權宜之計，因為特徵意味著資訊，放棄特徵也就等同於丟棄資訊，要知道，特徵的獲取往往也是艱苦卓絕的。
（2）引入了正則化概念。
直觀上來看，如果我們想要解決上面回歸中的過擬合問題，我們最好就要消除$$x_3$$和$$x_4$$的影響，也就是想讓$$\theta_3\theta_4$$都等於0，乙個簡單的方法就是我們對$$\theta_3\theta_4$$進行懲罰，增加乙個很大的係數，這樣在優化的過程中就會使這兩個引數為零。
機器學習（五） 欠擬合 過擬合與區域性加權回歸演算法
史丹福大學公開課 機器學習課程 我們先來看一張圖 第乙個圖是欠擬合，用一條直線來擬合樣本，樣本分佈比較分散，直線難以擬合全部訓練集樣本，所以模型擬合能力不足。第二個圖顯示的曲線就很好的擬合樣本分佈情況，雖然並沒有完全的跟這些樣本點重合，但是曲線比較貼近樣本分佈軌跡。第三張圖是過擬合，曲線很好的擬合了...
機器學習基礎 過擬合，欠擬合
最左邊屬於欠擬合，最右邊過擬合。欠擬合是對資料擬合的不好，在訓練集和測試集上的表現都很差。過擬合在訓練集上表現得很好，在測試集上表現得不好 欠擬合原因 模型過於簡單 使用更複雜的模型，整合 訓練次數不夠 增加訓練次數 過擬合原因 模型過於複雜 訓練資料少 資料中雜訊多 解決過擬合方法 簡化模型 減少...
機器學習演算法中的過擬合與欠擬合
在機器學習表現不佳的原因要麼是過度擬合或欠擬合資料。機器學習中的逼近目標函式過程 監督式機器學習通常理解為逼近乙個目標函式 f f 此函式對映輸入變數 x 到輸出變數 y y f x y f x 這種特性描述可以用於定義分類和 問題和機器學習演算法的領域。從訓練資料中學習目標函式的過程中，我們必須考...