泛化能力（generalization ability）是指乙個機器學習演算法對於沒有見過的樣本的識別能力。我們也叫做舉一反三的能力，或者叫做學以致用的能力。
過擬合（over-fitting）其實就是所建的機器學習模型或者是深度學習模型在訓練樣本中表現得過於優越，導致在驗證資料集以及測試資料集中表現不佳。
過擬合是一種分類器會發生的現象，而泛化能力可以理解為對分類器的一種效能的評價
分類器泛化能力低就說明分類器會出現過擬合現象。
欠擬合（under-fitting）是和過擬合相對的現象，可以說是模型的複雜度較低，沒法很好的學習到資料背後的規律。
不收斂一般是形容一些基於梯度下降演算法的模型，收斂是指這個演算法有能力找到區域性的或者全域性的最小值，（比如找到使得**的標籤和真實的標籤最相近的值，也就是二者距離的最小值），從而得到乙個問題的最優解。如果說乙個機器學習演算法的效果和瞎矇的差不多那麼基本就可以說這個演算法沒有收斂，也就是根本沒有去學習。
奧卡姆剃刀原則（occam』s razor）這個原則是說能用簡單的方法完成任務的就盡量不要複雜。
過擬合，欠擬合，不收斂，泛化能力的通俗理解
因為最近有需要，得跟別人講一些機器學習的基本概念，在此記錄下，一起學習。泛化能力是什麼呢？有的資料給出的定義如下 泛化能力 generalization ability 是指機器學習演算法對新鮮樣本的適應能力，簡而言之是在原有的資料集上新增新的資料集，通過訓練輸出乙個合理的結果。學習的目的是學到隱含...
泛化 過擬合與欠擬合
在監督學習中，我們想要在訓練資料上構建模型，然後能夠對沒見過的新資料 這些新資料與訓練集具有相同的特性 做出準確 如果乙個模型能夠對沒見過的資料做出準確 我們就說它能夠從訓練集泛化 generalize 到測試集。我們想要構建乙個泛化精度盡可能高的模型。通常來說，我們構建模型，使其在訓練集上能夠做出...
過擬合 欠擬合 正則化
產生原因 緩解方法 合適的資料分布 合理的模型複雜性 合理的組合應該是 複雜的資料分布 簡單的模型 或者 簡單的資料分布 複雜的模型 神經網路中的過擬合 原理 或者說思考 從貝葉斯的角度來說，代價函式可以表示為p y w,x 的形式，而正則項則是對引數w做了乙個先驗分布的假設，使得代價函式變成p y...