當我們的模型表現不佳時，通常是出現兩種問題，一種是 高偏差 問題，另一種是 高方差 問題。識別它們有助於選擇正確的優化方式，所以我們先來看下 偏差 與 方差 的意義。
對於 多項式回歸，當次數選取較低時，我們的 訓練集誤差 和 交叉驗證集誤差 都會很大；當次數選擇剛好時，訓練集誤差 和 交叉驗證集誤差 都很小；當次數過大時會產生過擬合，雖然 訓練集誤差 很小，但 交叉驗證集誤差 會很大（ 關係圖如下 ）。
所以我們可以計算 jtrain(θ) 和 jcv(θ)，如果他們同時很大的話，就是遇到了高偏差問題，而 jcv(θ) 比 jtrain(θ)
大很多的話，則是遇到了高方差問題。
對於 正則化 引數，使用同樣的分析方法，當引數比較小時容易產生過擬合現象，也就是高方差問題。而引數比較大時容易產生欠擬合現象，也就是高偏差問題。
學習曲線
無論你是要檢查你的學習演算法是否正常工作或是要改進演算法的表現，學習曲線 都是乙個十分直觀有效的工具。學習曲線 的橫軸是樣本數，縱軸為 訓練集 和 交叉驗證集 的 誤差。所以在一開始，由於樣本數很少，jtrain(θ)
幾乎沒有，而 jcv(θ) 則非常大。隨著樣本數的增加，jtrain(θ) 不斷增大，而 jcv(θ) 因為訓練資料增加而擬合得更好因此下降。
增加資料特徵
提高模型負責度
減少正則化係數
過擬合（高方差）的解決方法：
減低模型複雜度
加大正則化係數
引入先驗知識
使用整合模型，即通過多個高方差模型的平均來降低方差方差與偏差
偏差和方差
當我們費勁周章不斷調參來訓練模型時，不可避免地會思考一系列問題，模型好壞的評判標準是什麼？改善模型的依據何在？何時停止訓練為佳？要解決上述問題，我們需要引入偏差和方差這兩個概念，理解他們很重要，也是後續了解過擬合 正則化 提早終止訓練 資料增強等概念和方法的前提。一 概念定義 偏差 bias 偏差衡...
偏差和方差
偏差 bias 偏差衡量了模型的 值與實際值之間的偏離關係。方差 variance 方差描述的是訓練資料在不同迭代階段的訓練模型中，值的變化波動情況 或稱之為離散情況 一 低偏差，低方差 這是訓練的理想模型，此時藍色點集基本落在靶心範圍內，且資料離散程度小，基本在靶心範圍內 二 低偏差，高方差 這是...
高偏差和高方差
首先我來介紹一下高方差和高偏差的概念，可能很多人理解的不是很清楚。偏差 是指乙個模型的在不同訓練集上的平均效能和最優模型的差異。偏差可以用來衡量乙個模型的擬合能力。偏差越大，值平均效能越偏離最優模型。偏差衡量模型的 能力，物件是乙個在不同訓練集上模型，形容這個模型平均效能對最優模型的 能力。方差 v...