1.定義
偏差指的是演算法在大型訓練集上的錯誤率，方差指的是演算法在測試集上的表現低於訓練集的程度。
當方差很高時，說明模型過擬合；當偏差很高時，說門模型欠擬合。
2.減少偏差的方案
偏差過高，既模型在訓練集上的錯誤率太高說明模型欠擬合，減少偏差的方案如下：
減少或去掉正則化（l1,l2,dropout）：可減少偏差，但是會增加方差
修改模型架構：同時影響偏差與方差
修改輸入特徵
加大模型規模：可以更好的擬合訓練集，從而減少偏差；但可能增加方差
方差過高，說明模型過擬合，既模型過於複雜，訓練過程中形成了字典式的對映規則，減少方差的方案有：
加入正則化：可減低方差，增加偏差
加入提前終止
減少模型規模
新增更多的訓練資料
減少特徵的數量
偏差與方差
偏差度量了學習演算法的期望 與真實結果的偏離程度，即刻畫了學習演算法本身的擬合能力 方差度量了同樣大小的訓練集的變動多導致的學習效能的變化，即刻畫了資料擾動所造成的影響。雜訊則表達了在當前任務上任何學習演算法所能達到的期望泛化誤差的下界，即刻畫了學習問題本身的難度。偏差 方差分解說明，泛化效能是由學...
偏差與方差
打靶場上來了4個槍手，開始打靶，piapiapia 一陣槍響，不一會兒，打靶成績出來了。以下是4位搶手的打靶結果 不難看出，第一位搶手打的又準，而且穩定性也好，把把命中紅星。第二位槍手慘不忍睹，打的又偏，而且又毫無章法。第三位搶手準度一般，好在穩定性還不錯，只要提公升下準度，還是可以搶救一下。第四名...
偏差與方差學習筆記
我們都知道，泛化誤差可以分解為雜訊，偏差和方差，即泛化誤差是由雜訊，偏差和方差共同決定的，但是為什麼是由他們三個決定的，這裡做乙個比較詳細的說明。首先，我們先做幾個符號的說明 yd 測試樣本 x 在資料集中的標記 y 測試樣本 x 的真實標記 f x d 訓練集d上學得模型 f 在 x上的 輸出 那...