我們都知道，泛化誤差可以分解為雜訊，偏差和方差，即泛化誤差是由雜訊，偏差和方差共同決定的，但是為什麼是由他們三個決定的，這裡做乙個比較詳細的說明。
首先，我們先做幾個符號的說明： yd
： 測試樣本
x 在資料集中的標記； y：
測試樣本
x 的真實標記； f(
x;d)
：訓練集d上學得模型
f 在
x上的**輸出；
那麼我們可以知道模型的期望**值為f¯
(x)=
ed[f
(x;d
)]方差為va
r(x)
=ed[
(f(x
;d)−
f¯(x
))2]
通過定義我們可以看到方差描述的是**結果的穩定性，即資料集的變化對於**結果的影響，同樣也度量了資料集變化對於模型學習效能的變化，方差越小，說明我們的模型對於資料集的變化越不敏感，也就是對於新資料集的學習越穩定
偏差為bi
as2(
x)=(
f¯(x
)−y)
2 我們可以看到偏差描述的是平均**結果與真實結果之間的差距，即其描述了模型對於資料的擬合程度，偏差越小，說明模型對資料擬合的越好
雜訊為ϵ2
=ed[
(yd−
y)2]
我們可以看到雜訊描述的是資料集中樣本的標記與這些樣本真實標記的距離，只要是資料，都一定擁有雜訊，因此我們可以認為雜訊誤差為模型訓練的下限，因為這部分誤差無論模型怎麼學習都不可能消除，這是資料帶來的本源誤差。
通常來說，方差與偏差是衝突的，這個稱之為偏差-方差窘境。我們可以知道當我們的模型訓練不足的時候，模型的方差是比較小的，但是偏差是比較大的，方差小的原因是此時的模型擬合能力不夠強，因此資料的擾動還不足以是模型產生足夠的變化，但是此時**資料與真實label相差很大，故偏差很大；但是當模型訓練過頭，即過擬合的時候，此時偏差很小，幾乎為0，但是方差很大，因為過擬合，所以資料只需要輕微的擾動，就可能導致**結果很不確定。如下圖所示：
最上面那一條是泛化誤差，我們可以看到，隨著訓練程度的加深，方差在逐漸加大，而偏差則是在逐漸減小。
那麼為什麼泛化誤差可以分解為方差+偏差+雜訊，證明如下： e(
f;d)
=ed[
(f(x
;d)−
yd)2
]=ed
[(f(
x;d)
−f¯(
x)+f
¯(x)
−yd)
2]=e
d[(f
(x;d
)−f¯
(x))
2+(f
¯(x)
−yd)
2+2(
(f(x
;d)−
f¯(x
))(f
¯(x)
−yd)
)]=e
d[(f
(x;d
)−f¯
(x))
2]+e
d[(f
¯(x)
−yd)
2]=v
ar(x
)+ed
[(f¯
(x)−
y+y−
yd)2
]=va
r(x)
+ed[
(f¯(
x)−y
)2]+
ed[(
y−yd
)2]=
var(
x)+b
ias2
(x)+
ϵ2故我們說泛化誤差可以分解為方差、偏差和雜訊
這裡要注意，雜訊的期望始終為0
高方差與高偏差學習筆記
error bias variance。這裡的error大概可以理解為模型的 錯誤率，是有兩部分組成的，一部分是由於模型太簡單而帶來的估計不準確的部分 bias 樸素貝葉斯是高偏差低方差的演算法 另一部分是由於模型太複雜而帶來的更大的變化空間和不確定性 variance error反映的是整個模型的...
偏差與方差
偏差度量了學習演算法的期望 與真實結果的偏離程度，即刻畫了學習演算法本身的擬合能力 方差度量了同樣大小的訓練集的變動多導致的學習效能的變化，即刻畫了資料擾動所造成的影響。雜訊則表達了在當前任務上任何學習演算法所能達到的期望泛化誤差的下界，即刻畫了學習問題本身的難度。偏差 方差分解說明，泛化效能是由學...
偏差與方差
1.定義 偏差指的是演算法在大型訓練集上的錯誤率，方差指的是演算法在測試集上的表現低於訓練集的程度。當方差很高時，說明模型過擬合 當偏差很高時，說門模型欠擬合。2.減少偏差的方案 偏差過高，既模型在訓練集上的錯誤率太高說明模型欠擬合，減少偏差的方案如下 減少或去掉正則化 l1,l2,dropout ...