1.高方差和高偏差
偏差： 描述的是**值（估計值）的期望與真實值之間的差距。偏差越大，越偏離真實資料集。
方差： 描述的是**值的變化範圍，離散程度，也就是離其期望值的距離。方差越大，**結果資料的分布越散。
理解偏差和方差（bias/variance）的兩個關鍵資料是訓練集誤差（train set error）和驗證集誤差（dev set error）
通過檢視訓練集誤差和驗證集誤差，我們便可以診斷演算法是否具有高方差
如果訓練集設定非常好，而驗證集設定相對較差，我們可能過度擬合了訓練集，某種程度上，驗證集並沒有充分利用交叉驗證集的作用。這種情況就是高方差（high variance）
演算法並沒有在訓練集中得到很好的訓練，如果訓練資料的擬合度不高，就是欠擬合，可以說這種演算法偏差比較高（high bias）
2.解決高方差和高偏差的辦法
（1）解決高方差
利用正則化來解決high variance的問題，正則化是在cost function中加入一項正則化項，懲罰模型的複雜度
人們在訓練網路時，越來越傾向使用l2正則化
3.為什麼加入正則化會減小過擬合即為什麼減小方差？
參考：
高偏差和高方差
首先我來介紹一下高方差和高偏差的概念，可能很多人理解的不是很清楚。偏差 是指乙個模型的在不同訓練集上的平均效能和最優模型的差異。偏差可以用來衡量乙個模型的擬合能力。偏差越大，值平均效能越偏離最優模型。偏差衡量模型的 能力，物件是乙個在不同訓練集上模型，形容這個模型平均效能對最優模型的 能力。方差 v...
機器學習高方差和高偏差問題
在講模型高方差和高偏差問題前，先聊聊資料集分配和模型選擇。為了使得模型具有更好的泛化能力，我們在資料集分配問題上採用了6 2 2的分配原則，60 作為訓練集，20 作為交叉驗證集，20 作為測試集。當選擇模型時用訓練集訓練得到模型的一組權重，將這組權重帶入到模型中，並用交叉驗證集求出損失值，選取損失...
高方差與高偏差學習筆記
error bias variance。這裡的error大概可以理解為模型的 錯誤率，是有兩部分組成的，一部分是由於模型太簡單而帶來的估計不準確的部分 bias 樸素貝葉斯是高偏差低方差的演算法 另一部分是由於模型太複雜而帶來的更大的變化空間和不確定性 variance error反映的是整個模型的...