過擬合和欠擬合

2021-10-12 14:02:28 字數 760 閱讀 6755

過擬合(overfitting)和欠擬合(underfitting)是導致模型泛化能力不高的兩種常見原因,都是模型學習能力與資料複雜度之間失配的結果。「欠擬合」常常在模型學習能力較弱,而資料複雜度較高的情況出現,此時模型由於學習能力不足,無法學習到資料集中的「一般規律」,因而導致泛化能力弱。

產生原因

訓練集和測試集特徵分布不一致

資料量太小

特徵量太多

模型太過複雜

解決方法:

1.減少特徵數量

2.正則化

3.增大樣本訓練規模

4.簡化模型

5.交叉驗證

6.dropout

欠擬合產生原因:

1.模型複雜度過低

2.特徵量過少

處理方法:

1.增加新特徵

2.增加模型複雜度

與之相反,「過擬合」常常在模型學習能力過強的情況**現,此時的模型學習能力太強,以至於將訓練集單個樣本自身的特點都能捕捉到,並將其認為是「一般規律」,同樣這種情況也會導致模型泛化能力下降。過擬合與欠擬合的區別在於,欠擬合在訓練集和測試集上的效能都較差,而過擬合往往能較好地學習訓練集資料的性質,而在測試集上的效能較差。在神經網路訓練的過程中,欠擬合主要表現為輸出結果的高偏差,而過擬合主要表現為輸出結果的高方差。

舉例來說,過擬合就是我們需要用二次函式來進行擬合資料,但是卻用了四次函式甚至更高的函式,

欠擬合就是我們用了線性方程來進行擬合資料。

過擬合和欠擬合

嘗試不同的模型 既然有一種可靠的方法來測量模型精度,那麼可以嘗試使用其他模型,並檢視哪種模型可以提供最佳 但是對模型有什麼選擇?可以在scikit learn的文件中看到決策樹模型有很多選項 比您長期想要或需要的更多 最重要的選項決定了樹的深度。回想一下這個微課程的第一課,樹的深度是衡量它在進行 之...

欠擬合和過擬合

解決欠擬合問題,可以從以下三個方面入手 1 增加特徵項 在大多數情況下出現過擬合是因為沒有準確把握資料的主要特徵,可以嘗試在模型中加入更多的和原始資料有重要相關性的特徵來尋連搭建的模型,著牙嗎嗯得到的模型可能會有更好的泛化能力。2 構造複雜的多項式 3 減少正則化引數 解決過擬合問題 1 增大訓練的...

過擬合和欠擬合

乙個假設在訓練資料上,能夠獲得比其他假設更好的擬合,但是在訓練資料外的資料集上卻不能很好的擬合資料,此事認為這個模型出現了過擬合現象 模型過於複雜 原因 原始特徵過多,存在一些嘈雜特徵,模型過於複雜是因為模型嘗試去兼顧各個測試資料點 解決辦法 乙個假設在訓練集上不能獲得更好的擬合,但是在訓練資料集以...