對抗欠擬合

2021-10-04 15:25:26 字數 553 閱讀 1959

欠擬合

是指模型在訓練集合測試集資料上的表現均不好的情況。結果就是訓練出的模型表達能力不夠,精度不夠,還沒有學習到資料的特徵,還有待繼續學習

如何防止欠擬合

防止欠擬合的方法有3種:

1)增加特徵數;

當特徵不足或者現有特徵與樣本標籤的相關性不強時,模型易出現欠擬合。

可以通過挖掘上下文特徵,id類特徵,組合特徵等新的特徵,可以取得較好的效果。這屬於特徵工程相關的內容,如因子分解機,梯度提公升決策樹,deep_crossing都可以豐富特徵。

2)增加模型複雜度;

模型簡單時其表達能力較差,容易導致欠擬合,因此可以適當地增加模型複雜度,使模型擁有更強的擬合能力。

如線性模型中新增高次項,神經網路中增加網路層數或神經元個數。

模型簡單也會導致欠擬合,例如線性模型只能擬合一次函式的資料。嘗試使用更高階的模型有助於解決欠擬合,如使用svm,神經網路等。

3)減小正則化係數。

正則化是用於防止過擬合的,但是當出現欠擬合時,就有必要針對性地減小正則化係數。

過擬合欠擬合

一篇文章,帶你明白什麼是過擬合,欠擬合以及交叉驗證 在本文中也許你會掌握機器學習中最核心的概念 偏差 方差權衡.其主要想法是,你想建立盡可能 準確並且仍能適用於新資料的模型 這是泛化 危險的是,你可以輕鬆的在你制定的資料中建立過度擬合本地噪音的模型,這樣的模型是無用的,並且導致弱泛化能力,因為雜訊是...

過擬合 欠擬合

無論在機器學習還是深度學習建模當中都可能會遇到兩種最常見結果,一種叫過擬合 over fitting 另外一種叫欠擬合 under fitting 所謂過擬合 over fitting 其實就是所建的機器學習模型或者是深度學習模型在訓練樣本中表現得過於優越,導致在驗證資料集以及測試資料集中表現不佳。...

欠擬合與過擬合

在用機器學習搭建模型時,經常會碰到這樣一種情況,你的模型演算法在樣本資料中匹配的非常完美。但用新資料測試,發現模型結果和實際差距非常大。那麼恭喜你!你掉進了機器學習中常見的乙個大坑 過擬合。什麼是過擬合呢?機器學習本質上是通過建立資料模型,使其和現有資料相吻合,從而找到資料中內在的規律。如下面三張圖...