屬性過擬合,原因可能為不同的屬性難學程度不一樣,討論後結果如下:
1.如果有的屬性訓練20個epoch就達到好的結果,之後開始過擬合,而同時其他的屬性要訓練到100個epoch,此時可以在20個epoch停下。至於如何判斷是不是20個epoch或者如何判斷要停下,需要設計乙個停下的機制。
2.資料集很重要,篩選資料集,可以先訓個網路,不要太多次迭代,把差的資料篩出來
3.資料增強。之前疑問是對整體資料做資料增強,效果不會變,但實際效果會變好?(沒有嘗試)
4.從不容易過擬合的資料集中,若該資料集很大,則分出很多個部分,和容易過擬合的資料一起分部分訓練。
5.分成大模型和小模型
關於怎麼解決過擬合問題
該博文分析了模型訓練過程中三種loss不下降的情況,並給出了一些解決的思路。1 網路層沒有初始化引數 2 超引數設定不合理 2.1 訓練的epoch太少 看到的只是區域性情況,最終要的其實是整體收斂就行,也許訓練100 1000 10000試試?2.2 學習率過高或者過低?合適的學習率可以保證每輪完...
過擬合問題
概念 過擬合就是訓練出來的模型在訓練集上表示很好,但在測試集上表現較差的一種現象 原因 1 資料有雜訊 即不相關的干擾因素 2 訓練資料不足 3 訓練模型過度導致模型非常複雜 解決方式 1 early stopping 提前結束訓練,就是找到了乙個點,這個點的引數精確值最高,並且在接下來的n次訓練中...
模型過擬合問題
概念 過擬合就是訓練出來的模型在訓練集上表示很好,但在測試集上表現較差的一種現象 原因 1 資料有雜訊 即不相關的干擾因素 2 訓練資料不足 3 訓練模型過度導致模型非常複雜 解決方式 1 early stopping 提前結束訓練,就是找到了乙個點,這個點的引數精確值最高,並且在接下來的n次訓練中...