網路訓練時loss不下降的原因

2021-10-25 11:26:12 字數 651 閱讀 9754

1. 網路訓練時train loss與test loss的結果分析:

(1) train loss不斷下降,test loss不斷下降

可能發生的原因: 網路還在學習中,loss在穩步下降。

(2) train loss不斷下降,test loss趨於不變

可能發生的原因: 網路出現過擬合的現象,因此在訓練集上表現為網路仍在學習,但是test loss趨於不變說明網路泛化能力差。

(3) train loss趨於不變,test loss不斷下降

可能發生的原因: 資料集100%是有問題的。

(4) train loss趨於不變,test loss趨於不變

可能發生的原因: loss開始在某一值附近不斷振盪,說明網路學習遇到瓶頸,此時應該減小學習率或者減小batch size的大小。

(5) train loss不斷上公升,test loss不斷上公升

可能發生的原因: 網路結構的設計有問題; 訓練時超引數的設定有問題; 資料集沒有經過清洗。

2. 出現loss不下降的問題時檢查:

(1)資料

(2)超引數的設定

訓練loss不下降原因集合

train loss 不斷下降,test loss不斷下降,說明網路仍在學習 train loss 不斷下降,test loss趨於不變,說明網路過擬合 train loss 趨於不變,test loss不斷下降,說明資料集100 有問題 train loss 趨於不變,test loss趨於不變,...

神經網路訓練loss不下降原因集合

train loss 不斷下降,test loss不斷下降,說明網路仍在學習 train loss 不斷下降,test loss趨於不變,說明網路過擬合 train loss 趨於不變,test loss不斷下降,說明資料集100 有問題 train loss 趨於不變,test loss趨於不變,...

神經網路訓練loss值不下降原因集合

train loss 不斷下降,test loss不斷下降,說明網路仍在學習 train loss 不斷下降,test loss趨於不變,說明網路過擬合 train loss 趨於不變,test loss不斷下降,說明資料集100 有問題 train loss 趨於不變,test loss趨於不變,...