網路優化與超引數選擇

2021-10-25 19:06:53 字數 498 閱讀 2281

可以認為與網路中的可訓練引數成正比。

網路中的神經單元數越多,層數越多,神經網路的擬合能力越強。

但是訓練速度、難度越大,越容易產生過擬合。

所謂超引數,也就是搭建神經網路中,需要我們自己如選擇(不是通過梯度下降演算法去優化)的那些引數。比如,中間層的神經元個數、學習速率。

一種顯然的想法是增大網路容量:

1.增加層

2.增加隱藏神經元個數

單純的增加神經元個數對於網路效能的提高並不明顯,,增加層會大大提高網路的擬合能力,這也是為什麼現在深度學習的層越來越深的原因。

理想的模型是剛好在欠擬合和過擬合的界線上,也就是正好擬合資料。

然後,抑制過擬合:

dropout

正則化影象增強

再次,調節超引數:

學習速率,

隱藏層單元數

訓練輪次

超引數的選擇是乙個經驗與不斷測試的結果。

經典機器學習的方法,如特徵工程、增加訓練資料也要做交叉驗證。

深度學習網路優化與超引數選擇

過擬合 在訓練資料上得分很高,在測試資料上得分相對比較低 欠擬合 在訓練資料上得分很低,在測試資料上得分相對比較低 與網路中的可訓練引數成正比。網路中的神經單元數越多,層數越多,神經網路的擬合能力越強。但是訓練速度 難度越大,越容易產生過擬合。所謂超引數,也就是搭建神經網路中,需要我們自己如選擇 不...

引數與超引數

模型引數是模型內部的配置變數,可以用資料估計模型引數的值 模型超引數是模型外部的配置,必須手動設定引數的值。具體來講,模型引數有以下特徵 進行模型 時需要模型引數。模型引數值可以定義模型功能。模型引數用資料估計或資料學習得到。模型引數一般不由實踐者手動設定。模型引數通常作為學習模型的一部分儲存。通常...

引數與超引數

計算機學科裡有太多的術語,而且許多術語的使用並不一致。哪怕是相同的術語,不同學科的人理解一定有所不同。比如說 模型引數 model parameter 和 模型超引數 model hyperparameter 對於初學者來說,這些沒有明確定義的術語肯定很令人困惑。尤其是對於些來自統計學或經濟學領域的...