深度學習 學習率 learning rate

2021-08-20 13:08:37 字數 1358 閱讀 2226

學習率 (learning rate),控制 模型的學習進度: 

lrstride (步長),即反向傳播演算法中的 ηη :

ωn←ωn−η∂l∂ωnωn←ωn−η∂l∂ωn

學習率 大

學習率 小

學習速度快慢

使用時間點

剛開始訓練時

一定輪數過後

***1.易損失值**;2.易振盪。

1.易過擬合;2.收斂速度慢。

在訓練過程中,一般根據訓練輪數設定動態變化的學習率。

note:

如果是遷移學習,由於模型已在原始資料上收斂,此時應設定較小學習率 (≤10−4≤10−4) 在新資料上進行微調

輪數減緩

指數減緩

分數減緩

英文名step decay

exponential decay

1/t1/t decay

方法每n輪學習率減半

學習率按訓練輪數增長指數插值遞減

lrt=lr0/(1+kt)lrt=lr0/(1+kt) ,kk 控制減緩幅度,tt 為訓練輪數

理想情況下曲線應該是滑梯式下降[綠線]: 

曲線初始時 上揚[紅線]: 

solution:初始學習率過大 導致振盪,應減小學習率,並從頭 開始訓練

曲線初始時 強勢下降 沒多久 歸於水平[紫線]: 

solution:後期學習率過大 導致無法擬合,應減小學習率,並重新訓練 後幾輪

曲線全程緩慢[黃線]: 

solution:初始學習率過小 導致收斂慢,應增大學習率,並從頭 開始訓練

深度學習 學習率

學習率 learning rate 控制模型的學習進度 學習率 大 學習率 小 學習速度快慢 使用時間點 剛開始訓練時 一定輪數過後 1.易損失值 2.易振盪。1.易過擬合 2.收斂速度慢。在訓練過程中,一般根據訓練輪數設定動態變化的學習率。note 如果是 遷移學習 由於模型已在原始資料上收斂,此...

深度學習 學習率 learning rate

學習率 learning rate 控制 模型的學習進度 lr即stride 步長 即反向傳播演算法中的 n n l n n n l n 學習率 大 學習率 小 學習速度快慢 使用時間點 剛開始訓練時 一定輪數過後 1.易損失值 2.易振盪。1.易過擬合 2.收斂速度慢。在訓練過程中,一般根據訓練輪...

深度信念網路 Learning

1.什麼是深度信念神經網路?答 深度信念神經網路,即 deep belief network,是近年比較火的一種網路結構,在遙感分類中應用較多。深度信念神經網路是在深度神經網路結構的基礎上的一種更新改進。這樣講應該是不準確的,但對於初學者來說比較容易理解 2.什麼是深度神經網路?答 首次接觸,可以聯...