1.介紹
**：在訓練到一定階段後，學習率可能會產生**，但是一開始用小的學習率的話，訓練速度會很慢。
學習率衰減（learning rate decay） 就是一種可以平衡這兩者之間矛盾的解決方案。學習率衰減的基本思想是：學習率隨著訓練的進行逐漸衰減。
學習率衰減基本有兩種實現方法：
線性衰減。例如：每過5個epochs學習率減半。
指數衰減。例如：隨著迭代輪數的增加學習率自動發生衰減，每過5個epochs將學習率乘以0.9998。具體演算法如下：
decayed_learning_rate=learning_rate*decay_rate^(global_step/decay_steps)
其中decayed_learning_rate為每一輪優化時使用的學習率，learning_rate為事先設定的初始學習率，decay_rate為衰減係數，decay_steps為衰減速度。
，寶藏問題。
warmup是初始階段使用較小學習率啟動，後期恢復正常；而decay是初始時使用較大的學習率，之後進行衰減。
這裡面的回答我還待看，為什麼warmup是有效的呢？還挺難的。有公式推導。
這個講的就很直接：
//不太懂，還需要再看。
gamma表示不同的衰減率。
optimizer_steplr = torch.optim.sgd(net.parameters(), lr=0.1)steplr = torch.optim.lr_scheduler.steplr(optimizer_steplr, step_size=step_size, gamma=0.65)
optimizer_multisteplr = torch.optim.sgd(net.parameters(), lr=0.1)希望不同的區間採用不同的更新頻率，或者是有的區間更新學習率，有的區間不更新學習率，這就需要使用multisteplr來實現動態區間長度控制。torch.optim.lr_scheduler.multisteplr(optimizer_multisteplr,
milestones=[200, 300, 320, 340, 200], gamma=0.8)
scheduler =...一回訓練之後達到的結果。>>> for epoch in range(100):
>>>train(...)
>>>validate(...)
>>> scheduler.step()
學習率衰減
在訓練深度神經網路時，通常會隨著訓練的進行降低學習率。這可以通過使用預定義的學習率計畫或自適應學習率方法來完成。學習率表 學習率時間表旨在根據預先定義的時間表降低學習率，從而在訓練過程中調整學習率。常見的學習率時間表包括基於時間的衰減，逐步衰減和指數衰減。什麼是學習率？使用隨機梯度下降演算法訓練深度...
學習率衰減 Learning Rate Decay
以目前最主流的引數優化演算法gradient descent為例，為了讓梯度下降的效能更優，我們需要將學習率設定在乙個合適的範圍。具體來說，學習率其實就是演算法的步長，一步走多少決定了很多事情 步子大了，優化效率高，很可能一下越過最優解 相反，步子小了，優化效率低，很可能陷進乙個區域性最優解怎麼都走...
筆記 學習率衰減
加快學習的乙個辦法就是學習率衰減。假設你要使用 mini batch 梯度下降法，mini batch 數量不大，大概 64 或者 128 個樣本，在迭代過程中會有噪音，下降朝向這裡的最小值，但是不會精確地收斂，所以你的演算法最後在附近擺動，並不會真正收斂，因為你用的學習率是固定值，不同的 mini...