warm up最初是在resnet網路的**中提到，針對非常深的神經網路為了防止開始學習率過大導致不能擬合的問題。
簡要翻譯：
我們進一步嘗試了n=18的情況，會得到乙個110層的resnet。在這種情況下，使用初始化學習率0.1對於當前網路偏大了，導致不能夠收斂。因此我們使用0.01的學習率開始對訓練進行預熱，直到訓練的錯誤率低於80%（差不多400個迭代），然後改回0.1的學習率，繼續訓練。剩下的訓練和之前做法一致。這個110層的網路收斂的不錯。
上面介紹的warmup有乙個缺點就是學習率從乙個比較小的值一下子變成比較大的值，可能會導致訓練誤差忽然變大。18年facebook提出了gradual warmup，從乙個小的學習率開始，每個迭代增大一點，直到最初設定的學習率。
根據增大到最大值後學習率的變化又可以分為這幾類：
** 靜態warmup**
學習率增大到最大後就不再變化。
線性warmup
學習率從非常小的值增大到預設值後然後線性減小
** cos減小**
學習率從非常小的值增大到預設值後然後再按照cos函式減小
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
卷積神經網路 有趣的卷積神經網路
一 前言 最近一直在研究深度學習，聯想起之前所學，感嘆數學是一門樸素而神奇的科學。f g m1 m2 r 萬有引力描述了宇宙星河運轉的規律，e mc 描述了恆星發光的奧秘，v h d哈勃定律描述了宇宙膨脹的奧秘，自然界的大部分現象和規律都可以用數學函式來描述，也就是可以求得乙個函式。神經網路 簡單又...