method 3 ：adagrad 學習率衰減
method 4 ：adam 融合前兩個的方法
對比**實現：待更
本文預設讀者有深度學習基礎，所以不再解釋公式的具體含義
adagrad 會為引數的每個元素適當地調整學習率，與此同時進行學習（adagrad 的 ada 來自英文單詞 adaptive，即「適當的」的意思）
這裡新出現了變數h ，如式 (6.5) 所示，它儲存了以前的所有梯度值的平方和（式（6.5）中的 圓點 表示對應矩陣元素的乘法）。然後，在更新引數時，通過乘以 1/根號h，就可以調整學習的尺度
這意味著，引數的元素中變動較大（被大幅更新）的元素的學習率將變小。也就是說，可以按引數的元素進行學習率衰減，使變動大的引數的學習率逐漸減小
adagrad 會記錄過去所有梯度的平方和。因此，學習越深入，更新的幅度就越小。實際上，如果無止境地學習，更新量就會變為 0，完全不再更新。所以，該方法還有替換方案，這裡就不說了。
神經網路更新引數的幾種方法
梯度下降中，計算完各個引數的導數之後就需要更新引數值了，最常用的更新引數方法就是 sgd x learning rate dx 但是這種方法收斂速度非常慢，其實除了這個更新引數的方法，還有很多的方法可以進行引數更新。momentum update 這個方法對於深度學習的網路引數更新往往有不錯的效果。...
神經網路更新引數的幾種方法
梯度下降中，計算完各個引數的導數之後就需要更新引數值了，最常用的更新引數方法就是 sgd x learning rate dx但是這種方法收斂速度非常慢，其實除了這個更新引數的方法，還有很多的方法可以進行引數更新。momentum update 這個方法對於深度學習的網路引數更新往往有不錯的效果。本...
cocoapods本地的類庫更新方法
cocoapods裡管理的第三方更新的非常頻繁,可能每個小時裡面就會有一大堆的更新,所以,如果我們想使用最新的第三方我們就需要養成經常更新本地的類庫的習慣,而且如果我們不時常更新的話,當我們某一天集中更新的話,會耗費較長的時間.所以養成這種習慣也挺好,更新本地類庫很簡單,並不需要很多步,但有可能很耗...