以下演算法均為通過不同的方法調整學習率learningrate的過程
相比批量梯度下降法，隨機梯度下降法的每次更新，是對資料集中的乙個樣本（x，y）求出罰函式，然後對其求相應的偏導數：
小批量梯度下降法集合了上述兩種方法的優勢，在每次更新中，對 n 個樣本構成的一批資料，計算罰函式 j(θ)，並對相應的引數求導：
這種方法，(a) 降低了更新引數的方差（variance），使得收斂過程更為穩定；(b) 能夠利用最新的深度學習程式庫中高度優化的矩陣運算器，能夠高效地求出每小批資料的梯度。通常一小批資料含有的樣本數量在 50 至 256 之間，但對於不同的用途也會有所變化。小批量梯度下降法，通常是我們訓練神經網路的首選演算法。同時，有時候我們也會使用隨機梯度下降法，來稱呼小批量梯度下降法（譯者注：在下文中，我們就用 sgd 代替隨機梯度下降法）。
下降速度
計算m有momentum屬性（慣性屬性）+計算v時有adagrad屬性（阻力屬性），更新引數時將m和v都考慮進去
在大多數情況下使用adam都能又快又好的達到目標
04 06 梯度提公升樹
目錄 三 回歸梯度提公升樹流程 四 梯度提公升樹優缺點 五 小結 人工智慧從入門到放棄完整教程目錄 梯度提公升樹 gradien boosting decision tree，gbdt 在工業上用途廣泛，屬於最流行 最實用的演算法之一，梯度提公升樹可以看成是提公升樹的優化版。梯度提公升樹和提公升樹 ...
Pytorch實戰 二 梯度及優化演算法
一 計算梯度的簡單示例import torch x torch.tensor 1 2.requires grad true y x 0 2 x 1 2print y format y y.backward print grad format x.grad 輸出結果 y 5.0 grad tensor...
最優化演算法（一） 梯度下降法
梯度下降法的目標是 此時輸入 目標函式f x 梯度函式g x 精度e 輸出 f x 的極小點 1 取初始值 2 計算 3 計算梯度值更新，k k 1。注意 一般當目標函式為凸函式時，梯度下降法為全域性最優解，對於複雜函式並不一定。對於梯度下降有兩種實現方法 批量梯度下降 每次遍歷所有的樣本取最小化所...