梯度下降法：介紹非常清楚的一篇文章：深入淺出--梯度下降法及其實現
如果不理解梯度和方向導數的關係：可以看看：如何直觀形象的理解方向導數與梯度以及它們之間的關係
梯度下降法還可能看看：梯度下降（gradient descent）小結
反向傳播法：依次看以下的文章：
小白也能看懂的bp反向傳播演算法之towards-backpropagation
小白也能看懂的bp反向傳播演算法之into-backpropagation
小白也能看懂的bp反向傳播演算法之let's practice backpropagation
小白也能看懂的bp反向傳播演算法之further into backpropagation
小白也能看懂的bp反向傳播演算法之surpass backpropagation
梯度下降法淺思
梯度下降法 已一元二次為例，保證該函式是凸函式 凸函式即區域性最優點一定是全域性最優點 這樣乙個函式 f x 我們想求得 f x 0 的解。給定乙個初值 但實際上我們求得的梯度是有大小的，很容易走的步子太大或太小，為了便於控制，我們將梯度單位化，只保留方向。step.這時候每次走的長度就可以控制了。...
梯度下降法及其優化
1 梯度下降 2 面對的主要困難 3 分類 隨機梯度下降法 sgd 每次只使用乙個樣本 小批量隨機梯度下降法 mini batch sgd 使用小批量樣本 4 普通的小批量sgd 以下簡稱為sgd 的困難 其他困難 1 為什麼不使用牛頓法？2 動量法 momentum 適用於隧道型曲面 乙個方向很陡...
梯度下降法及其改進演算法
introduce 今天會說兩個問題，第一，建議大腳多看看大牛的部落格，可以漲姿勢。例如 1 側重於語言程式設計和應用的廖雪峰 2 側重於高大上演算法和開源庫介紹的莫煩 第二，加深對機器學習演算法的理解。個人理解 經典機器學習演算法，例如svm，邏輯回歸，決策樹，樸素貝葉斯，神經網路，adaboos...