梯度下降是機器學習中常用的優化引數的方法，過程是通過優化目標函式，得到最優引數。
首先說明一點，例如把目標函式記做：f(w,b)，其中的w和b便是目標函式的引數。這和中學學的函式如f(x)是一樣一樣的。在f(x)中，x是自變數。在f(w,b)中，w和b是自變數。並沒有什麼不一樣。
例如，y=x^2，這是拋物線，函式值隨著自變數的改變而改變。
同理，f(w,b)，是高維函式，函式值隨著自變數w和b的改變而改變。
梯度下降的目標是找到使得函式值最小（在一定條件下，如最大迴圈次數或者閾值）的自變數的值。
這裡，以最大迴圈次數舉例來說明梯度下降演算法，
for i 小於 最大迴圈次數
for j 小於 所有訓練樣本數
計算所有樣本在當前自變數下的梯度之和
更新自變數的值
得到使得函式最小的自變數的值
以上是梯度下降演算法。
梯度下降演算法 梯度下降演算法為何叫梯度下降？
首先，我們知道乙個演算法的名字可以很好地去解釋乙個演算法，那麼梯度下降演算法是什麼呢？很明顯的，就是用梯度這個工具來解決問題的一種演算法。解決什麼問題呢？如何在乙個函式曲面的某一點，找到乙個函式值變化最大的方向。比如 我們站在山上的某一點，我們想要以最快的速度上山，但是我們的步子大小是一定的，那麼最...
梯度下降演算法 梯度下降演算法公式推導
場景假設 梯度下降法的基本思想可以模擬為乙個下山的過程。假設這樣乙個場景 乙個人被困在山上，需要從山上下來 找到山的最低點 但此時山上的濃霧很大，導致可視度很低 因此，下山的路徑就無法確定，必須利用自己周圍的資訊一步一步地找到下山的路。這個時候，便可利用梯度下降演算法來幫助自己下山。怎麼做呢，首先以...
梯度下降及BP演算法詳細推導
隨著深度學習的火熱，人們在驚呼其效果之外，對其表現出如此效果的內在原理卻知之甚少，為此，本文基於自己在之前課堂上學習到的知識對其內部工作情況做乙個較為詳細的介紹，考慮到目前主流深度學習還是基於隨機梯度下降及bp演算法進行網路引數的調整，為此本章將對bp演算法進行詳細的推導，希望能對剛入門的讀者有所幫...