梯度下降是目前機器學習、深度學習解決最優化問題的演算法中，最核心、應用最廣的方法。
梯度下降是一種尋找函式極小值的方法。該方法最普遍的做法是：在已知引數當前值的情況下，按當前點對應的梯度向量的反方向，並按事先給定好的步長大小，對引數進行調整。按如上方法對引數做出多次調整後，函式就會逼近乙個極小值。
為什麼是沿梯度的反方向？
因為梯度的方向實際就是函式在此點上公升最快的方向，而我們要找到函式的極小值，就需要朝著下降最快的方向走，即梯度的反方向。
沒有收斂到全域性最小值，只收斂到區域性最小值。
應對的解決方案：首先隨機產生多個初始引數集，即多組a
0a_0
a0,b
0b_0
b0；然後分別對每個初始引數集使用梯度下降法，直到函式值收斂於某個值；最後從這些值中找出最小值，這個找到的最小值被當作函式的最小值。當然這種方式不一定能找到全域性最優解，但是起碼能找到較好的。
參考：
最優化方法 梯度下降
梯度下降 實現梯度下降 線性回歸中的梯度下降 隨機梯度下降 相關 即呼叫 一 概念 梯度下降 gradient descent,gd 不是乙個機器學習演算法，而是一種基於搜尋的最優化方法。梯度下降 gradient descent,gd 優化演算法，其作用是用來對原始模型的損失函式進行優化，以便尋找...
最優化 梯度下降法
最優化問題就是求解函式極值的問題，包括極大值和極小值，幾乎所有機器學習演算法歸根到底都是在求解最優化問題。在高等數學 微積分中有求極值統一的思路 找函式導數等於0的點，只要函式可導我們就可以用這種方法。在機器學習中我們一般求函式的極小值，若求極大值我們只需要整體加負號。有些時候我們會對優化變數x有約...
最優化演算法 梯度下降
梯度下降演算法，參考edwin 最優化導論 8.2章節，演算法採用go語言實現。此處演算法仍然存在疑惑，主要是獲取梯度下降時如何確定步長，即使採用割線法獲取最優步長，那麼割線法的初始值又如何確定？下面程式中雖然採用了牛頓法獲取極值，但非常依賴初始取值範圍！filename grad.go autho...