在不一定可解的情況下，不用公式來求最小值，而是通過嘗試。線性回歸是通過公式來求解。
梯度為求偏導，偏導值為梯度。下降為偏導值的下降方向。
常規套路：機器學習的套路就是交給機器一堆資料，然後告訴它怎樣的方向是對的（目標函式），然後它朝著這個方向去做。
梯度下降就是求：什麼樣的引數能是目標函式達到最小值點。目標函式是誤差的表示式，即真實值和**值的差。
求引數步驟：
1）找到合適的方向（偏導的方向）
2）走小步，走快了怕錯過最小值，而只求得極小值。
3）按照放向和步伐更新引數
3種梯度下降演算法：
批量梯度下降：考慮所以樣本，容易的到最優解，但速度很慢。
隨機梯度下降：每次找乙個樣本，速度快，但不一定都朝著收斂的方向。並不是每個樣本都正確。
小批量梯度下降：每次選擇一小部分資料來算！實用！！
學習率（步長）：沿著偏導的方向進行更新的長度。過大會錯過最小值，過小沒問題。所以以選擇小的學習率為準。根據實際可調整越來越小。或者一開始為稍微大，越往後學習率越小。
梯度下降的原理
本文來了解一下梯度下降演算法的基本原理，不涉及複雜的數學推導。機器學習問題很大程度上來說其實就是找到乙個合適的目標函式，然後不斷優化引數的最優化過程，而梯度下降正是最優化過程中的重要演算法 梯度下降 gradient descent 是應用非常廣泛的優化演算法之一，其應用範圍涵蓋經典機器學習演算法 ...
梯度下降法原理
該博文為一所寫，非常詳細易懂，故搬運過來以後方便回憶學習 一 為什麼需要梯度下降法 每個演算法模型都有自己的損失函式，而損失函式包含了各個位置上的引數，我們的最終目標都是要找到使模型損失函式盡可能小的引數。在學習簡單線性回歸時，我們使用最小二乘法來求損失函式的最小值，但是這只是乙個特例。在絕大多數的...
梯度下降法原理
求解機器學習演算法的模型引數，常用兩種方法 梯度下降，最小二乘法。此外還有牛頓法和擬牛頓法。1.梯度 對多元函式引數求偏導，把求得的偏導寫成向量形式。比如 f x,y 對x，y求偏導，梯度就是 f x,f y t。2.梯度下降法詳解 梯度下降法有代數法和矩陣法兩種表示形式。2.1 代數法 1.先決條...