梯度下降法

梯度下降法不是乙個機器學習演算法

是一種基於搜尋的最優化方法

作用：最小化乙個損失函式

梯度上公升法：最大化乙個效用函式

在直線方程中，導數代表斜率

在曲線方程中，導數代表切線斜率

導數可以代表方向，對應j

jj增大的方向

− ηd

jd

θ-\eta \frac

−ηdθdj

​η\eta

η稱為學習率(learning rate)

η

\eta

η的取值影響獲得最優解的速度

η

\eta

η取值不合適，甚至得不到最優解

η

\eta

η是梯度下降的乙個超引數

並不是所有函式都有唯一的極值點

解決方案：

多次執行，所及初始點

梯度下降法的初始點也是乙個超引數

目標: 使∑i=

1m(y

(i)−

y^(i

))

2\sum\limits_^m(y^ - \hat y^)^2

i=1∑m​

(y(i

)−y^

​(i)

)2盡可能小

線性回歸法的損失函式具有唯一的最優解

梯度下降法和隨機梯度下降法

批量梯度下降法 batch gradient descent 在更新引數時使用所有的樣本來進行更新 隨機梯度下降法 stochastic gradient descent 求梯度時沒有用所有的m個樣本的資料，而是僅僅選取乙個樣本j來求梯度。小批量梯度下降法 mini batch gradient d...

梯度下降法

梯度下降法 是乙個一階 最優化演算法 通常也稱為 最速下降法 我之前也沒有關注過這類演算法。最近，聽史丹福大學的機器學習課程時，碰到了用梯度下降演算法求解線性回歸問題，於是看了看這類演算法的思想。今天只寫了一些入門級的知識。我們知道，函式的曲線如下 程式設計實現 c code cpp view pl...

梯度下降法

回歸 regression 梯度下降 gradient descent 發表於332 天前 技術,科研 被圍觀 1152 次 前言 這個系列主要想能夠用數學去描述機器學習，想要學好機器學習，首先得去理解其中的數學意義，不一定要到能夠輕鬆自如的推導中間的公式，不過至少得認識這些 式子吧，不然看一些相關...