筆記 梯度下降法的簡單了解

2022-06-07 04:18:06 字數 873 閱讀 2404

梯度下降法和先前學習的演算法有著明顯的不同

他本身不是乙個機器學習的演算法,它既不是監督學習也不是非監督學習,其是一種基於搜尋的最優化的方法,作用是最小化乙個損失函式,相應的,我們想要最大化乙個效用函式的話,就要用梯度上公升法,最小化方面是很常用梯度下降法的

從二維平面上看,可以發現其本質就是尋找乙個引數使得損失函式最小,其中縱軸為損失函式j

對相應的點進行求導,其中導數代表著引數變化的時候,損失函式相應的變化,直線和曲線上導數都可代表斜率(高數基本的東西,不再贅述),其中,導數還可以代表方向,對應損失函式增大的方向,可以得到乙個數值

其中導數前的數值η是先確定好的

我們需要一直計算,直到導數等於0(即取極值),就像是乙個球一路滾落,直到最深處

其中這個速度是由學習率η決定的,其取值會影響到獲得最優解的速度,如果取值不合適的話,甚至有可能出現得不到最優解的情況,太小就會減慢學習速度,太大甚至有可能導致不收斂,η相當於是梯度下降法的超引數,因此我們可是使用調參的方式來調整到最好的情況

而在事實上,並不是所有的函式都有唯一的極值點,像是線性回歸這種損失函式就是具有唯一的最優解的,但是更多的時候,我們所找到的第乙個極值點並不是最終的最好的解,可能還存在更好的解,這樣我們稱第乙個點為區域性最優解,最小值點為全域性最優解

這樣的情況下也是有解決方案的,我們可以多次執行,對初始點進行隨機化,這樣每次執行結果比較一下,逐步嘗試,有可能找出全域性最優解

這樣我們發現,梯度下降法的初始點的位置一樣也是乙個超引數,其是非常重要的

筆記 梯度下降法

詳解機器學習中的梯度消失 原因及其解決方法 導數 方向導數和梯度 要了解梯度下降演算法是什麼首要知道梯度是什麼,導數和方向導數又是了解梯度的前提。導數導數反映的是函式y f x 在某一點處沿x軸正方向的變化率,如果f x 0,說明f x 的函式值在x點沿x軸正方向是趨於增加的 如果f x 0,說明f...

梯度下降法和隨機梯度下降法

批量梯度下降法 batch gradient descent 在更新引數時使用所有的樣本來進行更新 隨機梯度下降法 stochastic gradient descent 求梯度時沒有用所有的m個樣本的資料,而是僅僅選取乙個樣本j來求梯度。小批量梯度下降法 mini batch gradient d...

梯度下降法

梯度下降法 是乙個一階 最優化演算法 通常也稱為 最速下降法 我之前也沒有關注過這類演算法。最近,聽史丹福大學的機器學習課程時,碰到了用梯度下降演算法求解線性回歸問題,於是看了看這類演算法的思想。今天只寫了一些入門級的知識。我們知道,函式的曲線如下 程式設計實現 c code cpp view pl...