梯度：梯度的本意是乙個向量（向量），表示某一函式在該點處的方向導數沿著該方向取得最大值，
即函式在該點處沿著該方向（此梯度的方向）變化最快，變化率最大（為該梯度的模）。
參考這個部落格
1、梯度下降（gradient descent）
3、梯度下降法的基本思想可以模擬為乙個下山的過程。
假設這樣乙個場景：乙個人被困在山上，需要從山上下來(找到山的最低點，也就是山谷)。但此時山上的濃霧很大，導致可視度很低；因此，下山的路徑就無法確定，
必須利用自己周圍的資訊一步一步地找到下山的路。這個時候，便可利用梯度下降演算法來幫助自己下山。怎麼做呢，首先以他當前的所處的位置為基準，
尋找這個位置最陡峭的地方，然後朝著下降方向走一步，然後又繼續以當前位置為基準，再找最陡峭的地方，再走直到最後到達最低處；同理上山也是如此，
只是這時候就變成梯度上公升演算法了
有時間看一下高數，再複習一下。
5、梯度的方向是函式在給定點上公升最快的方向，那麼梯度的反方向就是函式在給定點下降最快的方向，這正是我們所需要的。所以我們只要沿著梯度的方向一直走，就能走到區域性的最低點！
6、α在梯度下降演算法中被稱作為學習率或者步長，意味著我們可以通過α來控制每一步走的距離，以保證不要步子跨的太大扯著蛋，哈哈，其實就是不要走太快，錯過了最低點。同時也要保證不要走的太慢，導致太陽下山了，還沒有走到山下。所以α的選擇在梯度下降法中往往是很重要的！α不能太大也不能太小，太小的話，可能導致遲遲走不到最低點，太大的話，會導致錯過最低點！
7、梯度要乘以乙個負號
梯度前加乙個負號，就意味著朝著梯度相反的方向前進！我們在前文提到，梯度的方向實際就是函式在此點上公升最快的方向！而我們需要朝著下降最快的方向走，自然就是負的梯度的方向，所以此處需要加上負號；那麼如果時上坡，也就是梯度上公升演算法，當然就不需要新增負號了。
8、首先給出數學公式：
此公式的意義是：j是關於θ的乙個函式，我們當前所處的位置為θ0點，要從這個點走到j的最小值點，也就是山底。首先我們先確定前進的方向，也就是梯度的反向，然後走一段距離的步長，也就是α，走完這個段步長，就到達了θ1這個點！
梯度下降演算法 梯度下降演算法為何叫梯度下降？
首先，我們知道乙個演算法的名字可以很好地去解釋乙個演算法，那麼梯度下降演算法是什麼呢？很明顯的，就是用梯度這個工具來解決問題的一種演算法。解決什麼問題呢？如何在乙個函式曲面的某一點，找到乙個函式值變化最大的方向。比如 我們站在山上的某一點，我們想要以最快的速度上山，但是我們的步子大小是一定的，那麼最...
梯度下降理解
第二天系統學習。1.設損失函式為j 希望將這個函式最小化，通過梯度下降方法找到最優解。這裡應該有些假設，這個函式是凸函式。以兩個引數為例，隨機乙個點開始，開始下山，對於這個點到最底部，最好的方式就是切線方向，這個方向下降最快，就像圖中紅色 每次按照藍色切線箭頭以一定的長度往下走，當走到最低點是停止。...
梯度下降演算法 梯度下降演算法公式推導
場景假設 梯度下降法的基本思想可以模擬為乙個下山的過程。假設這樣乙個場景 乙個人被困在山上，需要從山上下來 找到山的最低點 但此時山上的濃霧很大，導致可視度很低 因此，下山的路徑就無法確定，必須利用自己周圍的資訊一步一步地找到下山的路。這個時候，便可利用梯度下降演算法來幫助自己下山。怎麼做呢，首先以...