函式 z=f(x,y) 表示空間曲面 s， 則點 p(x0, y0,z0) 在 s 上， 過點 p 和 p0 的 u 方向的垂直平面交 s 於曲線 c， f 沿方向 u 的變化率是 c 在點 p 的切線的斜率， 觀察下面動畫:
當 u 與 ▽f 同方向時, 函式 f 增加最快, 類似, 反方向減少最快.。而正交於梯度的方向 u 是 f 變化率為 0 的方向。
函式 f(x) = x^2/2+y^2/2 在 (1,1) 增加最快的方向梯度的方向, 它對應於在點 (1,1,1) 在曲面上最陡峭的方向。
其中紅色射線表示梯度。
函式 f(x,y) 的定義域的每個點 (x0,y0)(x0,y0), f 的梯度正交於過 (x0,y0)(x0,y0) 的等高線.
建立互動等高線，把法線顯示為乙個點：
一些重要的性質：
通俗理解 梯度下降法（一） 數學基礎
什麼是梯度下降 梯度下降法 gradient descent 是一種常見的一階 first order 優化方法，是求解無約束優化問題最簡單 最經典的方法之一。所謂的一階方法就是僅使用目標函式的一階導數，不利用其高階導數。那什麼是無約束優化問題呢？舉個例子，在一元函式法f x 的影象中，求無約束最優...
機器學習中的數學 梯度和梯度下降
機器學習中的大部分問題都是優化問題，而絕大部分優化問題都可以使用梯度下降法處理，那麼搞懂什麼是梯度，什麼是梯度下降法就非常重要！這是基礎中的基礎，也是必須掌握的概念！提到梯度，就必須從導數 derivative 偏導數 partial derivative 和方向導數 directional der...
梯度下降理解
第二天系統學習。1.設損失函式為j 希望將這個函式最小化，通過梯度下降方法找到最優解。這裡應該有些假設，這個函式是凸函式。以兩個引數為例，隨機乙個點開始，開始下山，對於這個點到最底部，最好的方式就是切線方向，這個方向下降最快，就像圖中紅色 每次按照藍色切線箭頭以一定的長度往下走，當走到最低點是停止。...