在微積分課程中，我們知道函式在某一點的導數（微商）代表了函式在該點的變化率。微分和積分，它們的定義都是建立在極限的基礎上。對於單變數函式f(x)，它在x0處導數是：當x趨近於x0時，函式的改變量與自變數的改變量的比值的極限，即微商（導數）等於差商的極限
對於單變數函式，自變數只有乙個，當x趨近於x0時只能在直線上變動，移動的方向只有左右兩方。
然而，對於多變數函式，自變數有多個，表示自變數的點在乙個區域內變動，不僅可以移動距離，而且可以按任意的方向來移動同一段距離。因此，函式的變化不僅與移動的距離有關，而且與移動的方向有關。因此，函式的變化率是與方向有關的。這也才有了方向導數的定義，即某一點在某一趨近方向上的導數值。假設給定函式u=u(m)，取一點m0=(x0,y0,z0)，l是由m0出發的任一半直線，則u在m0點l的方向導數定義為
上面有了方向導數的定義，我們進一步來推導方向導數的表示，命l的方向余弦為，則l上的m可表示為
。於是u對l的方向導數為
注意，在上面的推導中用到了全微分公式。
令向量這表達了l上的方向向量其實是n在l方向上的投影。當l的方向變化，投影量隨之改變，也就代表了不同的方向導數。當l與n同向時，便取得最大值|n|，我們稱n為u在該點的梯度。可以看到梯度即是某一點最大的方向導數，沿梯度方向函式有最大的變化率（正向增加，逆向減少）。
另外還可以證明，在某一點的梯度方向，就是過該點的等值面的切平面的法線方向。但需要注意的是，這並不是定理，只是等值函式的法向量的表示式與函式的梯度的表示式一致而已，並非兩者之間必然的存在關係。因此，在某一點沿著梯度看去，等值面分布最密，即達到臨近等值面的距離最小。
對於單變數函式，若在某點取得極值，則該點的導數為0。同樣對於多變數函式，在某點為極大值或極小值只有當在該點的每個偏導數等於0才有可能，也就是說梯度等於0。因此，在多變數函式中，駐點，也就是導數為0的點，指的是每個偏導數等於0，也就是梯度等於0的點。進而，在求極值時，我們可以先找到梯度為0的駐點，在通過定理（查書唄）判斷它是否是極值點，極大值還是極小值。
方向導數和梯度
之前用過幾次梯度下降演算法來求解一些優化問題，但對梯度的具體意義並不是很理解。前一段時間翻了一遍高教的 簡明微積分 對梯度概念總算有了些理解，在這記錄一下。推薦下 簡明微積分 這本書，我向來對帶有 簡明 二字的書抱有極大的好感。偶然的機會在豆瓣上看到有人推薦這本書，作者是龔公升先生。龔公升先生是中國...
方向導數和梯度
我覺得我有必要把工數再看一遍 都忘記了 在微積分課程中，我們知道函式在某一點的導數 微商 代表了函式在該點的變化率。微分和積分，它們的定義都是建立在極限的基礎上。對於單變數函式f x 它在x0處導數是 當x趨近於x0時，函式的改變量與自變數的改變量的比值的極限，即微商 導數 等於差商的極限 f x0...
方向導數和梯度
之前用過幾次梯度下降演算法來求解一些優化問題，但對梯度的具體意義並不是很理解。前一段時間翻了一遍高教的 簡明微積分 對梯度概念總算有了些理解，在這記錄一下。推薦下 簡明微積分 這本書，我向來對帶有 簡明 二字的書抱有極大的好感。偶然的機會在豆瓣上看到有人推薦這本書，作者是龔公升先生。龔公升先生是中國...