先丟擲乙個問題：梯度下降的方向為什麼與切線方向垂直？從圖上能夠看出，也經常聽老師同學說起，梯度下降的方向與等高線的切線方向垂直。
那麼為什麼會垂直呢？其實是乙個高數問題。
解釋假設我們的損失函式為z=f(x,y)，在幾何上表示是乙個曲面，該曲面被平面c（c為常數）所截得的曲線l方程為：
這條曲線l在xoy軸面上的投影是一條平面曲線q，它在xoy平面直角座標系中的方程為
f(x,y)=c
則我們稱平面曲線q為函式z=f(x,y)的等高線。
由於等高線f(x,y)=c上任一一點的切線斜率用dy/dx來求。
則等高線f(x,y)=c上任一一點(x,y)處的法線的斜率為：
ps:上式中dy/dx=-fx/fy如何推導見[隱函式導數推導]
又因為梯度的計算式子為：
z=f(x,y)的梯度向量為
從上可以看出梯度的方法與等高線f(x,y)=c上任一一點的法線斜率是相同的。
這也就解釋了為什麼梯度的方向與等高線切線方向垂直的原因。
結論如下：
函式z=f(x,y)在點p(x,y)的梯度的方向與過點p的等高線f(x,y)=c在這點的法線方向相同。梯度的方向與等高線切線方向垂直
人工智慧之數學基礎
線性代數不僅僅是人工智慧的基礎，更是現代數學和以現代數學作為主要分析方法的眾多學科的基礎。從量子力學到影象處理都離不開向量和矩陣的使用。每個向量都由若干標量構成，如果將向量的所有標量都替換成相同規格的向量，得到的就是矩陣 matrix 相對於向量，矩陣同樣代表了維度的增加，矩陣中的每個元素需要使用兩...
A 人工智慧 數學基礎
a.數學基礎 線性代數 基本概念 標量向量 矩陣範數 l1 向量絕對值之和 l2 向量的長度 lp p趨於無窮 向量中最大元素的取值 內積兩個向量之間的相對位置 余弦相似度 線性空間 內積空間 內積空間 正交基 標準正交基 特徵值和特徵向量 矩陣特徵值和特徵向量的動態意義在於表示了變化的速度和方向。...
人工智慧數學基礎 矩陣
人工智慧數學基礎系列文章 今天覆習矩陣，作為程式設計師，矩陣在程式中的應用想必或多或少都接觸過，特別是在影象變化演算法上的應用。1.定義 以上是乙個三元一次方程組，根據矩陣的 定義，有矩陣a如下圖 2.矩陣的運算 2.1.矩陣的加法 從上圖中我們可以看出，矩陣a和矩陣b相加，它們都是2 x 2的矩陣...
