x ， y 都表示 權重，f 表示損失函式。
\[f(x+ \delta x,y+\delta y)=f(x,y)+\frac \cdot \delta x+\frac \cdot\delta y
\]\[f(x+\delta x,y+\delta y)-f(x,y)=\frac \cdot \delta x+\frac \cdot\delta y
\]\[\delta z=\frac \cdot \delta x+\frac \cdot\delta y
\]因為\(\delta z\) 表示變化量 ，最大值表示 變化最大 （增加最大），即增加最快的方向。
最小值表示下降最大，即下降最快的方向。 等式右邊可寫作向量的形式。
\[(\frac，\frac)\cdot(\delta x,\delta y)
\]左邊表示 梯度，所以梯度的反方向 乘積最小，二者夾角-180度， 即下降最快。
所以：\[(\delta x,\delta y) = - a(\frac，\frac)
\]所以:
\[x+\delta x = x-a\cdot\frac
\]\[y+\delta y = y-a\cdot\frac
\]
梯度下降演算法 梯度下降演算法公式推導
場景假設 梯度下降法的基本思想可以模擬為乙個下山的過程。假設這樣乙個場景 乙個人被困在山上，需要從山上下來 找到山的最低點 但此時山上的濃霧很大，導致可視度很低 因此，下山的路徑就無法確定，必須利用自己周圍的資訊一步一步地找到下山的路。這個時候，便可利用梯度下降演算法來幫助自己下山。怎麼做呢，首先以...
梯度下降演算法公式推導
梯度下降法的基本思想可以模擬為乙個下山的過程。假設這樣乙個場景 乙個人被困在山上，需要從山上下來 找到山的最低點 但此時山上的濃霧很大，導致可視度很低 因此，下山的路徑就無法確定，必須利用自己周圍的資訊一步一步地找到下山的路。這個時候，便可利用梯度下降演算法來幫助自己下山。怎麼做呢，首先以他當前的所...
梯度下降及BP演算法詳細推導
隨著深度學習的火熱，人們在驚呼其效果之外，對其表現出如此效果的內在原理卻知之甚少，為此，本文基於自己在之前課堂上學習到的知識對其內部工作情況做乙個較為詳細的介紹，考慮到目前主流深度學習還是基於隨機梯度下降及bp演算法進行網路引數的調整，為此本章將對bp演算法進行詳細的推導，希望能對剛入門的讀者有所幫...