機器學習/深度學習中，需要使用訓練資料來最小化損失函式，從而確定引數的值。而最小化損失函式，即需要求得損失函式的極值。
求解函式極值時，需要用到導數。對於某個連續函式f(x
)f(x)
f(x)
，令其一階導數 f′(
x)=0
f'(x)=0
f′(x)=
0 ，通過求解該微分方程，便可直接獲得極值點。但當變數很多或者函式很複雜時，f′(
x)=0
f'(x)=0
f′(x)=
0的顯式解並不容易求得。且計算機並不擅長於求解微分方程。
計算機所擅長的是，憑藉強大的計算能力，通過插值等方法（如牛頓下山法、弦截法等），海量嘗試，一步一步的去把函式的極值點「試」出來。
而海量嘗試需要乙個方向感，為了闡述這個方向感，介紹一下方向導數。
梯度下降由梯度方向，和步長決定，每次移動一點點。但是每一次移動都是對你所在的那個點來說，往極值方向，所以能夠保證收斂。
什麼是梯度下降
1 在求解機器學習演算法的模型引數，即無約束優化問題時，梯度下降 gradient descent 是最常採用的方法之一，另一種常用的方法是最小二乘法。梯度的方向是函式f增長最快的方向，梯度的反方向是梯度下降最快的方向 對於梯度下降的解釋是 比如說下山的過程中，我們不知道從 下山可以最快到達山腳下，...
為什麼梯度的負方向是梯度下降最快的方向
梯度方向指向數值增長最快的方向，大小為變化率。通過這個性質也說明梯度是有方向和大小的向量。通過梯度的定義我們發現，梯度的求解其實就是求函式偏導的問題，而我們高中所學的導數在非嚴格意義上來說也就是一元的 偏導 通過這一點我們自然而然地想到梯度應該是導數向更高維數的推廣。換句話說，梯度是向量,而某點的導...
什麼是LVM 什麼是LV 什麼是VG
lvm logicl volume manager 邏輯卷管理器，通過使用邏輯卷管理器對硬碟儲存裝置進行管理，可以實現硬碟空間的動態劃分和調整。一 基本概念 1 物理卷 pv physical volume 物理卷在邏輯卷管理中處於最底層，它可以是實際物理硬碟上的分割槽，也可以是整個物理硬碟。2 捲...