notation：
m=number of training examples
n=number of features
x="input" variables / features
y="output"variable/"target" variable
\((x^，y^)\) = the ith trainging example
\(h_\theta\) = fitting function
一、梯度下降法（gradient descent）（主要）
其中\(h_\theta(x)=\theta_0+\theta_1x_1+...+\theta_nx_n=\sum_^=\theta^t\)
假設損失函式為\(j(\theta)=\frac\sum_^\) ， to minimize the \(j(\theta)\)
只有乙個樣本時,對第i個引數進行更新 \(\theta_i:=\theta_i-\alpha\fracj(\theta)=\theta_i-\alpha(h_\theta(x)-y)x_i\)
repeat until convergence(收斂):
^(h_\theta(x^)-y^)x_i^\) ，(for every i)
}
矩陣描述（簡單）：
repeat until convergence(收斂):
if \(a\epsilon r^\)
tr(a)=\(\sum_^na_\) :a的跡
\(j(\theta)=\frac(x\theta - \vec)^t(x\theta - \vec)\)
\(\nabla_\theta j=\frac\nabla_\theta (\theta^tx^tx\theta-\theta^tx^ty-y^tx\theta+y^ty) =x^tx\theta-x^ty\)
備註：
當目標函式是凸函式時，梯度下降法的解才是全域性最優解
二、隨機梯度下降(stochastic gradient descent )
repeat until convergence:
)-y^)x_i^\) ，for every i
}
備註：1.訓練速度很快，每次僅僅採用乙個樣本來迭代；
2.解可能不是最優解，僅僅用乙個樣本決定梯度方向；
3.不能很快收斂，迭代方向變化很大。
三、mini-batch梯度下降
repeat until convergence:
^(h_\theta(x^)-y^)x_i^\) ，for every i
}
備註：機器學習中往往採用該演算法
機器學習之梯度下降法 梯度下降法分析
梯度下降法的基本思想是函式沿著其梯度方向增加最快，反之，沿著其梯度反方向減小最快。在前面的線性回歸和邏輯回歸中，都採用了梯度下降法來求解。梯度下降的迭代公式為 j j j j 在回歸演算法的實驗中，梯度下降的步長 為0.01，當時也指出了該步長是通過多次時間找到的，且換一組資料後，演算法可能不收斂。...
機器學習 梯度下降法
梯度下降法,一般用來求解線性回歸方程,我的理解是根據一組形如 特徵1,特徵2.結果 的資料來找到這些對應的特徵和結果之間的聯絡 例如,我們利用一組 銷量的資料判斷乙個物品的銷量和 之間的關係 我們要求的線性回歸方程可以表示為 銷量 引數 實質上其實就是找到對應的 引數 而當影響乙個結果的特徵不只有乙...
機器學習 梯度下降法
1 梯度下降法的邏輯思路 的取值影響獲得最優解的速度 取值不合適，甚至得不到最優解 是梯度下降法的乙個超引數 一般需要調參找到最適合的 太小，減慢收斂學習速度 太大，導致不收斂 2 梯度下降法的問題 3 其它1 具體實現 模擬損失函式 y x 2.5 2 1 資料集特徵值 plot x np.lin...