hypothesis: \[\left( x \right) = x = + + + ... + \]
引數（parameters）: \[,,,...,\]
可以用θ向量表示上面的一系列值
損失函式（cost function）: \[j\left( ,,,...,} \right) = \frac}\sum\limits_^m \left( }} \right) - }} \right)}^2}} \]
當用θ表示時，損失函式：\[j\left( \theta \right) = \frac}\sum\limits_^m \left( }} \right) - }} \right)}^2}} \]
梯度下降演算法表示為：
重複（repeat）: = - \alpha \frac}}j\left( ,,,...,} \right)\] (simultaneously update for every j = 0,...,n)
如果用θ表示 \[: = - \alpha \frac}}j\left( \theta \right)\] (對於 j = 0,...,n，同時更新)
現在看以下部分怎麼算 \[\frac}}j\left( ,,,...,} \right)\]
當n=1時
演算法為：
repeat : = - \alpha \underbrace \sum\limits_^m \left( }} \right) - }} \right)} }_}}j\left( \theta \right)}\]
\[: = - \alpha \frac\sum\limits_^m \left( }} \right) - }} \right)} }\]
(simultaneously update θ0, θ1)
當n>=1時
演算法為：
repeat : = - \alpha \frac\sum\limits_^m \left( }} \right) - }} \right)} x_j^\]
(simultaneously update θj for j = 0,..., n)
監督學習 多變數線性回歸（梯度下降演算法）
例子 我們 了單變數 特徵的回歸模型，現在我們對房價模型增加更多的特徵，例如房間數樓層等，構成乙個含有多個變數的模型，模型中的特徵為 x1,x2,xn n 代表特徵的數量 x i 代表第 i 個訓練例項，是特徵矩陣中的第 i 行，是乙個向量 vector 例如 xj i 代表特徵矩陣中第 i 行的第...
梯度下降 隨機梯度下降 批梯度下降
下面的h x 是要擬合的函式，j 損失函式，theta是引數，要迭代求解的值，theta求解出來了那最終要擬合的函式h 就出來了。其中m是訓練集的記錄條數，j是引數的個數。梯度下降法流程 1 先對 隨機賦值，可以是乙個全零的向量。2 改變 的值，使j 按梯度下降的方向減少。以上式為例 1 對於我們的...
梯度下降 隨機梯度下降和批量梯度下降
對比梯度下降和隨機梯度下降和批量梯度下降 之前看的知識比較零散，沒有乙個系統的解釋說明，看了一些網上的博主的分析，總結了一下自己的理解。例子這裡我參照其他博主的例子做了一些修改，首先是梯度下降 coding utf 8 import random this is a sample to simula...