原文：
一、梯度下降（批量&隨機）
梯度下降（gd）是最小化風險函式、損失函式的一種常用方法，隨機梯度下降和批量梯度下降是兩種迭代求解思路，下面從公式和實現的角度對兩者進行分析，如有哪個方面寫的不對，希望網友糾正。
下面的h(x)是要擬合的函式，j(theta)損失函式，theta是引數，要迭代求解的值，theta求解出來了那最終要擬合的函式h(theta)就出來了。其中m是訓練集的記錄條數，j是引數的個數。
1、批量梯度下降的求解思路如下：
（1）將j(theta)對theta求偏導，得到每個theta對應的的梯度
（2）由於是要最小化風險函式，所以按每個引數theta的梯度負方向，來更新每個theta
（3）從上面公式可以注意到，它得到的是乙個全域性最優解，但是每迭代一步，都要用到訓練集所有的資料，如果m很大，那麼可想而知這種方法的迭代速度！！所以，這就引入了另外一種方法，隨機梯度下降。
2、隨機梯度下降的求解思路如下：
（1）上面的風險函式可以寫成如下這種形式，損失函式對應的是訓練集中每個樣本的粒度，而上面批量梯度下降對應的是所有的訓練樣本：
（2）每個樣本的損失函式，對theta求偏導得到對應梯度，來更新theta
（3）隨機梯度下降是通過每個樣本來迭代更新一次，如果樣本量很大的情況（例如幾十萬），那麼可能只用其中幾萬條或者幾千條的樣本，就已經將theta迭代到最優解了，對比上面的批量梯度下降，迭代一次需要用到十幾萬訓練樣本，一次迭代不可能最優，如果迭代10次的話就需要遍歷訓練樣本10次。但是，sgd伴隨的乙個問題是噪音較bgd要多，使得sgd並不是每次迭代都向著整體最優化方向。
3、對於上面的linear regression問題，與批量梯度下降對比，隨機梯度下降求解的會是最優解嗎？
（1）批量梯度下降---最小化所有訓練樣本的損失函式，使得最終求解的是全域性的最優解，即求解的引數是使得風險函式最小。
（2）隨機梯度下降---最小化每條樣本的損失函式，雖然不是每次迭代得到的損失函式都向著全域性最優方向， 但是大的整體的方向是向全域性最優解的，最終的結果往往是在全域性最優解附近。
4、梯度下降用來求最優解，哪些問題可以求得全域性最優？哪些問題可能區域性最優解？
對於上面的linear regression問題，最優化問題對theta的分布是unimodal，即從圖形上面看只有乙個peak，所以梯度下降最終求得的是全域性最優解。
然而對於multimodal的問題，因為存在多個peak值，很有可能梯度下降的最終結果是區域性最優。
例項分析：
為何不能直接用計算的方法得到最優點而用迭代的方式：
二、非負矩陣分解
（見原文）
梯度下降 隨機梯度下降和批量梯度下降
對比梯度下降和隨機梯度下降和批量梯度下降 之前看的知識比較零散，沒有乙個系統的解釋說明，看了一些網上的博主的分析，總結了一下自己的理解。例子這裡我參照其他博主的例子做了一些修改，首先是梯度下降 coding utf 8 import random this is a sample to simula...
批量梯度下降，隨機梯度下降，小批量梯度下降
在機器學習領域中，梯度下降的方式有三種，分別是 批量梯度下降法bgd 隨機梯度下降法sgd 小批量梯度下降法mbgd，並且都有不同的優缺點。下面我們以線性回歸演算法 也可以是別的演算法，只是損失函式 目標函式 不同而已，它們的導數的不同，做法是一模一樣的 為例子來對三種梯度下降法進行比較。假設 特徵...
AI 矩陣分解和梯度下降
1 ai 演算法 經典 人工智慧 算力 巨型機可實現 資料 2 推薦系統是協同過濾演算法的典型應用場景，可用於對未評分物品進行評分的 矩陣分解是基礎。3 矩陣分解的過程中，原始的評分矩陣 可以近似表示為 p m,k 和q k,n 的乘積，並且矩陣的 值可以表示為 4 值可近似為真實值，求出矩陣p和q...