首先通過學習曲線判斷是否增大資料集有效：
高方差時（交叉驗證集誤差減去訓練集誤差大時）增加資料集可以提高系統。下圖中左圖增加資料集有效，右圖無效。
隨機梯度下降法是只使用乙個樣本來迭代，其損失函式為：
迭代過程為：
特點：(1)計算量小，迭代速度快；
(2)在最小值附近徘徊，無法求得最小值。
每次迭代所使用的樣本數介於批量梯度下降法和隨機梯度下降法之間，通常是2-100。
(1)對於批量梯度下降法而言，每次迭代求其代價函式的計算量太大，不現實；
(2)對於隨機梯度下降法而言，每次迭代計算代價函式，然後經過x次迭代之後求x次代價函式的平均值，然後將該值與迭代次數繪製到圖上。
(3)如果得到的圖顛簸切看不到明顯減少的函式影象，如下圖中藍色所示，可以增加α來時函式更加平緩，如下圖紅色所示，如果是洋紅色可能說明模型本身有問題。
(4)如果出現代價函式隨迭代次數的增加而增加，學習率α可能需要隨著迭代的次數而減小：
常用於**中，有連續的資料流可供模型來學習，與傳統的模型學習沒有什麼大的差別；如果有連續的資料集，這種方法著重考慮。
如果任何學習演算法能夠表達為對訓練集的函式求和，便可以分配到多台計算機中計算子集，然後再求和（也叫做對映簡化mapreduce），如下所示(其實就平行計算)：
吳恩達《機器學習》課程總結 19 總結
線性回歸 下面第三行x0 i 其實是1，可以去掉 邏輯回歸 神經網路 寫出前向傳播即可，反向框架會自動計算 pca訓練誤差減去人類最高水平為偏差 欠擬合 交叉驗證集誤差減訓練誤差為方差 過擬合 正則化解決方差問題，不對 0正則化 全過程觀測偏差與方差，所以更全面。找到哪種原因造成誤差最大，最該花時間...
吳恩達《機器學習》課程總結（19）總結
線性回歸 下面第三行x0 i 其實是1，可以去掉 邏輯回歸 神經網路 寫出前向傳播即可，反向框架會自動計算 pca訓練誤差減去人類最高水平為偏差 欠擬合 交叉驗證集誤差減訓練誤差為方差 過擬合 正則化解決方差問題，不對 0正則化 全過程觀測偏差與方差，所以更全面。找到哪種原因造成誤差最大，最該花時間...
Course吳恩達機器學習課程完結
andew ng老師的機器學習終於看完了，收穫還是蠻大的。我並不是在course上看的，我是在b站上看的，本來想在網易雲上看結果網易雲下架了。我course作業都完成了結果發現沒證書？excuse me?還得購買或者申請助學金？沒人告訴我，我就吃了這個虧，太窮了，沒工資，每個月能來錢的就國家500塊...