advanced topics
learning with large datasets
當資料量非常的大的時候，我們應該從中選取少量的資料，使用我們的演算法進行計算，繪製學習曲線，如果學習曲線是左邊的時候說明演算法高方差，這時候提高資料量，就可以提高效能，如果是右邊的圖形，說明演算法高偏差，增加資料量並不會有什麼改變
stochastic gradient descent
當資料量較大的時候，每一次梯度下降都會耗費大量的計算力，所以介紹隨機梯度下降
隨機梯度下降：
打亂資料
對單一的訓練樣本進行更新引數
小批量隨機梯度下降介於梯度下降和隨機梯度下降之間，每次選取一定數量的樣本進行梯度下降
stochastic gradient descent convergence
只需要每次更新引數前計算損失
每一千次迭代，求最後1000樣本的損失的平均值，繪製影象
使用隨機梯度下降，最終會在最小值附近波動
如果想要讓隨機梯度下降確實收斂到全域性最小值，可以隨著時間的變化減小學習率的值
online learning
當我們擁有連續的資料流，就可以使用演算法進行建模，並不斷的優化模型
以快遞公司為例，每當使用者訪問**提交資料後，都會更新引數
其它例子
map-reduce and data parallelism
在實際使用可能不是在一台機器上執行機器學習演算法，這就需要了解map-reduce
map-reduce基本思想
在每台機器上分別計算梯度，在結合在一起
只要演算法可以表示為訓練樣本的求和，就可以考慮使用map-reduce
吳恩達機器學習筆記
為了解決實際生活中的問題，我們通常需要乙個數學模型。比如，小明有乙個房子 他想賣掉房子 為了知道房子的 小明收集了該地區近兩年的房屋交易 他發現房屋 與房屋大小呈正相關，所以他畫了了一幅圖 小明的房屋大小用紅色的 代替。可見和小明房屋一樣大小的房子並不存在，而類似的房屋 又有很大差別，如此小明決定用...
吳恩達機器學習感悟
吳恩達機器學習，斯坦福2014筆記 由8.2 神經元和大腦想到的 神經重連實驗，比如眼睛連到聽覺皮層，則聽覺皮層學會了看 眼睛連到觸覺皮層，則觸覺皮層學會了看 舌頭上加攝像頭關聯的電極陣列，則負責舌頭感知的皮層學會了看。這寫neuron re wiring實驗，給出的結論是大腦各區使用的是同一種演算...
吳恩達機器學習筆記
sigmoid啟用函式 0，1 x 0,y 0.5 tanh啟用函式 1，1 x 0,y 0 relu啟用函式 x 0,y 0 x 0,y x sigmoid啟用函式 除了輸出層是乙個二分類問題基本不會用它。tanh啟用函式 tanh是非常優秀的，幾乎適合所有場合。relu啟用函式 最常用的預設函式...