（all is based on the stanford open course cs229.lecture 11.）
regularization（正規化）防止過擬合:保留所有的引數
貝葉斯學習方法：增加先驗概率，常用為高斯分布n(0,λ)，使演算法更傾向於選擇更小的引數
體現在最大似然估計上就是增加懲罰專案，||θ||^2
////
接下來講的是如果演算法不起作用，如何分析改進乙個演算法
首先是bias和variance的分析，這在筆記六里講得很清楚了
cs229和coursera上不同的是是增加了叫做「fix optimization algorithm 「和」fix optimization objective」的分析
採用的方法有：
1)多做幾次迭代，看效果是否有改進fix optimization algorithm
2)嘗試其他演算法進行convergefix optimization algorithm
3)改變一些常量引數fix optimization objective
4)嘗試使用其他機器學習演算法fix optimization algorithm
而對於特定問題，我們必須自己去構造分析方法，andrew ng就舉了乙個關於自動駕駛直公升飛機的例子
能正確對演算法進行分析，才能避免無謂地浪費時間
////
接下來是針對乙個系統的分析，error analysis
乙個系統常常由多個機器學習演算法組成的，所以如果系統工作不順利，必須要分析出是哪個部分出問題了
error analysis就是對每乙個部件，依次用基準值(ground-truth)替換每個部件的輸出
看看整體系統的效果改變是否較大，如果較大就說明系統精度的瓶頸就在剛剛替換了的這個部件這裡
這在coursera上的課程上也有說明，但我好像沒有作筆記
////
再次就是ablative analysis（銷蝕分析）
和上面不同的的是銷蝕分析是在最後結果很高的情況下，remove乙個元件的輸出，來看每個部件對最後結果的影響
看看哪個組建值得優化，值得注意的是「依次」
////
最後一點就是the danger of over-theorizing
這就和有乙個寓言一樣：為了釘一幅畫，沒有錘子，去找錘子。做錘子要木頭，就去伐木
伐木要伐木機，就去找伐木機，伐木機沒油…………
//
（all is based on the stanford open course cs229.lecture 11.）
regularization（正規化）防止過擬合:保留所有的引數
貝葉斯學習方法：增加先驗概率，常用為高斯分布n(0,λ)，使演算法更傾向於選擇更小的引數
體現在最大似然估計上就是增加懲罰專案，||θ||^2
////
接下來講的是如果演算法不起作用，如何分析改進乙個演算法
首先是bias和variance的分析，這在筆記六里講得很清楚了
cs229和coursera上不同的是是增加了叫做「fix optimization algorithm 「和」fix optimization objective」的分析
採用的方法有：
1)多做幾次迭代，看效果是否有改進fix optimization algorithm
2)嘗試其他演算法進行convergefix optimization algorithm
3)改變一些常量引數fix optimization objective
4)嘗試使用其他機器學習演算法fix optimization algorithm
而對於特定問題，我們必須自己去構造分析方法，andrew ng就舉了乙個關於自動駕駛直公升飛機的例子
能正確對演算法進行分析，才能避免無謂地浪費時間
////
接下來是針對乙個系統的分析，error analysis
乙個系統常常由多個機器學習演算法組成的，所以如果系統工作不順利，必須要分析出是哪個部分出問題了
error analysis就是對每乙個部件，依次用基準值(ground-truth)替換每個部件的輸出
看看整體系統的效果改變是否較大，如果較大就說明系統精度的瓶頸就在剛剛替換了的這個部件這裡
這在coursera上的課程上也有說明，但我好像沒有作筆記
////
再次就是ablative analysis（銷蝕分析）
和上面不同的的是銷蝕分析是在最後結果很高的情況下，remove乙個元件的輸出，來看每個部件對最後結果的影響
看看哪個組建值得優化，值得注意的是「依次」
////
最後一點就是the danger of over-theorizing
這就和有乙個寓言一樣：為了釘一幅畫，沒有錘子，去找錘子。做錘子要木頭，就去伐木
伐木要伐木機，就去找伐木機，伐木機沒油…………
//
機器學習學習筆記1（Ng課程cs229）
作為機器學習領域的先驅，arthur samuel在 ibm journal of research and development期刊上發表了一篇名為 some studies in machine learning using the game of checkers 的 中，將機器學習非正式定...
CS229學習指南
個人部落格 www.mwhitelab.com 本指南內含cs229的課程介紹 學習資料整合 學習建議等內容。強烈介紹萌新在學習cs229前閱讀參考。b站 內含中文字幕，但翻譯質量極差 youtube 講義 講義 作業 其他內容 3.1 關於學習門檻 cs229是斯坦福的機器學習基礎課，是學習cs2...
斯坦福吳恩達CS229機器學習 P4牛頓方法
邏輯回歸 牛頓法 指數分不族 廣義線性模型 將邏輯回歸和最小二乘模型聯絡在一起。極大似然估計模型 1 初始化thta，引數可初始化為0 2 delta f thta0 f thta0 thta1 thta0 delta thta0 f thta0 f thta0 牛頓方法的一次迭代 thta t 1...