機器學習的動機與應用
題記：
之前看過andrew ng
的機器學習課程，但沒有系統的整理與歸納，現在感覺有些東西遺忘了，於是準備每天花一些時間重溫一下同時爭取每天整理一節課的筆記，由於很多內容是自己理解或者在網上尋找各種資料得出的結論，難免有不足之處，還望讀者指正。
今天是母親節，祝天下的媽媽們節日快樂！祝自己的母親天天開心，兒子會盡快領著兒媳婦來孝順您的！
1.機器學習定義
機器學習是一門多領域交叉學科，涉及概率論、統計學、凸優化等理論學科 ，專門研究計算機怎樣模擬或實現人類的學習行為，以獲取心得知識或技能，重新組織新有的知識結構使之不斷改善自身的效能。
andrew ng採用了
tom mitchell
提出的定義： 對於某類任務
t和效能度量
p，如果乙個電腦程式在t上以
p衡量的效能隨著經驗
e而自我完善，那我們稱這個電腦程式在從經驗
e中學習。
2.機器學習演算法分類
監督學習：我常解決的分類問題的定義是有標籤，也就是對於乙個特徵向量，它所對應的類別是確定的，也就是有那麼一部分資料我們可以知道他的類別。andrew
的定義是對資料集是給出了正確答案的，這個正確答案可以是離散的，像分類，可以是連續的，像回歸。
andrew
的定義更全面。
非監督學習：對應於上面的監督學習，非監督學習就是給你資料集，但沒答案，對應分類就是沒標籤，對應回歸就是沒值。最常用的像聚類演算法，這就是典型的非監督演算法，這時我們關注的是資料本身。
強化學習：所謂強化學習就是智慧型系統從環境到行為對映的學習，以使獎勵訊號(強化訊號)
函式值最大，強化學習不同於連線主義學習中的監督學習，主要表現在教師訊號上，強化學習中由環境提供的強化訊號是對產生動作的好壞作一種評價(通常為標量訊號)，而不是告訴強化學習系統rls(reinforcement learning system)如何去產生正確的動作。由於外部環境提供的資訊很少，rls必須靠自身的經歷進行學習。通過這種方式，rls在行動-評價的環境中獲得知識，改進行動方案以適應環境。
andrew ng舉了乙個狗的例子，讓狗做某個動作，狗做了，給他吃的，不做不給吃的，通過這種評價去讓狗養成做某種動作的習慣，而不是引導他正確答案，這就是強化學習。
Andrew Ng 機器學習 課程介紹
本課程是由斯坦福機器學習大牛andrew ng主講的，對我這樣的菜鳥很有用，可以作為機器學習入門的一門課程。課程 課程完全免費，每年會開幾次課，只要註冊成為coursera使用者，找到machine learning課程就可以跟著課程節奏學習，跟在學校學習一樣一樣的，每節課有對應的作業和程式設計實驗...
Andrew NG機器學習課程筆記（六）
支援向量機 1 1.這一節andrew老師回顧了上一節的樸素貝葉斯，然後提了下神經網路，接著就是重頭戲支援向量機了。支援向量機是一種二分類模型，他的基本模型時定義在特徵空間上的間隔最大的線性分類器，間隔最大使他有別於感知機，支援向量機還包括核技巧，這使他成為實質上的非線性分類器。支援向量機的學習策略...
Andrew Ng機器學習課程9 補充
首先要說的還是這個bias variance trade off，乙個hypothesis的generalization error是指的它在樣本上的期望誤差，這個樣本不一定是在training set中的。所以出現了兩部分的誤差，bias是指的是偏差，未能捕獲由資料展示出的結構，underfit，...