支援向量機（1）
1.這一節andrew老師回顧了上一節的樸素貝葉斯，然後提了下神經網路，接著就是重頭戲支援向量機了。
支援向量機是一種二分類模型，他的基本模型時定義在特徵空間上的間隔最大的線性分類器，間隔最大使他有別於感知機，支援向量機還包括核技巧，這使他成為實質上的非線性分類器。支援向量機的學習策略就是間隔最大化，可形式化為乙個求解凸二次規劃的問題。支援向量機的學習演算法是求解凸二次規劃的最優化演算法。
支援向量機學習方法包括構建由簡至繁的模型：線性可分支援向量機，線性支援向量機，以及非線性支援向量機。簡單模型是複雜模型的基礎，也是複雜模型的特殊情況。當訓練資料線性可分時，通過硬間隔最大化，學習乙個線性的分類器，即線性支援向量機，又稱為硬間隔支援向量機。當訓練集近似線性可分時，通過軟間隔最大化，也學習乙個線性的分類器，即線性支援向量機，又稱為軟間隔支援向量機；當訓練資料線性不可分時，通過使用核技巧即軟間隔最大化，學習線性支援向量機。
cortes與vapnik提出線性支援向量機，boser、guyon與vapnik又引入核技巧，提出非線性支援向量機。
2.重新來看邏輯回歸，邏輯回歸的目的是從特徵學習出乙個0/1分類模型，而這個模型是將特性的線性組合作為自變數，由於自變數的取值是負無窮到正無窮，因此sigmoid函式將其對映到（0,1）上，對映後的值被認為是屬於y=1的概率。
g也就是sigmoid函式，的影象是
假設函式就是特徵屬於y=1的概率
當我們要判斷乙個新來的特徵屬於哪一類時，只需要算一下h(x)，如果大於0.5，就是1，小於0.5，就是0.也就是說，在邏輯回歸中，thetax越大於0.假設函式就越接近1.換句話說就是學習theta，使得正例的輸入遠大於0，負例遠小於0.
引出支援向量機，他就是
3.函式間隔與幾何間隔
給定乙個訓練樣本（xi,yi），x是特徵，y是結果標籤。i表示第i個樣本，我們定義函式間隔如下：
可想而知，當yi=1時，在我們的g(z)定義中，wx+b>=0 ,函式間隔實際上就是|wx+b|,反之亦然。為了使函式間隔最大（更大的信心確認該例是正例還是反例），當y=1時，wx+b應該是個大正數，反之應該是個大負數，因此函式間隔代表了我們認為特徵是正例還是反例的確認度。
繼續考慮w和b，如果同時增加w和b，比如在兩者前面都乘以2，那麼所有點的函式間隔都會增大二倍，這個對求解問題來說不應該有影響，因為我們要求解的是wx+b=0，同時擴大w和b對結果是無影響的。這樣，我們為了限制w和b，需要加入歸一化條件。
剛剛我們定義的函式間隔是針對乙個樣本的，現在我們定義全域性樣本上的函式間隔
說白了就是在訓練樣本上分類正例和反例確信度最小的那個函式間隔。
定義幾何間隔，先看圖：
假設我們有了b點所在的wx+b=0分割面，任何其他一點，比如a到該面的距離以幾何間隔表示，
當||w||=1時其實就是函式間隔，前面提到的歸一化就是幾何間隔。對幾何間隔，同時增大w和b沒有影響。
Andrew Ng 機器學習 課程介紹
本課程是由斯坦福機器學習大牛andrew ng主講的，對我這樣的菜鳥很有用，可以作為機器學習入門的一門課程。課程 課程完全免費，每年會開幾次課，只要註冊成為coursera使用者，找到machine learning課程就可以跟著課程節奏學習，跟在學校學習一樣一樣的，每節課有對應的作業和程式設計實驗...
Andrew NG 機器學習課程筆記（一）
機器學習的動機與應用 題記 之前看過andrew ng 的機器學習課程，但沒有系統的整理與歸納，現在感覺有些東西遺忘了，於是準備每天花一些時間重溫一下同時爭取每天整理一節課的筆記，由於很多內容是自己理解或者在網上尋找各種資料得出的結論，難免有不足之處，還望讀者指正。今天是母親節，祝天下的媽媽們節日快...
Andrew Ng機器學習課程9 補充
首先要說的還是這個bias variance trade off，乙個hypothesis的generalization error是指的它在樣本上的期望誤差，這個樣本不一定是在training set中的。所以出現了兩部分的誤差，bias是指的是偏差，未能捕獲由資料展示出的結構，underfit，...