第二講主要是通過pla(perceptron learning algorithm)講解二分類問題（binary classification）。關於pla演算法的基礎內容，在這篇博文已經深入**了，該博文主要記錄一些擴充套件的知識。
1假設空間（hypothesis set）
對於perceptron來說，假設空間就是樣本點（sample points）所在平面的所有直線。
2.pla的幾何解釋
如圖所示，當perceptron對樣本點（xn,yn）**錯誤時，如果y = +1，**值為-1，那麼可以視作以w（分類器的法向量）和點（xn,yn）的夾角太大了，那麼應該做梯度下降是的兩者夾角減小；反之則是w與點（xn,yn）夾角太小，應該增大。
3.pla一定會停下來（收斂）嗎？
首先提出線性可分（linear separable）的概念，並通過數學證明pla的迭代次數一定會收斂（k<=ρ/γ）。這就證明了經過有限次的迭代，在乙個線性可分的data set上，pla一定會找到能完美分類所有的樣本點的那條線（分類器）。
4.尋找完美的「那條線」真的值得嗎？
首先，在進行訓練之前，我們並不知道training set是否linear separable的。其次，即使我們已經知道是線性可分的，那麼到底多久pla才能完成分類，訓練出我們需要的模型？最後，幾乎每乙個training set都會有noise的存在，如果noise造成了線性不可分，那麼意味著我們的pla永遠都不可能停下了。那麼，我們怎麼辦？
5.pocket algorithm
口袋演算法的核心思想如下圖所示：
和pla不同的步驟就在於，設定乙個iteration上限，設定初始模型w=（0，0，……，0），然後開始訓練。如果發現分類錯誤更少的模型，就將新模型儲存在pocket中，反覆迭代直到上限。
pocket的思想類似貪心演算法，不奢求找到全域性最優（代價太大），只尋求足夠好的模型（區域性最優）。
機器學習基石筆記01
是非題，如何用電腦來解？給定使用者，銀行判斷是否要給他信用卡。使用者有很多個維度，年齡，薪水，工作年限，債務等，把維度綜合起來給他乙個分數，超過門限就給信用卡，否則不給信用卡，x x1,x2,x3,xd w w1,w2,w3,wd h x sign wixi 門限 sign wixi 門限 1 si...
機器學習基石筆記（三）
三 how can machines learn?第三節首先介紹了linear regression,線性可分的線性規劃是有analytic solution的，林老師給我們推了一下，關鍵就是矩陣化的處理，簡化了很多的工作 上面三幅圖是整個推導的過程，需要注意的是，最後的x不一定是可逆的，因為我們的...
《機器學習基石》筆記一 機器學習簡介
人類學習是從不斷的觀察獲得經驗的技能。機器學習是從資料出發，通過數 算等方式獲得經驗增強的技能。1 存在一些內部的規則 2 程式設計無法把這個規則定義出來 3 有充足的資料 輸入樣本空間 x x x x x x輸出樣本空間 y y y y y y目標函式 要學習出的模式 f x yf x longr...