吳恩達機器學習101 SVM優化目標

2022-08-01 02:03:11 字數 841 閱讀 7077

1.為了描述svm,需要從logistic回歸開始進行學習,通過改變一些小的動作來進行支援向量機操作。在logistic回歸中我們熟悉了這個假設函式以及右邊的sigmoid函式,下式中z表示θ的轉置乘以x,

(1)如果我們有乙個樣本,其中y=1,這樣的乙個樣本來自訓練集或者測試集或者交叉驗證集,我們希望h(x)能盡可能的接近1。因此我們想要正確的將樣本進行分類,如果h(x)趨近於1,就意味著

遠大於0,即

。(2)相應的如果y=0,我們想hθ(x)=0,那麼

遠遠小於0,即

(3)logistic regresssion的代價函式:

如果y=1,當

的時候,我們可以畫下圖:

如果y=0,當

,我們可以畫下圖:

線性回歸代價函式:

支援向量機代價函式:

與logistic回歸不同的是,支援向量機並不會輸出概率,而是優化上面的這個代價函式,得到乙個引數θ,而支援向量機所做的是進行了乙個直接的**,**y是0還是1.所以如果θ的轉置乘以x的值大於0,那麼它就會輸出1;如果θ的轉置乘以x的轉置小於0 ,那麼它就會輸出0

吳恩達機器學習筆記 SVM

001.svm的優化目標及損失函式 跟其他直接從margin出發不同,這裡從regression 的交叉熵損失函式引入,對sigmoid函式做了一點近似的拉直變形,直接引出了svm的損失函式 002.大間隔的最優解 有超引數c開始討論,當c 足夠大時,要minimize目標函式,則需要 第一項等於0...

吳恩達老師機器學習筆記SVM(一)

時隔好久沒有再拾起機器學習了,今日抽空接著學 上圖為原始資料 這裡套用以前logistic回歸的模板改一下下。load ex6data1.mat theta rand 3,1 m,n size x x ones m,1 新增常量 x x x c 1 for i 1 10000 擬合次數 theta ...

吳恩達機器學習筆記

為了解決實際生活中的問題,我們通常需要乙個數學模型。比如,小明有乙個房子 他想賣掉房子 為了知道房子的 小明收集了該地區近兩年的房屋交易 他發現房屋 與房屋大小呈正相關,所以他畫了了一幅圖 小明的房屋大小用紅色的 代替。可見和小明房屋一樣大小的房子並不存在,而類似的房屋 又有很大差別,如此小明決定用...