s vm
svmsv
m有三寶：
間隔、對偶、核技巧
s vm
=hard-margin\;\;svm \\ soft-margin\;\;svm \\ kernel\;\;svm \end
svm=⎩⎪
⎨⎪⎧
hard
−mar
gins
vmso
ft−m
argi
nsvm
kern
elsv
mhar
d−ma
rgin
svmhard-margin\;\;svm
hard−m
argi
nsvm
svm最早是為了解決二分類的問題
幾何上的出發點從多個分割線上找到一條魯棒性最好的。
最大間隔分類器
m ax
marg
in(w
,b)max\;margin(w,b)
maxmar
gin(
w,b)
w^tx_i+b>0\;\;y_i=+1 \\ w^tx_i+b<0\;\;y_i=-1 \end \rightarrow y_i(w^tx_i+b)>0 \;\;i=1,2,..n
margin(w,b) &=\min_distance(w,b,x_i) \\ &=\min_ \frac|w^tx_i+b| \end
margin
(w,b
)=w
,b,x
ii=
1,2.
.nmindi
stan
ce(w
,b,x
i)=
w,b,
xii
=1,2
..nmin∣
∣w∣∣
1∣w
txi
+b∣
⇒
\max_ \min_ \frac |w^tx_i+b| = \max_ \min_ \frac y_i (w^tx_i+b) = \max_ \frac \min_ y_i(w^tx_i+b)= \max_ \frac \gamma \\ s.t.\;\;y_i(w^tx_i+b)>0 \rightarrow \exists \gamma>0,s.t.\; \min y_i(w^tx_i+b)= \gamma \end
⇒ \max_ \frac \\ s.t. \;\; \min y_i(w^tx_i+b)= 1 \end \rightarrow \begin \min_ \fracw^tw \\ s.t. \;\; y_i(w^tx_i+b) \geq 1, for \forall i=1,2..n \end
⇒{maxw,b
∣∣w
∣∣1
s.t.
minyi
(wtx
i+b
)=1
⇒{minw,b
21
wtws
.t.y
i(w
txi
+b)≥
1,fo
r∀i=
1,2.
.n
白板機器學習筆記 P36 P38核方法
p36 核方法1 背景介紹 背景 當資料線性可分時，我們用感知機演算法和硬間隔svm等線性分類演算法就可以簡單的分類 當資料存在個別點不能線性可分時，我們可以引入軟間隔或者懲罰項等 但是當資料完全非線性可分時，我們只能考慮 一是用深度學習這樣的分層方法擬合非線性函式，二是將資料對映到高維空間從而變得...
白板機器學習筆記 P60 P65 EM演算法
p60 em演算法1 收斂性證明 em演算法核心思想 是具有隱變數的混合模型的引數估計。本節主要證明了分步迭代更新引數 時，新的 t 1一定會使x取的比上一步 t更高的置信度p x 這樣演算法才能保證收斂。前置知識 首先要理解什麼是含有隱變數的混合模型。我們之前處理的都是資料滿足單一分布的情況，如下...
機器學習 Softmax推導
lr可以看成是softmax的特例。lr主要是用於二分類，如果面臨的是多分類問題，可以用softmax。softmax通常也是深度學習影象識別網路的最後一層。在lr中，引數 是乙個向量，而在softmax中，引數可以看成是乙個矩陣。也就是每乙個輸出都對應著乙個引數向量 h xi p yi 1 x i...