一般情況下，我們就用 $x$ 代表乙個函式的自變數。這個 $x$ 本身可以是多維的。
而且，同乙個函式可能同時既有等式約束條件，又有不等式約束條件。
主問題現在我們考慮在 $d$ 維空間上有 $m$ 個等式約束條件和 $n$ 個不等式約束條件的極小化問題。這樣的問題可以寫作：
$min f(x)，\;其中\;x\;為\;d\;維$。
$s.t. \;\; h_i(x) = 0 , \;\;i = 1,2,…, m; \;\; g_j(x) \leqslant 0, \;\; j = 1,2, …, n$
我們把上述問題稱為「原始最優化問題」，也可以叫做「原始問題」或「主問題」。
為了解決原始問題，我們引入拉格朗日乘子 $\lambda = (\lambda_1, \lambda_2, …, \lambda_m)^t $ 和 $\mu = (\mu_1, \mu_2, …, \mu_n)^t $，構造拉格朗日函式為：
$l(x,\lambda,\mu) = f(x) + \sum_^\lambda_ih_i(x) + \sum_^\mu_jg_j(x) $
然後，再設：
$\gamma(\lambda,\mu) = inf_( f(x) + \sum_^\lambda_ih_i(x) + \su
《機器學習技法》 對偶SVM
為什麼要求解對偶問題？一是對偶問題往往更容易求解，二是可以自然的引入核函式。原問題是 寫出它的拉格朗日函式 然後我們的原問題就等價為 為什麼可以這樣等價 即 對於不滿足約束條件的 b,w min裡面趨於無窮大，因此min就把這些b,w捨去了 對於滿足約束條件的解，min裡面就剛好是原來的目標函式，剛...
機器學習，詳解SVM軟間隔與對偶問題
那針對這樣的問題我們應該怎麼解決呢？在上文當中我們說了，在實際的場景當中，資料不可能是百分百線性可分的，即使真的能硬生生地找到這樣的乙個分隔平面區分開樣本，那麼也很有可能陷入過擬合當中，也是不值得追求的。因此，我們需要對分類器的標準稍稍放鬆，允許部分樣本出錯。但是這就帶來了乙個問題，在硬間隔的場景當...
機器學習 SVM演算法
經常遇到或用到svm演算法，不過都是用的別人的 並沒有深入的研究理解過。感覺很不應該，今天記錄一下自己的感受和理解。之前對svm的理解就是將資料對映到高維空間從而找到最優的分割平面。處理二維資料時，為一條分割線，三維時就是乙個超平面。當維度上公升，那就是尋找更高維的超平面。如何確定哪條分割線是最優的...