在網上找了許多關於線性可分svm化簡的過程，但似乎都不是很詳細，所以憑藉自己的理解去詳解了一下。
線性可分svm的目標是求得乙個超平面（其實就是求w和b），在其在對目標樣本的劃分正確的基礎上，使得到該超平面最近的樣本的幾何間隔最遠。寫成線性規劃問題即為
其中γ為最近點到超平面的幾何間隔,特別的間隔γ^=||w||×幾何間隔γ（間隔γ^與幾何間隔γ是兩種不同的概念），那麼我們就可以將約束和條件改寫為
而γ^是通過將離超平面最近的樣本點代入超平面得到的，即γ^=yi(wxi+b)，而對於xi是離超平面最近的乙個已知的樣本，所以我們可以通過調整w和b來使得y^為乙個任意正實數（特別注意不為0，因為對於樣本我們是已經得到了結果yi,但是如果y^為0,則與結果yi矛盾），而對於任意的已經確定的w和b我們便可以得到乙個確定的γ^的值。即之前的式子γ^=yi(wxi+b)，只不過此時,γ^變為了乙個確定的值，兩邊同時除以γ^便得到了1=yi(wxi+b)/y^。而這裡γ^=yi(wxi+b)與1=yi(wxi+b)/y^是等價的，因為就像高中所學的直線方程6x+8y+4=0與3x+4y+2=0是等價的一樣，所以對於任意的正實數γ^都可以劃成形如1=yi(wxi+b)/y^的式子。再優化得到1=yi(wxi/γ^+b/γ^)。之前提到了xi是離超平面最近的乙個已知的樣本，所以對於任意的已知樣本帶入yi(wx/γ^+b/γ^)都將大於1。而在這裡我們用新的w和b代替w/γ^和b/γ^(這裡要搞清楚w和b才是變數，γ^是根據變數得到的，而由於對於任意γ^，我們都能在其為1的條件下找到與其不為1時的w和b等價的w和b（當然其他實數也可以），即在γ^=1時就包含了所有可能的解集，所以我們不關心在沒替換前γ^是乙個多大的乙個確定的正實數，這裡用新的w和b代替w/γ^和b/γ^其實就相當於使用了乙個新的γ^（此時γ^=1），如果你還是不能理解為什麼γ^是乙個定值，下面一段會從正向解釋)，所以相對應之前的約束變為了yi(wxi+b)-1>=0，目標函式γ^/||w||我們變為了1/||w||，因為新的w比原來小了乙個正實數γ^倍，很簡單的分式等價關係，在分母縮小n倍後分子也縮小n倍，則結果不變。
網上還有一種想法是直接確定γ^（離超平面最近樣本的間隔）為1或其他正實數，這也是可行的，因為之前有講到γ^取多少其實不影響結果，但我覺得可能很多人還是理解不了這裡的y^為什麼是可以是乙個定值。我之前提到確定的w和b以及樣本xi可以唯一確定γ^，但是反過來如果確定了乙個γ和乙個樣本xi是否能夠唯一確定w和b呢？當然顯示是不能。還是拿直線方程舉例子，如果已知乙個點（2,3）帶入ax+by+c結果為1，那麼2a+3b+c=1結果有多少個呢？顯然是無數個的解集，所以並不能通過確定的γ^來求解確定的w和b。我之前也提到了對於任意確定的w和b算得的γ^式子可以化成1，相反，對於任意確定的在γ^=1的前提下算得的w和b我們通過放大他們的係數可以得到任意的正實數，拿回之前的2a+3b+c=1，其中的乙個解集為a=3,b=-2,c=1。將a，b，c都放大兩倍變為a=6,b=-4,c=2則得到結果γ^為2，以此類推，對於任意使得γ^為某一正實數的w和b我們都能在γ^=1時找到另一組w和b與之等價，而y^的取值會隨著w和b成相同倍數的增加，這裡我們的目標函式恰好是γ^/||w||，所以是否將γ^放大成另乙個實數並不重要，因為倍數都被約了（這是隱式的，所以目標函式和約束在寫出來的時候還是存在差異的，只是結果一樣）。所以我們只關心在y^在為乙個正實數時，找到那麼乙個w使得目標函式最大，為了方便起見才取γ^為1，說了這麼多其實就是想說明其實γ^取多少並不影響目標結果（影響w的取值是一定的，因為他改變了約束）。
對於求1/||w||最大即為||w||2*1/2最小這兩者關係太簡單了所以就不多說了，因為都相當於滿足約束下求||w||最小。
綜上便有了下面這樣乙個改寫了的式子
以上便是博主個人對於化簡過程的理解，如有錯誤或者自己的想法歡迎交流。
python中線性規劃問題
1 python中的scipy中提供了線性規劃模組 1 模組匯入 from scipy import optimize optimize.linprog 2 模組特點說明 需要注意的是這個模組只能找到線性規劃的最小值，因此，如果約束條件的不等式 變數除外 中含有 大於等於 的需要修改為 小於等於 例...
UOJ 179 線性規劃 線性規劃
這是一道模板題。這個題現在標程掛了。哪位哥哥願意提供一下靠譜的標程呀？本題中你需要求解乙個標準型線性規劃 有 nn 個實數變數 x1,x2,xn x1,x2,xn 和 m m 條約束，其中第 i i 條約束形如 nj 1aijxj bi j 1naijxj bi。此外這 n n 個變數需要滿足非負性...
UOJ 179 線性規劃 線性規劃
這是一道模板題。這個題現在標程掛了。哪位哥哥願意提供一下靠譜的標程呀？本題中你需要求解乙個標準型線性規劃 有 nn 個實數變數 x1,x2,xn x1,x2,xn 和 m m 條約束，其中第 i i 條約束形如 nj 1aijxj bi j 1naijxj bi。此外這 n n 個變數需要滿足非負性...