2023年04月17日 16:15:33 eflyp
無約束條件：求導就可以了
等式約束：代入消元，再求導
不等式約束：分情況討論（在邊界上和不在邊界上），分別對應1,2的情況
然而發現，有些情況消元特別複雜，甚至不能求解
發現：在最優點的情況下，約束曲面的法向量和目標函式的梯度反向必相同或相反
拉格朗日乘子法如何理解？ （在2維里可以形象的解釋為z=f(x,y)在約束條件g(x,y)=c中，極值為等高線f(x,y)=k與g(x,y)=c相切的時候）
於是就有了方程： ▽f(x*)+λ▽h(x*)=0
聯合這個方程和h(x)=0，在某些情況比繁瑣的消元好多了，至少能求解
天才可不僅僅停留在方程求解，發現了梯度之間的關係，就可以建立新的函式（拉格朗日函式）：l(x,λ)=f(x)+λh(x),分別對這個函式求偏導，即還原了初始問題。
同理，對於不等式約束問題，分情況討論，可以建立帶kkt條件的拉格朗日函式：
kkt條件：
其實kkt條件就是為了和原優化問題等價而附帶的一些等式和不等式
說了這麼多，是不是發現並沒有什麼卵用，對應求導得出的還是和聰明同學的解法一樣，求導解方程求解。
接下來才是關鍵，
此問題稱為原問題，你會很奇妙的發現：
原問題只有在滿足約束條件下才有極小值，等價於滿足約束條件的f(x)的極小值，於是問題轉化為拉格朗日極小極大問題：
不妨設解為p*。
現在我們來直接下手求解原問題，先極大，對α，β求導，得出c(x)=0,h(x)=0,即原不等式和等式，再代入f(x)，求極小，對x求導…..等等，好眼熟？不又回到了原點嗎？
好在有對偶問題可以再等價= =：
交換極大極小的順序（其實就是交換代入求導的順序），轉化為拉格朗日極大極小問題：
不妨設對偶問題解為d*。
現在我們來下手求解對偶問題，先極小，對x求導，得出x關於α，β的表示式，再代入f(x)，再求極大，對α，β求導。
值得慶幸的是，數學家們已經證明，當f(x)和c(x)為凸函式，h(x)為仿射函式時，p*= d*。
遇到等式和不等式約束優化問題怎麼辦：
1.引入拉格朗日函式和kkt條件，轉為無約束優化問題
求導不好解怎麼辦：
2.轉為求對偶問題，更換求導代入再求導的順序（即先極小再極大）
注意：求解時需要滿足kkt條件
普通同學的解法：消元求導
聰明同學的解法：建立梯度關係，求導，解多元方程
天才同學的解法：轉為對偶問題，消元求導
svm不就是在一大堆不等式的約束的最優化問題嗎，所以當然用天才同學的解法，轉為對偶問題，消元求導，可以帶來以下好處：
1.方便求解
2.自然的引入核函式
最大熵原理認為，學習概率模型時，在所有可能的概率模型中，熵最大的模型是最好的模型，簡單說就是，在沒有更多資訊下，那些不確定的部分是「等可能的」。
也就是約束等式下，熵最大問題，可等價轉為拉格朗日對偶問題。
拉格朗日對偶函式 拉格朗日對偶問題
前段時間學了拉格朗日乘子法，學會了構造拉格朗日函式，也就是學會了把帶約束 等式或不等式 的優化問題轉化為無約束優化問題，私以為這部分就學完了到此為止了，沒想到今天推導svm的數學模型，要推原問題的對偶問題，愣是艱難地卡了大半天，一直沒明白對偶問題的含義，原來拉格朗日函式得到以後還要進一步往下推出拉格...
拉格朗日對偶問題的解釋
0.內容介紹 1.原始問題 約束條件可以分成不等式約束條件和等式約束條件，只有等式約束條件的問題解決方法是直接將等式約束加入原問題構造出拉格朗日函式，然後求導即可。現在考慮帶不等式約束和等式約束的極值問題如何構造拉格朗日函式求解。假設f x ci x hj x 是定義在rn上的連續可微函式，約束最優...
關於拉格朗日對偶問題中對偶性的理解
由於本文包含大量公式，且排版不大好看，所以使用csdn的markdown編輯器重新編輯本文如下 markdown編輯的版本 l x,f0 x ifi x ihi x 這個理解來自於斯坦福的課程 凸優化 我們注意到標準形式線性規劃和不等式形式線性規劃以及它們的對偶問題之間的有趣的對稱性 標準形式線性規...