優化問題的基本形式
最大值問題可轉化為最小值問題
優化問題的域
可行域：所有可行點的集合
最優化值：
最優化解：
凸優化問題的基本形式
其中，約束函式f(x)是凸函式，h(x)為仿射函式
仿射函式：即最高次數為1的多項式函式。常數項為零的仿射函式稱為線性函式。
凸優化問題的重要性質：
1.凸優化問題的可行域為凸集
2.凸優化問題的區域性最優解即為全域性最優解
對偶問題
一般優化問題的拉格朗日乘子法
拉格朗日函式
對固定的x，拉格朗日函式是關於
和的仿射函式，當x為定值時，f(x)為定值，h(x)為定值，函式關於
線性，關於
線性，即為若干條直線。
拉格朗日對偶函式
若問題沒有明確的下確界，則g(lamta,v) 為負無窮
根據定義，顯然有：對於任意的lamda，任意的x，若優化問題有最優值p，則g(lamta,v) <=p
進一步，拉格朗日對偶函式為凹函式
分析
公式純手打qaq！
對偶
強對偶條件
若要對偶函式的最大值等於原問題的最小值，則需滿足：
kkt條件
實踐案例
可以參見svm的求解過程！
凸優化和對偶
參考 lglobal optimization or better local optimization lconvex set 假設對於任意x，y c並且任意引數，a 0,1 我們對ax 1 a y c lconvex function define 函式的定義域domf為凸集，對於定義域裡任意x...
凸優化 對偶問題解題步驟
對偶問題解題步驟 1.根據原始問題寫出拉格朗日函式 構造方式為，將原始問題優化的函式，減去所有比例因子乘以大於等於0的式子，得到原始問題的拉格朗日函式 減去而不是加上的原因是，對偶問題是不斷最大化原始問題的下限，從而逼近原始問題的最小值。當原函式為凸函式時，對偶問題的解通常等於原始問題的解。2.根據...
凸優化 python解決凸優化問題
1 安裝cvx包 用pip安裝cvxopt 1.2.1 cp36 cp36m win amd64.whl和cvxpy 1.0.9 cp36 cp36m win amd64.whl 因為我是python3.6所以是cp36 cvxpy cvxopt 參考 2 遇到問題 error microsoft ...