今天開始學習凸問題。
1、什麼是凸問題convex problems
\text
convex problems
凸問題，即可以使用凸優化技術進行處理的一類具有良好性質的優化問題，形如：
min f
0(x)
s.t.fi
(x)≤
0,i=
1⋯mh
i(x)
=0,i
=1⋯p
\begin \min& & \qquad &f_0(x)\\ \text& &\qquad &f_i(x)\le0,i=1\cdots m\\ & & &h_i(x)=0,i=1\cdots p \end
mins.t.
f0
(x)f
i(x
)≤0,
i=1⋯
mhi
(x)=
0,i=
1⋯p
其中目標函式和不等式約束函式為凸函式，等式約束函式為仿射函式，約束為凸集的優化問題稱為凸問題。一般的優化問題也是這個形式，只是我們對目標函式和約束函式沒有要求。
2、定義中涉及的概念
x
xx：優化變數optimization variable
\text
optimization variable
f
0f_0
f0：目標函式（損失函式）objective function/cost function
\text
objective function/cost function
f i(
x)≤0
f_i(x)\le0
fi(x)
≤0：不等式約束inequality constraint
\text
inequality constraint
h i(
x)=0
h_i(x)=0
hi(x)
=0：等式約束equality constraint
\text
equality constraint
m =p
=0m=p=0
m=p=
0：無約束unconstrained
\text
unconstrained
3、優化問題的域domain
\text
domain
d =⋂
i=1m
domfi∩
⋂i=1
pdomhi
\text d =\bigcap_^m\textf_i\cap\bigcap_^p\texth_i
d=i=1⋂
mdomfi
∩i=1
⋂pdomhi
4、可行解集：feasible set
\text
feasible set
形如：xf=
x_f=\lbrace x\mid x\in \text d\rbrace
xf=
5、問題的最優值optional value
\text
optional value
形如：p∗=
inf若x
f為空集
，p∗=
+∞p^*=\inf \lbrace f_0(x)\mid x\in x_f\rbrace\\ 若x_f為空集，p^*=+\infty
p∗=inf若x
f為空
集，p∗
=+∞6、問題的最優解optional point/solution
\text
optional point/solution
形如：f0(
x∗)=
p∗x∗
∈xff_0(x^*)=p^*\qquad x^*\in x_f
f0(x∗
)=p∗
x∗∈x
f7、問題的最優解集optional set
\text
optional set
形如：xop
t=x_=\lbrace x\mid x\in x_f,f_0(x)=p^*\rbrace
xopt=
8、問題的區域性最優解
形如：f0(
x)=inf∃
r使∥z
−x∥≤
rf_0(x)=\inf \lbrace f_0(z)\mid x\in x_f\rbrace\\ \exist r使\|z-x\|\le r
f0(x)
=inf∃r
使∥z−
x∥≤r
9、幾個集合的關係
凸問題有了之前凸集、凸函式的鋪墊，上手應該是很快的。但是要注意的是拿到乙個優化問題首先應該看它的約束是否是凸集，然後再判斷裡面的函式是不是凸函式。
凸優化學習筆記 1 凸集
筆記是根據 convex optimization 寫的，序號對應章。2 凸集 2.1 凸集 convex sets 如果在集合 c 中的任意兩點滿足 x 1 1 x 2 c其中 0 1 則集合 c 為凸集 2.2 重要例子 1 超平面與半空間 hyperplanes and halfspaces ...
凸優化學習 （二）優化問題的分類
1 線性規劃 非線性規劃 linear nonlinear program 線性規劃 文字 所有的函式 目標函式，約束函式 都是線性函式 數學 所有函式都形如 f i x y fi x f i y i 0 1,nf i alpha x beta y alpha f i x beta f i y fo...
《凸優化》學習筆記（一）
凸優化在數學優化中有著重要且特殊的身份。數學優化是乙個廣泛的話題，理解凸優化之前，請先理解線性優化。在機器學習演算法中，已知的比如logisticregression,svm,都與數學優化有關，在數學中，不存在無約束優化問題。比較常見的構建損失函式方法，從最簡單的兩個向量的二階範數的平方 knn,k...