筆記是根據《convex optimization》寫的，序號對應章。
2 凸集
2.1 凸集(convex sets)
如果在集合
c 中的任意兩點滿足： θx
1+(1
−θ)x
2∈c其中
0≤θ≤
1 ，則集合
c 為凸集
2.2 重要例子
1) 超平面與半空間(hyperplanes and halfspaces)
超平面定義為
，半空間被定義為
。從直觀上看，超平面在空間中為一塊板子，劃分的兩邊則分別為半空間。
2) 球和橢球
球的形式為 =
橢球的形式為
其中p 是對稱的正定矩陣。
3) 範數球和範數錐
範數球為：
範數錐為：
4) 多面體
5) 半正定錐
滿足如下條件的集合sn
+ 是凸集：θ1
、θ2≥
0 並且a,
b∈sn
+ ，則θ1
a+θ2
b∈sn
+ 。其中sn
+ 是半正定矩陣。
2.3 保凸運算
1) 交集 如果a
與b均為凸集，則a與b的交集也為凸集。
2) 仿射函式
仿射函式即線性函式加常數。如果
x 為凸集，則f(
x)=a
x+b為凸集。仿射函式的逆函式也保凸。
3) 線性分式以及透視函式
透視函式即p(
z,t)
=z/t
，這裡z 是
n−1維向量，
t 是最後一維分量。例如p(
x1,x
2,x3
)=，p
的定義域是正定對稱矩陣。從幾何上看，透視函式類似小孔成像，是從高維到低維的對映。
線性分式即f(
x)=(
ax+b
)/(c
tx+d
)其定義域為
。其逆函式也保凸。線性分式可看做在原集合內做拉伸，故而保凸。
2.4 廣義不等式
廣義不等式即定義了擁有多個分量的變數之間的比較： x≥
ky⟺x
−y∈k
x>ky
⟺x−y
∈int
(k)
int(
k) 即k
的內部的點。注意
k必須為凸的、閉的、有非空內部且不包含直線。
2.5 minimum and minimal
minimum即能和集合內所有點進行比較，且最小。minimal即在集合內能比較的所有點中最小。
左圖為minimum，右圖為minimal。
2.6 分割面與支撐面
分割麵即能將兩個集合分開的超平面，有嚴格不嚴格之分，嚴格即兩個集合沒有交點。兩個凸集一定存在乙個分割面。
支撐麵即集合邊緣有個點使得at
x≤at
x0成立。其中x是集合內的點，a≠
0 。
凸優化學習筆記 1 仿射集合和凸集
設x 1 和x2 為rn空間中兩個點，且x1 x2 那麼 y x1 1 x2,r 組成了一條穿過x1 和x2 的直線。如果 0 則y x2，如果 1 y x1。當 0,1 時，y 組成了x1 和x2 之間的線段。如果有集合c rn，且穿過集合 c 中任意兩點的直線仍然在集合 c中，則稱該集合是仿射的...
《凸優化》學習筆記（一）
凸優化在數學優化中有著重要且特殊的身份。數學優化是乙個廣泛的話題，理解凸優化之前，請先理解線性優化。在機器學習演算法中，已知的比如logisticregression,svm,都與數學優化有關，在數學中，不存在無約束優化問題。比較常見的構建損失函式方法，從最簡單的兩個向量的二階範數的平方 knn,k...
《凸優化》筆記（一） 凸集
筆記是根據 convex optimization 寫的，對應第2章。2 凸集 2.1 凸集 convex sets 如果在集合cc中的任意兩點滿足 x1 1 x2 c x1 1 x2 c 其中0 10 1，則集合cc為凸集 2.2 重要例子 1 超平面與半空間 hyperplanes and ha...