定義: 設集合d⊂
rn. 稱集合
d為凸集, 是指對任意的x,
y∈d及任意的實數λ∈
[0,1
], 都有λx
+(1−
λ)y∈
d.定義: 集合d⊂
rn的凸包(convex hull) 是指所有包含
d 的凸集的交集，記為 co
nv(d
):=∩c
⊇dc其中
c為凸集
定義: 設非空集合c⊂
rn. 若對任意的x∈
c 和任意的實數
λ>0，有
λx∈c
, 則稱
c 為乙個錐(cone). 若
c 同時也是凸集, 則稱
c為乙個凸錐(convex cone). 此外, 對於錐
c, 若0∈
c, 則稱
c 是乙個尖錐(pointed cone). 相應地, 包含0 的凸錐稱為尖凸錐.**
定義:設函式f:
d⊂rn
→r, 其中
d 為凸集.
(1) 稱f 是
d上的凸函式, 是指對任意的x,
y∈d及任意的實數λ∈
[0,1
], 都有 f(
λx+(
1−λ)
y)≤λ
f(x)
+(1−
λ)f(
y)(2) 稱f是
d上的嚴格凸函式, 是指對任意的x,
y∈d,
x≠y及任意的實數λ∈
[0,1
], 都有 f(
λx+(
1−λ)
y)<λf
(x)+
(1−λ
)f(y
)(3) 稱f是
d 上的一致凸函式, 是指存在常數
γ>
0, 使對任意的x,
y∈d 及任意的實數λ∈
[0,1
], 都有 f(
λx+(
1−λ)
y)+1
2λ(1
−λ)γ
∥x−y
∥2≤λ
f(x)
+(1−
λ)f(
y)定理: 設
f 在凸集d⊂
rn上一階連續可微，則
(1) f在
d上為凸函式的充要條件是 f(
x)≥f
(x∗)
+∇f(
x∗)t
(x−x
∗),∀
x∗,x
∈d(2) f在
d上為嚴格凸函式的充要條件是，當x≠
y時，成立 f(
x)>f(
x∗)+
∇f(x
∗)t(
x−x∗
),∀x
∗,x∈
d(3) f在
d上一致凸的充要條件是,存在常數
c>
0，使對任意的x∗
,x∈d
，成立 f(
x)≥f
(x∗)
+∇f(
x∗)t
(x−x
∗)+c
∥x−x
∗∥2定義: 設
n元實函式
f 在凸集
d上是二階連續可微的. 若對一切h∈
rn, 有ht∇
2f(x
)h≥0
，則稱∇2f
在點x處是半正定的. 若對一切0≠
h∈rn
, 有ht∇
2f(x
)h>
0，則稱∇2
f 在點
x處是正定的. 進一步，若存在常數
c>
0, 使得對任意的h∈
rn,x
∈d, 有ht∇
2f(x
)h≥c
∥h∥2
，則稱∇2f
在d上是一致正定的.**
定理:設
n 元實函式
f 在凸集d⊂
rn上二階連續可微, 則
(1) f 在
d上是凸的充要條件是∇2
f(x)
對一切x∈
d為半正定；
(2) f在
d 上是嚴格凸的充分條件是∇2
f(x)
對一切x∈
d 為正定；
(3) f 在
d 上是一致凸的充要條件是∇2
f(x)
對一切x∈
d 為一致正定.
注意，∇2馬昌鳳. 最優化方法及其matlab程式設計[m]. 科學出版社, 2010. ↩f 正定是
f 嚴格凸的充分條件而非必要條件.
最優化基礎（二）
在演算法的收斂性分析中，需要用到向量和矩陣範數的概念及其有關理論。範數 norm 是具有 長度 概念的函式。設r n 表示實n維向量空間，rn n 表示實n階矩陣全體所組成的線性空間.在這兩個空間中，我們分別定義向量和矩陣的範數.向量x rn的範數 x 是乙個非負數，它必須滿足以下條件 1.非負性 ...
無約束最優化四
3 quasi newton method 在第2節中我們了解了步長的概念，以及從x k走到x k 1點使用line search方法計算步長的方法。不過我們在那裡忽略了乙個重要的概念，即 方向 從第2節，我們了解到從每一點x k走到下一點x k 1時，需要給出要走的 方向 只有 方向 確定好之後，...
20190602 最優化理論基礎
所謂最優化方法，就是求乙個多元函式在某個給定集合上的極值。min f x s.t.x屬於k k是某個給定的集合 稱為可行集或者是可行域 f x 是定義在集合k上的實值函式，此外，在模型中，x通常稱為決策變數，s.t.是subject to 的縮寫 人們按照可行集的性質對最優化問題，進行乙個大致的分類...