定義1:函式f(
x)=1
2xtq
x+bt
x+c
成為n元二次函式。其中q=
⎡⎣⎢⎢
⎢⎢q11
q21…q
n1q12
q22…q
n2……
……q1
nq2n
…qnn
⎤⎦⎥⎥
⎥⎥,b
=⎡⎣⎢
⎢⎢b1
b2…b
3⎤⎦⎥
⎥⎥，其中
q 為對稱矩陣。若q是正定的，則稱該n元二次函式為正定二次函式。由於∇2
f(x)
=q，可知正定二次函式為嚴格凸函式。
定義2:形式為mi
nf(x
)=12
xtqx
+btx
+cs.
t.ax
≥pcx
=d⎫⎭
⎬⎪⎪⎪
⎪⎪⎪
的最優化問題稱為二次規劃問題。其中a是m∗
n 矩陣，c是l∗
n 矩陣。若q是正定或半正定的，則稱為二次凸規劃問題。
假設某乙個演算法產生的點列xk
收斂於該問題的最優解x∗
，但是我們在不知道x∗
的情況下，如何判斷點列中的哪乙個點是（近似）最優解呢？換句話說，就是我們如何演算法迭代過程中，迭代到哪一步可以終止呢？
顯然當我們設定誤差限ϵ1
時，當||
xk−x
∗||<ϵ1
時便可以終止。但是我們不知道x∗
，也便無法使用這一公式。在計算中，我們可以使用||
xk+1
−xk|
|<ϵ1
(1)
作為計算終止的乙個判斷條件，其中ϵ1
是預先給定的。
那麼問題來了，只用上式作為終止準則可以嗎？答案明顯是不行的。當||
xk+1
−xk|
|<ϵ1
成立時，並不能保證|f
k+1−
fk| 的值也低於閾值ϵ2
（也就是說此時|f
k+1−
fk| 的值可能很大）。所以我們也要設立閾值ϵ2
，在滿足公式（1）的基礎上還要滿足|f
k+1−
fk|<ϵ2
(2)
如果在實際使用中使用公式（1）（2）作為終止準則，可能會由於fk
和xk 的量綱問題使得計算量增大。因此，對fk
和xk 做無量綱處理，得到新的終止公式||
xk+1
−xk|
|||x
k||+
1<ϵ1
(3) 和|
fk+1
−fk|
|fk|
+1<ϵ2
(4)
在求解無約束問題時，可能會用到梯度。由於x∗
作為極小點的條件是∇f
(x∗)
=0，因此，當xk
滿足||∇
f(xk
)||<ϵ3
(5)
時也可以認為xk
是所要求的最優點。
可以得到如下的終止準則
作為使用導數的最優化方法，可以使用上圖作為計算終止準則；對於不使用導數的最優化方法，只需將途中滿足公式（5）這一條件去掉即可。統稱為himmelblau計算終止準則，簡稱為h終止準則。
最優化方法
1無約束約束方法 梯度下降 求解線性回歸，有明確的目標函式。利用目標函式的梯度來更新引數，使用最小二乘時，用loss的梯度更新。範數為2的最速下降。牛頓法 目標函式已知，用泰勒展開的近似作為近似解，把近似值帶入目標函式求出近似的引數作為更新值。由於捨棄了泰勒公式的高階項，新的引數值會更接近真實解。在...
最優化方法 概述
乙個簡單的問題描述如下 周長一定，圍成怎樣的形狀能使得面積最大。西元前212 187年，古希臘數學家阿基公尺德 archimedes 就曾證明了已知周長，圓所包圍的面積最大的等周問題。這算是乙個基本的最優化問題。最優化方法定義 應用數學的重要研究領域。它是研究在給定約束之下如何尋求某些因素 的量 以...
最優化方法總結
1.座標下降法 coordinate descent method 對於乙個最優化問題 min x f x 1,x 2,x n 其求解過程如下 loop until convergence for i 1 n x i arg min x i f x 1,x 2,x i 1,x i,x i 1,x n...