1 優化概述
2 無約束問題的優化方法
3 梯度下降法
4 牛頓法與擬牛頓法
5 梯度下降法與牛頓法的區別與聯絡
1.優化概述
設函式f是定義在r
nr^n
rn上的實值函式，最優化問題的數學模型如下
min f(x) (x∈d)
f稱作目標函式，d是可行域，x是可行點
區域性最優解：設點x
∗x^*
x∗∈ d.若存在x
∗x^*
x∗的乙個鄰域u(x
∗x^*
x∗),使得如下不等式成立
f(x
∗x^*
x∗)<= f(x) (任意的x∈d且x屬於x
∗x^*
x∗的鄰域u(x
∗x^*
x∗))則稱x
∗x^*
x∗是問題的乙個區域性最優解。
凸集和凸函式：
若集合s屬於r
nr^n
rn，滿足 αx+(1-α)y∈s 對於任意的x，y屬於s，任意的α∈[0,1],則s是
r
nr^n
rn中的凸集。
設s屬於r
nr^n
rn是凸集，若函式f滿足 f[αx+(1-α)y] <= αf(x) + (1-α)f(y), 對於任意的x，y屬於s，任意的α∈[0,1]都成立，則f是s上的凸函式。
凸函式有許多有用的性質，感興趣可以看看。
2 無約束問題的優化方法
設函式f連續可微分，考察如下無約束最優化問題：
min f(x) （式 1）
為了匯出無約束問題的解的最優性條件，先引入下降方向的概念
定義：設x，d 屬於 r
nr^n
rn,若存在數α
∗α^*
α∗,使得f(x+αd)< f(x) 對任意的α ∈（0，α
∗α^*
α∗）都成立，則稱d是函式f在點x處的乙個下降方向。
下降方法可以這樣理解：當點從x出發，沿著方向d移動時，函式f的值變化呈單調遞減的趨勢。
定理2.1.1給出了函式在點x處的下降方向滿足的條件，並給出 了確定下降方向的一種方式。在此基礎上，可以構造求解無約束問題式1的下降演算法。
求解無約束問題（式1）的下降演算法的基本思想是從某個初始點x(0
)x^x(0)
出發，按照使目標函式值下降的原則構造點列
x(k)
},即點列滿足條件f（x(k
+1)x^
x(k+1)
) < f（x(k
)x^x(k)
) 演算法的最終目標是使得點列
x(k)
}中的某個點或某個極限點是問題的解。
通過下降演算法的步驟可知：演算法最重要的是要確定下降方向和步長
定理2.1.1 給出了下降方向的確定方法，接下來討論步長該如何確定
在優化方法裡，步長通常是通過線性搜尋演算法來找到的。
線性搜尋：有兩種方式即精確線性搜尋和非精確線性搜尋。具體的搜素方法可參看最優化教材 ：數值最優化演算法與理論（李董輝 董小嬌 萬中）
下降演算法的收斂性和收斂速度（參看最優化教材：數值最優化演算法與理論（李董輝 董小嬌 萬中））
3.梯度下降法：
4 牛頓法
5 梯度下降法與牛頓法的區別和聯絡：
梯度下降法的迭代
x n+
1=xn
−uf『
(xn)
x_=x_n - uf`(x_n)
xn+1=
xn−
uf『(
xn)
牛頓下降法：
牛頓法下降更快，
無約束最優化方法 牛頓法
無約束最優化演算法 newton法原理及c 程式設計實現 2012 12 14 13 04 6536人閱讀收藏 舉報 演算法 27 作者同類文章x 無約束最優化方法 牛頓法 牛頓法 newton smethod 又稱為牛頓 拉弗森方法 newton raphson method 它是一種在實數域和複...
學習筆記 矩陣微分 無約束最優化
在學習張賢達老師的 矩陣分析與應用 時，遇到了矩陣求導這一問題。之前從來沒接觸過這一概念，閱讀資料也是花費了不少時間，因此將學習的筆記總結到這裡，方便日後溫習。圖1是目錄中第五章的部分內容，因為本人目前在研究無約束最優化的問題，故只選取了前三節進行學習閱讀。圖1 無約束最優化目錄 首先考慮乙個最簡單...
最優化第三講 無約束的梯度技術
本講主要看一下，在無約束的求解過程中使用的梯度技術 解決無約束問題的演算法框架 1.選定乙個初始點x0，計算一些數值，例如x0的值f x0 x0點的梯度，x0點的嗨森矩陣 2.基於以上計算的資訊，選定乙個搜尋方向d0 3.沿著搜尋方向找到下乙個點x1,4.以以上的方法產生x1，x2，x3.以上的方法...