目標函式為
n 維二次型函式時，共軛方向法能夠在
n步迭代之後得到極小點。接下來會發現，共軛方向法的中間迭代步驟具有一種很有意義的性質。選定x(
0)作為迭代初始點， d(
0)為初始搜尋方向， 有： x(
1)=x
(0)−
(g(0
)td(
0)d(
0)tq
d(0)
)d(0
) 可以證明： g(
1)td
(0)=
0 推導過程： g(
1)td
(0)=
(qx(
1)−b
)td(
0)=x
(0)t
qd(0
)−(g
(0)t
d(0)
d(0)
tqd(
0))d
(0)t
qd(0
)−bt
d(0)
=g(0
)td(
0)−g
(0)t
d(0)
=0方程g(
1)td
(0)=
0 表示步長為α0
=argmi
nϕ0(
α),其中， ϕ0
(α)=
f(x(
0)+α
d(0)
) .推導過程如下：
由鏈式法則可得： dϕ
0dα(
α)=∇
f(x(
0)+α
d(0)
)td(
0) 將
α=α0
帶入得： dϕ
0dα(
α0)=
g(1)
td(0
)=0
由於ϕ0 是關於
α 的平方函式，其中α2
的係數為d(
0)tq
d(0)
>
0 ， 說明ϕ0
存在唯一的極小點，因此， α0
=argmi
nϕ0(
α)。 以此類推，可以證明，對於所有
k ，都有： g(
k+1)
td(k
)=0即
α0=argmi
nf(x
(k)+
αd(k
))實際上，還有更一般的結論，如下引理所示：
* 引理 *在共軛方向演算法中， 對於所有的k,
0≤k≤
n−1,
0≤i≤
k 都有 : g(
k+1)
td(i
)=0
最優化學習4
根據已學習內容，解決現在遇到的問題 1.這是乙個凸優化問題嗎 經過一輪推導，對於變數為感測器位置，x,y,z。並不是凸函式 2.需要多少個等式對應多少個未知數 至少達到變數數，越多越好 3.如果使用lm方法，怎麼加入約束條件 涉及到的約束 手臂長度約束，不等式，20 感測器位置約束，不等式，4 x,...
最優化學習3
對幾個經典方法的整理和比較 手打一下公式 梯度下降法 面向任何函式，收斂速度一階，有發散可能。梯度下降法考慮函式的一階梯度 一階泰勒展開 找到乙個合理的迭代方向，但是不能確定步長。只利用了當前點的切線 一階梯度 的資訊 x x 0 lambda nabla 牛頓法 面向任何函式，收斂速度二階，有發散...
最優化學習筆記（二） 二分法
二分法是一種一維搜尋方法。它討論的是求解一元單值函式f r r在 區間 a 0,b0 的極小點問題。同時要求函式 f 在區間 a 0,b0 上為單調函式，並且是連續可微的，這裡將使用 f 的一階導數f 二分法的計算過程比較簡單，它主要是利用一階導數來連續壓縮區間的方法。1.確定初始區間的中點 x 0...