本部落格僅為學習筆記。
有函式x(θ
) ,梯度下降法的迭代公式為: xk
+1=x
k−ag
k 其中g
k 為x(
θ)在x_k點的導數。
當x為標量時 xk
+1=x
k−x′
x′′當x為向量時： xk
+1=x
k−h−
1kgk
其中 h−
1 為 hession矩陣的逆函式，g為一階導數向量。
在牛頓法中，每次都需要求h−
1k, 每次求二階導數，再求逆矩陣這個計算量是很大的。所以有人考慮使用迭代計算的方法計算每乙個h−
1k, 令 bk
=h−1
k 找出乙個公式 ,使得 bk
+1=b
k+δ
求出這個迭代用的δ 。
優化演算法 無約束優化
無約束優化問題可以表示為 min l theta 其中目標函式 l cdot 是光滑的。如何針對不同的目標函式，不同的應用場景求解乙個無約束優化問題是機器學習領域的關注點。經典的優化演算法可以分為直接法和迭代法兩大類。直接法，就是能夠直接給出優化問題的最優解的方法，這種方法能夠通過乙個解析式直接求出...
一維無約束優化演算法 進退法
function minx,maxx minjt f,x0,h0 進退法求極值區間 2011 5 14 目標函式 f 初始點x0 初始步長h0 format long x1 x0 k 0 h h0 while 1 x4 x1 h k k 1 f4 subs f,findsym f x4 f1 sub...
學習筆記 矩陣微分 無約束最優化
在學習張賢達老師的 矩陣分析與應用 時，遇到了矩陣求導這一問題。之前從來沒接觸過這一概念，閱讀資料也是花費了不少時間，因此將學習的筆記總結到這裡，方便日後溫習。圖1是目錄中第五章的部分內容，因為本人目前在研究無約束最優化的問題，故只選取了前三節進行學習閱讀。圖1 無約束最優化目錄 首先考慮乙個最簡單...