1、解方程轉化為優化問題
$n\left\& _}(x)=0 \\ & _}(x)=0 \\ & \text\vdots \\& _}(x)=0 \\\end \right.\textx=\left[ \begin & _} \\& _} \\& \vdots \\& _} \\\end \right]\text\text$
這個方程組裡面的每乙個函式$_}(x)$都是光滑 (一般指至少存在一階和二階導數)的，其函式可能是線性的，也可能是非線性的。
把上述解方程的問題轉化為，優化問題：
$\textx=\left[ \begin& _} \\& _} \\& \vdots \\& _} \\\end \right]\text\left\& _}(x)=0\text\leftrightarrow \\& _}(x)=0\text\leftrightarrow \text \\& \text\vdots \\& _}(x)=0\text{}\leftrightarrow \\\end \right.\left. \begin& _}^(x)=0 \\& _}^(x)=0 \\& \vdots \\& _}^(x)=0 \\\end \right\}\text\leftrightarrow \sum\limits_^_}^(x)=0}$
這解法的好處：
$\operatorname\textf(x)=\sum\limits_^_}_}^(x)}\text}_}>0$
2、在討論無約束優化(unconstrained optimization)之前，先介紹幾個基本符號：
$\nabla f=\left[ \begin& \frac_}} \\& \frac_}} \\& \vdots \\& \frac_}} \\\end \right]$
\[h(x)=^}f(x)=\nabla (^}f(x))=\left[ \begin\frac^}f}^} & \frac^}f}_}\partial _}} & \cdots & \frac^}f}_}\partial _}} \\\frac^}f}_}\partial _}} & \frac^}f}^} & \cdots & \frac^}f}_}\partial _}} \\\vdots & \vdots & \ddots & \vdots \\\frac^}f}_}\partial _}} & \frac^}f}_}\partial _}} & \cdots & \frac^}f}^} \\\end \right]\]
對於多元函式的極值問題，按照前面講的，有如下步驟：
1.找出一階偏導數等於0的點——駐點(極大值點、極小值點、拐點)，即：
$\nabla f=0\text\leftrightarrow \text\left\& \frac_}}=0 \\& \frac_}}=0 \\& \vdots \\& \frac_}}=0 \\\end \right.\text$
2.接著通過二階偏導數判斷其是否為極值點，是極大值還是極小值點；多元函式的二階偏導數用hessian matrix表示，將stepa中得到的駐點代入，hessian matrix中與極值有如下關係：
數學基礎知識補充：
這裡差乙個證明，為什麼hessian矩陣的特徵值大於0，該點為極小值？（下一部分中有說明）
無約束優化問題
線性搜尋下降演算法 常用的終止準則 left nabla f left x right right leq epsilon 選擇步長 基於區間的直接搜尋法 非精確搜尋準則 下降方向 不同的下降方向選取方式就有了不同的演算法 收斂性 收斂速度 基本思想 給定初始點 x 0 依次沿著座標軸 e 1,do...
優化演算法 無約束優化
無約束優化問題可以表示為 min l theta 其中目標函式 l cdot 是光滑的。如何針對不同的目標函式，不同的應用場景求解乙個無約束優化問題是機器學習領域的關注點。經典的優化演算法可以分為直接法和迭代法兩大類。直接法，就是能夠直接給出優化問題的最優解的方法，這種方法能夠通過乙個解析式直接求出...
無約束最優化二
2.1 a k合理性討論 如下將要討論關於a k需要滿足的兩個條件，當a k滿足這兩個條件後，就可以認為從x k點移動到x k 1點的步長已經確定下來了。第乙個條件為sufficient decrease condition，從直觀角度來看，該條件主要要用保證x k 1點的函式值要小於x k點的函式...