本講主要看一下，在無約束的求解過程中使用的梯度技術
解決無約束問題的演算法框架
1. 選定乙個初始點x0，計算一些數值，例如x0的值f(x0)，x0點的梯度，x0點的嗨森矩陣
2. 基於以上計算的資訊，選定乙個搜尋方向d0
3. 沿著搜尋方向找到下乙個點x1,
4. 以以上的方法產生x1，x2，x3.....。
以上的方法稱為逐次下降法，很多演算法都是逐次下降法，只不過是確定搜尋方向、確定步長的方法不同，本章主要介紹的事逐次下降法的一種-梯度下降法。
梯度，如果是一維的，那麼其實就是導數，多維的，那麼就是多每個變數求偏導
梯度下降法：就是以負梯度方向作為找極小值點的方向
這裡就有兩個問題
1. 為什麼要以負梯度方向作為尋找極小值點的方向
證明如下圖
第一行：根據泰勒公式得到
第二行：做了下等式變換
第四行：最大化等式左邊等於最小化等式右邊的負值
第六行：向量相乘轉化為夾角余弦跟模的乘積
最後得出dx的方向是梯度的反方向
2. 最有步長法（既然梯度的負方向是下降最快的方向，為什麼實際使用的過程中用梯度下降方收斂的比較慢）
因為從區域性看，也就是從當前點看，沿著負梯度的方向是下降最快的，但是從全域性看，走了很多彎路，因為當前點的梯度和下一點的梯度是正交的，也就是內積為0，所以從全域性看，尋優的路線是鋸齒狀的問題一已經求得最速下降的方向是負梯度的方向，那麼沿著這個方向走多長才是最優的呢，也就是現在方向確定了方向，需要確定下最優的步長
連續兩點的梯度是正交的證明如下
3. 梯度下降的收斂性——一階收斂
梯度下降的收斂性可以通過證明得到，證明如下
4. 梯度下降的實現
見另外一篇部落格
無約束最優化三
2.2 a k步長的選擇 了解了a k的合理性之後，就相當於獲得了標尺，在此基礎上我們可以選擇合適的策略來求取a k。所有的line search過程在計算每一步的a k時，均需要提供乙個初始點a 0，然後再此基礎上生成一系列的，直到a i滿足2.1節所規定的條件為止，此時該a k即被確定為a i，...
無約束最優化二
2.1 a k合理性討論 如下將要討論關於a k需要滿足的兩個條件，當a k滿足這兩個條件後，就可以認為從x k點移動到x k 1點的步長已經確定下來了。第乙個條件為sufficient decrease condition，從直觀角度來看，該條件主要要用保證x k 1點的函式值要小於x k點的函式...
無約束最優化四
3 quasi newton method 在第2節中我們了解了步長的概念，以及從x k走到x k 1點使用line search方法計算步長的方法。不過我們在那裡忽略了乙個重要的概念，即 方向 從第2節，我們了解到從每一點x k走到下一點x k 1時，需要給出要走的 方向 只有 方向 確定好之後，...