1無約束約束方法
梯度下降：
求解線性回歸，有明確的目標函式。利用目標函式的梯度來更新引數，使用最小二乘時，用loss的梯度更新。範數為2的最速下降。
牛頓法：
目標函式已知，用泰勒展開的近似作為近似解，把近似值帶入目標函式求出近似的引數作為更新值。由於捨棄了泰勒公式的高階項，新的引數值會更接近真實解。
在求解數a的平方根中，目標函式是f(x)=x^2, 其中為平方根即要求得引數，f(x)為要求解得數，這裡真實值為a,假設a=f(x0) （注實際由誤差，每次迭代預設當前為最優即a=f(x0)，實際x0要不斷迭代更新為x）。對目標函式泰勒展開得，f(x)_近似=f(x0)+(x-x0)*f 『(x0)，假設f(x)_近似=f(x)，則求解得x=x(0)-f(x0)/f』(x0)。x0在演算法開始要初始化假設乙個平方根，然後不斷迭代得到正確得平方根。y=0這點為根，迭代會無限逼近根。當f『(x)=0時，更新值變成無窮大，此時泰勒需要展開取到2次導數，在求解時要求f』(x)/f』』(x)。牛頓法之所以比梯度下降收斂快，時因為使用了二階導數，包含了高於歐式距離得考慮，多考慮了這次變化後得梯度。一階則只考慮得一次得物理距離變化。
擬牛頓法：如果f(x)是多維得，則要求多維矩陣得逆矩陣1/f』』(x)，逆矩陣求解複雜度為o(n^3)，太耗時，所以引入了擬牛頓法，利用特徵分解把原來得複雜矩陣變成求解對稱正定矩陣得逆矩陣。
共軛梯度法：常用，要求目標函式已知且為線性，無約束。把基於最小二乘的loss，用向量展開，再用設計（引數）矩陣的共軛向量來表示。最後通過求導，最優解可由共軛向量表示，共軛向量可通過gram-schmidt演算法求得。問題解決。所以它時基於一次導的解法，但是收斂性比梯度下降好。
半正定矩陣定義！！！老是忘記！！：
存在向量a，使矩陣a滿足ataa>=0!!!
共軛向量：
a為正定矩陣，當paq=0滿足時，p和q就是共軛向量, q不用等於pt。維度相同，因為正定為方陣。
2線性規劃
3拉格朗日乘子法與對偶性
4二次規劃
最優化方法 概述
乙個簡單的問題描述如下 周長一定，圍成怎樣的形狀能使得面積最大。西元前212 187年，古希臘數學家阿基公尺德 archimedes 就曾證明了已知周長，圓所包圍的面積最大的等周問題。這算是乙個基本的最優化問題。最優化方法定義 應用數學的重要研究領域。它是研究在給定約束之下如何尋求某些因素 的量 以...
最優化方法總結
1.座標下降法 coordinate descent method 對於乙個最優化問題 min x f x 1,x 2,x n 其求解過程如下 loop until convergence for i 1 n x i arg min x i f x 1,x 2,x i 1,x i,x i 1,x n...
最優化理論與方法 《數值與最優化方法》（目錄）
對於每乙個方法，都大致按照 問題形式 演算法步驟 和 收斂分析 來進行展開的。而對於科研中常用方法，則講透本質思想。數值與最優化方法 一 包括 一.無約束最優化計算方法1.1 數學基礎 1.1.1 等值線 1.1.2 可微與梯度 1.1.3 方向導數 1.1.4 hesse矩陣 1.1.5 多元函式...