乙個簡單的問題描述如下：周長一定，圍成怎樣的形狀能使得面積最大。
西元前212~187年，古希臘數學家阿基公尺德(archimedes)就曾證明了已知周長，圓所包圍的面積最大的等周問題。這算是乙個基本的最優化問題。
最優化方法定義：應用數學的重要研究領域。它是研究在給定約束之下如何尋求某些因素(的量)，以使某一(或某些)指標達到最優的一些學科的總稱。
簡單來說，即以最優化數學模型來解決實際運用中的各種最優化問題。
其中的x為n維向量，為實際運用中的解。
s.t.為英文subject to的縮寫，表示受限於。
f(x)稱為目標函式，如上式，我們要求f(x)的最小值。
h(x)為等式約束；g(x)為不等式約束。
根據目標函式與約束函式的不同形式，可以把最優化問題分為不同的型別。
1）根據約束函式，可分為：無約束最優化，等式約束最優化，不等式約束最優化。
2）根據目標函式與約束函式型別分類：若f(x),h(x),g(x)都是線性函式，則稱為線性規劃；若其中至少有乙個為非線性函式，則稱為非線性規劃。
3）另外，對於特殊的f(x),h(x),g(x)，還有特殊的最優化問題。
目標函式為二次，約束全為線性：二次規劃。
目標函式不是數量函式而是向量函式：多目標規劃。
對於無約束的最優化問題，我們通常給定乙個初始的可行點x0，由這個可行點出發，依次產生乙個可行點列，x1,x2…xk,使得某個xk恰好是問題的乙個最優解，或者該點列收斂到最優解。也就是選取乙個可行的方向，再往這個方向行進。這種方法稱為下降演算法。
在迭代中，要求f(xk+1)
在下降演算法中，基本的問題有兩個：方向與步長。
對於效能的衡量，也有：收斂於不收斂，區域性最優與全域性最優。
常見的下降演算法有：
最速下降法，newton法，共軛方向法和共軛梯度法，擬newton法，powell方向加速法等。
有約束的最優化問題則可以通過拉格朗日乘數轉化為無約束最優化問題。
其他一些流行的方法有：
模擬退火，遺傳演算法，類免疫演算法，演化策略，神經網路，支援向量機等。
不同於前一部分通過迭代求解的方法，我們可以通過一些數學知識來直接求解最優化問題的最優點，這種方法稱為解析法。比如我們一階函式求導得極值的方法。
所謂的最優性條件，也就是最優點滿足的條件。
不過，一般情況下，很難直接通過最優性條件求解最優化問題。但是最優性條件的研究，對於問題的求解以及判定結束狀態都有幫助。
以下面無約束優化的最優性條件為例：
對於：根據微積分的知識，我們有如下結論：
也就是無約束最優化問題的最優性條件；相應的我們還有等式約束最優化問題，不等式約束最優化問題的最優性條件。
最優化 幾何概念概述
根據最優化導論的相關概念做乙個基本的概述和理解 以往直線都是針對於二維和三位情況下進行討論，從來沒進行過高維下的線段討論 對於直線來說，直接定義就是方向向量 一點即可 但是對於線段來說採用方程的常規設法，來張成乙個解區間，進行表示線段 假設對於n維空間下兩點，如果採用向量表示，有x,y兩點 設，z位...
最優化方法
1無約束約束方法 梯度下降 求解線性回歸，有明確的目標函式。利用目標函式的梯度來更新引數，使用最小二乘時，用loss的梯度更新。範數為2的最速下降。牛頓法 目標函式已知，用泰勒展開的近似作為近似解，把近似值帶入目標函式求出近似的引數作為更新值。由於捨棄了泰勒公式的高階項，新的引數值會更接近真實解。在...
最優化方法總結
1.座標下降法 coordinate descent method 對於乙個最優化問題 min x f x 1,x 2,x n 其求解過程如下 loop until convergence for i 1 n x i arg min x i f x 1,x 2,x i 1,x i,x i 1,x n...