最優化（optimization），應用數學的重要研究領域.它是研究在給定約束之下如何尋求某些因素(的量)，以使某一(或某些)指標達到最優的一些學科的總稱.由於運籌學中出現的問題大多即是最優化所研究的問題，因此運籌學的許多分支，如數學規劃、組合最優化、排隊論，以及決策論等也是最優化的組成部分.此外，最優化還包括如工程最優設計、最優控制(控制論與運籌學的交叉分支)等.
狹義地說，最優化即指數學規劃
，有時也專指非線性規劃
.主要研究以下形式的問題：
給定乙個
函式這類定式有時還稱為「數學規劃」（譬如，線性規劃）。許多現實和理論問題都可以建模成這樣的一般性框架。
典型的，
等式或者不等式來規定。可行解。函式目標函式，或者費用函式。乙個最小化（或者最大化）目標函式的可行解被稱為最優解。
一般情況下，會存在若干個區域性的極小值或者極大值。區域性極小值
公式成立。這就是說，在
主要分支：
線性規劃
當目標函式
f是線性函式而且集合a是由線性等式函式和線性不等式函式來確定的， 我們稱這一類問題為線性規劃
整數規劃
當線性規劃問題的部分或所有的變數侷限於
整數值時， 我們稱這一類問題為整數規劃問題
二次規劃
目標函式是二次函式，而且集合a必須是由線性等式函式和線性不等式函式來確定的。
非線性規劃
研究的是目標函式或是限制函式中含有非線性函式的問題。
隨機規劃
研究的是某些變數是
隨機變數的問題。
動態規劃
研究的是最優策略基於將問題分解成若干個較小的子問題的優化問題。
組合最優化
研究的是可行解是離散或是可轉化為
離散的問題。
無限維最優化
研究的是可行解的集合是無限維空間的子集的問題，乙個無限維空間的例子是函式空間。
方法：對於無約束的優化問題， 如果函式是二次可微的話，可以通過找到目標函式梯度為0（也就是鞍點）的那些點來解決此優化問題。我們需要用黑塞矩陣來確定此點的型別。如果黑塞矩陣是正定的話，該點是乙個區域性最小解， 如果是負定的話，該點是乙個區域性最大解，如果黑塞矩陣是不定的話，該點是某種鞍點。
要找到那些拐點，我們可以通過猜測乙個初始點，然後用比如以下的迭代的方法來找到。
如果目標函式在我們所關心的區域中是凸函式的話，那麼任何區域性最小解也是全域性最優解。現在已經有穩定，快速的數值計算方法來求二次可微地凸函式的最小值。
有約束條件的約束問題常常可以通過拉格朗日乘數轉化為非約束問題。
其他一些流行的方法有：
現代的計算機科學技術和人工智慧科學把最優化作為乙個重要的領域來研究。我們也可以認為人工智慧的一些演算法，就是模擬了人類尋求實際問題最優解的過程。例如，利用人工智慧方法設計軟體，配合外部的電子裝置例如攝像頭識別人臉；利用資料探勘和神經網路演算法來尋找投資的最佳時機等等。
最優化理論
2017 10 24 最優化是應用數學的乙個分支，只不過對於計算機系的同學而言其實還是非常重要的。像現在很火的方向，如機器學習 計算機視覺 計算機圖形學 機械人等方向中都有非常基礎的應用，還有機械 物理 生物等，更不用說金融方向的quant。相信很多同學都學過最優化，對於軟體方向的同學應該是四年級的...
最優化理論歸納
通俗地說，就是求乙個函式在可行域上的極值。若函式無約束條件則稱為無約束優化 若約束條件為等式則稱為等式約束優化 若約束條件為不等式則稱為不等式約束優化。最優性條件即極值點滿足的條件。一階必要條件 一階導數等於0 二階必要條件 二階導數大於等於零 在單變數的情況下可以採用線搜尋技術，常用方法有兩種 分...
20190602 最優化理論基礎
所謂最優化方法，就是求乙個多元函式在某個給定集合上的極值。min f x s.t.x屬於k k是某個給定的集合 稱為可行集或者是可行域 f x 是定義在集合k上的實值函式，此外，在模型中，x通常稱為決策變數，s.t.是subject to 的縮寫 人們按照可行集的性質對最優化問題，進行乙個大致的分類...