最優化理論中，有三種型別的優化，他們分別是：
無約束優化
等式約束優化
不等式約束優化，如下所示：
（千萬注意到：如果是凸問題，那麼這裡必須是小於等於號，也就是函式值要小於中間值，可結合影象理解，只有在這種情況下，gi(x)是凸函式才能構成凸優化區域從而構成凸優化問題！）
學過本科多元函式極值之後我們懂得了（1）（2）的求法，那就是構造拉格朗日函式求解。
但是對於第三種型別的問題怎麼求解呢？我們需要引入鬆弛因子μ，將不等式約束轉化為等式約束，構造如下的拉格朗日函式
那麼，傳說中的kkt條件是什麼呢？數學表示式是這樣的：
對應條件具有以下的數學意義：
拉格朗日函式取得極值的乙個必要條件
拉格朗日係數約束
不等式約束，一定是大於等於零！
互補鬆弛條件，注意區別於等式約束
原約束條件（等式約束和不等式約束）
對於一般問題，kkt條件是使得一組解成為最優解的必要條件，也就是如果這個解釋最優解，那他必定滿足這些條件!特別地，如果原問題是凸問題，那麼kkt條件就是取得最優解的充要條件!
那麼什麼是凸優化呢？
凸優化就是約束條件和目標函式都是凸集的問題！ （凸函式可以根據高等數學中用二階導數暴力證明）
圖1 凸集和非凸集
圖2 凸函式幾何意義
凸優化有乙個很重要的定理：凸優化問題的區域性最優解就是全域性最優解。
凸優化及其相關理論
凸優化 是指一種比較特殊的優化，是指求取最小值的目標函式為凸函式的一類優化問題。其中，目標函式為凸函式且定義域為凸集的優化問題稱為無約束凸優化問題。而目標函式和不等式約束函式均為凸函式，等式約束函式為仿射函式，並且定義域為凸集的優化問題為約束優化問題 沒有系統學過數學優化，但是機器學習中又常用到這些...
凸優化 非凸優化
凸 convex vs 非凸的概念，數學定義就不寫了，介紹個直觀判斷乙個集合是否為convex的方法，如下圖 簡單的測試乙個集合是不是凸的，只要任意取集合中的倆個點並連線，如果說連線段完全被包含在此集合中，那麼這個集合就是凸集，例如左圖所示。凸優化有個非常重要的定理，即任何區域性最優解即為全域性最優...
最優化理論與凸優化到底是幹嘛的？
凸優化的定義 1.1 凸優化 1.2 全域性最優化與區域性最優化 least squares and linear programming 最小二乘與線性規劃 2.1 最小二乘 2.2 線性規劃 最優化方法的一般結構 優化理論在機器學習，深度學習中扮演的角色 1.優化的定義 1.1 凸優化 最優化問...