最優化基本知識這裡就不贅述了，詳情可以參考個種最優化書籍，這篇部落格主要是幫助回憶優化應用中較常用的方法。
一般情況下，最優化問題會碰到一下三種情況：1. 無約束， 2. 等式約束 3. 不等式約束。對於無約束情況，只要將優化目標對於變數求導，並令其等於0即可，我們主要討論第二種情況。
設目標函式為f(x)，約束條件為h_k(x) ：
一種方法是消元法，也就是通過等式約束變換，用一部分變數來表示另一部分變數並代入f(x)，以此達到消除等式約束的做法。這個方法有侷限性，因為要做到消元有時很麻煩，甚至是不可行的。舉個例子，
此處，
舉乙個二維的例子，
這裡畫出z=f(x,y)的登高線影象
綠色的線即為約束方程，我們要求取的點一定是在綠線上的，由影象可見，在該點g(x,y) = c 和 f(x,y)等一條登高線是相切的。所以，我們可以得出：∇(f(x,y) - d)=λ（∇g(x,y) - c) 。變換一下形式我們發現這就是拉格朗日解法。值得注意的是，該方法得到解只是原問題的必要而非充分條件。
拉格朗日乘子法
最近在學習 svm 的過程中，遇到關於優化理論中拉格朗日乘子法的知識，本文是根據幾篇文章總結得來的筆記。由於是剛剛接觸，難免存在錯誤，還望指出?另外，本文不會聊到深層次的數學推導，僅僅是介紹拉格朗日乘子法的內容，應用，以及個人對它的感性理解。按照維基百科的定義，拉格朗日乘數法是一種尋找多元函式在其變...
拉格朗日乘子法
在求取有約束條件的優化問題時，拉格朗日乘子法 lagrange multiplier 和kkt條件是非常重要的兩個求取方法，對於等式約束的優化問題，可以應用拉格朗日乘子法去求取最優值 如果含有不等式約束，可以應用kkt條件去求取。當然，這兩個方法求得的結果只是必要條件，只有當是凸函式的情況下，才能保...
拉格朗日乘子法
等式約束優化 當目標函式加上約束條件之後，問題就變成如下形式 目標函式和約束 約束條件會將解的範圍限定在乙個可行域，此時不一定能找到使得 xf x xf x 為 0 的點，只需找到在可行域內使得f x f x 最小的值即可，常用的方法即為拉格朗日乘子法，該方法首先引入 lagrange multip...