本文梳理一些約束優化裡問題常見的一些拉格朗日乘子法與拉格朗日對偶的關係。經常看到一些錯誤說法：就是拉格朗日對偶解法就是針對不等式約束優化問題的拉格朗日乘子法，實際上並不是。
1、約束優化問題
約束優化問題，分為等式約束優化問題和不等式約束優化問題。經常利用拉格朗日乘子法求解。
2、等式約束優化問題
等式約束優化問題相對簡單，高等數學中一般都有拉格朗日乘子法求極值的介紹，這裡不做過多介紹。
f (x
),gi
(x
)f(x),g_i(x)
f(x),g
i(x
)連續可微。
min x
f(x)
\min\limits_ f(x)
xminf
(x)s.t
.gi(
x)=0
,i=1
,...
,n
.s.t.~~~ g_i(x) = 0,~i=1,...,n.
s.t.gi
(x)
=0,i
=1,.
..,n
. 3、不等式約束優化問題
f (x
),gi
(x),
hj(x
)f(x),g_i(x),h_j(x)
f(x),g
i(x
),hj
(x)
連續可微。
min x
f(x)
\min\limits_ f(x)
xminf
(x)s.t
.gi(
x)≤0
,i=1
,...
,k
.s.t.~~~ g_i(x) \leq 0,~i=1,...,k.
s.t.gi
(x)
≤0,i
=1,.
..,k.hj
(x)=
0,j=
1,..
.,l.
~~~~~~~~ h_j(x) = 0,~j=1,...,l.
hj(x)
=0,j
=1,.
..,l
.該不等約束優化問題可以用拉格朗日乘子法求解。
引入拉格朗日乘子後，
方法（1）可以利用kkt條件直接求解原問題。需要注意：最優解一定滿足kkt條件，滿足kkt條件的不一定是最優解。
方法（2）如果該不等式約束優化問題進一步滿足強對偶關係（slater條件，針對一般的優化問題，強對偶關係通常不成立），可以將其轉化為對偶問題求解（特殊解法）。
slater條件定理：
f (x
)f(x)
f(x)
，g i(
x)
g_i(x)
gi(x)
為凸函式，hj(
x)
h_j(x)
hj(x)
為仿射函式，且可行域內存在一點使得不等式約束嚴格成立，則強對偶性成立，也就是可以通過求解對偶問題的解來求解原問題的解。
比如svm，最大熵等模型滿足slater條件，因此可以轉化為對偶問題求解。
[1][2]
[3][4]
演算法 拉格朗日插值法
給你 n 1 個點 x,y 希望你求出過這幾個點的 n 1 次多項式。樸素的想法是把該多項式每一項的係數作為未知數，然後把點代入多項式中求出很多個 n 元 1 次方程組。然後高斯消元，時間複雜度為 o n 3 我們要介紹的拉格朗日插值法本質上來說是一種構造法，而不是去根據點對來想辦法求解。思考 對於...
ML 約束優化方法 拉格朗日乘子法與KKT條件
本篇文章將詳解帶有約束條件的最優化問題，約束條件分為等式約束與不等式約束，對於等式約束的優化問題，可以直接應用拉格朗日乘子法去求取最優值 對於含有不等式約束的優化問題，可以轉化為在滿足 kkt 約束條件下應用拉格朗日乘子法求解。拉格朗日求得的並不一定是最優解，只有在凸優化的情況下，才能保證得到的是最...
插值方法 拉格朗日多項式
定義 f x 為定義在區間 a,b 上的函式，x0,x1,xn為 a,b 上n 1個互不相同的點，為給定的某一函式類。若 上有函式 x 滿足 xi f xi i 0,1,n 則稱 x 為f x 關於節點x0,x1,xn在 上的插值函式。x0,x1,xn為插值節點，為插值型值點 插值點 f x 為插值...