在支援向量機中，需要用拉格朗日對偶性將原始問題轉換成對偶問題，解得對偶問題的解從而得到原始問題的解。在此簡單介紹拉格朗日對偶性的基本原理和方法。假設f
(x) ，ci
(x) ，hj
(x) 是定義在rn
上的連續可微函式。考慮約束最優化問題
minx∈r
nf(x
)s.t
.ci(
x)hj
(x)≤
0,i=
1,2,
⋯,k=
0,j=
1,2,
⋯,l(c.1)
(c.2)
(c.3)
稱此約束最優化問題為原始最優化問題或原始問題。
首先引進拉格朗日函式l(
x,α,
β)=f
(x)+
∑i=1
kαic
i(x)
+∑j=
1lhj
(x)(c.4)
其中x=
(x(1
),x(
2),⋯
,x(n
))t∈
rn ，α
i ，βj
是拉格朗日乘子，αi
≥0。考慮
x 的函式θp
(x)=
maxα,β
;αi≥
0l(x
,α,β
)(c.5)
，下標p表示原始問題。假設有某個
x ，不符合原始問題的約束條件，也就是存在某個i或者
j 使得ci
(w)<0或者
hj(x
)≠0 ，那麼就可以使某個αi
→+∞ 或
βj使得βhj
(x)→
∞ ，因此θp
(x)→
+∞，如果
x 滿足約束條件，顯而易見的是θp
(x)=
f(x)
。從而有下式：θp
(x)=
maxα,β
;αi≥
0l(x
,α,β
)={f
(x)+
∞,x滿
足約束條
件,其他
(c.6)
所以考慮
minxθp
(x)=
minx
maxα,β
;αi≥
0l(x
,α,β
)(c.7)
與原始問題等價。問題
minx
maxα,β
;αi≥
0l(x
,α,β
) 成為廣義拉格朗日函式的極小極大問題。因此原始問題轉換成了廣義拉格朗日的極小極大問題。設原始問題的最優值為p∗
=minxθ
p(x)
(c.8)
稱為原始問題的最優值。定義θ
d(x)
=minxl
(x,α
,β)(c.9)
在考慮極大化θd
(x) 即:
maxα,β
;αi≥
0θd(
x)=maxα,
β;αi
≥0minxl(
x,α,
β)(c.10)
上式稱為拉格朗日函式的極大極小問題。將此問題表示為約束最優化問題
maxα,β
θd(x
)=maxα,β
minxl(
x,α,
β)s.
t.αi
≥0,i
=1,2
,⋯,k
(c.11)
稱為原始問題的對偶問題。定義對偶問題的最優值d∗
=maxα,
βθd(
α,β)
(c.12)
稱為對偶問題的最優值。
定理c.1若原始問題和對偶問題都有最優值，則d∗
=maxα,
βθd(
α,β)
≤minxθ
p(x)
=p∗
推論c.2設x∗
和α∗,
β∗分別是原始問題和對偶問題的可行解，並且d∗
=p∗ ，則x∗
和α∗,
β∗分別是原始問題和對偶問題的額最優解。
在某些條件下，原始問題和對偶問題的最優值相等，即d∗
=p∗ 。這時可以用解對偶問題替代解原始問題。下面一定理的形式敘述有關的重要結論而不予證明。
定理c.2對於原始問題和對偶問題，假設函式f(
x)和ci(
x)都是凸函式，hj
(x) 是仿射函式；並且不等式約束ci
(x) 是嚴格可行的，即存在
x 使得對所有的i有
ci(x
)≤0 ，則存在x∗
,α∗,
β∗，使x∗
是原始問題的解，α∗
,β∗ 是對偶問題的解。並且p∗
=d∗=
l(x∗
,α∗,
β∗)
定理c.3對於原始問題和對偶問題，假設函式f(
x)和ci(
x)都是凸函式，hj
(x) 是仿射函式；並且不等式約束ci
(x) 是嚴格可行的，即存在
x 使得對所有的i有
ci(x
)≤0 ，則x∗
和α∗,
β∗分別是原始問題和對偶問題的解的充分必要條件是x∗
,α∗,
β∗，使x∗
滿足下面的kkt條件⎧⎩
⎨⎪⎪⎪
⎪⎪⎪⎪
⎪⎪⎪⎪
⎪⎪⎪⎪
⎪⎪⎪⎪
⎪∇xl
(x∗,
α∗,β
∗)∇α
l(x∗
,α∗,
β∗)∇
βl(x
∗,α∗
,β∗)
α∗ci
(x)c
i(x)
αihj
(x)=
0=0=
0=0≤
0≥0=
0 特別補充的是α∗
ci(x
)=0 稱為kkt的對偶互補條件。由此條件可知，若αi
>0 則
ci(x
)=0 。
引自：李航. 統計學習方法[m]. 清華大學出版社, 2012.拉格朗日對偶性
拉格朗日對偶性常常被用來解決有約束條件的最優化問題，在最大熵模型或者支援向量機的優化中最為常見，其主要思路就是將帶約束條件的原始為題轉換為沒有約束條件的對偶問題。首先呈現以下原始問題，我們在做優化的時候，會遇到需要優化乙個函式 f x 這個函式還帶著兩個約束條件，這裡分別用 ci x 和 hj x ...
拉格朗日對偶性
在約束最優化問題中，常常會利用到拉格朗日對偶性求解。在常用的機器學習演算法中，支援向量機和最大熵模型都使用到該方法求最優解。因為後面將要講到這兩個演算法，所以先介紹這種方法作為知識的鋪墊。對於有約束的問題，拉格朗日對偶性是將原始問題轉化為最優問題，通過求解對偶問題而得到原始問題的解。一 原始問題 假...
拉格朗日對偶性 Lagrange duality
有時候原問題 primal problem 不太好解，但是對偶問題 dual problem 卻很好解，我們就可以通過求解對偶問題來迂迴地解答原問題。通過下面兩步，構造拉格朗日函式為 1.引入 鬆弛變數 kkt乘子 j j 0 把不等式約束條件轉化為等式約束條件。2.入拉格朗日乘子 k把等式約束轉化...