轉 用ADMM求解大型機器學習問題

注意，乘子法里把第二個式子裡的αk

改成了擴充套件拉格朗日表示式中引入的ρ

。這不是乙個隨意行為，而是有理論依據的。利用l(x,y)

可以匯出上面最小化問題對應的原始和對偶可行性條件分別為（∂l∂y=0

，∂l∂x=0

。從上面可知，這種yk+1

的取法使得(xk+1,yk+1)

滿足對偶可行條件∂l∂x=0

。而原始可行條件在迭代過程中逐漸成立。

乘子法弱化了對偶上公升法的收斂條件，但由於在x-minimization步引入了二次項而導致無法把x分開進行求解（詳見[1])。而接下來要講的alternating direction method of multipliers (admm)

和z放一塊求解，而admm是分開求解，類似迭代一步的gauss-seidel方法。其中(3.4)中的推導類似於乘子法，只是使用了zk+1

最小化lρ(xk+1,z,yk)

定義新變數u=1ρy

和u中使用下面的表示式代替其中的axk+1

， 其中αk

為relaxation因子。有實驗表明αk∈[1.5,1.8]

可以改進收斂性([2])。

， 其中x

為模型引數，fj(x)

對應第j

個樣本的損失函式，而g(x)

為懲罰係數，如g(x)=||x||1

。假設把j

個樣本分成n

塊，還額外加了n

個等式約束，使得利用每塊樣本計算出來的模型引數xi

，g(z)=λ||z||1

，y¯的定義類似。

在分布式情況下，為了計算方便通常會把u

的更新步驟挪在最前面，這樣u

和x的選取