初始化分布引數θ；
m步驟：將似然函式最大化以獲得新的引數值：
這個不斷的迭代，就可以得到使似然函式l(θ)最大化的引數θ了。那就得回答剛才的第二個問題了，它會收斂嗎？
感性的說，因為下界不斷提高，所以極大似然估計單調增加，那麼最終我們會到達最大似然估計的最大值。理性分析的話，就會得到下面的東西：
具體如何證明的，看推導過程參考：andrew ng《the em algorithm》
座標上公升法（coordinate ascent）：
圖中的直線式迭代優化的路徑，可以看到每一步都會向最優值前進一步，而且前進路線是平行於座標軸的，因為每一步只優化乙個變數。
這猶如在x-y座標系中找乙個曲線的極值，然而曲線函式不能直接求導，因此什麼梯度下降方法就不適用了。但固定乙個變數後，另外乙個可以通過求導得到，因此可以使用座標上公升法，一次固定乙個變數，對另外的求極值，最後逐步逼近極值。對應到em上，e步：固定θ，優化q；m步：固定q，優化θ；交替將極值推向最大。
（em演算法）the em algorithm
混合高斯模型（mixtures of gaussians）和em演算法
k-means聚類演算法
機器學習 EM演算法
em演算法 最大期望演算法 expectation maximization algorithm,em 是為處理缺失資料的引數的估計問題，主要分為e步和m步交替組成，對給定的初始引數依賴較大。from numpy import import numpy as np import matplotlib...
機器學習演算法 EM演算法
介紹 理論分析 現在,已經知道目標函式 似然函式 maxj p x 假設隱變數為z,那麼可以寫成j zp x z 我們假設當前的引數為 i 那麼可以得到 j j i logp x logp x i log zp x,z logp x i log z p z x,i p x z p z x,i log...
機器學習演算法 EM演算法
e步 利用當前估計的引數值，求出在該引數下隱含變數的條件概率值 計算對數似然的期望值 m步 結合e步求出的隱含變數條件概率，求出似然函式下界函式的最大值 尋找能使e步產生的似然期望最大化的引數 值 然後，新得到的引數值重新被用於e步.直到收斂到區域性最優解。note 每次迭代實際在求q函式及其極大，...