em思想與最大似然引數估計問題密切相關。單純的同引數(同一類別)同分布的引數估計使用最大似然估計或矩估計解決。若是混合引數(多個類別)同分布的引數估計使用的就是em思想。em演算法就是這樣，假設我們想估計知道a和b兩個引數，在開始狀態下二者都是未知的，但如果知道了a的資訊就可以得到b的資訊，反過來知道了b也就得到了a。可以考慮首先賦予a某種初值，以此得到b的估計值，然後從b的當前值出發，重新估計a的取值，這個過程一直持續到收斂為止。
em的意思是「expectation maximization」。其概率模型涉及無法觀測的隱含變數(引數)
最大期望演算法經過兩個步驟交替進行計算：
第一步是計算期望（e），利用對隱藏變數的現有估計值，計算其最大似然估計值；
第二步是最大化（m），最大化在 e 步上求得的最大似然值來計算引數的值。
m 步上找到的引數估計值被用於下乙個 e 步計算中，這個過程不斷交替進行。 迭代使用em步驟，直至收斂。
em是一種解決存在隱含變數優化問題的有效方法。
GMM與EM演算法（零）
聚類的方法有很多種，k means 要數最簡單的一種聚類方法了，其大致思想就是把資料分為多個堆，每個堆就是一類。每個堆都有乙個聚類中心 學習的結果就是獲得這 k個聚類中心 這個中心就是這個類中所有資料的均值，而這個堆中所有的點到該類的聚類中心都小於到其他類的聚類中心 分類的過程就是將未知資料對這 k...
梯度下降與EM演算法
機器學習兩個重要的過程 學習得到模型和利用模型進行 下面主要總結對比下這兩個過程中用到的一些方法。這類問題往往出現在求解模型，即引數學習的階段。我們已經得到了模型的表示式，不過其中包含了一些未知引數。我們需要求解引數，使模型在某種性質 目標函式 上最大或最小。其中目標函式是對數似然函式。為了求目標函...
EM 演算法之二 高斯混合模型與 EM
em演算法 expection maximizationalgorithm，em 是一種迭代演算法，通過e步和m步兩大迭代步驟，每次迭代都使極大似然函式增加。但是，由於初始值的不同，可能會使似然函式陷入區域性最優。辜麗川老師和其夫人發表的 基於 em演算法的gmm引數估計 提取碼 77c0 改進了這...