em演算法（expection-maximizationalgorithm，em）是一種迭代演算法，通過e步和m步兩大迭代步驟，每次迭代都使極大似然函式增加。但是，由於初始值的不同，可能會使似然函式陷入區域性最優。辜麗川老師和其夫人發表的**：基於**em演算法的gmm引數估計（提取碼：77c0）改進了這一缺陷。下面來談談em演算法以及其在求解高斯混合模型中的作用。
一、 高斯混合模型（gaussian mixturemodel， gmm）
之前寫過高斯判別分析模型，利用引數估計的方法用於解決二分類問題。下面介紹gmm，它是對高斯判別模型的乙個推廣，也能藉此引入em演算法。
假設樣本集為
高斯混合模型與EM演算法
對於高斯混合模型是幹什麼的呢？它解決什麼樣的問題呢？它常用在非監督學習中，意思就是我們的訓練樣本集合只有資料，沒有標籤。它用來解決這樣的問題 我們有一堆的訓練樣本，這些樣本可以一共分為k類，用z i 表示。但是具體樣本屬於哪類我們並不知道，現在我們需要建立乙個模型來描述這個訓練樣本的分布。這時，我們...
混合高斯模型（GMM）與EM演算法
有乙個資料集d d d 中的每個資料點是這樣產生的，先從k個類別中選擇乙個類別，然後從該類別對應的資料產生分布中產生資料點。若k選1的對應的分布是multinoulli分布，每個類別對應的資料產生分布是不同的高斯分布，估計資料點x對應的分布。這個問題對應的模型就是乙個混合高斯模型，具體的資料產生過程...
高斯混合模型以及EM演算法
高斯混合模型 gmm 顧名思義，就是資料可以看作是從數個高斯分布中生成出來的。雖然我們可以用不同的分布來隨意地構造 xx mixture model 但是 gmm是 最為流行。另外，mixture model 本身其實也是可以變得任意複雜的，通過增加 model 的個數，我們可以任意地逼近任何連續的...