高斯混合模型：乙個資料集可以由1 - n個高斯模型加權求和來生成。採用概率模型來表達資料分布。
由於涉及的符號太多，因此演算法詳細推導過程在這份pdf裡面：
1. 演算法原理
1.1 gmm為什麼需要em演算法
1）無限個高斯分布可以生成任意複雜的資料分布形式，我們試圖通過設定k個高斯模型來建立乙個生成式模型，模擬當前資料集的分布。其中k為超引數，需要手動調參。
2）這麼確定這k個高斯模型的引數：每個模型的均值向量，協方差矩陣；模型的混合係數。
3）對所有樣本屬於乙個高斯模型的後驗概率進行極大似然估計？ no，因為不能確定哪些樣本是屬於同乙個高斯模型。
4）em演算法？ yes，em演算法適用於含有隱變數（無法觀測到的變數，gmm中的隱變數就是每個樣本的label，這個label可以確定哪些樣本屬於同一簇，但我們事先不知道）的概率模型求引數。
1.2 em演算法
em演算法本質上還是mle，但是是乙個不斷迭代，逐漸逼近的過程。而mle只需一次就確定模型引數。
1）初始化gmm的引數：每個模型的均值向量，協方差矩陣，模型的混合係數。
e - step：
GMM高斯混合模型
在一般的分類問題中，通常的套路都是提取特徵，將特徵輸入分類器訓練，得到最終的模型。但是在具體操作時，一開始提出的特徵和輸入分類器訓練的特徵是不一樣的。比如假設有n張 100 100 100 100 的影象，分別提取它們的hog特徵x rp q x rp q，p p為特徵的維數，q q 為這幅影象中h...
高斯混合模型（GMM）
講這個之前，要先對模糊聚類和基於概率模型的聚類有個大體的認識。不清楚的同學可以參考下jiawei的書去看一看，或者看看我的這篇文章。資料探勘 概念與技術 第三版 之第十一章的學習記錄 ok，這裡假設，大家已經有了上面我提到的先驗知識。gmm 和 k means 很像。不過 gmm 是學習出一些概率密...
高斯混合模型 GMM
本文主要針對初次接觸gmm的人，簡單的給出了一些自己初識的一些理解，比較淺顯。初次真正意義上接觸高斯混合模型 gaussian mixed model，gmm 是因為要用它來進行音訊分類，以音訊訊號特徵為輸入，通過gmm來建模，完成最終的分類。有乙個說法是gmm是多個高斯分布函式的線性組合。理論上g...