機器學習 高斯混合模型GMM和EM演算法

2021-07-24 06:08:17 字數 1344 閱讀 2067

:高斯混合模型就是用高斯

概率密度函式

(正態分佈

曲線)精確地量化事物,它是乙個將事物分解為若干的基於高斯概率密度函式(正態分佈曲線)形成的模型。

高斯混合模型(gmm),顧名思義,就是資料可以看作是從數個單高斯分布(gsm)中生成出來的。雖然我們可以用不同的分布來隨意地構造 xx mixture model ,但是 gmm最為流行。另外,mixture model 本身其實也是可以變得任意複雜的,通過增加 model 的個數,我們可以任意地逼近任何連續的概率密分布。

有一批觀察資料,資料個數為n,在d 維空間中的分布不是橢球狀,不適合以乙個單一的高斯密度函式來描述這些資料點的概率密度函式。假設每個點均由乙個單高斯分布生成,而這一批資料共由k(需要事先確定好)個單高斯模型生成,具體某個資料屬於哪個單高斯模型未知,且每個單高斯模型在混合模型中佔的比例未知,將所有來自不同分布的資料點混在一起,該分布稱為高斯混合分布。

從數學上講,我們認為單個資料點的概率分布密度函式可以通過加權函式表示:

gmm是一種聚類演算法,其中的每乙個單一的高斯分布n(x;uk,σk)叫作這個模型的乙個component,每個component就是乙個聚類中心。即在只有樣本點,不知道樣本分類(含有隱含變數)的情況下,計算出模型引數(π,u和σ)----這顯然可以用em演算法來求解。

有n個資料點,服從某種分布p(x;θ),我們想找到一組引數θ,使得它所確定的概率分布,生成這些資料點的概率最大,這個概率就是

也就是

求出引數

,使得最大就可以。

e就是expectation的意思,就是假設模型引數已知的情況下,求隱含變數z分別取z1,z2,...的期望,亦即z分別取z1,z2,...的概率。在gmm中就是求資料點由各個 component生成的概率。

高斯混合模型學習筆記

高斯混合模型在opencv中的原始碼詳解

機器學習 GMM高斯混合模型

高斯混合模型 乙個資料集可以由1 n個高斯模型加權求和來生成。採用概率模型來表達資料分布。由於涉及的符號太多,因此演算法詳細推導過程在這份pdf裡面 1.演算法原理 1.1 gmm為什麼需要em演算法 1 無限個高斯分布可以生成任意複雜的資料分布形式,我們試圖通過設定k個高斯模型來建立乙個生成式模型...

GMM高斯混合模型

在一般的分類問題中,通常的套路都是提取特徵,將特徵輸入分類器訓練,得到最終的模型。但是在具體操作時,一開始提出的特徵和輸入分類器訓練的特徵是不一樣的。比如假設有n張 100 100 100 100 的影象,分別提取它們的hog特徵x rp q x rp q,p p為特徵的維數,q q 為這幅影象中h...

高斯混合模型(GMM)

講這個之前,要先對模糊聚類和基於概率模型的聚類有個大體的認識。不清楚的同學可以參考下jiawei的書去看一看,或者看看我的這篇文章。資料探勘 概念與技術 第三版 之第十一章的學習記錄 ok,這裡假設,大家已經有了上面我提到的先驗知識。gmm 和 k means 很像。不過 gmm 是學習出一些概率密...