資料探勘十大經典演算法(五)最大期望 EM 演算法

2021-07-10 15:45:49 字數 786 閱讀 9672

最大期望演算法(expectation maximization algorithm,又譯期望最大化演算法),是一種迭代演算法。在

概率(probabilistic)模型中尋找引數

最大似然估計

或者最大後驗估計的演算法,其中

概率模型

依賴於無法觀測的隱藏變數(latent variable)。

最大期望經常用在

機器學習

和計算機視覺

的資料聚類

(data clustering

)領域。

em演算法思想:假設我們估計知道a和b兩個引數,在開始狀態下二者都是未知的,並且知道了a的資訊就可以得到b的資訊,反過來知道了b也就得到了a。可以考慮首先賦予a某種初值,以此得到b的估計值,然後從b的當前值出發,重新估計a的取值,這個過程一直持續到收斂為止。

最大似然估計,概率論中引數估計的方法之一。已知某個隨機樣本滿足某種概率分布,但是其中具體的引數不清楚,引數估計就是通過若干次試驗,觀察其結果,利用結果推出引數的大概值,把這個引數作為估計的真實值。

最大期望演算法經過兩個步驟交替進行計算:

第一步是計算期望(e),利用對隱藏變數的現有估計值,計算其最大

似然估計值;

第二步是最大化(m),最大化在 e 步上求得的最大似然值來

計算引數的值。

總體來說,em的演算法流程如下:

初始化分布引數

重複直到收斂:

e步驟:估計未知引數的期望值,給出當前的引數估計。

m步驟:重新估計分布引數,以使得資料的似然性最大,給出未知變數的期望估計。

資料探勘十大經典演算法 5 最大期望 EM 演算法

在統計計算中,最大期望 em,expectation maximization 演算法是在概率 probabilistic 模型中尋找引數最大似然估計的演算法,其中概率模型依賴於無法觀測的隱藏變數 latent variabl 最大期望經常用在機器學習和計算機視覺的資料集聚 data cluster...

資料探勘十大經典演算法 5 最大期望 EM 演算法

資料探勘十大經典演算法 5 最大期望 em 演算法 在統計計算中,最大期望 em,expectation maximization 演算法是在概率 probabilistic 模型中尋找引數最大似然估計的演算法,其中概率模型依賴於無法觀測的隱藏變數 latent variabl 最大期望經常用在機器...

資料探勘十大經典演算法

最近想看看資料探勘是個什麼東西,因此特別的關注了下,首先看看資料探勘包含哪些演算法,網上找到了十大經典演算法 01.c4.5 是機器學習演算法中的一種分類決策樹演算法,其核心演算法是 id3演算法 02.k means演算法 是一種聚類演算法。03.svm 一種 監督式學習 的方法,廣泛運用於統計分...