假設乙個情景：假設某種實驗有四個可能得結果，其發生概率分別為
\[\frac-\frac,\frac-\frac,\frac+\frac,\frac
\]且次數分別為\(y_1, y_2, y_3, y_4\)， 求\(\theta\)的估計值。
\[\beginl(\theta) &= (\frac-\frac)^(\frac-\frac)^(\frac+\frac)^(\frac)^ \\ln\,l(\theta) &= y_1ln\,\frac + y_2ln\,\frac + y_3ln\,\frac +y_4ln\,\frac\\\frac &= -\frac -\frac + \frac+\frac = 0\end
\]上面假設的場景，實驗結果都是可以直接觀測的，此時可以使用mle。但是如果實驗結果含有隱藏變數，即不可觀測部分，就需要用到em演算法。
在上面的情景中，假設第一部分\(\frac-\frac\)可以分為\(\frac-\frac, \frac\)，且出現次數分別為\(z_1, y_1-z_1\)。第三部分\(\frac+\frac\)可以分為\(\frac，\frac\)， 且出現次數分別為\(z_2, y_3-z_2\)。則：
\[\beginl(\theta) &= (\frac-\frac)^(\frac)^(\frac)^(\frac)^\\ln\,l(\theta) &= (z_1+y_2)ln\,\frac + (z_2 + y_4)ln\,\frac +(y_1-z_1 + y_3-z_2)ln\,\frac \\\frac &= -\frac +\frac = 0 \\\hat &= \frac \\&其中z_1 \sim b(y_1, \frac), \, \, z_2 \sim b(y_3, \frac)\end
\]\[\theta^ = \frac}}y_3+y_4}}}y_1+\frac}}y_3+y_2+y_4}
\]任意取初始$\theta \in (0,1) $，不斷迭代
機器學習 EM演算法
em演算法 最大期望演算法 expectation maximization algorithm,em 是為處理缺失資料的引數的估計問題，主要分為e步和m步交替組成，對給定的初始引數依賴較大。from numpy import import numpy as np import matplotlib...
機器學習演算法 EM演算法
介紹 理論分析 現在,已經知道目標函式 似然函式 maxj p x 假設隱變數為z,那麼可以寫成j zp x z 我們假設當前的引數為 i 那麼可以得到 j j i logp x logp x i log zp x,z logp x i log z p z x,i p x z p z x,i log...
機器學習演算法 EM演算法
e步 利用當前估計的引數值，求出在該引數下隱含變數的條件概率值 計算對數似然的期望值 m步 結合e步求出的隱含變數條件概率，求出似然函式下界函式的最大值 尋找能使e步產生的似然期望最大化的引數 值 然後，新得到的引數值重新被用於e步.直到收斂到區域性最優解。note 每次迭代實際在求q函式及其極大，...