em演算法的一些理解

資料：

不完全資料，即含有隱變數——無法觀測的變數

目的：

求出模型中所有引數的合理估計。

為什麼使用em演算法：

不同於極大似然估計，可以顯式的求出使得資料似然度最大的引數，在含有隱變數的模型中，由於需要對隱變數做全概率展開，所以最終的似然函式是求和的形式，而且關鍵的是沒有隱變數資料所以無法求出最大似然度對應的引數。

em演算法需要克服以下的障礙：

1. 我們的目的是估計引數，但是現在資料有缺失，所以無法使用極大似然法。

2. 我們想直接猜測缺失資料的分布(然後使用極大似然法)，卻又沒有模型引數

所以我們的做法是：直接給出乙個引數的初始值，然後計算缺失資料的分布，然後再使用缺失資料進行對引數進行修正，

不斷地 1. 修正缺失資料分布，2. 修正引數分布，直至收斂。

為什麼是給出引數初始值而不是缺失資料分布初始值：

理論上給出缺失資料分布初始值也是可行的，只不過引數初始值可能更有意義，也就是人們更加理解它的實際意義，例如再三硬幣模型中給所有引數的初始值都是0.5，這很符合直覺，而我們可能很難給出每次a是正面或反面的初始值。