目前較為常見的引數估計方法有極大似然估計、最大後驗概率估計、貝葉斯估計。以下以拋硬幣為例比較三種引數估計方法。
極大似然估計：根據樣本的概率分布，寫出樣本的聯合概率似然函式，通過最大化似然函式，得到引數估計值。只基於樣本資訊。
步驟：（1）確定似然函式
（2）將似然函式轉換為對數似然函式
（3）求對數似然函式的最大值（求導，解似然方程）
最大後驗概率估計與貝葉斯估計都需要用到先驗概率，兩者的區別在於：最大後驗概率分布認為
步驟：（1）確定引數的先驗分布以及似然函式
（2）確定引數的後驗分布函式
（3）將後驗分布函式轉換為對數函式
（4）求對數函式的最大值（求導，解方程）
貝葉斯估計：利用樣本資訊+先驗資訊，貝葉斯估計是最大後驗估計的進一步擴充套件，貝葉斯估計同樣假定
步驟：（1）確定引數的似然函式
（2）確定引數的先驗分布，應是後驗分布的共軛先驗
（3）確定引數的後驗分布函式
（4）根據貝葉斯公式求解引數的後驗分布
先驗分布一般選用beta分布，因beta分布的擁有共軛先驗的特性，即再伯努利分布下，先驗分布和後驗分布相同，均為beta分布。其具體形式如下：
貝葉斯估計具體推導：
貝葉斯估計與極大似然估計比較：
當樣本足夠大時，貝葉斯估計趨近於極大似然估計。
當樣本較小時，貝葉斯估計的結果會更加的緩和，不會像極大似然估計那麼極端。
小結：最大似然估計、最大後驗概率估計中都是假設
先驗概率。而在貝葉斯估計中，假設引數
未知的隨機變數，不是確定值，求解的是引數
引數估計 引數估計
1 引數估計 用樣本統計量去估計總體的引數。2 估計量 用於估計總體引數的統計量的名稱 如樣本均值，樣本比例，樣本方差等 例如 樣本均值就是總體均值 3 引數用 4 估計值 估計引數時計算出來的統計量的具體值 如果樣本均值 5 點估計 例如 用樣本均值直接作為總體均值的估計乙個點估計量的可靠性是由它...
最大似然估計，最大後驗估計
p a b 這個公式看下面韋恩圖就懂了 在事件 b 發生的條件下發生事件 a 的概率 p a b 就是 ab 同時發生的概率 p ab 比 b 發生的概率 p b p a b frac 形式上很明顯，這個公式是條件概率變形而來 p a b rightarrow p a b p b p ab p b ...
引數估計與非引數估計
引數估計 parameter estimation 根據從 總體中抽取的 樣本估計總體分布中包含的未知引數的方法。人們常常需要根據手中的資料，分析或推斷資料反映的本質規律。即根據樣本資料如何選擇統計量去推斷總體的分布或數字特徵等。統計推斷是數理統計研究的核心問題。所謂統計推斷是指根據樣本對總體分布或...