最大後驗估計MAP

2021-09-28 19:26:34 字數 411 閱讀 5312

概念:

在貝葉斯統計學中,最大後驗(maximum a posteriori,map)估計可以利用經驗資料獲得對未觀測量的點態估計。它與fisher的最大似然估計(maximum likelihood,ml)方法相近,不同的是它擴充了優化的目標函式,其中融合了預估計量的先驗分布資訊,所以最大後驗估計可以看作是正則化(regularized)的最大似然估計。

理解:

假設我們需要根據觀察資料x估計沒有觀察到的總體引數θ,讓f作為x的取樣分布,這樣f(x| θ)就是總體引數為θ時x的概率。函式即為似然函式,其估計就是θ的最大似然估計:

假設θ存在乙個先驗分布 g,這就允許我們將θ作為貝葉斯統計( en: bayesian statistics)中的隨機變數,這樣θ的後驗分布就是:

最大後驗估計MAP

最大後驗估計map是最常用的幾個引數點估計之一,基本原理由貝葉斯定理而來,先看貝葉斯公式 p x p x p p x p left theta mid boldsymbol x right frac p x p x p x p 其中,我們將p p left theta right p 稱為先驗概率,...

最大似然估計 MLE 與最大後驗估計 MAP

對於函式p x 從不同的觀測角度來看可以分為以下兩種情況 如果 已知且保持不變,x是變數,則p x 稱為概率函式,表示不同x出現的概率。如果x已知且保持不變,是變數,則p x 稱為似然函式,表示不同 下,x出現的概率,也記作l x 或l x 或f x 最大似然估計是已知模型服從某種分布,但不知道其某...

最大似然估計MLE和最大後驗估計MAP理解

1 頻率學派和貝葉斯派 頻率學派認為引數是固定而未知的,關心似然函式。貝葉斯派認為引數是隨機的有分布的,關心後驗分布。2 mle map公式 3 引數估計 mle 4 引數估計 map map與mle最大的不同在於p 引數 項,map將先驗知識加入,優化損失函式。5 mle map bayesian...