貝葉斯學習及共軛先驗

2021-09-07 17:03:12 字數 2158 閱讀 4742

共軛先驗 是啥?

網上找幾篇文章,收集與此!

今天的主要任務是來理解共軛先驗以及貝葉斯學習。最近在研究主題模型,裡面用到了一些,另外在機器學習中,貝葉斯學習是重要的乙個方向,所以有必要學習和掌握。

contents

1.共軛先驗分布

2. 貝葉斯學習

3. beta分布及共軛先驗

1.共軛先驗分布

什麼又是共軛呢?軛的意思是束縛、控制,共軛從字面上理解,則是共同約束,或互相約束。 

在貝葉斯概率理論中,如果後驗概率p(θ|x)和先驗概率p(θ)滿足同樣的分布律,那麼,先驗分布和後驗分布被叫做共軛分布,同時,先驗分布叫做似然函式的共軛先驗分布

比如,某觀測資料服從概率分布p(θ)時,當觀測到新的x資料時,我們一般會遇到如下問題:

可否根據新觀測資料x,更新引數θ?

根據新觀測資料可以在多大程度上改變引數θ,即

當重新估計θ的時候,給出新引數值θ的新概率分布,即p(θ|x)

事實上,根據根據貝葉斯公式可知:

其中,p(x|θ)表示以預估θ為引數的x概率分布,可以直接求得,p(θ)是已有原始的θ概率分布。

所以,如果我們選取p(x|θ)的共軛先驗作為p(θ)的分布,那麼p(x|θ)乘以p(θ),然後歸一化的結果p(θ|x)跟和p(θ)的形式一樣。

換句話說,先驗分布是p(θ),後驗分布是p(θ|x),

先驗分布跟後驗分布同屬於乙個分布族,故稱該分布族是θ的共軛先驗分布(族)。

舉個例子。投擲乙個非均勻硬幣,可以使用引數為θ的伯努利模型,θ為硬幣為正面的概率,那麼結果x的分布形式為:

其共軛先驗為beta分布,具有兩個引數α和β,稱為超引數(hyperparameters)。且這兩個引數決定了θ引數,其beta分布形式為

然後計算後驗概率

歸一化這個等式後會得到另乙個beta分布,從而證明了beta分布確實是伯努利分布的共軛先驗分布。

2. 貝葉斯學習

首先,我從最簡單的硬幣投擲開始。現在給你乙個硬幣,假設有

面朝上,那麼如果在5次投擲過程中,有3次是正面朝上,那麼這個

憑著直觀感覺,我們可能會認為是3/5,當然這是根據統計規律得到的結論。那麼實際上這是乙個二項分布,即

重複n次的伯努利實驗。由上述所述,很容易知道其概率表示如下

我們需要這個概率盡量大,那麼最終解得

但是,我們想象一下,如果在5次投擲過程中,5次都正面朝上,那豈不是得到

況得到的估計值不合理。為了避免這種「黑天鵝事件」的發生,需要將

我們只需要乘上另乙個小於1的概率值就可以達到了。到了這裡貝葉斯公式橫空出世!如下

其中後驗概率

3. beta分布及共軛先驗

還是以擲硬幣為例,我們已經知道了後驗概率正比於似然概率和先驗概率的乘積。那麼在擲硬幣實驗中,硬幣的

朝向服從伯努利分布,在一系列投擲過程中,假設有

現在已經得到了似然概率的形式了,那麼如何確定先驗概率呢?從理論上來說,任何乙個在區間[0, 1]上的分

布函式都符合條件,但是為了更方便地簡化計算,最理想的情況就是讓先驗分布和似然分布有相同的形式,即

如果先驗分布是這樣的形式,那麼計算先驗概率和似然概率的乘積就很方便了,只需要將指數相加即可。幸運

的是,有乙個很常見的分布恰好滿足這個條件,它就是beta分布。如下

其中

在上述中,先驗概率叫做似然概率的共軛先驗。所謂共軛就是指這兩個概率分布具有相同的形式。

一. beta分布與二項分布的公式原理推導

二. beta分布與其共軛先驗的介紹

三. 多項式分布及beta分布的期望計算

參考:

貝葉斯學習及共軛先驗

貝葉斯學習 首先,我從最簡單的硬幣投擲開始。現在給你乙個硬幣,假設有 的概率為正面朝上,那麼有1 的概率是背面朝上,那麼如果在5次投擲過程中,有3次是正面朝上,那麼這個 最可能是多少呢?憑著頻數的直觀感覺,我們可能會認為是3 5,當然這是根據統計規律得到的結論。那麼實際上這是乙個二項分布,即重複n次...

貝葉斯學習及共軛先驗

今天的主要任務是來理解共軛先驗以及貝葉斯學習。最近在研究主題模型,裡面用到了一些,另外在機器學習中,貝葉斯學習是重要的乙個方向,所以有必要學習和掌握。contents 1.貝葉斯學習 2.beta分布及共軛先驗 1.貝葉斯學習 首先,我從最簡單的硬幣投擲開始。現在給你乙個硬幣,假設有 面朝上,那麼如...

貝葉斯學習及共軛先驗

共軛先驗 是啥?網上找幾篇文章,收集與此!今天的主要任務是來理解共軛先驗以及貝葉斯學習。最近在研究主題模型,裡面用到了一些,另外在機器學習中,貝葉斯學習是重要的乙個方向,所以有必要學習和掌握。contents 1.共軛先驗分布 2.貝葉斯學習 3.beta分布及共軛先驗 1.共軛先驗分布 什麼又是共...