Gamma 分布與 Beta 分布及共軛的含義

2021-07-09 13:01:46 字數 3718 閱讀 2840

gamma函式可將許多數學概念從整數集延拓到實數集合。γ(

x)=∫

∞0tx

−1e−

tdt

我們來看對beta分布的改造:f(

x)==

==n(

n−1k

−1)x

k−1(

1−x)

n−kn

(n−1

)!(k

−1)!

(n−k

)!xk

−1(1

−x)n

−kn!

(k−1

)!(n

−k)!

xk−1

(1−x

)n−k

γ(n+

1)γ(

k)γ(

n−k+

1)xk

−1(1

−x)n

−k我們在此利用gamma分布的化整數集為實數集的強大能力: be

ta(x

|α=k

,β=n

−k+1

)=γ(

α+β)

γ(α)

γ(β)

xk−1

(1−x

)n−k

階乘的插值:k!

=∫∞0

xke−

xdx

下式為著名的beta-binomial分布:be

ta(a

,b)×

b(n,

k)→b

eta(

a+k,

b+n−

k)或者更具現實意義的: be

ta(p

|k,n

−k+1

)











先驗分布

×b(m

,m1)





數

據知識/

似然→b

eta(

p|k+

m1,n

−k+1

+m2)

















後

驗分布

先驗 p(x

) 與似然的存在 p(

x|θ)

的存在,使得先驗p(

x)與後驗p(

θ|x)

具有相同形式的分布,就稱先驗與似然互為共軛。

此處共軛的含義是,資料符合二項分布的時候,引數的先驗分布和後驗分布都能保持beta分布的形式,而這種形式不變的好處是,我們能夠在先驗分布中賦予引數很明確的物理意義。這個物理意義可以延續到後驗分布中進行解釋,同時從先驗變換到後驗過程中從資料中補充的知識也容易有物理解釋。

也即數學家們發現共軛分布的形式後,心中暗想,對呀,它保證了物理意義的延續性,而又能吸收資料中補充的知識(似然)。也即共軛分布的真正意義(本質)在於,它能夠保證在先驗分布賦予的物理意義傳遞到後驗分布時的物理意義一致性

最後我們視覺化不同 α,

β 下的beta distribution,

我們視覺化beta分布的概率密度,會發現它是乙個百變星君(通過調節引數 α,

β 可以觀察beta分布的各種形態),它可以是乙個凹的、凸的、單調上公升的、單調下降的;可以是曲線也可以是直線,而均勻分布其實是特殊的beta分布be

ta(p

|1,1

) 。由於beta分布能夠擬合如此之多的形狀,因此它在統計資料擬合和貝葉斯分析中被廣泛應用。

n 個隨機數的第

k大(首先對

n 個數排序構成順序統計量)的數: f(

p)=n

!(k−

1)!(

n−k)

!pk−

1(1−

p)n−

k=γ(

n+1)

γ(k)

γ(n−

k+1)

pk−1

(1−p

)n−k

記 α=

k,β=

n−k+

1 , be

ta(p

|k,n

−k+1

)=be

ta(p

|α,β

)=γ(

α+β)

γ(α)

γ(β)

pk−1

(1−p

)n−k

再來看三維時的狄利克雷分布,場景為

n 個數中的第 k1

大第 k1+

k2大的數的聯合分布: f(

x1,x

2,x3

)=n!

(k1−

1)!(

k2−1

)!(n

−k1−

k2)!

xk1−

11xk

2−12

xn−k

1−k2

3記 α⃗

=(α1

,α2,

α3) ,α1

=k1,

α2=k

2,α3

=n−k

1−k2

+1, di

r(p⃗ 

|α⃗ )

=γ(∑

3k=1

αk)∏

3k=1

γ(αk

)∏k=

13pα

kk也即 α⃗

在dirchlet分布中的物理意義是事件的先驗的偽計數;

Gamma分布與逆Gamma分布

若隨機變數x的密度函式為 x 1e x,x 00,x 0g amma 0x 1e x dx則稱x服從gamma分布,記為x ga gamma分布的期望和方差e x 0x e x dx 1 1 e x2 0x 1e xdx 2 1 2 1 2v ar x e x2 e x 2 1 2 2 2 2 其中...

beta分布 多項分布與Dirichlet分布

前文我們介紹過二項分布與beta分布,本文是其乙個更加generalized的版本。首先我們先看乙個例子 假設我們有乙個六個面的公平骰子,即,每個面出現的概率都是1 6。我們擲骰子 可以看出,與硬幣不同,骰子有六個面,擲骰子結果不僅僅有兩種可能,有多種可能。我們把這個模型generalize一下,對...

beta分布 Beta 分布的物理意義

假設某個硬幣,在toss之後,可以很穩定的以 那麼顯然,在 已知的情況下,發生的概率服從二項分布,其pmf probability mass functions 為 而的邊緣pmf需要對聯合概率分布 關於求積分,即 我們對 沒有任何先驗知識。那也就是意味著,我們不知道 的取值更傾向於哪些數 概率或概...