指數分布族

2021-07-26 22:49:46 字數 2602 閱讀 1746

從標題上看,是「指數分布族(exponential family)」,不是「指數分布(exponential distribution)」,這是兩個不同的概念,不要弄混了。指數分布族在上世紀30年代中期被提出,在概率論和統計學中,它是一些有著特殊形式的概率分布的集合,包括許多常用的分布,如正態分佈、指數分布、伯努利分布、泊松分布、gamma分布、beta分布等等。指數分布族為很多重要而常用的概率分布提供了統一框架,這種一般性有助於表達的方便和從更大的巨集觀尺度上理解這些分布。

下面我們用乙個重要分布的例子來說明下指數分布族。假設有乙個正態分佈,均值為0,服從x−

n(0,

σ2) ,則其概率密度函式pdf為:f(

x|σ)

=1σ2

π−−√

e−x2

2σ2

這個概率密度函式由乙個引數

σ 來定義。我們可以把該式子作如下變形:f(

x|σ)

=12π

−−√e

−log

σe−x

22σ2

=12π

−−√e

−x22

σ2−l

ogσ=

12π−

−√e−

12σ2

x2−l

ogσ

令:h(x

)=12

π√,η(σ

)=−1

2σ2 ,t(

x)=x

2 ,a(

σ)=l

ogσ ;則上式可以用如下的形式表達:f(

x|σ)

=h(x

)exp

(η(σ

)t(x

)−a(

σ))

我們把引數一般化為

θ ,則上式為: f(

x|θ)

=h(x

)exp

(η(θ

)t(x

)−a(

θ))

這就是指數分布族的概率密度函式pdf或概率質量函式pmf的通用表示式框架。

分布函式框架中的h(

x),η(θ

) ,t(

x)和a(θ

) 並不是任意定義的,每一部分都有其特殊的意義。

θ 是自然引數(natural parameter),通常是乙個實數; h(

x)是底層觀測值(underlying measure); t(

x)是充分統計量(sufficient statistic); a(

θ)被稱為對數規則化(log normalizer)

為什麼被稱為對數規則化,和對數有什麼關係?我們把上式作以下變形:f(

x|θ)

=h(x

)exp

(η(θ

)t(x

))ex

p(a(

θ))

兩邊同乘以ex

p(a(

θ)) ,得到: ex

p(a(

θ))f

(x|θ

)=h(

x)ex

p(η(

θ)t(

x))

兩邊同時積分,得到: ∫e

xp(a

(θ))

f(x|

θ)dx

=∫h(

x)ex

p(η(

θ)t(

x))d

x ex

p(a(

θ))∫

f(x|

θ)dx

=∫h(

x)ex

p(η(

θ)t(

x))d

x 根據概率密度函式pdf的定義,∫f

(x|θ

)dx=

1 ex

p(a(

θ))=

∫h(x

)exp

(η(θ

)t(x

))dx

則: a(

θ)=l

n∫h(

x)ex

p(η(

θ)t(

x))d

x 我們再看看泊松分布的例子,根據泊松分布的概念,其概率質量函式pmf為: f(

x|λ)

=e−λ

λxx!

改寫上式,我們可以得到: f(

x|λ)

=e−λ

λxx!

=1x!

e−λe

lnλx

=1x!

exln

λ−λ

令θ=λ

,h(x

)=1x

! ,η(

θ)=l

nλ ,t

(x)=

x ,a(

θ)=λ

,則泊松分布也可以表示成: f(

x|θ)

=h(x

)exp

(η(θ

)t(x

)−a(

θ))

因此,泊松分布也屬於指數分布族。

java實現指數分布

指數分布的概率密度函式 y lamda exp lamda x x 0 由此可以計算概率分布函式 y 1 exp lamda x x 0 y是x的概率,其取值在區間 0,1 內 首先,把y當作是在 0,1 區間的均勻分布的隨機變數。然後,求y 1 exp lamda x 的逆函式,x 1 lamda...

指數分布在生活中的應用 指數分布應用

一 在概率論中有一種分布是指數分布,其概率密度函式為 f x e x 0 0x 0 這種分布具有無記憶性,和壽命分布類似。舉個例子來說就是,乙個人已經活了 歲和他還能再活 歲這兩件事是沒有關係的。因此指數分布也被戲稱為 永遠年輕 另外正態分佈也用到了指數函式,只不過表示式比較複雜,這在高中數學中也 ...

指數分布的隨機數

產生指數分布的隨機數。定理 設 f x 是任一連續的分布函式,如果 u sim u 0,1 且 eta sim f x 證明 由於 u sim u 0,1 則有 p eta leqslant x p f u leqslant x p u leqslant f x f x 所以,eta sim f x...