貝葉斯公式的理解

2021-08-13 19:51:24 字數 2752 閱讀 8407

推導過程:

(1)條件概率公式

設a,b是兩個事件,且p(b)>0,則在事件b發生的條件下,事件a發生的條件概率(conditional probability)為:

p(a|b)=p(ab)/p(b)

(2)乘法公式

1.由條件概率公式得:

p(ab)=p(a|b)p(b)=p(b|a)p(a)    

上式即為乘法公式;

2.乘法公式的推廣:對於任何正整數n≥2,當p(a1a2...an-1) > 0 時,有:

p(a1a2...an-1an)=p(a1)p(a2|a1)p(a3|a1a2)...p(an|a1a2...an-1)

(3)全概率公式

1. 如果事件組b1,b2,.... 滿足

1.b1,b2....兩兩互斥,即 bi ∩ bj = ∅ ,i≠j , i,j=1,2,....,且p(bi)>0,i=1,2,....;

2.b1∪b2∪....=ω ,則稱事件組 b1,b2,...是樣本空間ω的乙個劃分

設 b1,b2,...是樣本空間ω的乙個劃分,a為任一事件,則:

上式即為全概率公式(formula of total probability)

2.全概率公式的意義在於,當直接計算p(a)較為困難,而p(bi),p(a|bi)  (i=1,2,...)的計算較為簡單時,可以利用全概率公式計算p(a)。思想就是,將事件a分解成幾個小事件,通過求小事件的概率,然後相加從而求得事件a的概率,而將事件a進行分割的時候,不是直接對a進行分割,而是先找到樣本空間ω的乙個個劃分b1,b2,...bn,這樣事件a就被事件ab1,ab2,...abn分解成了n部分,即a=ab1+ab2+...+abn, 每一bi發生都可能導致a發生相應的概率是p(a|bi),由加法公式得

p(a)=p(ab1)+p(ab2)+....+p(abn)

=p(a|b1)p(b1)+p(a|b2)p(b2)+...+p(a|bn)p(pbn)

3.例項:某車間用甲、乙、丙三颱工具機進行生產,各台工具機次品率分別為5%,4%,2%,它們各自的產品分別佔總量的25%,35%,40%,將它們的產品混在一起,求任取乙個產品是次品的概率。

解:設.....     p(a)=25%*5%+4%*35%+2%*40%=0.0345

(4)貝葉斯公式

1.與全概率公式解決的問題相反,貝葉斯公式是建立在條件概率的基礎上尋找事件發生的原因(即大事件a已經發生的條件下,分割中的小事件bi的概率),設b1,b2,...是樣本空間ω的乙個劃分,則對任一事件a(p(a)>0),有

上式即為貝葉斯公式(bayes formula),bi 常被視為導致試驗結果a發生的」原因「,p(bi)(i=1,2,...)表示各種原因發生的可能性大小,故稱先驗概率;p(bi|a)(i=1,2...)則反映當試驗產生了結果a之後,再對各種原因概率的新認識,故稱後驗概率。

2.例項:發報臺分別以概率0.6和0.4發出訊號「∪」和「—」。由於通訊系統受到干擾,當發出訊號「∪」時,收報臺分別以概率0.8和0.2受到訊號「∪」和「—」;又當發出訊號「—」時,收報臺分別以概率0.9和0.1收到訊號「—」和「∪」。求當收報臺收到訊號「∪」時,發報臺確係發出「∪」的概率。

解:設...., p(b1|a)= (0.6*0.8)/(0.6*0.8+0.4*0.1)=0.923

案例理解

貝葉斯公式與兩個概率有關係,乙個是先驗概率(基礎概率),乙個是現象概率(觀察到的條件)

仍然是熊貓給出的例子:某城市發生了一起汽車撞人逃跑事件,該城市只有兩種顏色的車,藍色15%,綠色85%,事發時有乙個人在現場看見了,他指證是藍車。但是根據專家在現場分析,當時那種條件能看正確的可能性是80%。那麼,肇事的車是藍車的概率到底是多少?

令b是城市裡車為藍色的事件,g為車子是綠色的事件,e為觀察到車子為藍色的事件。則由已知條件可以得出p(b)=0.15,p(g)=p(~b)=0.85,至於p(e)我們一會兒再說。

好了,現在,如果沒有證人看到肇事者車的話,那麼我們只能盲猜,因此肇事者的車子為藍色的概率只能是整個城市裡面車為藍色的概率,也就是先驗概率p(b)=0.15,因為這時我們還沒有其他證據介入,只能做個粗略的估算。

接下來,噹噹噹噹,有證人了。證人說他看到了車子,並且說是藍色的,注意,這分兩種情況,…………重要的事情說兩遍:貝葉斯裡面現象(新的證據)部分總是分兩種情況出現的:一是車子的確是藍色的,並且證人也正確的分辨出車是藍色的來了,概率為 p(e,b)=p(b)xp(e|b)=0.15x0.8=0.12,二是車子根本就是綠色的,只是證人看成藍色的了,概率為p(e,~b)=p(~b)xp(e|~b)=p(~b)x(1 - p(~e|~b))=0.85x(1-0.8)=0.17,所以p(e)=p(e,b)+p(e,~b)=0.12+0.17=0.29

然後,我們要求解的其實是在有證人的條件落車子為藍色的概率,也就是p(b|e)=p(e,b)/p(e)=0.12/0.29=0.41

你看,p(b|e)根本就是p(b)的加強版本,條件概率跟先驗概率描述的根本就是同一件事。那麼噹噹噹噹,又乙個結論來了:當有新的證據出現時,p(b|e)會替代原來p(b)的角色。換句話說,現在警察找到了乙個新的證人,他也覺得這輛肇事車是藍色的,這時在新一輪的貝葉斯概率計算中,基礎概率p(b)=0.41,而不是原先的0.15,大家可以算一下,新的p(b|e)=0.73,換句話說,當有兩個人看見肇事車輛為藍色的時候,對比只有乙個人看到肇事車輛為藍色的時候,該車實際為藍色的概率大大增加

貝葉斯公式的理解

最近在學粒子濾波,然後複習了以下貝葉斯公式,看到了乙個關於貝葉斯推理的例子,比較有意思,推理的題目是 好人or壞人 b想去旅行,需要找一名隊友,於是發帖找人,立馬有人a自告奮勇。但是網路真真假假,b不知道a是好人還是壞人,會不會在旅途中坑自己一把,讓他遭受危險。於是他對a說,要不我們先旅行一段路程,...

徹底理解貝葉斯公式

條件概率 又稱後驗概率 就是事件a在另外乙個事件b已經發生條件下的發生概率。條件概率表示為p a b 讀作 在b條件下a的概率 比如,在同乙個樣本空間 中的事件或者子集a與b,如果隨機從 中選出的乙個元素屬於b,那麼這個隨機選擇的元素還屬於a的概率就定義為在b的前提下a的條件概率,所以 p a b ...

貝葉斯公式

貝葉斯定理由 英國數學家貝葉斯 thomas bayes 1702 1763 發展,用來描述兩個條件 概率之間的關係,比如 p a b 和 p b a 按照 乘法法則 p a b p a p b a p b p a b 可以立刻匯出 如上公式也可變形為 p b a p a b p b p a 例如 ...