==分割線==分割線==分割線==分割線==分割線==分割線==分割線==分割線==分割線==分割線==分割線==分割線==分割線
最先知道貝葉斯公式還是四年前的概率論和數理統計課上，時間也很久了，具體內容早已經忘記，不過畢竟曾經學過，重新看過還是得心應手的。大概用兩三篇的內容來介紹一下貝葉斯，以及機器學習中很重要的一部分"樸素貝葉斯"。首先需要回顧幾個基礎知識。
相信工科的大部分學生都知道這個，條件概率公式，簡單來說就是指事件a在另乙個事件b發生了的條件下發生的概率。用數學表達就是p(a | b),讀作「在b條件下a發生的概率」，最簡單的模型就是p(a | b) = p( ab ) / p( b )。來看一下文氏圖。
圖中可以看出來當b發生後a再發生的概率可以表示為p( a ∩ b ) / p( b ) ,這樣根據定義p(a | b) =
p( a
∩ b ) / p( b )
==》p( a ∩ b ) =
p(a | b)
p( b )
從圖中可知 p( a
∩ b ) = p(b | a) p( a )
==》p(a | b)
p( b ) = p(b | a) p( a )
==》p(a | b) =
p(b | a) p( a ) /
p( b )
這個就是條件概率公式的乙個重要性質，這個公式的模樣已經有點像貝葉斯了，輪廓比較像，再需要點什麼就好了，需要的就是全概率公式。
表示式：
首先要理解乙個概念，那就是「完備事件組」：
設s為試驗e的樣本空間，b1，b2，…，bn為e的一組事件。若：
(1) bi ∩ bj=∅ （i≠j且i、j=1，2，…，n）；
(2) b1∪b2∪…∪bn=s；
則稱b1，b2，…，bn為樣本空間s的乙個完備事件組。
那麼全概率的那個公式又是什麼意思呢，它與完備事件組的關係是什麼呢，來張文氏圖，看圖直觀啊！
看圖讀定義，樣本空間s，圖中對應黑色框內的空間區域；n個互斥的b事件，且所有的b事件的並集又是整個空間s，這一組事件就是實驗e，簡單來說就是「不重複，不遺漏」的事件組就叫做完備事件組。那麼圖中的紅色圓圈內的空間區域，就是全概率公式中的事件a了，可以看出來a在不同的事件bi ( i = 1，2，…，n ) 中的佔比是不同的，這就說明每個子集的發生對a的發生產生不同程度的影響。
那麼這有什麼用呢，其實全概率公式的存在意義就是，當事件a發生的概率無法或者不易直接求得的時候，我們可以求得每個事件b中a發生的概率，然後相加得到a發生的概率，這一切都必須建立在bi ( i =
1，2，…，n
) 是一組完備事件組的基礎上。可以有兩種理解方式：
（1）p(a) = p(ab1) + p(ab2) +p(ab3) + .......+ p(abn) = p( b1 )p( a | b1 ) + p( b2 )p( a | b2 ) + p( b3 )p( a | b3 ) + ..... +
p( bn)p( a | bn )
（2）也可以直接通過（一）介紹的條件概率事件來理解，可以把每乙個bi( i = 1，2，…，n )事件都看作是與a事件相交，求bi發生條件下，a發生的概率，然後對於整個空間s來說，a發生的概率就是這樣n各條件概率的和。
終於說到貝葉斯了，貝葉斯其實是知道結果問原因的乙個東西，這樣就與全概率的想法正好顛倒，就是在紅圈內代表的a事件發生了的條件下，事件組中某乙個事件bi( i = 1，2，…，n )發生的概率，這句話看起來是不是特別像條件概率的情況，沒錯，把這句話帶入到條件概率的求法公式中，就是貝葉斯公示了：
看條件概率公式：p(所求概率事件 | 條件) = p(條件|所求概率事件)*p(所求概率事件)/p(條件)
對應著這個公式我們來看一下：
p(條件)：a事件發生的條件下，根據全概率 ==》p( a ) = p( b1 )p( a | b1 ) + p( b2 )p( a | b2 ) + p( b3 )p( a | b3 ) + ..... + p( bn)p( a | bn )；
p(所求概率事件）：bi發生的概率 ==》p( bi );
==》 p(條件|所求概率事件):p( a | bi );
==》 p(所求概率事件 | 條件):p( bi | a );
好了，貝葉斯公式可以寫出來了吧：
貝葉斯 02 理解貝葉斯
首先簡略回顧一下，全概率和貝葉斯。其實這兩者是密不可分的，互相之間是乙個順序問題，全概率反過去就是貝葉斯，這類問題只需要區分清楚是知道原因求結果，還是知道結果尋原因就可以了。全概率公式是計算由諸多原因而導致的某件複雜事情發生的概率，而貝葉斯就是在這件複雜的事情已經發生的前提下，去尋找諸多原因中，某一...
貝葉斯公式
貝葉斯定理由 英國數學家貝葉斯 thomas bayes 1702 1763 發展，用來描述兩個條件 概率之間的關係，比如 p a b 和 p b a 按照 乘法法則 p a b p a p b a p b p a b 可以立刻匯出 如上公式也可變形為 p b a p a b p b p a 例如 ...
貝葉斯雜記
貝葉斯，最早接觸是在 概率與數理統計 中，但是當初也只是當做得分的tool了，沒能有較深的印象，在近一年的時候，機器學習當中又再次的接觸到了，當然也只是知道它是做 有一手，在spam filter 上有應用，但是較深刻的原理也只是最近看了，劉未鵬的數學之美番外篇 平凡而又神奇的貝葉斯方法，感觸很深。...