貝葉斯公式

2021-08-24 20:21:43 字數 1541 閱讀 9436

是基於樸素貝葉斯定理分類器,其計算過程是在訓練階段的時候,先計算每個分類的先驗概率p(a),和各個分類下面特徵屬性的條件概率p(b|a)。**的過程 ,反推特徵-分類的條件概率(a|b)。取最大概率作為分類結果。

貝葉斯定理:已知a(分類)的條件概率,b(某個特徵)在a發生後的條件概率,求a在b發生後的條件概率 p(a|b)=p(b|a)*p(a)/p(b)

其實就是乙個條件概率轉換的過程。

條件概率公式:p

(b|a)=p

(ab)/p

(a)   —同時發生的概率/先驗概率

可調參:平滑係數  —分類的先驗概率 和計算個個分類下面特徵屬性的條件概率

隨機現象

在個別實驗中,其結果存在不確認性,在大量重複實驗中結果又具有統計規律現象,我們稱之為隨機現象。

術語:

p(a):隨機事件a的先驗概率或邊緣概率

p(b):隨機事件a的先驗概率或邊緣概率,也被稱作為標準化常量

p(a|b):已知事件b發生後a的概率

p(b|a):已知事件a發生後b的概率

條件概率公式:

p(b|a)=p(ab)/p(a)  

—同時發生的概率/

先驗概率

例子:將一枚硬幣拋兩次,設事件a為「至少有一次為h」,事件b為「兩次為同一面」。現在來求已知事件a已經發生的條件下事件b發生的概率。

這裡樣本空間為s=  a=  b=  a和b同時滿足樣本空間=

p

(b|a

)=1/3

;事實上,設實驗的基本事件總數為n,a所包含的基本事件數量為m   ab基本事件數為k

p(b|a)=k/m=k/n / m/n=p(ab)/p(a)

p(a)=3/4 ;p(ab)=1/4

因此反推公式:p(b|a)=p(ab)/p(a)  —> ab同時發生的概率 / a發生的概率

空間劃分:

定義:設s為實驗e的樣本空間,b1,b2,b3..,bn 為e的一組事件,若任意bn沒有交集,且所以bn並集為s,則稱b1,b2,b3,..bn 是樣本空間s的乙個劃分。

例:樣本空間s=; 事件b1= b2= b3=是s的乙個劃分

全概率公式:

設實驗e的樣本空間為s,a為e的事件,b1,b2,b3,..bn 是s的乙個劃分;

反推貝葉斯公式(由條件概率公式和全概率公式反推)

p(b|a)*p(a)=p(a|b)*p(b) ===>  p(a|b)=p(b|a)*p(a)/p(b)

樸素貝葉斯定理:

假設h[1],h[2]…,h[n]互斥且構成乙個完全事件,已知它們的概率p(h[i]),i=1,2,…,n,現觀察到某事件a與h[1],h[2]…,h[n]相伴隨機出現,且已知條件概率p(a/h[i]),求p(h[i]/a)。

貝葉斯公式

貝葉斯定理由 英國數學家貝葉斯 thomas bayes 1702 1763 發展,用來描述兩個條件 概率之間的關係,比如 p a b 和 p b a 按照 乘法法則 p a b p a p b a p b p a b 可以立刻匯出 如上公式也可變形為 p b a p a b p b p a 例如 ...

貝葉斯公式

貝葉斯定理由英國 數學家貝葉斯 thomas bayes 1702 1763 發展,用來描述兩個條件 概率之間的關係,比如 p a b 和 p b a 按照乘法法則 p a b p a p b a p b p a b 可以立刻匯出 貝葉斯定理公式 p a b p b a p a p b 如上公式也可...

貝葉斯公式

先驗概率 根據以往的經驗和分析得到的概率 後驗概率 在考慮了乙個事實之後的條件概率 貝葉斯公式 就是先驗概率和後驗概率的關係。關於貝葉斯公式的推導 ab同時發生 可以有兩種考慮 在a發生的前提下b也發生了 在b發生的前提下a也發生了 p ab p a p b a p b p a b 這裡p a p ...