貝葉斯概率公式和先驗後驗和極大似然估計

2021-10-20 18:30:30 字數 1342 閱讀 2991

先驗概率是根據統計或者經驗得到的(大的前提,積累性,過去式,基本不變性)

後驗概率是根據當前的條件和先驗概率得出的概率,與當前的情況密切相關(現在進行時,情況繁多,)執果求因

貝葉斯概率公式:

貝葉斯公式就是根據先驗來計算後驗概率的公式

極大似然估計:知果求最可能的原因

似然估計:知果求因

先驗概率:

事件發生前的預判概率。可以是基於歷史資料的統計,可以由背景常識得出,也可以是人的主觀觀點給出。一般都是單獨事件概率,如p(x),p(y)。

後驗概率:

事件發生後求的反向條件概率;或者說,基於先驗概率求得的反向條件概率。概率形式與條件概率相同。

條件概率:

乙個事件發生後另乙個事件發生的概率。一般的形式為p(x|y)表示y發生的條件下x發生的概率。

貝葉斯公式:

p(y|x) = ( p(x|y) * p(y) ) / p(x)

這裡:p(y|x) 是後驗概率,一般是我們求解的目標。

p(x|y) 是條件概率,又叫似然概率,一般是通過歷史資料統計得到。一般不把它叫做先驗概率,但從定義上也符合先驗定義。

p(y) 是先驗概率,一般都是人主觀給出的。貝葉斯中的先驗概率一般特指它。

p(x) 其實也是先驗概率,只是在貝葉斯的很多應用中不重要(因為只要最大後驗不求絕對值),需要時往往用全概率公式計算得到。

例項:假設y是文章種類,是乙個列舉值;x是向量,表示文章中各個單詞的出現次數。在擁有訓練集的情況下,顯然除了後驗概率p(y|x)中的x來自一篇新文章無法得到,p(x),p(y),p(x|y)都是可以在抽樣集合上統計出的。

最大似然理論:

認為p(x|y)最大的類別y,就是當前文件所屬類別。即max p(x|y) = max p(x1|y)p(x2|y)…p(xn|y), for all y

貝葉斯理論:

認為需要增加先驗概率p(y),因為有可能某個y是很稀有的類別幾千年才看見一次,即使p(x|y)很高,也很可能不是它。

所以y = max p(x|y) * p(y), 其中p(y)一般是資料集裡統計出來的。

從上例來講,貝葉斯理論顯然更合理一些;但實際中很多先驗概率是拍腦袋得出的(不准),有些甚至是為了方便求解方便生造出來的(硬湊),那有先驗又有什麼好處呢?一般攻擊貝葉斯都在於這一點。

李巨集毅課classificatio_1

p(blue|b1) 似然

p(b1|blue)後驗

先驗概率 後驗概率 似然估計和貝葉斯公式

大概總結 先驗概率為p 因 後驗概率為p 因 果 似然估計為p 果 因 證據為p 果 貝葉斯公式為後驗概率 似然估計 先驗概率 證據 即p 因 果 p 果 因 p 因 p 果 貝葉斯估計的作用是通過結果 就是觀測值x 來判斷原因 就是引數 的概率,會把原因的概率提高,而普通的判斷原因的概率就是先驗概...

機器學習 貝葉斯公式 先驗概率 後驗概率

1.基礎知識點 條件概率公式 在b的條件下a發生的概率 a b同時發生的概率 b發生的概率 理解 因為a b同時發生的概率裡已經包含了b發生的概率,所以要將b的概率除掉。2.驗 經驗 先驗概率 於經驗之前的概率,相當於普通的概率 後驗概率 於經驗之後的概率,即條件概率 3.貝葉斯公式 實質就是條件概...

先驗概率 後驗概率(貝葉斯公式)最佳理解

在原因b發生的條件下,結果a發生的概率 p a b 假如結果a發生的原因有b1,b2 等多種原因,則全概率公式如下 p a p b1 p a b1 p b2 p a b2 是指以往經驗和分析得到的概率。意思是說我們人有乙個常識,比如骰子,我們都知道概率是1 6,而且無數次重複實驗也表明是這個數,這是...