from:
and :
先驗概率：
事件發生前的預判概率。可以是基於歷史資料的統計，可以由背景常識得出，也可以是人的主觀觀點給出。一般都是單獨事件概率，如p(x),p(y)。
後驗概率：
事件發生後求的反向條件概率；或者說，基於先驗概率求得的反向條件概率。概率形式與條件概率相同。
條件概率：
乙個事件發生後另乙個事件發生的概率。一般的形式為p(x|y)表示y發生的條件下x發生的概率。
貝葉斯公式：
p(y|x) = ( p(x|y) * p(y) ) / p(x)
這裡：p(y|x) 是後驗概率，一般是我們求解的目標。
p(x|y) 是條件概率，又叫似然概率，一般是通過歷史資料統計得到。一般不把它叫做先驗概率，但從定義上也符合先驗定義。
p(y) 是先驗概率，一般都是人主觀給出的。貝葉斯中的先驗概率一般特指它。
p(x) 其實也是先驗概率，只是在貝葉斯的很多應用中不重要（因為只要最大後驗不求絕對值），需要時往往用全概率公式計算得到。
例項：假設y是文章種類，是乙個列舉值；x是向量，表示文章中各個單詞的出現次數。
在擁有訓練集的情況下，顯然除了後驗概率p(y|x)中的x來自一篇新文章無法得到，p(x),p(y),p(x|y)都是可以在抽樣集合上統計出的。
最大似然理論：
認為p(x|y)最大的類別y，就是當前文件所屬類別。即max p(x|y) = max p(x1|y)*p(x2|y)*...p(xn|y), for all y
貝葉斯理論：
認為需要增加先驗概率p(y)，因為有可能某個y是很稀有的類別幾千年才看見一次，即使p(x|y)很高，也很可能不是它。
所以y = max p(x|y) * p(y), 其中p(y)一般是資料集裡統計出來的。
從上例來講，貝葉斯理論顯然更合理一些；但實際中很多先驗概率是拍腦袋得出的（不准），有些甚至是為了方便求解方便生造出來的（硬湊），那有先驗又有什麼好處呢？一般攻擊貝葉斯都在於這一點。
條件概率公式：
全概率公式：
貝葉斯公式：
給定某系統的若干樣本x，計算該系統的引數，即
p(θ) 沒有資料支援下，θ發生的概率：先驗概率
p(θ|x) 在資料x的支援下，θ發生的概率：後驗概率，貝葉斯公式也稱為後驗公式
p(x|θ) 給定某引數θ的概率分布：似然函式
理解：此時李姓的概率即為 先驗概率
此時p(姓趙|趙家村)這個條件概率，即為 後驗概率
3) 似然函式：
由貝葉斯公式帶來的思考：
給定某些樣本a，在這些樣本中計算結論b1,b2....bi出現的概率，即p(bi|a)，拿概率最大的那個結論b做為樣本a最終的結論，也就是說我要求max p(bi|a)，由貝葉斯公式：
max p(bi|a) = max p(a|bi)p(bi)/p(a)
其中 p(a) 即
又因為樣本a給定，對於b1,b2....bi來說p(a)是相同的，可以把分母去掉：
max p(bi|a) => max p(a|bi)p(bi)
若這些結論b1,b2....bi的先驗概率相等（或者近似），則可以得到：
max p(bi|a) => max p(a|bi)p(bi)=> max p(a|bi)
最後得到結論，我們求maxp(bi|a)，實際跟求max p(a|bi)是等價的 而p(a|bi)就是似然函式
機器學習 貝葉斯公式 先驗概率 後驗概率
1.基礎知識點 條件概率公式 在b的條件下a發生的概率 a b同時發生的概率 b發生的概率 理解 因為a b同時發生的概率裡已經包含了b發生的概率，所以要將b的概率除掉。2.驗 經驗 先驗概率 於經驗之前的概率，相當於普通的概率 後驗概率 於經驗之後的概率，即條件概率 3.貝葉斯公式 實質就是條件概...
先驗概率 後驗概率（貝葉斯公式）最佳理解
在原因b發生的條件下，結果a發生的概率 p a b 假如結果a發生的原因有b1，b2 等多種原因，則全概率公式如下 p a p b1 p a b1 p b2 p a b2 是指以往經驗和分析得到的概率。意思是說我們人有乙個常識,比如骰子,我們都知道概率是1 6,而且無數次重複實驗也表明是這個數,這是...
先驗概率 後驗概率
貝葉斯公式的直觀理解 先驗概率 後驗概率 前言 以前在許學習貝葉斯方法的時候一直不得要領,什麼先驗概率,什麼後驗概率,完全是跟想象脫節的東西,今天在聽喜馬拉雅的音訊的時候突然領悟到,貝葉斯老人家當時想到這麼一種理論前提可能也是基於一種人的直覺.先驗概率 是指根據以往經驗和分析得到的概率.1 意思是說...