貝葉斯演算法

2021-08-09 08:06:02 字數 1230 閱讀 8454

###貝葉斯演算法需要解決的問題:

1. 正向概率

假設袋子中n白球,m黑球,摸到黑球概率多大

2. 逆向概率

事先不知道袋子中黑白球個數,從袋子中摸出乙個或幾個球,觀察這些取出球的顏色,以此來推斷袋中白黑球的比例。

###為什麼需要貝葉斯

現實世界本身就是不確定的,假設黑白球數量無限大,人類觀察能力有限,我們不可能完全觀察出整個黑白球的數量。只能隨機抽,觀察抽出來的球的顏色,可以多抽幾次,以此來推斷現實中黑白球的分布。

###實際案例1

假如有男女生比例6:4,男生總穿長褲,女生一半穿長褲,一般穿短褲。現在求迎面走來乙個穿長褲的人推斷他(她)是女生的概率。

假設學校總人數u,穿長褲是男生:u*p(boy)*p(pants|boy)

- p(boy)=0.6

- p(pants/boy)=1

穿長褲是女生:u*p(girl)p(pants/girls)

穿長褲總數:up(boy)p(pants|boy)+up(girl)p(pants/girls)

p(girl/pants)=up(girl)p(pants/girls)/up(boy)p(pants|boy)+up(girl)*p(pants/girls)

那麼我們考慮下求解問題和總人數有關係嗎?上式是可以把u約減的,所以和總人數沒有關係。

p(girl/pants)=p(girl)*p(pants/girls)/p(boy)*p(pants|boy)+p(girl)*p(pants/girls)

則:分母就是p(pants),分子就是p(pants,girl)

###實際案例2:拼寫糾正

使用者實際輸入單詞為d,猜測1:p(h1|d),猜測2:p(h2|d)等等。統一為:p(h|d).則根據貝葉斯公式,p(h|d)=p(h)*p(d|h)/p(d).

對於不同的猜測p(d)都是一樣的,所以在我們可以忽略p(d)這個常數。

對於觀測資料,乙個猜測是好是壞,取決於這個猜測本身可能性大小(先驗概率)和這個猜測生成我們觀測資料的可能性大小。這個猜測本身可能性大小可以通過統計的方式得出,然後p(d|h)可以通過兩個單詞的編輯距離大小來得出乙個可能性。

但是當我們最大似然不能作出決定性判斷時,比如使用者輸入tlp,我們無法判斷是輸入top還是tip。則這個時候可以根據先驗概率來決定,加入top出現頻次高,我們就認為他可能更想打top。

###模型比較理論

貝葉斯演算法

總結應用 貝葉斯演算法的目的是解決逆向概率的問題。何為逆向概率?先看看正向概率 袋子裡有m個黑球,n個白球,隨手一模,是黑球的機率是多大。這就是個正向概率問題。逆向概率 袋子裡有兩種球,通過觀察摸出來的球的顏色,推斷袋子中兩種球的比率。逆向概率的作用 是通過有限的資料推斷無限資料的情況,思考 星系距...

貝葉斯演算法

貝葉斯為了解決 逆概 問題提出的 正向概率 袋子裡裝著n個黑球和m個白球,伸手取摸球,摸到黑球和白球的概率有多大 逆向概率 袋子裡前提不知道有黑白球的比例,而是閉著眼睛摸球統計後推測黑球和白球的比例 現實世界本身不確定,人類觀察是有侷限的 我們日常所觀察只是表面,很多東西都是推測。男生總是穿長褲,女...

貝葉斯演算法

貝葉斯演算法 在大學的時候我們都學過貝葉斯公式 p b a p ab p a p a b p b p a 表明了,在已知a,b共同發生的概率以及事件a發生的概率,則可以知道在事件a發生的情況下發生事件b的概率。然後現在我們就可以將這個公式進行應用到工業中去,假設我們現在有很多的訓練資料,這個時候訓練...