總結應用
貝葉斯演算法的目的是解決逆向概率的問題。何為逆向概率？
先看看正向概率：袋子裡有m個黑球，n個白球，隨手一模，是黑球的機率是多大。這就是個正向概率問題。
逆向概率：袋子裡有兩種球，通過觀察摸出來的球的顏色，推斷袋子中兩種球的比率。
逆向概率的作用：是通過有限的資料推斷無限資料的情況，思考：星系距離、星系大小是否是通過逆向概率推斷的呢？
按照性別分，學生分為男同學、女同學。假設男生穿長褲，女生一半穿長褲、一半穿短褲。
問題迎面走來乙個穿長褲的學生，是女生的概率多大？
求解求長褲學生是女生的概率，其實就是求解長褲女生佔所有長褲學生的比率。
假設學校總人數為u，男生的比率為p(boy)，女生的比率為p(girl)，男生長褲的比率為p(pants|boy)，女生長褲的比率為p(pants|girl)。則計算過程如下：
男生長褲人數p1：u * p(boy) * p(pants|boy)。
女生長褲人數p2：u * p(girl) * p(pants|girl)。
所有長褲的人數p：p1 + p2
女生長褲佔比：p2p
=u∗p
(gir
l)∗p
(pan
ts∣g
irl)
u∗p(
boy)
∗p(p
ants
∣boy
)+u∗
p(gi
rl)∗
p(pa
nts∣
girl
)\frac = \frac
pp2=u
∗p(b
oy)∗
p(pa
nts∣
boy)
+u∗p
(gir
l)∗p
(pan
ts∣g
irl)
u∗p(
girl
)∗p(
pant
s∣gi
rl)
簡化處理一下，分母是長褲的比率用p(pants)表示，分子是女生長褲的比率用p(pants|girl)，則公式可以表示為:p(g
irl)
∗p(p
ants
∣gir
l)p(
pant
s)
\frac
p(pant
s)p(
girl
)∗p(
pant
s∣gi
rl)
這就推導出貝葉斯公式：p(a
∣b)=
p(b∣
a)∗p
(a)p
(b
)p(a|b) = \frac
p(a∣b)
=p(b
)p(b
∣a)∗
p(a)
兩個模型
最大似然
p(b|a) ：這就是最大似然，指的是當a成立時，b出現的概率越大，則擁有b特徵的a的機率越大。
但是如果a和a1在p(b|a)情況下取值是一樣的呢？這時候，就不能決定就是是a還是a1了，奧卡姆剃刀提供了更多的評斷依據。
奧卡姆剃刀
p(a)：這就就是奧卡姆剃刀。奧卡姆剃刀的思想是：當兩個假說具有完全相同的解釋力和**力時，我們以那個較為簡單的假說作為討論依據。結合上面的最大似然，如果a1出現的比率比a2大，則認為a2的概率更高一些。
總結一下，貝葉斯解決的問題是這樣的：在乙個集合中有無數個元素，其中有部分元素x都具有特徵y，根據觀測的結果，判斷元素集合x中各種元素的比率。
套用到上述的例子中：學生中，有部分學生穿長褲，觀測的結果是男生穿長褲比率是100%，女生穿長褲的比率是50%，求解穿長褲的學生男女的比率是多少？
下面介紹個例子，來深入理解一下。
使用者輸入了乙個在字典中不存在的單詞tbp，求解使用者輸入的單詞是什麼？
套用貝葉斯公式，與tbp相似的單詞佔的比率就是分母，每個相似單詞佔的比率就是分子，比如top佔的比率就是：p(t
op)∗
p(d∣
top)
p(d)
\frac
p(d)p(
top)
∗p(d
∣top
)
貝葉斯演算法
貝葉斯演算法需要解決的問題 1.正向概率 假設袋子中n白球，m黑球，摸到黑球概率多大 2.逆向概率 事先不知道袋子中黑白球個數，從袋子中摸出乙個或幾個球，觀察這些取出球的顏色，以此來推斷袋中白黑球的比例。為什麼需要貝葉斯 現實世界本身就是不確定的，假設黑白球數量無限大，人類觀察能力有限，我們不可能完...
貝葉斯演算法
貝葉斯為了解決 逆概 問題提出的 正向概率 袋子裡裝著n個黑球和m個白球，伸手取摸球，摸到黑球和白球的概率有多大 逆向概率 袋子裡前提不知道有黑白球的比例，而是閉著眼睛摸球統計後推測黑球和白球的比例 現實世界本身不確定，人類觀察是有侷限的 我們日常所觀察只是表面，很多東西都是推測。男生總是穿長褲，女...
貝葉斯演算法
貝葉斯演算法 在大學的時候我們都學過貝葉斯公式 p b a p ab p a p a b p b p a 表明了，在已知a，b共同發生的概率以及事件a發生的概率,則可以知道在事件a發生的情況下發生事件b的概率。然後現在我們就可以將這個公式進行應用到工業中去，假設我們現在有很多的訓練資料，這個時候訓練...