有挺長一段時間沒有更新部落格了，一方面是學校期末考試，後來又看了一些很基礎的程式設計數學思想的東西（《程式設計師的數學》第一卷），大多數東西都在之前的學習和使用中都有注意到，所以沒有什麼特別值得更新的。這次看到了卷2《程式設計師的數學2——概率統計》發現之前在概率論的學習過程中，忽略了一些比較重要的東西，這邊就來記錄一下，如果有寫的不對和寫得不好的地方，請各位看官老爺幫忙指出~
這次主要介紹的是多個隨機變數之間的關係，主要涉及聯合概率，邊緣概率，條件概率這三種關係，還有乙個利用他們之間關係匯出的非常重要的公式：貝葉斯公式
聯合概率指的是包含多個條件且所有條件同時成立的概率，記作p(x=a,y=b)或p(a,b)，有的書上也習慣記作p(ab)，但是這種記法個人不太習慣，所以下文採用以逗號分隔的記法。一定要注意是所有條件同時成立！
邊緣概率是與聯合概率對應的，p(x=a)或p(y=b)，這類僅與單個隨機變數有關的概率稱為邊緣概率
p(求和符號表示窮舉所有y（或x）所能取得b（或a）後，所有對應值相加得到的和x=a)
=∑bp
(x=a
,y=b
)p(x=a)=∑bp(x=a,y=b)
條件概率表示在條件y=b成立的情況下，x=a的概率，記作p(x=a|y=b)或p(a|b)，它具有如下性質：「在條件y=b下x的條件分布」也是一種「x的概率分布」，因此窮舉x的可取值之後，所有這些值對應的概率之和為1即： ∑a
p(x=
a|y=
b)=1
∑ap(x=a|y=b)=1
p(為了方便理解這個式子，可以將概率轉化為面積：x=a|
y=b)
=p(x
=a,y
=b)p
(y=b
)p(x=a|y=b)=p(x=a,y=b)p(y=b)
通過以上示例，稍加計算這三種概率之間的關係便可一目了然
我們可以根據具體情況，像下面這樣靈活的分解條件聯合分布
p(這只是乙個例子，作為啟發，類似的分解方法可以根據實際情況不同而進行不同的分解。為了大家可以有效掌握這種方法，建議自己從式子左側根據上面三種概率的關係式進行一遍推導。x=a,
y=b|
z=c)
=p(x
=a|y
=b,z
=c)p
(y=b
|z=c
)p(x=a,y=b|z=c)=p(x=a|y=b,z=c)p(y=b|z=c)
再給大家留乙個看起來非常複雜的式子，大家可以自己試試看能否從左側推導至右側
說了那麼多，終於到大boss了，貝葉斯公式！但是，先別急，需要先引入兩個概念
貝葉斯公式解決的是一些原因x無法直接觀測、測量，而我們希望通過其結果y來反推出原因x的問題，也就是知道一部分先驗概率，來求後驗概率的問題。舉個栗子：
打到怪物就能獲得寶箱，但是寶箱有2/3的概率是陷阱，玩家可以通過魔法來檢查，但是有1/4的誤判概率，問：假設玩家利用魔法判定此寶箱沒有陷阱，求寶箱有陷阱的概率我們已知的先驗概率有
p(有陷阱)=2/3；p(沒有發現|有陷阱)=1/4；p（發現了|沒有陷阱)=1/4要求的後驗概率為
p(有陷阱|沒有發現)我們依舊使用面積來幫助我們解題，根據已知劃分出的面積情況如下圖所示
我們可以推得：
p(聯立兩式我們就可以得到乙個由已知條件求p(有陷阱|沒有發現)的式子有陷阱|
沒有發現
)=p(
有陷阱,
沒有發現
)p(沒
有發現)
p(有陷阱|沒有發現)=p(有陷阱,沒有發現)p(沒有發現)
p(這就是對應於此題的貝葉斯公式。它的的一般形式如下：有陷阱|
沒有發現
)=p(
有陷阱,
沒有發現
)p(沒
有發現|
有陷阱)
p(有陷
阱)+p
(沒有發
現|沒有
陷阱)p
(沒有陷
阱)p(有陷阱|沒有發現)=p(有陷阱,沒有發現)p(沒有發現|有陷阱)p(有陷阱)+p(沒有發現|沒有陷阱)p(沒有陷阱)
其中「…」的部分需要列出x所有可能的值，並求和。
在記憶貝葉斯公式時，很容易搞錯豎線左右兩側的值，因此建議大家在習慣使用貝葉斯公式時，最好先根據定義與性質當場推導，而不要僅僅憑記憶默寫。
這次的內容雖然很基礎，但是對於條件聯合分布分解和貝葉斯公式適用的問題型別這裡，在我之前的學習中的確不紮實，做個總結梳理一下自己的思路，也希望能給跟我有同樣問題的朋友提供一些幫助。
聯合概率 邊緣概率 條件概率
設a,b是兩個事件，且p b 0,則在事件b發生的條件下，事件a發生的條件概率 conditional probability 為 p a b p ab p b 分析 一般說到條件概率這一概念的時候，事件a和事件b都是同一實驗下的不同的結果集合，事件a和事件b一般是有交集的，若沒有交集 互斥 則條件...
條件概率分布 聯合概率分布和邊緣概率分布
一.聯合概率分布 小明玩扔飛鏢，飛鏢偏離靶心是不確定的，所以適合用概率模型來描述。先已知飛鏢偏離靶心與標靶距離和風速都有關。假定標靶距離可以是10 20公尺，風速可以是1 10公尺 秒，現統計每個標靶距離 每個風速下，小明所扔飛鏢小於1厘公尺的概率。距離 公尺 風速 公尺 秒 偏離小於1厘公尺的概率...
聯合概率 邊際概率 條件概率
一時忘了聯合概率 邊際概率 條件概率是怎麼回事，回頭看看。某離散分布 聯合概率 邊際概率 條件概率的關係 其中，pr x x,y y 為 xy的聯合概率 pr x x 為 x的邊際概率 pr x x y y 為 x基於y的條件概率 pr y y 為 y的邊際概率 從上式子中可以看到 pr x x,y...