初探貝葉斯推斷

2021-08-17 04:01:52 字數 2867 閱讀 7648

關於貝葉斯公式的精妙之處的理解歸為一句話就是:我想知道a發生的可能性,如果沒有任何其他的資訊(剔除你的所有先驗知識)我只能做出發生和不發生各佔一半也就是50%的概率,但是慶幸的是我知道有個事件b發生了,根據已有的關於b和a之間的關聯性的經驗,我可以更準確的判斷a發生的可能性比較小如20%的概率,而不再是非零即一的50%。初次讀這句話可能會仍然比較疑惑,沒關係,整篇文章都是來闡釋這個問題的。

貝葉斯公式如下:

這裡公式中有四個概率即p(a|b)、p(b|a)、p(a)和p(b),我們分別稱之為後驗概率(也就是有了一定先驗知識的情況下得出的判斷)、似然條件(因為b已經發生了,你判斷a是否發生的邏輯一定要使得b發生)、先驗概率(沒有經過先驗知識左右的純的a發生的概率)和歸一化常數(所有的判斷都是建立在b已經發生了的基礎上進行的,所以一切概率要以b發生為基準)。

3.1a和b之間的關聯性

首先引用知乎使用者史博同樣在上述知乎問題中的乙個回答並借用一張圖示:

圖1關於這張示意圖,史博給出的解釋是「你可以站在a的角度去看b,也可以站在b的角度去看a。 他們看到的事實應該是一致的。」沒錯,由於a和b二者之間是有關聯性的,但這個關聯性絕不僅僅指a和b相交的那一塊公共區域,如果a和b沒有任何交叉他們也一樣是有關聯性的,因為他們同樣都佔據了圖中的紅色矩形區域!!!這一點很容易被忽略或誤解,記住,有關聯性不一定是有交叉關係!!!這個在下面我還會再次強調!現在我們來看史博的這句解釋,可能看了圖中的「圖形化的數**算」之後你已經get到了確實可以利用a來看b,也可以用b來看a這麼乙個大致的模糊的概念,但是仍然有很多疑惑,你可能會問:確實我們可以不用p(a)就得出p(a*b)也可以不用p(b)就得出p(a*b),但是我們並沒有通過p(b)得出p(a)呀?答案是:沒錯,你永遠不可能通過其一件非同質性(我自己的定義,非學術用語,所謂同質性事件也就是說b是包含在a之內的情況。)的事件的發生得出另一件事是否發生(但是我們可以通過多個b來逼近推測出a,這個問題是更深層次的問題,以後的文章會講到pca分析等問題的時候會再進一步解釋)。舉個例子:你永遠不能因為聽了女朋友說她沒事就以為她真的沒事...反應太過激烈(確信是反話)就會被批判敏感,沒有反應(確信是真的沒事)會被批判***...你能做的僅僅是根據你以往被糟蹋和蹂躪的經驗來做出相對合理的判斷然後採取合適的行動...

3.2用b來推斷a

如何用b你推斷a,這大概就是貝葉斯推斷的精髓了(目前理解到的,不過我相信貝葉斯還會送給我更值得驚訝的禮包,深入拜讀後再做分享0.0)下面貼個原創圖示:

本節的標題為用b來推測a,當然也可以用a推測b因為所有事件都是對等的。上一小節硬是尬聊了個尷尬的例子可能不足以讓所有讀者對此有清晰的理解比如說女工程師們...這一小節是更加細化深入的講解。加薪的例子應該是普適的了,老闆放出話說今年要給一批同志(你才是同志

首先我們看圖2,今年我的業績超級爛,完全談不上業績這兩個字,這個時候我推斷自己加薪的可能性就完全不能和b:業績好的加薪沾上邊,然而b作為主要參考因素,就會把a我會加薪擠占的只剩一點點空間,那麼相對於加薪這一整體事件而言的概率也就小;再看圖3,我今年的表現馬馬虎虎,那麼a就可以對b說「你個肥豬給我點位置!」,那麼a可佔面積就擴大了,也就是說加薪的概率增加;最後我們看圖4,我今年業績炒雞好簡直沒sei了,那麼a占有b的空間更大了,也就極大地提高了自己會加薪的推斷概率。解釋一下,這裡b是客觀的硬指標因此它的占有面積看作是固定的,而a應該是根據三種不同的情況是浮動的,b以外的其他因素所帶來的a發生的概率是固定的也就是純橘黃色的(a-b)部分是固定的,而a的浮動完全是由占有b的面積浮動帶來的。現在我們回歸貝葉斯公式,我們可以了解到假如老闆最終會把加業績好作為絕對依據(注意這僅僅是個概率較大的可能性事件b),那麼a我加薪是否發生就會更大程度上有圖中a、b交叉項的面積決定,這就體現出了用b推斷a的作用。

這裡我們回頭看之前強調的一句話「關聯性絕不是指a和b相交的那一塊公共區域,如果a和b沒有任何交叉他們也一樣是有關聯性的,因為他們同樣都佔據了圖中的紅色矩形區域」從上面的分析我們體會到,圖2中a和b是完全沒有交叉的,但他們二者是有關聯的,這是因為b和a同出在乙個整體空間,b佔據了的空間a就不能再佔據,這就相當於縮小了a的概率的整體空間,其實這一點本身就是a和b之間的緊密的關聯性!!!二者之間沒有關聯性的體現應該是他們根本就不在乙個整體空間內!從另乙個角度來看,雖然a和b沒有交叉,但是別忘了a可是包含在-b內的,而-b和b在概率研究上來講又有什麼區別呢?所以這是多大的關聯性啊!

貝葉斯公式用幾個數學符號可以把判斷這一人類日常生活中極為重要的思維方式給概括的如此細緻和精準,這是多麼強大的數學之美啊!再了解了這個問題後我思考過,為什麼日常生活中有些人在做判斷的時候如此精準而自己卻又經常出錯(突然想到感覺自己經常出錯也同樣是乙個很有意思的話題,以後找個時間也來分享一下關於這個問題的思考)呢?比如冬天不想起床,提前二十分鐘起床洗漱能不能趕在上課前到教室?這個時候判斷的結果的準確性的決定性因素就是你的腦海裡建立的b的模型是否夠全面(全面性的問題之前提到過,以後再做分析)、模型是否準確?也就是我們俗話講的周全、細緻。貝葉斯推斷讓我感到驚訝的主要原因就是我們能夠把生活實踐中的思維過程準確的對映到數學公式上,這真的是一件極其偉大的事!想想所謂的人工智慧吧,我覺得人工智慧比人類智慧型的高階之處絕不會在於思維的模式或者速度上,而是計算量上,人類的思維模式一定是指導機器的核心,那麼把人類思維轉化為數學公式,這難道不就是實現人類思維指導機器智慧型的最為艱難而偉大的一步嗎?

本文主要分享的是關於貝葉斯推斷在我們思維習慣中的體現的讓人驚訝的樂趣,並沒有對其本身進行理論上的精細推導,想要深入體會可以參考更多數學推導如前面提到的知乎徐炎琨的回答和其他出版物等。

2018.3.17 衫陽 

貝葉斯推斷 樸素貝葉斯分類 貝葉斯定理

近期,由於專案需求,需要用到貝葉斯定理及其相關知識,於是又系統的學習了一下,順便做一下筆記。非常詳細的注釋 coding utf 8 import copy 用於深度拷貝,適用於複雜的資料結構 複雜的資料結構看不懂,一定要在紙上畫圖,畫出來就一目了然了 class native bayes def ...

《貝葉斯方法 概率程式設計與貝葉斯推斷》 1 8答案

1 計算後驗的均值 即後驗的期望值 我們只需要用到樣本和a.mean函式。print lambda 1 samples.mean print lambda 2 samples.mean 2 給定兩個數a 和 b,相對增長可以由 a b b給出。在我們的例項中,我們並不能確定 1和 2的值是多少。通過...

《貝葉斯方法 概率程式設計與貝葉斯推斷》一導讀

貝葉斯方法 概率程式設計與貝葉斯推斷 貝葉斯方法是一種常用的推斷方法,然而對讀者來說它通常隱藏在乏味的數學分析章節背後。關於貝葉斯推斷的書通常包含兩到三章關於概率論的內容,然後才會闡述什麼是貝葉斯推斷。不幸的是,由於大多數貝葉斯模型在數學上難以處理,這些書只會為讀者展示簡單 人造的例子。這會導致貝葉...