空間抽樣與統計推斷 貝葉斯統計學簡介

2021-10-12 08:57:57 字數 1976 閱讀 5112

2023年,也就是英國學者bayes去世後兩年,他的一篇傳世遺作發表了,其中提出了bayes公式。

bayes公式從形式上看,它只不過是條件概率定義的乙個簡單的推論,這個「簡單的公式」為什麼會導致統計學中乙個學派的崛起

這是因為貝葉斯在文章中點明了一種全新的統計學歸納推理的思想,直到二十世紀前中期,在jeffreys、keynes等學者的推動下,貝葉斯學派取得了較大的影響,而貝葉斯學派和頻率學派的經年苦鬥成為了學術界非常著名的論戰,至今依然沒有分出高下。

統計推斷,或者叫做推斷統計學(statistical inference)是指統計學中研究如何根據樣本資料去推斷總體數量特徵的方法。統計推斷主要可以分為兩大類:一類是引數估計問題;另一類是假設檢驗問題。

統計推斷的任務,就是根據樣本去作出某種關於總體的未知引數的概率形式的論斷。比如對未知引數

統計推斷可能使用如下三種資訊

一 總體資訊,即總體分布或所屬分布族的資訊。

二 樣本資訊,即從總體抽取的樣本的資訊。

三 先驗資訊,即在抽樣之前有關統計問題的一些資訊,主要**於經驗和歷史資料。

只使用第一種和第二種資訊進行的統計推斷被稱為經典統計學,也叫做頻率學派,它的基本觀點是把資料(樣本)看成是來自具有一定概率分布的總體,所研究的物件是這個總體而不限於資料本身。

基於上面三種資訊進行的統計推斷叫做貝葉斯統計學。它和頻率學派的主要差別在於是否利用先驗資訊。貝葉斯統計學對先驗資訊的收集挖掘和加工,使其數量化,形成先驗分布,提高統計推斷的質量。

例如,假定投擲一枚普通的硬幣3次,每次都是正面朝上。frequentist的極大似然模型在估計硬幣正面朝上的概率時,結果會是1,表示所有未來的投擲都會是正面朝上! 相反,乙個帶有任意的合理的先驗的bayesian方法不會得出這麼極端的結論。

貝葉斯學派的最基本的觀點是:任何乙個未知量

看作乙個隨機變數,應該使用乙個概率分布去描述

抽樣前就有的,被稱為先驗分布。

那麼問題也來了,如何確定先驗分布?

這也是貝葉斯統計學的真正的難點

根據貝葉斯公式,後驗分布:

其中 是先驗概率分布,

是後驗概率分布,分母是關於 x 的邊緣概率分布。

分母是關於x的邊緣概率分布,在給定觀測資料的情況下,它是乙個歸一化常數,確保了左側的後驗概率分布是乙個合理的概率密度,積分為1。

後驗分布集中了總體,樣本和先驗三種資訊中有關

的一切資訊,而又排除了一切與

無關的資訊之後(對

的積分)所得的結果,故基於後驗分布進行統計推斷更為有效和合理。

得出了後驗分布以後,對引數

任何統計推斷,都只能基於這個後驗分布,這符合人們認識事物的通常程式:在試驗前關於引數

的認識(先驗分布)的基礎上,由於有了新的資訊(樣本),使我們

修正了原來的認識,體現在後驗分布中。

貝葉斯學派認為,樣本的唯一作用在於它可以使我們對

的認識起到轉化

注意,在貝葉斯統計推斷中一些頻率學派的方法不能用了,比如無偏性,矩估計,極大似然估計在某些條件下可以使用。

貝葉斯框架源於18世紀,但是貝葉斯方法的實際應用一直受限,原因是貝葉斯後驗分布在高維計算上的困難,執行完整的貝葉斯步驟的困難性較大,尤其是需要在整個引數空間求和或者求積分,貝葉斯統計推斷非常難以實現,這在做**或者比較不同的模型時必須進行。

取樣方法的發展,例如馬爾可夫蒙特卡羅(mcmc),加上計算機速度和儲存容量的巨大提公升,使貝葉斯技術應用更加方便。

21世紀以來,有很多高效的判別式方法被提出,例如變分貝葉斯( variational bayes)和期望傳播(expectation propagation),讓貝葉斯方法能夠應用於大規模的應用中。

貝葉斯統計學簡介

簡單介紹貝葉斯統計學的歷史背景 什麼是統計推斷 bayesian和frequentist的主要區別 先驗分布和後驗分布 歷史背景 1763年,也就是英國學者bayes去世後兩年,他的一篇傳世遺作發表了,其中提出了bayes公式。bayes公式從形式上看,它只不過是條件概率定義的乙個簡單的推論,這個 ...

統計學條件概率 貝葉斯公式

1.分類加法計數原理場景 從甲地到乙地,可以乘火車 汽車 輪船。火車有 4 班 汽車 2 班 輪船 3 班,那麼一天中乘坐這些交通工具從甲地到乙地有多少種不同的走法?2.分步乘法計數原理場景 從 a 到 b 的道路有 3 條,從 b 到 c 的道路有 2 條,那麼從 a 到 b 到 c 總共有多少種...

統計學中的頻率學派與貝葉斯學派

對於技術應用人員來說,我們更看重方法的應用,但有時候對知識的背景做一些了解,我覺得還是挺有必要的,能幫助我們理解一些東西。這篇博文裡,不會呈現任何計算公式,只是討論一下貝葉斯學派與頻率學派之間的問題。貝葉斯學派與頻率學派是當今數理統計學的兩大學派,基於各自的理論,在諸多領域中都起到了重要作用。自20...