PRML 第二章 Beta分布

2021-07-12 05:59:41 字數 1117 閱讀 9449

學習beta分布之前,先補充一下幾個相關的基礎知識。

1. 共軛分布

如果後驗分布和先驗分布具有相同的函式形式,則先驗和後驗叫做共軛分布,並且先驗叫做似然的共軛先驗。

2. 超引數

當引數3. beta分布引入

beta分布定義為:

beta分布的均值和⽅差為:

2016.6.6 補充:其實beta分布就是二項分布推廣成實數域上的情況而已!

5.µ的後驗概率

µ的後驗概率分布現在可以這樣得到:把beta先驗與⼆項分布的似然函式相乘,然後歸⼀化。只保留依賴於µ的因⼦,我們看到後驗概率分布的形式為:

如果⼀個資料集⾥有m次觀測為x = 1,有l次觀測為x = 0,那麼從先驗概率到後驗概率, a的值變⼤了m, b的值變⼤了l。這讓我們可以簡單地把先驗概率中的超引數a和b分別看成x = 1和x = 0的有效觀測數。注意, a和b不⼀定是整數。

6. 順序學習方法

順序⽅法每次使⽤⼀個觀測值,或者每次使⽤⼀⼩批觀測值,然後在使⽤下⼀個觀測值之前丟掉它們。例如,順序⽅法可以被⽤於實時學習的場景中。在實時學習的場景中,輸⼊為⼀個穩定持續的資料流,模型必須在觀測到所有資料之前就進⾏**。由於順序學習的⽅法不需要把所有的資料都儲存到記憶體⾥,因此順序⽅法對於⼤的資料集也很有⽤。

舉例:如果我們的⽬標是盡可能好地**下⼀次試驗的輸出,那麼我們必須估計出給定觀測資料集d的情況下, x的**分布,即:

又因為:

所以:由公式(1)可以得到:

如果我們接下來觀測到更多的資料,那麼後驗概率分布可以扮演先驗概率的⾓⾊。為了說明這⼀點,我們可以假想每次只取⼀個觀測值,然後在每次觀測之後更新當前的後驗分布。更新⽅法是觀測到⼀個x = 1僅僅對應於把a的值增加1,⽽觀測到x = 0會使b增加1。同時我們可以看到,當觀測的數量增加時,後驗分布的影象變得更尖了。如果a → ∞或者b → ∞,那麼⽅差就趨於零。即隨著我們觀測到越來越多的資料,後驗概率表⽰的不確定性將會持續下降。

MySQL第二章總結 Mysql第二章 儲存引擎

1 本章目標 儲存引擎 資料型別 重點 2 儲存引擎 在關係型資料庫中,資料儲存在表中,表由行和列組成。開發中,可能需要各種不同的表,有的表簡單,有的表複雜,有的表讀取快,有的讀取資料慢,有的表更新快等。根據對資料的不同的處理需求,使用不同的儲存引擎,可以將mysql資料庫的效能發揮到最大。查詢my...

領悟(第二章)

當火車緩緩駛進車站的時候,夜幕已經降臨了。終於到了!望著窗外鐵道兩旁的燈火,我的內心不禁再一次的激動起來,一路上對今後在這個大都市的未來生活的想象已經讓我從昨天晚上上車一直興奮到現在了!平常這個時候應該正和朋友們一起在酒吧聊天吧,朋友們,你們現在還在談論我來這裡的目的麼?說實話,這個問題連我自己都說...

第二章 入門

第二章 入門 1 django 安裝 使用 django 的唯一先決條件是安裝 python 在 linux 平台可能包括如下步驟 2 tar xzvf django tar.gz。3 cd django 4 sudo python setup.py install。2 匯入 django模組 im...