《計算機視覺 模型 學習和推理》一第3章 總結

2021-09-23 03:30:52 字數 1593 閱讀 7375

總結

使用概率分布可以描述全域性狀態和影象資料。為此已經給出了四個分布(伯努利分布、分類分布、一元正態分佈、多元正態分佈)。還給出了另外四個分布(貝塔分布、狄利克雷分布、正態逆伽馬分布、正態逆維希特分布),可以用於描述上一組分布的引數的概率分布,因此它們可以描述擬合模型的不確定性。這4對分布有特殊關係:第二組中的每個分布是對應的第一組的共軛。正如我們看到的,共軛關係可以更容易地擬合觀測資料並在擬合分布模型下評估新的資料。

備註本書用較為深奧的術語來介紹離散分布,區分二項分布(在n次二值試驗中獲得m次成功的概率)和伯努利分布(在二值試驗中或一次實驗中獲得成功或失敗的概率),並專門談論後者。本書採取類似的方法介紹離散變數,它可以有k個值。多項分布表徵分在n次試驗中頻率為的值出現的概率。當n=1時就是特殊的分類分布。大多數其他作者不做這種區分,並會稱這種為「多項」。

附錄b中bishop(2006)更完整地介紹了常見的概率分布及其性質。關於共軛的更多資訊可檢視bishop(2006)第2章或有關貝葉斯方法的其他書籍,比如gelman等(2004)。關於正態分佈更多資訊參見本書第5章。

習題3.1 已知變數x服從引數為λ的伯努利分布。證明:e[x]=λ;e[(x-e[x])2]=λ(1-λ)。

3.2 請給出用引數α和β表示貝塔分布(α,β>1)的模(峰值位置)的表示式。

3.3 貝塔分布的均值和方差由如下表示式給出e

不妨選擇引數α和β,使分布有乙個特殊的均值μ和方差σ2。根據μ和σ2推導出α和β的合適表示式。

3.4 本章所有的分布都是指數族的成員,可以寫成下形式

這裡,a[x]和c[x]是資料的函式,b[θ]和d[θ]是引數的函式。求函式a[x],b[θ],c[x]和d[θ],使貝塔分布能夠表示為指數族的廣義形式。

3.5 使用分部積分法來證明,如果

那麼3.6 考慮一簇方差為1的正態分佈,即

證明它與乙個引數為μ的正態分佈

是共軛的。

3.7 對於正態分佈,求函式a[x]、b[θ]、c[x]和d[θ],使它可以表示為指數族的廣義形式(見習題3.4)。

3.8 設引數為α、β、γ、δ,試求正態逆伽馬分布的模(μ,σ2空間的峰值位置)的表示式。

3.9 證明更為一般的共軛關係:i個伯努利分布的積與其共軛貝塔分布相乘的關係如下

其中

3.10 證明共軛關係

其中

nk是變數取k的總次數。

3.11 證明正態分佈和正態逆伽馬分布之間的共軛關係為

3.12 證明多元正態分佈和正態逆維希特分布之間的共軛關係為

其中

可能需要用到這個關係式:

《計算機視覺 模型 學習和推理》一第1章 緒 論

緒 論 機器視覺旨在從影象中提取有用的資訊,這已經被證實是乙個極具挑戰性的任務。在過去的四十年裡,成千上萬個聰慧和創造性的大腦致力於這一任務。儘管如此,我們還遠遠沒有能夠建立乙個通用的 視覺機器 該問題的部分原因是可視資料複雜性所導致的。考慮圖1 1中的影象。場景中有數百個物體。這些物體幾乎都沒有呈...

《計算機視覺 模型 學習和推理》 3 10 總結

使用概率分布可以描述全域性狀態和影象資料。為此已經給出了四個分布 伯努利分布 分類分布 一元正態分佈 多元正態分佈 還給出了另外四個分布 貝塔分布 狄利克雷分布 正態逆伽馬分布 正態逆維希特分布 可以用於描述上一組分布的引數的概率分布,因此它們可以描述擬合模型的不確定性。這4對分布有特殊關係 第二組...

《計算機視覺 模型 學習和推理》 3 9 共軛性

貝塔分布可以表徵伯努利分布中引數的概率,與之相似,狄利克雷分布可表徵分類分布引數的分布,同樣的模擬關係也適用於正態逆伽馬分布與一元正態分佈 正態逆維希特分布與多元正態分佈之間。這些配對有很特殊的關係 在每種情況下前乙個分布是後乙個的共軛 貝塔分布與伯努利分布共軛,狄利克雷分布與分類分布共軛。當把乙個...