貝葉斯學習
首先，我從最簡單的硬幣投擲開始。現在給你乙個硬幣，假設有
θ 的概率為正面朝上，那麼有1−
θ 的概率是背面朝上，那麼如果在5次投擲過程中，有3次是正面朝上，那麼這個
θ 最可能是多少呢？
憑著頻數的直觀感覺，我們可能會認為是3/5，當然這是根據統計規律得到的結論。那麼實際上這是乙個二項分布，即重複n次的伯努利實驗。由上述所述，很容易知道其概率表示如下 p(
x=3)
=c35
θ3(1
−θ)2
我們需要這個概率盡量大，那麼最終解得的值為3/5。函式影象如下
但是，我們想象一下，如果在5次投擲過程中，5次都正面朝上，那豈不是得到的估計值是1？ 很明顯這種情況得到的估計值不合理。為了避免這種「黑天鵝事件」(非常難以**，且不尋常的事件)的發生，需要將值降低一些才能看似更符合常理，那麼我們只需要乘上另乙個小於1的概率值就可以達到了。到了這裡貝葉斯公式橫空出世！如下 p(
θ|x)
=p(x
|θ)p
(θ)p
(x)
其中p(θ
) 叫做先驗概率，p(
x|θ)
叫做似然概率，先驗概率是對似然概率的一種補充，如上述的擲硬幣。而後驗概率p(
θ|x)
正比於似然概率和先驗概率的乘積。 設x
1,x2
,…,x
n 是來自總體
x 的樣本，x1
,x2,
…,xn
為其觀測值，則x1
,x2,
…,xn
的聯合概率密度函式為f(
x,θ)
=f(x
1,x2
,…,x
n,θ)
,其中θ∈
θ 是總體
x 的未知引數.
經典統計認為未知引數
θ是常數，而貝葉斯統計認為未知引數
θ 是隨機變數，這樣樣本x1
,x2,
…,xn
的聯合密度函式就是在給定
θ 下的條件密度函式，稱為思然函式，即 l(
x|θ)
=f(x
1,x2
,…,x
n,θ)
由於引數
θ 是隨機變數，因此具有分布，設π(
θ)是它的密度函式，一般π(
θ)是有引數的先驗資訊來確定，成π(
θ)是引數
θ 的先驗密度函式，則引數
θ 和樣本x1
,x2,
…,xn
的聯合密度函式即 h(
x,θ)
=l(x
|θ)π
(θ)
貝葉斯學習及共軛先驗
今天的主要任務是來理解共軛先驗以及貝葉斯學習。最近在研究主題模型，裡面用到了一些，另外在機器學習中，貝葉斯學習是重要的乙個方向，所以有必要學習和掌握。contents 1.貝葉斯學習 2.beta分布及共軛先驗 1.貝葉斯學習 首先，我從最簡單的硬幣投擲開始。現在給你乙個硬幣，假設有 面朝上，那麼如...
貝葉斯學習及共軛先驗
共軛先驗 是啥？網上找幾篇文章，收集與此！今天的主要任務是來理解共軛先驗以及貝葉斯學習。最近在研究主題模型，裡面用到了一些，另外在機器學習中，貝葉斯學習是重要的乙個方向，所以有必要學習和掌握。contents 1.共軛先驗分布 2.貝葉斯學習 3.beta分布及共軛先驗 1.共軛先驗分布 什麼又是共...
貝葉斯學習及共軛先驗
共軛先驗 是啥？網上找幾篇文章，收集與此！今天的主要任務是來理解共軛先驗以及貝葉斯學習。最近在研究主題模型，裡面用到了一些，另外在機器學習中，貝葉斯學習是重要的乙個方向，所以有必要學習和掌握。contents 1.共軛先驗分布 2.貝葉斯學習 3.beta分布及共軛先驗 1.共軛先驗分布 什麼又是共...