貝葉斯估計
貝葉斯估計：從引數的先驗知識和樣本出發。
不同於ml估計，不再把引數θ看成乙個未知的確定變數，而是看成未知的隨機變數，通過對第i類樣本di的觀察，使概率密度分布p(di|θ)轉化為後驗概率p(θ|di)，再求貝葉斯估計。
假設：將待估計的引數看作符合某種先驗概率分布的隨機變數。
基本原理：
我們期望
貝葉斯估計的本質：貝葉斯估計的本質是通過貝葉斯決策得到引數θ的最優估計，使得總期望風險最小。
損失函式：通常規定函式是乙個二次函式，即平方誤差損失函式：
可以證明，如果採用平方誤差損失函式，則θ的貝葉斯估計值
同理可得，在給定樣本集d下，θ的貝葉斯估計值是：
例子：正態分佈情況，引數θ僅有均值μ未知，而方差已知。給定樣本d，
貝葉斯估計
其實這是我之前最想第一篇來寫的隨筆了，今天就先把這一部分寫一寫吧。1.問題 乙個醫療診斷問題有兩個可選的假設 病人有癌症 病人無癌症可用資料來自化驗結果 陰性和陽性。有先驗知識 在所有人口中，患病率是0.008，對確實有病的患者的化驗準確率為98 對確實無病的患者的化驗準確率為97 問題 假定有乙個...
貝葉斯引數估計
學習這部分內容約需要1.9小時 在貝葉斯框架中,我們將統計模型的引數視為隨機變數.模型由變數值的先驗分布以及決定引數如何影響觀測資料的證據模型來指定.當我們對觀測資料進行條件化時,我們得到引數的後驗分布.術語 貝葉斯引數估計 會讓我們誤以為對引數進行了估計,實際上我們通常可以完全跳過引數估計步驟.我...
貝葉斯思維（例項2） 估計
鐵路上以1到n命名火車頭。有一天你看到乙個標號60的火車頭，請估計鐵路上有多少火車頭？應用貝葉斯進行推理，可以將這個問題分成兩步 1.在得到資料之前，我們對n的認識是什麼？2.已知乙個n的任意值後，得到資料 標誌為60號的火車頭 的似然度？第乙個問題的答案就是問題的前置概率，第二個問題是似然度。在選...