極大似然估計和貝葉斯估計分別代表了頻率派和貝葉斯派的觀點。頻率派認為，引數是客觀存在的，只是未知而矣。因此，頻率派最關心極大似然函式，只要引數求出來了，給定自變數x，y也就固定了，極大似然估計如下所示:
d表示訓練資料集，
相反的，貝葉斯派認為引數也是隨機的，和一般隨機變數沒有本質區別，正是因為引數不能固定，當給定乙個輸入x後，我們不能用乙個確定的y表示輸出結果，必須用乙個概率的方式表達出來，所以貝葉斯學派的**值是乙個期望值，如下所示：
其中x表示輸入，y表示輸出，d表示訓練資料集，
該公式稱為全貝葉斯**。現在的問題是如何求
可惜的是，上面的後驗概率通常是很難計算的，因為要對所有的引數進行積分，不能找到乙個典型的閉合解（解析解）。在這種情況下，我們採用了一種近似的方法求後驗概率，這就是最大後驗概率。
最大後驗概率和極大似然估計很像，只是多了一項先驗分布，它體現了貝葉斯認為引數也是隨機變數的觀點，在實際運算中通常通過超引數給出先驗分布。
從以上可以看出，一方面，極大似然估計和最大後驗概率都是引數的點估計。在頻率學派中，引數固定了，**值也就固定了。最大後驗概率是貝葉斯學派的一種近似手段，因為完全貝葉斯估計不一定可行。另一方面，最大後驗概率可以看作是對先驗和mle的一種折衷，如果資料量足夠大，最大後驗概率和最大似然估計趨向於一致，如果資料為0,最大後驗僅由先驗決定。
最大似然估計與最大後驗概率區別
最大後驗概率比最大似然估計多了先驗概率 對於這個函式 p x 輸入有兩個 x表示某乙個具體的資料 表示模型的引數。如果 是已知確定的，x是變數，這個函式叫做概率函式 probability function 它描述對於不同的樣本點x，其出現概率是多少。如果x是已知確定的，是變數，這個函式叫做似然函式...
先驗概率，似然估計和後驗概率
先驗 根據若干年的統計 經驗 或者氣候 常識 某地方下雨的概率 似然 下雨 果 的時候有烏雲 因 or 證據 or 觀察的資料 的概率，即已經有了果，對證據發生的可能性描述 後驗 根據天上有烏雲 原因或者證據 or 觀察資料 下雨 結果 的概率 後驗 先驗 似然 存在下雨的可能 先驗 下雨之前會有烏...
先驗概率 後驗概率 似然函式
以下以因果關係來刻畫先驗概率 後驗概率以及似然概率的關係。先驗概率 根據經驗得到的結果的概率 已知結果 後驗概率 在知道原因的情況下，求結果發生的概率 執因求果 似然概率 知道結果的情況下，求最可能導致結果發生的原因 知果求因 舉個例子 已知車禍有一定概率會導致堵車，此處車禍是因，堵車是果。p 堵車...