$$p(a|b)=$$
這個公式看下面韋恩圖就懂了：在事件\(b\)發生的條件下發生事件\(a\)的概率\(p(a|b)\)，就是\(ab\)同時發生的概率\(p(ab)\)，比\(b\)發生的概率\(p(b)\).
$$p(a|b) = \frac$$
形式上很明顯，這個公式是條件概率變形而來
$$p(a|b)=$$
$$\rightarrow\;p(a|b)p(b)=p(ab)$$
$$p(b|a)=$$
$$\rightarrow\;p(b|a)p(a)=p(ab)$$
$$\rightarrow\;p(a|b)p(b)=p(b|a)p(a)$$
$$\rightarrow\;p(a|b)=$$
貝葉斯公式中\(p(a|b)\)稱為後驗，就是需要推斷的概率，\(p(b|a)\)稱為似然，就是「貌似是這樣「的意思，\(p(b)\)稱為先驗.
最大似然估計就是使似然最大化. \(p(b|a)\)這個是似然，用似然函式表示為\(p(x|\theta)\), 其中\(x\)是樣本資料，\(\theta\)是條件，最大似然估計做的就是："在什麼條件下，樣本資料被抽到的概率最大".
最大後驗估計就是使\(p(b|a)p(a)\),即\(p(a|b)\)最大. 這個方法適用於知道先驗的情況下.
最大似然估計 最大似然估計與最大後驗估計聯絡
引數估計的目的是決定變數之間相互關聯的量化關係。常用的引數估計方法包括最大似然估計法 最大後驗估計 期望最大化法 em 和貝葉斯估計方法。在觀測資料前，我們將 的已知知識表示成先驗概率分布，p 我們通常稱為先驗。一般而言，在機器學習實踐的時候，會選擇乙個相當寬泛的先驗分布 這個先驗分布通常是高熵的分...
最大似然估計 MLE 與最大後驗估計 MAP
對於函式p x 從不同的觀測角度來看可以分為以下兩種情況 如果 已知且保持不變，x是變數，則p x 稱為概率函式，表示不同x出現的概率。如果x已知且保持不變，是變數，則p x 稱為似然函式，表示不同 下，x出現的概率，也記作l x 或l x 或f x 最大似然估計是已知模型服從某種分布，但不知道其某...
最大似然估計和最大後驗概率估計（MLE MAP）
0.相關概念 資料 x 引數 theta 假設概率模型為 x p x theta xi服從於p x theta 並且是獨立同分布 iid 明確先驗 後驗和似然的概念 似然 likelihood evidence p x theta 有看到別的地方的evidence指的是所有樣本x的總和 先驗 pri...