頻率學派
貝葉斯學派x表示某乙個具體的資料；θ
\theta
θ表示模型的引數。
如果θ
θθ是已知確定的，θ
θθ是變數，這個函式叫做概率函式(probability function)，它描述對於不同的樣本點x，其出現概率是多少。
如果x
xx是已知確定的，θ
θθ是變數，這個函式叫做似然函式(likelihood function), 它描述對於不同的模型引數，出現x這個樣本點的概率是多少。
最大似然估計是求引數θ, 使似然函式p(x
0∣θ)
p\left(x_ | \theta\right)
p(x0∣
θ)最大。（我的理解：似然函式即這些事件的發生，引數θ
\theta
θ為這些事件發生的原因概率（我們關心的：某個事件發生的可能性））最大似然估計即求θ
\theta
θ，使得p最大。即求出這間事件發生的原因θ
\theta
θ概率，使得這些事件發生的可能性最大）
mle是通過直接最大化似然概率p(x
1,..
xn∣θ
)p(x1,..xn|θ)
p(x1,.
.xn∣
θ)來求解引數the
ta
theta
thet
a,而map是通過最大化似然概率×先驗分布,即p(x
1,..
xn∣θ
)p(θ
)p(x1,..xn|θ)p(θ)
p(x1,.
.xn∣
θ)p(
θ)來求解引數the
ta
theta
thet
a.可以看作增加了正則化項p(θ)。
最大似然估計 MLE 與最大後驗估計 MAP
對於函式p x 從不同的觀測角度來看可以分為以下兩種情況 如果 已知且保持不變，x是變數，則p x 稱為概率函式，表示不同x出現的概率。如果x已知且保持不變，是變數，則p x 稱為似然函式，表示不同 下，x出現的概率，也記作l x 或l x 或f x 最大似然估計是已知模型服從某種分布，但不知道其某...
最大似然估計MLE和最大後驗估計MAP理解
1 頻率學派和貝葉斯派 頻率學派認為引數是固定而未知的，關心似然函式。貝葉斯派認為引數是隨機的有分布的，關心後驗分布。2 mle map公式 3 引數估計 mle 4 引數估計 map map與mle最大的不同在於p 引數 項，map將先驗知識加入，優化損失函式。5 mle map bayesian...
最大似然估計（MLE）和最大後驗概率估計（MAP）
最大似然估計 mle 和最大後驗概率估計 map 是很常用的兩種引數估計方法。下文將詳細說明mle和map的思路與區別。但別急，我們先從概率和統計的區別講起。一 概率和統計是乙個東西嗎？概率 probabilty 和統計 statistics 看似兩個相近的概念，其實研究的問題剛好相反。概率研究的問...