極大似然的思想來自於統計學界中頻率主義學派（frequentist），該學派認為引數雖然未知， 但卻是客觀存在的固定值。極大似然估計的做法是：根據已經存在的觀測結果，得到觀測結果的似然函式（出現觀測結果的概率的表示式）l(y
∣θ
)l(y|\theta)
l(y∣θ)
。其中y
yy表示觀測序列，θ
\theta
θ表示要估計的引數。
舉個拋硬幣的例子：假設一枚硬幣丟擲後， 正面朝上的概率是p
pp， 現進行8次試驗， 若正面朝上記為1
11，反面朝上記為0
00， 觀測結果為y=(
10110011
)y=(10110011)
y=(101
1001
1)。 求ppp。
出現上述試驗結果的概率可表示為： p(y
∣p)=
p5(1
−p)3
p(y|p) = p^5(1-p)^3
p(y∣p)
=p5(
1−p)
3所以引數p
pp對於觀測結果y
yy的似然函式為： l(p
)=p(
y∣p)
=p5(
1−p)
3l(p)=p(y|p) = p^5(1-p)^3
l(p)=p
(y∣p
)=p5
(1−p
)3通常， 為了方便進一步處理，會對似然函式取自然對數。既不影響其單調性，還能將式中的連乘和指數運算化簡為加法和乘法。所以引數p
pp對於觀測結果y
yy的對數似然函式為： ll(
p)=l
og(p
(y∣p
))=l
og(p
5(1−
p)3)
ll(p)=log(p(y|p)) = log(p^5(1-p)^3)
ll(p)=
log(
p(y∣
p))=
log(
p5(1
−p)3
) 此時，引數p
pp的極大似然估計p^=
arg
maxpl
l(p)
\hat = \arg\max\limits_ll(p)
p^=
argp
maxll
(p)
求得結果為p=5
8p=\frac
p=85
, 與直觀經驗相符.
最大似然估計 極大似然估計
目錄最大似然估計 個人部落格 對於最大似然估計我們使用最簡單的拋硬幣問題來進行講解當我們拋一枚硬幣的時候,就可以去猜測拋硬幣的各種情況的可能性,這個可能性就稱為概率一枚質地均勻的硬幣,在不考慮其他情況下是符合二項分布的,即正面和翻面的概率都是0.5,那麼我們拋10次硬幣5次正面在上面的概率為 但是現...
極大似然估計
在機器學習的領域內，極大似然估計是最常見的引數估計的方法之一，在這裡整理一下它的基本原理。極大似然估計從根本上遵循 眼見為實，這樣的哲學思想。也就是說，它嚴格地僅僅利用了已知的實驗結果，來估計概率模型中的引數。極大似然估計的計算過程非常簡單 1.寫出似然函式 2.求出使得似然函式取最大值的引數的值，...
極大似然估計
一 理論基礎 1 引例 某位同學與一位獵人一起外出打獵，乙隻野兔從前方竄過。只聽一聲槍響，野兔應聲到下，如果要你推測，這一發命中的子彈是誰打的？你就會想，只發一槍便打中，由於獵人命中的概率一般大於這位同學命中的概率，看來這一槍是獵人射中的。這個例子所作的推斷就體現了極大似然法的基本思想。2 簡介 極...