理解極大似然估計 MLE

極大似然估計學習時總會覺得有點不可思議，為什麼可以這麼做，什麼情況才可以用極大似然估計。本文旨在通俗理解mle(maximum likelihood estimate)。

一、極大似然估計的思想與舉例

舉個簡單的栗子：在乙個盒子裡有白色黑色小球若干個，每次有放回地從裡面哪乙個球，已知抽到白球的概率可能為0.7或者0.3，但不清楚，現在抽取三次，三次都沒有抽到白球，請問盒子中一次抽到白球的概率是多少？

這類栗子有乙個共性，我們假設白球的概率為p，然後用它去計算已知發生的事情「三次都是黑球」使其發生的概率最大。已知p可能取值為0.7或者0.3，那我們兩個值分別計算三次抽取為黑球的概率，誰的概率大我們就認為p的概率是多少。

p=0.3時，三次為黑球的概率 p = 0.7*0.7*0.7 = 0.342

p=0.7時，三次為黑球的概率 p = 0.3*0.3*0.3 = 0.027

可見p為0.3時事件三次抽取都為黑球發生的概率最大，所以我們認為盒子中取到白球的概率的極大似然估計為0.3。

再舉個栗子：有兩個男孩和乙個女孩，已知兩男孩中其中乙個與女孩是兄妹，經過觀察發現男孩a與女孩有點像，男孩b與女孩不像，那我們就會猜測男孩a和女孩是兄妹。

這就是用到了極大似然估計的思想，即忽略低概率，認為高概率的為真實事件，或者去估計真實事件。

對於連續的問題，還是上面的小球例子，如果取到白球的概率為乙個區間值[0.3, 0.7]。

求解：假設取到取到白球概率為p，則三次都為黑球的事件概率

p = （1-p)^3

p對p求導得：p' = -3(1-p)^2

令p' = 0，得p = 1, 因為 p 在[0.3, 0.7]之間，p<1時，p' < 0，故在 p < 1區間內，函式p單調遞減，所以p = 0.3時，p取到最大值。即事件發生的可能性最大，所以白球概率的極大似然估計為0.3。

二、總結

通過以上的分析，可以得出極大似然估計的通常解法，總體來說分為以下幾步：

1、得到所要求的極大似然估計的概率p的範圍

2、以p為自變數，推導出當前已知事件的概率函式式q(p)

3、求出能使得q(p)最大的p

這樣便求出了極大似然估計值p