深入淺出理解極大似然估計

在機器學習演算法中，你能經常看到極大似然估計這個詞語。比如在對邏輯回歸求解全域性最小值的時候就需要用上極大似然估計。極大似然估計是機器學習演算法中必須掌握的乙個知識點。

極大似然估計是什麼意思？

首先，根據字面上來看，極大和估計都比較好理解，極大即最大化，估計即大約計算出來的樣子。那麼似然是什麼意思呢？似然，即(likelihood)，牛津詞典的解釋為可能性（同義詞為probability）。所以極大似然估計的字面意思就是最大可能性的情況就是我們需要大約計算出來的樣子。

舉個例子來說：

有乙個箱子，裡面總共有100個形狀相同但是有兩種顏色，分別為黑色和白色的球。其中一種顏色是99個，另一種顏色是1個。現從箱裡任取一球，顏色為黑色。那麼，我們通過極大似然估計會認為箱子裡極有可能黑色球99個。

若實驗中有n個可能結果，a1,a2……an，現做了一次試驗，若事件ai發生了，則認為事件ai在這n個可能結果**現的概率最大。

總的來說，極大似然估計是建立在這樣的思想上：已知某個引數能使這個樣本出現的概率最大，我們當然不會再去選擇其他小概率的樣本，所以乾脆就把這個引數作為估計的真實值。

極大似然估計的表現形式

1.若總體x為離散型，其概率分布為p=p(x;θ)；其中θ是未知引數。設(x1,x2,……xn)是取自總體的樣本容量為n的樣本，則(x1,x2,……xn)的聯合分布律為

這一概率隨θ的取值而變化，它是θ的函式，稱l(θ)為樣本的似然函式。

2.若總體x為連續型，其概率密度函式為f(x;θ), 其中θ是未知引數。設(x1,x2,……xn)是取自總體的樣本容量為n的樣本，則(x1,x2,……xn)的聯合概率密度為為

同樣，l(θ)為樣本的似然函式。

極大似然估計法原理就是固定樣本觀測值(x1,x2……xn)，挑選引數θ使得

這樣得到的

極大似然估計求解

那麼要如何把引數θ的極大似然估計值

構造似然函式l(θ)

取對數ln l(θ)

令

求解