極大似然估計方法（maximum likelihood estimate，mle）也稱為最大概似估計或最大似然估計，其作用是通過取樣的樣本分佈去估計整個資料中的某些引數。
簡單點說，現在已知乙個資料的概率分布，這個概率分布中有一些引數是未知的，那麼我們如何通過取樣的幾個樣本來估計這些引數呢，這個時候就要使用極大似然估計。
其實極大似然估計很多時候和我們的直覺是一樣的，比如有乙個系統會隨機輸出1-6的數字，你進行大量的實驗後發現1出現的次數大概佔總的1/6。然後你就會直覺地1出現的概率是1/6。其實這一過程你的潛意識裡就用了極大似然估計的方法。
為了方便理解，這裡舉個簡單的栗子。拋硬幣，對於拋硬幣來說它只會給出正面或者反面，現在我們假設給出正面的概率為a，那麼反面的概率就是1-a。（畢竟硬幣真反面圖案不一樣，所以也有可能不是50%對吧）。那麼這裡的a就是我們要估計的乙個引數。
接下來我們做實驗，假設在實驗中一共投了15次硬幣，其中前5次正面，後10次反面。根據這些樣本我們嘗試去估計原有的引數中的a。
似然函式的計算公式為：
此時我們的似然函式為：
其實這個式子也可以理解成，在給定a的情況下，我們投了15次硬幣，其中前5次正面，後10次反面的概率為多少。既然我們觀測的這個事情已經發生了，那麼我們要找到乙個a使這個概率越大越好。所以我們考慮對l求導，找導數為0時a的值。
由於直接求導比較麻煩，所以我們對兩邊取ln（ln不會影響單調性）得到：
然後對右邊求導並讓他等於0得到：
解得：
。而這個結果和我們的直覺也是一致的，因為我們投了15次，其中5次為正面。而極大似然估計可以理解為給這一直覺提供支援的一種依據。
最大似然估計 極大似然估計
目錄最大似然估計 個人部落格 對於最大似然估計我們使用最簡單的拋硬幣問題來進行講解當我們拋一枚硬幣的時候,就可以去猜測拋硬幣的各種情況的可能性,這個可能性就稱為概率一枚質地均勻的硬幣,在不考慮其他情況下是符合二項分布的,即正面和翻面的概率都是0.5,那麼我們拋10次硬幣5次正面在上面的概率為 但是現...
極大似然估計
在機器學習的領域內，極大似然估計是最常見的引數估計的方法之一，在這裡整理一下它的基本原理。極大似然估計從根本上遵循 眼見為實，這樣的哲學思想。也就是說，它嚴格地僅僅利用了已知的實驗結果，來估計概率模型中的引數。極大似然估計的計算過程非常簡單 1.寫出似然函式 2.求出使得似然函式取最大值的引數的值，...
極大似然估計
一 理論基礎 1 引例 某位同學與一位獵人一起外出打獵，乙隻野兔從前方竄過。只聽一聲槍響，野兔應聲到下，如果要你推測，這一發命中的子彈是誰打的？你就會想，只發一槍便打中，由於獵人命中的概率一般大於這位同學命中的概率，看來這一槍是獵人射中的。這個例子所作的推斷就體現了極大似然法的基本思想。2 簡介 極...