在機器學習的領域內，極大似然估計是最常見的引數估計的方法之一，在這裡整理一下它的基本原理。
極大似然估計從根本上遵循——眼見為實，這樣的哲學思想。也就是說，它嚴格地僅僅利用了已知的實驗結果，來估計概率模型中的引數。
極大似然估計的計算過程非常簡單：
1.寫出似然函式
2.求出使得似然函式取最大值的引數的值，這個值就是我們對概率模型中引數值的極大似然估計。
所以，要理解極大似然估計的原理，首先我們得理解什麼是似然函式。
舉個例子，我們連續擲2次硬幣，正面記為h，反面記為t。當硬幣質地均勻，出現正反面的概率都是0.5時，
p(hh)=0.25。把前一句話全部用數學符號來表達，就是p(hh|h=0.5)=0.25。對於這個式子，我們可以這麼理解：當硬幣的正反面概率都是0.5時，拋硬幣連續出現兩次正面的概率是0.25。現在，我們改寫一些這個式子，變成p(hh|h=0.6)=0.36。改寫後，我們對這個式子的理解也變成了當硬幣的正面概率為0.6時，拋硬幣連續出現兩次正面的概率是0.36。
對比一下改寫前後的理解，我們發現同樣是面對拋硬幣連續出現2次正面的結果，但是正面概率為0.6時得到的值比正面概率為0.5時得到的值要大。這使得我們可以從數值上判斷當拋硬幣連續出現2次正面時，判斷丟擲正面的概率為0.6比0.5要更合理。(非常符合我們直觀上的判斷)
進一步抽象，我們假設丟擲正面的概率是a，則式子就變成了p(hh|h=a)=a^2。這時，這個式子就變成了面對拋硬幣連續出現兩次正面這個實驗結果時，我們寫出的似然函式。根據前面的結論，為了使結果盡量合理，a的值越大越好，但是這裡a的取值在0到1之間，隨機a最合理的值是1。直觀上理解這個結果，就是說只拋2次硬幣，結果出現了2個正面，僅從實驗結果上去估計硬幣正面的概率，1是最合理的估計。(從直觀上看，我們不得不承認確實是這樣)
以上的計算過程，其實就是極大似然估計的思想。我們一般求解時，似然函式可能會更加複雜，比如是很多個式子的連乘，求似然函式最大值時，一般使用求導的方法得到結果。
回想一下之前拋硬幣的實驗，雖然在拋硬幣連續出現2次正面的結果下，極大似然估計求得1是硬幣正面概率最合理的估計。但是一般情況下沒有人會這麼估計，這是為什麼呢？
原因是我們的頭腦中對拋硬幣的概率分布有個先驗的估計，認為正反面的概率是趨向於相同的。
其實，這兩種不同的思路就體現出了貝葉斯學派和頻率學派在觀點上的根本分歧。極大似然估計是頻率學派最經典的方法之一，它從實驗結果出發，客觀估計引數。而貝葉斯學派則認為世界是按某種規律來分布的，我們只有在假設了某種分布的前提下，才能對世界進行估計，放在這裡，就是人們總是會認為正反面的概率是趨向於相同的。
最大似然估計 極大似然估計
目錄最大似然估計 個人部落格 對於最大似然估計我們使用最簡單的拋硬幣問題來進行講解當我們拋一枚硬幣的時候,就可以去猜測拋硬幣的各種情況的可能性,這個可能性就稱為概率一枚質地均勻的硬幣,在不考慮其他情況下是符合二項分布的,即正面和翻面的概率都是0.5,那麼我們拋10次硬幣5次正面在上面的概率為 但是現...
極大似然估計
一 理論基礎 1 引例 某位同學與一位獵人一起外出打獵，乙隻野兔從前方竄過。只聽一聲槍響，野兔應聲到下，如果要你推測，這一發命中的子彈是誰打的？你就會想，只發一槍便打中，由於獵人命中的概率一般大於這位同學命中的概率，看來這一槍是獵人射中的。這個例子所作的推斷就體現了極大似然法的基本思想。2 簡介 極...
極大似然估計
現實情況中我們可能會遇到這樣的一些例子，需要得到一所高校有車學生的分布情況 假定符合引數為p的伯努利分布 某地區成年男性的身高分布情況 假定符合引數為u1，1的正態分佈 南極洲成年帝企鵝的體重分布 假定符合引數為u2，2的正態分佈 等等。由於時間和經費的限制，不可能進行全面統計，我們只能通過一定的觀...