極大似然估計

極大似然估計是一種引數估計的方法。

先驗概率是 知因求果，後驗概率是 知果求因，極大似然是 知果求最可能的原因。

即它的核心思想是：找到引數 θ 的乙個估計值，使得當前樣本出現的可能性最大。

概率和似然的關係:

在非正式場合似然和概率（probability）幾乎是一對同義詞，但是在統計學中似然和概率卻是兩個不同的概念。概率是在特定環境下某件事情發生的可能性，也就是結果沒有產生之前依據環境所對應的引數來**某件事情發生的可能性，比如拋硬幣，拋之前我們不知道最後是哪一面朝上，但是根據硬幣的性質我們可以推測任何一面朝上的可能性均為50%，這個概率只有在拋硬幣之前才是有意義的，拋完硬幣後的結果便是確定的；而似然剛好相反，是在確定的結果下去推測產生這個結果的可能環境（引數），還是拋硬幣的例子，假設我們隨機拋擲一枚硬幣1,000次，結果500次人頭朝上，500次數字朝上（實際情況一般不會這麼理想，這裡只是舉個例子），我們很容易判斷這是一枚標準的硬幣，兩面朝上的概率均為50%，這個過程就是我們運用出現的結果來判斷這個事情本身的性質（引數），也就是似然。

例如，當其他條件一樣時，抽菸者患肺癌的概率是不抽菸者的 5 倍，那麼當我們已知現在有個人是肺癌患者，問這個人是抽菸還是不抽菸？大多數人都會選擇抽菸，因為這個答案是「最有可能」得到「肺癌」這樣的結果。

為什麼要有引數估計

當模型已定，但是引數未知時。

例如我們知道全國人民的身高服從正態分佈，這樣就可以通過取樣，觀察其結果，然後再用樣本資料的結果推出正態分佈的均值與方差的大概率值，就可以得到全國人民的身高分布的函式。

為什麼要使似然函式取最大

極大似然估計是頻率學派最經典的方法之一，認為真實發生的結果的概率應該是最大的，那麼相應的引數，也應該是能讓這個狀態發生的概率最大的引數。

極大似然估計的計算過程

寫出似然函式

其中 x1,x2,⋯,xn 為樣本，θ 為要估計的引數。

一般對似然函式取對數

因為 f(xi|θ) 一般比較小，n 比較大，連乘容易造成浮點運算下溢。

求出使得對數似然函式取最大值的引數的值

對對數似然函式求導，令導數為0，得出似然方程，

求解似然方程，得到的引數就是對概率模型中引數值的極大似然估計。

例子

假如乙個罐子裡有黑白兩種顏色的球，數目和比例都不知道。

假設進行一百次有放回地隨機取樣，每次取乙個球，有七十次是白球。

問題是要求得罐中白球和黑球的比例？

假設罐中白球的比例是 p，那麼黑球的比例就是 1−p。

那麼似然函式：

接下來對似然函式對數化：

然後求似然方程：

最後求得 p=0.7

最大似然估計 極大似然估計

目錄最大似然估計 個人部落格 對於最大似然估計我們使用最簡單的拋硬幣問題來進行講解當我們拋一枚硬幣的時候,就可以去猜測拋硬幣的各種情況的可能性,這個可能性就稱為概率一枚質地均勻的硬幣,在不考慮其他情況下是符合二項分布的,即正面和翻面的概率都是0.5,那麼我們拋10次硬幣5次正面在上面的概率為 但是現...

極大似然估計

在機器學習的領域內，極大似然估計是最常見的引數估計的方法之一，在這裡整理一下它的基本原理。極大似然估計從根本上遵循 眼見為實，這樣的哲學思想。也就是說，它嚴格地僅僅利用了已知的實驗結果，來估計概率模型中的引數。極大似然估計的計算過程非常簡單 1.寫出似然函式 2.求出使得似然函式取最大值的引數的值，...

極大似然估計

一 理論基礎 1 引例 某位同學與一位獵人一起外出打獵，乙隻野兔從前方竄過。只聽一聲槍響，野兔應聲到下，如果要你推測，這一發命中的子彈是誰打的？你就會想，只發一槍便打中，由於獵人命中的概率一般大於這位同學命中的概率，看來這一槍是獵人射中的。這個例子所作的推斷就體現了極大似然法的基本思想。2 簡介 極...