極大似然估計是在總體型別已知條件下使用的一種引數估計方法 。它首先是由德國數學家高斯在2023年提出的,
然而，這個方法常歸功於英國統計學家費希爾.費希爾在2023年重新發現了這一方法，並首先研究了這種方法的一些性質 。
極大似然估計的思想是：選取這樣的θ̂，使得當它作為未知引數θ的估計時，觀察結果出現的可能性（概率）最大！！
我們看看幾個例子：
例1、某位同學與一位獵人一起外出打獵.乙隻野兔從前方竄過,只聽一聲槍響，野兔應聲倒下。如果要你推測，是誰打中的呢？你會如何想呢?
你就會想，只發一槍便打中,獵人命中的概率一般大於這位同學命中的概率, 看來這一槍是獵人射中的。這個例子所作的推斷已經體現了極大似然法的基本思想 .
例2、設袋中有黑白兩種球，已知兩種球的比例為1：99，但不知道哪種顏色的球多。
若現在從袋中任取一球，發現是白球，試估計袋中白球所佔的比例。
例3、設袋中有黑、白球共4個，現有放回地抽取3次，得到2個白球，1個黑球。試問：如何估計袋中的白球數？
解：設袋中的白球數為m（待估），3次抽球中抽得白球的次數為r.v.x。
則 x ~ b (3, p=m /4),
從上圖可以看出，當取中白球個數為2時，其中事件發生概率最大為m=3，即p=3/4時，所有我們有理由認為：
p̂=3/4, m̂=3。
設x1, x2 ,…, xn是取自總體 x 的乙個樣本，樣本的聯合概率密度(連續型）或聯合概率函式(離散型)為 p (x1,x2,…xn; θ) 。當給定樣本的一組觀測值x1, x2 ,…, xn時，定義似然函式為：orient/strip%7cimageview2/2/w/1240)
l(θ)看作引數θ的函式，它可作為θ將以多大可能產生樣本值 x1, x2 ,…, xn 的一種度量 ，極大似然估計法就是用使l(θ)達到最大值的θ̂去估計θ。
稱θ̂為θ的極大似然估計（mle：maximum likelihood estimate）。
下面為求極大似然估計(mle)的一般步驟：
(1) 由總體分布匯出樣本的聯合概率函式 (或聯合概率密度);
(2) 把樣本聯合概率函式(或聯合密度)中自變數看成已知常數,而把引數θ 看作自變數, 得到似然函式l(θ);
(3) 求似然函式l(θ) 的最大值點(常常轉化為求ln l(θ)的最大值點) ，即θ的mle;
(4) 在最大值點的表示式中, 用樣本值代入就得引數的極大似然估計值 .
我們看乙個例子：
首先確定樣本的聯合概率密度函式
推導出似然函式並求極值點
求解得出引數估計
機器學習之極大似然估計
極大似然估計是在總體型別已知的條件下使用的一種引數估計方法。首先是德國數學家高斯在1821年提出的，然而這個方法常歸功於英國統計學家費歇。極大似然法的基本思想通過乙個例子說明 乙個獵人和乙個二逼外出打獵，乙隻野兔從前方竄過，一聲槍響，野兔應聲倒下。如果要你推測，是誰打中的？你會如何想？選擇乙個引數使...
機器學習演算法 極大似然估計
極大似然估計 1.若總體x為離散型，其概率分布列為 其中 為為未知引數。設 是取自總體的樣本容量為n的樣本，則 的聯合分布律為 又設 的一組觀測值為 易知樣本 取到觀測值 的概率為 這一概率隨 的取值而變化，它是 的函式，稱 為樣本的似然函式。2.若總體x為連續型，其概率密度函式為 其中 為未知引數...
最大似然估計 極大似然估計
目錄最大似然估計 個人部落格 對於最大似然估計我們使用最簡單的拋硬幣問題來進行講解當我們拋一枚硬幣的時候,就可以去猜測拋硬幣的各種情況的可能性,這個可能性就稱為概率一枚質地均勻的硬幣,在不考慮其他情況下是符合二項分布的,即正面和翻面的概率都是0.5,那麼我們拋10次硬幣5次正面在上面的概率為 但是現...