MLE極大似然估計

極大似然估計（mle）：

極大似然估計是一種引數估計的方法，即已知樣本估計出模型引數。

極大似然估計是頻率學派的一種方法（與貝葉斯學派的極大後驗估計對應），頻率學派認為模型的引數是確定的，只是不知道而已，所以可以通過樣本推斷出模型引數。

既然是極大「似然」估計，就要先明白什麼是「似然」，在貝葉斯公式中有：

其中，可以看出似然函式就是假設已知引數的情況下得到觀察樣本的概率，而mle的初衷就是選擇

似然函式的定義為：

mle極大似然估計就是求使得

log似然函式的定義為：

使用log似然有幾點好處：它與似然函式

高斯函式：

分別對所以可以求得

到這裡就使用mle的方法求出了高斯模型的引數，可以看出高斯模型的引數

極大後驗估計（map）：

順便提一下極大後驗估計，其實明白mle之後，map也比較好理解了。

通過當先驗是均勻分布時map退化為mle！

mle、map與經驗風險最小、結構風險最小的關係

既然提到了mle和map的關係，就再引申兩個概念：經驗風險最小與結構風險最小。這兩個概念都是評價模型好壞的標準。

經驗風險最小：

經驗風險最小（erm）標準認為經驗風險最小的模型是最優模型，erm就是求最優化問題：

其中f是假設空間，f是模型，l是損失函式。當樣本容量很大時，erm的效果較好，樣本容量較小時，erm容易產生過擬合現象。mle就是erm的乙個例子，當模型是條件概率分布，損失函式是對數損失函式時，erm等價於mle。

結構風險最小：

結構風險最小（srm）是為了防止過擬合現象而提出的，srm等價於正則化。srm就是求最優化問題：

模型複雜度由模型先驗概率表示時，srm等價於map。

嶺回歸：

在回歸問題中有如下關係：

一般的線性回歸——mle求解——最小二乘方法

嶺回歸——map求解——懲罰（正則）最小二乘方法

在嶺回歸中就是假設線性回歸的引數w滿足高斯分布。

理解極大似然估計 MLE

極大似然估計學習時總會覺得有點不可思議，為什麼可以這麼做，什麼情況才可以用極大似然估計。本文旨在通俗理解mle maximum likelihood estimate 一 極大似然估計的思想與舉例 舉個簡單的栗子 在乙個盒子裡有白色黑色小球若干個，每次有放回地從裡面哪乙個球，已知抽到白球的概率可能為...

最大似然估計 極大似然估計

目錄最大似然估計 個人部落格 對於最大似然估計我們使用最簡單的拋硬幣問題來進行講解當我們拋一枚硬幣的時候,就可以去猜測拋硬幣的各種情況的可能性,這個可能性就稱為概率一枚質地均勻的硬幣,在不考慮其他情況下是符合二項分布的,即正面和翻面的概率都是0.5,那麼我們拋10次硬幣5次正面在上面的概率為 但是現...

最大似然估計（MLE）

博主在學習機器學習的時候常常感受到自己數學知識的匱乏。故會逐步總結與機器學習相關的數學知識，發布於此。這裡吐槽一下，博主的學校雖然名氣很高，但是對於概率論這樣的基礎學科講解的卻很不到位。這裡分析原因主要有下 專業課業壓力重導致概率論只有一學期的課程並且只有三個學分，換言之，只有48 45分鐘，這種短...