對於函式p(x|θ)，從不同的觀測角度來看可以分為以下兩種情況：
如果θ已知且保持不變，x是變數，則p(x|θ)稱為概率函式，表示不同x出現的概率。
如果x已知且保持不變，θ是變數，則p(x|θ)稱為似然函式，表示不同θ下，x出現的概率，也記作l(θ|x)或l(x;θ)或f(x;θ)。
最大後驗估計和最大似然估計的不同之處在於，最大似然估計是把某個未知的引數當成乙個具體的值的，我們通過n個觀察值可以準確的求出該未知引數的具體值是多少。而最大後驗估計是對該未知引數有乙個先驗估計，該未知引數不是乙個具體的值，也服從某個分布。我們把這n個觀察值在這個分布下的概率乘起來再乘以n次該未知引數的先驗分布，求解過程一樣，最後，我們求出來的該未知引數並不是乙個具體的值，它也是由幾個變數控制的。
從貝葉斯的角度來看，正則化等價於對模型引數引入先驗分布,對引數引入高斯先驗等價於l2正則化,對引數引入拉普拉斯先驗等價於l1正則化。2.詳解最大似然估計（mle）、最大後驗概率估計（map），以及貝葉斯公式的理解
3.貝葉斯估計、最大似然估計、最大後驗概率估計
4.聊一聊機器學習的mle和map：最大似然估計和最大後驗估計
5.lr正則化與資料先驗分布的關係？
最大似然估計 MLE 和最大後驗 MAP
頻率學派 貝葉斯學派x表示某乙個具體的資料 theta 表示模型的引數。如果 是已知確定的，是變數，這個函式叫做概率函式 probability function 它描述對於不同的樣本點x，其出現概率是多少。如果x xx是已知確定的，是變數，這個函式叫做似然函式 likelihood functio...
最大似然估計 最大似然估計與最大後驗估計聯絡
引數估計的目的是決定變數之間相互關聯的量化關係。常用的引數估計方法包括最大似然估計法 最大後驗估計 期望最大化法 em 和貝葉斯估計方法。在觀測資料前，我們將 的已知知識表示成先驗概率分布，p 我們通常稱為先驗。一般而言，在機器學習實踐的時候，會選擇乙個相當寬泛的先驗分布 這個先驗分布通常是高熵的分...
最大似然估計MLE和最大後驗估計MAP理解
1 頻率學派和貝葉斯派 頻率學派認為引數是固定而未知的，關心似然函式。貝葉斯派認為引數是隨機的有分布的，關心後驗分布。2 mle map公式 3 引數估計 mle 4 引數估計 map map與mle最大的不同在於p 引數 項，map將先驗知識加入，優化損失函式。5 mle map bayesian...