p(x|z) = p(z|x)p(x)/p(z) ~ p(z|x)p(x)
貝葉斯法則左側p(x|z)通常被稱為後驗概率，右側p(z|x)稱為似然，p(x)稱為先驗．直接求後驗分布是困難的，但是求乙個狀態最優估計，使得在該狀態下後驗概率最大化（map)則是可行的．
xmap = arg maxp(x|z) = arg maxp(z|x)p(x)求解最大後驗概率相當於最大化似然和先驗的乘積．如果沒有先驗，即沒有先驗的位置資訊，此時就沒有了先驗，那麼，可以求解ｘ的最大似然估計（mle)
xmle = arg maxp(z|x)直觀講，似然是指，＂在現在的位資下，可能產生怎樣的觀測資料＂．由於我們知道觀測資料，所以最大化似然估計可以理解成：＂在什麼樣的狀態下，最可能產生現在的觀測到的資料＂．這就是最大似然估計的直觀意義．
假設殘差服從正太分布．最大似然的解（即引數的估值）就等於所有觀測值殘差平方和最小．
其證明就是假設殘差服從正太分布
最大化似然，殘差服從正太分布，求其最大，即求其最小化負對數．解的，當殘差平方和最小時，負對數最小，即最大化似然．因此當殘差服從正太分布時最大化似然的準則即為殘差平方和最小．
見最小二乘是以殘差平方和最小為準則的引數估計方法．
因此最小二乘估計等價與當殘差服從正太分布時的最大似然估計．
求解最小二乘問題其實都是在求最大似然估計．
最大似然估計 最大似然估計與最大後驗估計聯絡
引數估計的目的是決定變數之間相互關聯的量化關係。常用的引數估計方法包括最大似然估計法 最大後驗估計 期望最大化法 em 和貝葉斯估計方法。在觀測資料前，我們將 的已知知識表示成先驗概率分布，p 我們通常稱為先驗。一般而言，在機器學習實踐的時候，會選擇乙個相當寬泛的先驗分布 這個先驗分布通常是高熵的分...
最大似然估計，最大後驗估計
p a b 這個公式看下面韋恩圖就懂了 在事件 b 發生的條件下發生事件 a 的概率 p a b 就是 ab 同時發生的概率 p ab 比 b 發生的概率 p b p a b frac 形式上很明顯，這個公式是條件概率變形而來 p a b rightarrow p a b p b p ab p b ...
最大似然估計與最大後驗概率區別
最大後驗概率比最大似然估計多了先驗概率 對於這個函式 p x 輸入有兩個 x表示某乙個具體的資料 表示模型的引數。如果 是已知確定的，x是變數，這個函式叫做概率函式 probability function 它描述對於不同的樣本點x，其出現概率是多少。如果x是已知確定的，是變數，這個函式叫做似然函式...