在機器學習裡面經常遇到推斷和學習兩個詞，下面對其進行區分。
圖模型通常包括三種節點,觀測變數、隱變數和引數, 分別用
表示。習慣上把計算隱變數分布的過程稱作推斷,把對引數的後驗估計稱作學習。具體的,推斷是指計算
的過程, 而學習是計算
的過程。 在上面的過程中,如果先驗分布
是均勻分布,那麼 極大後驗估計就退化成了極大似然估計。 這樣的區分是有一定道理的,通常情況下,引數的個數是相對較少的, 後驗分布是乙個尖頂分布,因此可以用點估計。隱變數本身就是隨機變數, 因此需要得到乙個分布,頻率派很自然的這樣的理解。
上面的說法在貝葉斯派裡面不再成立,這是因為貝葉斯派認為 引數也是隨機變數,學習也可以看成是推斷, 二者沒有明顯區別。 不過我們仍然可以進行區分。引數和隱變數的主要區別在於它們的數量的 增長情況不同。一般情況下,乙個觀測變數會有幾個隱變數,隱變數的數量會 隨著訓練集的增加而顯著增加。與此相對的是引數的數量不隨著 訓練集的變化而變化。 從數量的角度考慮,由於引數的數量相對較少, 我們可以對其進行點估計,或者求後驗分布。相反的,由於數量的過多的 原因必須把隱變數積分掉以避免過擬合的出現。
最後,以上說法總是一般的情況,有時候引數和隱變數是相對的。例如在主題模型裡面,文件級別引數θ在文件 裡面是引數,而在整個文件集裡又可以看作隱變數。不過對
的計算需要整個文件集，不能對其進行點估計，因此計算
的過程看作是推斷更符合一般的 思維。
推斷和學習
在機器學習裡面經常遇到推斷和學習兩個詞，下面對其進行區分。圖模型通常包括三種節點,觀測變數 隱變數和引數,分別用 的過程。在上面的過程中,如果先驗分布 上面的說法在貝葉斯派裡面不再成立,這是因為貝葉斯派認為 引數也是隨機變數,學習也可以看成是推斷,二者沒有明顯區別。不過我們仍然可以進行區分。引數和隱...
機器學習 2 變分推斷
對於普通的函式f x 我們可以認為 f 是乙個關於 x的乙個實數運算元，其作用是將實數 x 對映到實數f x 那麼模擬這種模式，假設存在函式運算元 f 它是關於f x 的函式運算元，可以將f x 對映成實數f f x 對於f x 我們是通過改變x來求出f x 的極值，而在變分中這個 x 會被替換成乙...
機器學習 2 變分推斷
原創 2017年03月26日 10 55 45 對於普通的函式f x 我們可以認為 f 是乙個關於 x 的乙個實數運算元，其作用是將實數 x 對映到實數f x 那麼模擬這種模式，假設存在函式運算元 f 它是關於f x 的函式運算元，可以將f x 對映成實數f f x 對於f x 我們是通過改變x來求...