在機器學習裡面經常遇到推斷和學習兩個詞，下面對其進行區分。
圖模型通常包括三種節點,觀測變數、隱變數和引數, 分別用
的過程。 在上面的過程中,如果先驗分布
上面的說法在貝葉斯派裡面不再成立,這是因為貝葉斯派認為 引數也是隨機變數,學習也可以看成是推斷, 二者沒有明顯區別。 不過我們仍然可以進行區分。引數和隱變數的主要區別在於它們的數量的 增長情況不同。一般情況下,乙個觀測變數會有幾個隱變數,隱變數的數量會 隨著訓練集的增加而顯著增加。與此相對的是引數的數量不隨著 訓練集的變化而變化。 從數量的角度考慮,由於引數的數量相對較少, 我們可以對其進行點估計,或者求後驗分布。相反的,由於數量的過多的 原因必須把隱變數積分掉以避免過擬合的出現。
最後,以上說法總是一般的情況,有時候引數和隱變數是相對的。例如在主題模型裡面,文件級別引數θ在文件 裡面是引數,而在整個文件集裡又可以看作隱變數。不過對
學習和推斷
在機器學習裡面經常遇到推斷和學習兩個詞，下面對其進行區分。圖模型通常包括三種節點,觀測變數 隱變數和引數,分別用 表示。習慣上把計算隱變數分布的過程稱作推斷,把對引數的後驗估計稱作學習。具體的,推斷是指計算 的過程,而學習是計算 的過程。在上面的過程中,如果先驗分布 是均勻分布,那麼 極大後驗估計就...
機器學習 2 變分推斷
對於普通的函式f x 我們可以認為 f 是乙個關於 x的乙個實數運算元，其作用是將實數 x 對映到實數f x 那麼模擬這種模式，假設存在函式運算元 f 它是關於f x 的函式運算元，可以將f x 對映成實數f f x 對於f x 我們是通過改變x來求出f x 的極值，而在變分中這個 x 會被替換成乙...
機器學習 2 變分推斷
原創 2017年03月26日 10 55 45 對於普通的函式f x 我們可以認為 f 是乙個關於 x 的乙個實數運算元，其作用是將實數 x 對映到實數f x 那麼模擬這種模式，假設存在函式運算元 f 它是關於f x 的函式運算元，可以將f x 對映成實數f f x 對於f x 我們是通過改變x來求...