簡單理解吉布斯取樣的過程：
幾個可以學習gibbs sampling的方法
1，讀bishop的pattern recognition and machine learning，講的很清楚，但是我記得好像沒有例子。
2，讀artificial intelligence，2、3版，都有。但是我沒讀過。
3，最方便的，查wiki，這個說的最清楚。
這裡通俗點的解釋一下。首先，什麼是sampling。sampling就是以一定的概率分布，看發生什麼事件。舉乙個例子。甲只能e：吃飯、學習、打球，時間t：上午、下午、晚上，天氣w：晴朗、颳風、下雨。現在要乙個sample，這個sample可以是：打球+下午+晴朗。。。
問題是我們不知道p(e,t,w)，或者說，不知道三件事的聯合分布。當然，如果知道的話，就沒有必要用gibbs sampling了。但是，我們知道三件事的conditional distribution。也就是說，p(e|t,w),p(t|e,w),p(w|e,t)。現在要做的就是通過這三個已知的條件分布，再用gibbs sampling的方法，得到joint distribution。
具體方法。首先隨便初始化乙個組合,i.e. 學習+晚上+颳風，然後依條件概率改變其中的乙個變數。具體說，假設我們知道晚上+颳風，我們給e生成乙個變數，比如，學習-》吃飯。我們再依條件概率改下乙個變數，根據學習+颳風，把晚上變成上午。類似地，把颳風變成颳風（當然可以變成相同的變數）。這樣學習+晚上+颳風-》吃飯+上午+颳風。
同樣的方法，得到乙個序列，每個單元包含三個變數，也就是乙個馬爾可夫鏈。然後跳過初始的一定數量的單元（比如100個），然後隔一定的數量取乙個單元（比如隔20個取1個）。這樣sample到的單元，是逼近聯合分布的。
詳細：http:
相關：1.slicing sampling:
2. adaptive rejection sampling
for gibbs
sampling
;
3.markov chain monte carlo
4.
吉布斯取樣
2013 05 10 14 16 45 分類 學術 舉報 字型大小訂閱 幾個可以學習gibbs sampling的方法 1，讀bishop的pattern recognition and machine learning，講的很清楚，但是我記得好像沒有例子。2，讀artificial intelli...
深度學習（六） 吉布斯取樣
吉布斯取樣也是用於高維空間的取樣方法。假設二維聯合概率分布 pi x x 在二維空間裡有兩個點，分別是 a x x 和 b x x 這兩個點的第乙個維度取值相同，放在直角座標系上看，它們兩的連線構成一條垂線。有如下成立 pi x x pi x mid x pi x pi x mid x pi x m...
從馬爾科夫鏈到吉布斯取樣與PageRank
馬爾科夫鏈表示state的鏈式關係，下乙個state只跟上乙個state有關。吉布斯取樣通過取樣條件概率分布得到的樣本點，近似估計概率分布p z pagerank通過節點間的連線，估計節點的重要程度 r 吉布斯取樣中，state代表不同的樣本點，state的分布就是p z pagerank中，sta...