kl-divergence: 測量兩條曲線下的非重疊或發散區域，rbm的優化演算法嘗試最小化這些區域，以便共享權重乘以隱藏第一層的啟用時，產生原始的近似值
輸入。左邊是一組原始輸入p的概率分布，與重構分布q並列;
在右邊，他們的差異的整合。
貪婪演算法：首先字典學習它是個非凸優化問題，多層字典學習將會變得更加複雜；另外多層字典學習的所要求解的引數大大增加，在有限的訓練樣本下，容易引起過擬合問題。因此文獻提出類似於sae、dbn一樣，採用逐層訓練學習的思想，這樣可以保證網路的每一層都是收斂的。演算法其實非常簡單，以雙層分解為例進行逐層分解。
參考：rbm 知乎；
深度學習貪婪演算法 csdn；
a deep matrix factorization method for learning attribute representations.pdf;
greedy deep dictionary learning.pdf;
deeplearning 推薦；
beginner to rbm;
基礎演算法 受限玻爾茲曼機 RBM
所謂概率圖模型，就是指運用了概率和圖這兩種工具建立的模型 逐漸忘記標題 咳咳，今天講一下限制玻爾茲曼機，或者叫做受限玻爾茲曼機，這個名字起的真是，好的，咳咳 所謂玻爾茲曼機，就是就是玻爾茲曼家的機，就是說玻爾茲曼這個人發明了一種模型，一種機器，所以叫做玻爾茲曼機器，簡稱玻爾茲曼機。而受限玻爾茲曼機和...
受限玻爾茲曼機（RBM）原理總結
在前面我們講到了深度學習的兩類神經網路模型的原理，第一類是前向的神經網路，即dnn和cnn。第二類是有反饋的神經網路，即rnn和lstm。今天我們就總結下深度學習裡的第三類神經網路模型 玻爾茲曼機。主要關注於這類模型中的受限玻爾茲曼機 restricted boltzmann machine，以下簡...
受限玻爾茲曼基
受限波爾茲曼網路rbm是乙個雙層網路 可見層和隱含層。前面描述的神經網路模型是一種確定的結構。而波爾茲曼網路是一種隨機網路。如何來描述乙個隨機網路呢？很多書上有大量的篇幅介紹其原理。這裡把它總結為以下兩點。第一，概率分布函式。由於網路節點的取值狀態是隨機的，從貝葉斯網的觀點來看，要描述整個網路，需要...