受限的波爾茲曼機的簡單了解知識

2022-03-18 04:02:01 字數 1553 閱讀 4658

如果萬一大家不小心檢索到了本篇文章,為了不浪費大家的時間,請大家直接看  寫在很好,太好好好!!!(本篇內容僅僅用於我的自我複習)

它長這樣子:

它的特點: 在給定可見層單元狀態(輸入資料)時,各隱層單元的啟用條件獨立,反過來看,在給定隱層單元狀態時,可見層單元的啟用條件也是獨立的。

其中的引數:可見層用v表示,隱含層用h表示,可見層的偏置用a表示,隱含層的偏置用b表示,權值矩陣用w表示。

它是什麼東西:它就是乙個隨機網路模型, 給定輸入層,一定的條件概率下對映到隱含層;然後再根據一定的概率對映出來,結果盡可能與原始的輸入相同。  一切都是建立在概率上!!!!

說實話,這是什麼玩意啊,它能幹什麼啊。 我目前真的不是很清楚啊。

,  其中

所以呢,把我們把這個統計學的分布應用於我們的受限的波爾北曼機時,如何定義它的能量函式是很重要的了。

下面是能量函式的定義公式,為什麼這麼定義呢?不是很明白啊。我感覺吧:可能怎麼定義都可以吧,能夠自圓其說就可以吧。反正就是自己定義的了。定義不同的能量函式,最後訓練出來的網路的引數不同嘛,最後的分布應該是不變的,因為我們就是朝著它的分布而去訓練的網路啊。。

利用這個能量函式,定義出受限有波爾茲曼機的狀態概率:給定狀態(v,h), 它的聯合概率為:

,其中,

一些相關的概率:(來自:很清晰的推導過程,寫的太棒了,

其中的乙個推導過程:

為什麼我感覺對比散度演算法與gibbs取樣沒有區別啊就是把隨機的初始值變為了樣本值了吧(意思就是現在的樣本是符合平穩的馬爾可夫鏈的分布的)。

不先寫了,有一些問題想不明白。。不先寫了,有一些問題想不明白。。

神經網路學習筆記 波爾茲曼 Boltzmann 機

boltzmann機是一種反饋隨機神經網路 兩種輸出狀態,單極性0或1。輸出狀態的取值根據概率統計法則決定,這種概率統計法則類似boltzmann分布,部分反饋 它在神經元狀態變化中引入了統計概率,網路的平衡狀態服從boltzmann分布,網路執行機制基於模擬退火演算法。離散hopfield神經網路...

受限玻爾茲曼機二

限制波爾茲曼機rbm使用方法 限制波爾茲曼機rbm能量模型 從能量模型到概率 求解極大似然 用到的抽樣方法 馬爾科夫蒙特卡羅簡介 參考文獻 利用上面的公式得到的是某個單元狀態為1的輸出概率。那麼怎樣才能確定這個單元的狀態是1呢?它通過產生乙個0 1的隨機,如果這個隨機數小於上面得到的概率值,這個單元...

受限玻爾茲曼機二

博主falao beiliu寫的一篇非常好的文章。這裡為方便自己以後速查,做個導航。原文目錄 限制波爾茲曼機rbm使用方法 限制波爾茲曼機rbm能量模型 從能量模型到概率 求解極大似然 用到的抽樣方法 馬爾科夫蒙特卡羅簡介 參考文獻 利用上面的公式得到的是某個單元狀態為1的輸出概率。那麼怎樣才能確定...