DBM 和 DBN 的區別

2021-07-05 13:58:54 字數 1263 閱讀 1971

下邊這部分摘自知乎:

首先,還是糾正下題主,直接疊加rbm是dbn。

而dbm是乙個真正的無向圖模型,層間互有反饋。

dbn是hiton在06年發表在science上的「reducing the dimensionality of data with neural networks.」這篇文章中提到的方法,具體的細節不做過多闡述,

因為確實很簡介,就是簡單的疊加rbm,逐層訓練後來個最後的fine turn

。方便快捷,而且效果也不錯,現在經常用來做一些dnn和cnn的預訓練,值得注意的是,hinton在imagenet上的比賽雖然是用的cnn模型,但是就是利用的dbn做的預訓練。

重點說下dbm,這是我比較喜歡的乙個dl模型。

為什麼喜歡,因為dbm才是真正的深度rbm模型!

為什麼喜歡,因為dbm才是真正的深度rbm模型!

為什麼喜歡,因為dbm才是真正的深度rbm模型!

好吧,這只是我的想法。

rbm,作為乙個概率神經網路,當然也可以理解成乙個無向圖模型,有一點我覺得很重要,那就是連線的無向性,也正是這個性質,才讓模型符合了統計力學的各種理論,建立起美妙卻虐人的rbm。但是dbn,無疑是乙個向計算妥協了的折衷模型。

可以看下dbn的模型結構,就是說其實在計算中,低層的分布並不依賴與高層。這句可能有些難懂,放在後面細說。再來看下dbm的模型,和dbn最大的不同,就是dbm的低層的分布求解其實也依賴與高層的分布。簡單的說,dbn的h1層是依賴v的分布,但是dbm的h1卻同時依賴h2和v。

這有什麼區別呢,其實如果從效果來看,dbm僅僅是比dbn的魯棒性更好而已,但是計算代價卻。。。不忍直視。我感覺這就是為什麼hinton大神先提出了dbn,一上來就搞個需要各種mean field 各種變分分析求解的模型,很多任務科背景的人可能會直接忽略吧。。。但是先搞個親民版的dbn,大家一看,效果不錯啊,在來繼續深究dbm,恩,就會有一些像我這樣的傻瓜入坑了。。。

dbm的東西太多,雖然推導都非常漂亮,但是一時半會兒也說不清楚,不過dbm真的是個很美的模型!雖然現在貌似hinton老爺子都不怎麼搞dbm,完全由他的ruslan salakhutdinov**再搞。但是這種將統計力學和圖模型還有神經網路完美結合的模型,想想就讓人很興奮呢!

參考文獻

reducing the dimensionality of data with neural networks

deep boltzmann machines

dbm和db的關係 區別

所謂的dbw就是跟 功率跟1瓦比,既10lg 功率 1瓦特 dbm就是功率跟1毫瓦比,既10lg 功率 1毫瓦 所以0dbw就是它跟1瓦比算出來的結果是0,即它也是1瓦。所以1瓦等於1000毫瓦,跟1毫瓦比算出來的結果就是30,所以0dbw 30dbm.db,表示乙個相對值。當計算a的功率相比於b大...

dbm與mysql區別 dbm資料庫

所有版本的linux以及大多數的unix版本都隨系統帶有乙個基本的 但卻非常搞笑的資料儲存歷程集,他被稱為dbm資料庫。適用於儲存比較靜態的索引化資料庫,即使用索引來儲存可變長的資料結構,然後通過索引或順序掃瞄資料庫來檢索結構,適用於處理那些被頻繁訪問但卻很少被更新的資料,因為建立資料項時非常慢,而...

dB和dBm又有什麼區別?

首先,db 是乙個純計數單位 db 10logx。db的意義其實再簡單不過了,就是把乙個很大 後面跟一長串0的 或者很小 前面有一長串0的 的數比較簡短地表示出來。如 x 1000000000000000 多少個了?10logx 150 db x 0.000000000000001 10logx 1...