深度學習 42 EBGAN

2021-08-18 15:15:56 字數 1175 閱讀 2891

**:energy-based generative adversarial networks

ebgan的思想是,將d網路看做乙個能量方程。當g網路生成的資料靠近真實的資料流形區域時能量就比較低,相反的能量就高。ebgan能生成更好的以及更高解析度(256*256)

ebgan的損失函式不再是傳統gan使用交叉熵損失函式。而是:

其中d(x) = ||dec(enc(x))-x||,也就是d網路是乙個自編碼網路,d(x)是重構誤差。[⋅

]+=m

ax(0

,⋅) ,而m是乙個常數。該損失函式也叫margin loss。**還對該損失函式的最優解進行了證明,具體可參考**2.2小節。

剛才提到d網路的是個自編碼器,我們可以看看整個ebgan的結構圖:

這個設計的合理性:

1、相較於只使用1bit的資訊來訓練模型,使用重構誤差的損失函式會有更多的資訊提供給d網路。binary logistic loss只有簡單的兩個targets來更新模型,因此在乙個batch裡面不同的樣本的梯度不是正交的(沒有區分度),這樣使得模型訓練起來很低效。而重構誤差損失函式對於不同的樣本的梯度則能夠避免上述情況發生。

2、自編碼器本身就很適合表徵基於能量的模型。只要有合適的正則項自編碼器就能夠不使用監督或者反例資料,而很好的學習能量流形。

為了使得g網路能夠生成多樣性的,作者還提出了乙個正則項pulling-away term(pt):

其中,s∈r

s∗n 表示乙個batch的樣本的encoder輸出特徵。

與dcgan的比較

imagenet上生成128*128 和256*256的:

深度學習筆記(42) 人臉識別

現在可以看到很多產品在運用人臉識別,如手機解鎖 車站身份識別認證 刷臉支付等 在人臉識別的相關文獻中,人們經常提到 有時候也被稱作1對1問題 只需要弄明白這個人是否和他聲稱的身份相符 而人臉識別問題比人臉驗證問題難很多 因為這是1對多問題 1 k 假設有乙個驗證系統,準確率是99 自我感覺還可以 但...

學習筆記42

程序和執行緒 現代作業系統比如mac os x,unix,linux,windows等,都是支援 多工 的作業系統。多工 簡單地說,就是作業系統可以同時執行多個任務。單核cpu執行多工 作業系統輪流讓各個任務交替執行,任務1執行0.01秒,切換到任務2,任務2執行0.01秒,再切換到任務3,執行0....

學習記錄(4 2)

關於本週的學習,emmm,初步來看的話,應該算是逐漸走上一條較為通暢的路了。首先是從聽網課來入手的,網課的進度是從檔案上傳這一題型入手,現在是已經初步聽完,且看了一定量的題目 有的題目看了wp之後還是不太會 然後就是去初步了解,檔案上傳漏洞中需要用到的一些知識和工具,比如說繞過還有菜刀 蟻劍等等。這...