深度學習 45 pix2pix

2021-08-18 16:46:31 字數 2247 閱讀 2774

**:image-to-image translation with conditional adversarial networks

第一篇用gan做到的轉換,效果還可以。**給出的一些例子:

pix2pix用的是條件gan,損失函式為:

與原始gan不同的是,g網路的輸入是一張待轉換的很隨機向量z(pix2pix沒加入向量z),d網路的輸入是待轉換x和目標y(同時觀察x和y,以判斷生成的是不是真實的)。

另外,pix2pix還為g網路加入了l1損失函式:

最終的損失函式為:

**分別使用了encoder-decoder網路和u-net,不過u-net的效果會比較好。u-net是在encoder-decoder的基礎上加入了跳躍連線。

最終的輸出是30*30的張量,而不是1個節點。通過控制d網路輸出張量的大小,就可以控制patch的大小。不同patch大小的影響:

l1:比較模糊,只生成低頻資訊,沒有高頻資訊

1*1:顏色豐富,空間資訊少

16*16:區域性形狀出來了,但是失真

70*70及以上:效果比較好。

太多了,參考**。

pix2pix演算法筆記

pix2pix演算法的示意圖如圖figure2所示,在圖中以基於影象邊緣生成影象為例介紹pix2pix的工作流程。首先輸入影象用y表示,輸入影象的邊緣影象用x表示,pix2pix在訓練時需要成對的影象 x和y x作為生成器g的輸入 隨機雜訊z在圖中並未畫出,去掉z不會對生成效果有太大影響,但假如將x...

深度學習 46 pix2pixHD

英偉達的pix2pixhd,能夠合成高畫質的2048 1024,簡直振奮人心。pix2pixhd是我之前介紹過的pix2pix的改進版本,使用多由粗到精的g網路和多尺度d網路 每個d網路都是用了pix2pix中同樣的patch技術 一開始用pix2pix嘗試合成更高解析度的,但發現效果不好,訓練也很...

pix2pixHD演算法筆記

影象到影象的翻譯是gan的乙個重要應用,表示基於輸入影象生成指定的輸出影象的過程,比如有監督的pix2pix 參考部落格 無監督的cyclegan 參考部落格 等。而基於語義分割圖生成對應影象可以看做是影象到影象的翻譯中的乙個特例,如figure1 a 所示,其中左下角是語義分割圖,模型基於這張圖生...