GAN 02 GAN在風格遷移上的應用

2021-10-11 07:46:41 字數 934 閱讀 9603

本文是對的學習筆記

1. cyclegan:在傳統風格遷移演算法中:認為backbone的淺層包含紋理、顏色資訊;深層包含結構資訊,並用gram描述style feature相似性,二範數描述content feature相似性。還可以建立類似auto-encoder的框架,用兩個生成器代替encoder和decoder,其中第乙個生成器用於將做風格遷移,第二個生成器用於將上一步輸出轉換為原始,保證相似性。

2. stargan:對域有了更細粒度、更語義的劃分。

1. cyclegan

考慮用gan去生成去生成不同風格的,增加乙個判別器,判別這張是真實還是偽造的。

但上圖的結構是危險的,因為當生成器足夠深時,它可能生成一張和domain y中某張的style/content完全一致的,這會導致模型忽略輸入。因此,我們需要保****的輸出和輸入具有很高的相似性,即不丟失原圖的contet feature。

再進一步,cyclegan可以做成雙向的:

但是,因為需在判別器處拿高分,gx->y可能會學習將原圖的一些不適用於風格相似性的東西隱藏掉,然後在第二個生成網路中又復原出來。

2. stargan

如果希望建立多個域之間的關聯,每兩個域之間需要兩個生成器。因此stargan希望只用乙個生成器去實現所有domain之間的轉換。對於判別器,它的輸入是一張,輸出是real/fake image以及屬於哪個domain。對於生成器,它輸入目標domain和,輸出是符合目標domain的。

GAN學習系列2 GAN的起源

本文大約 5000 字,閱讀大約需要 10 分鐘 這是 gan 學習系列的第二篇文章,這篇文章將開始介紹 gan 的起源之作,鼻祖,也就是 ian goodfellow 在 2014 年發表在 iclr 的 generative adversarial networks 當然由於數學功底有限,所以會...

gan網路損失函式 GAN的損失函式

理解生成對抗網路的關鍵在於理解gan的損失函式 js散度 gan實際是通過對先驗分布施加乙個運算g,來擬合乙個新的分布 如果從傳統的判別式網路的思路出發,只要選定合適的loss,就可以使生成分布和真實分布之間的距離盡可能逼近 kl散度經常用來衡量分布之間距離 但kl散度是不對稱的。不對稱意味著,對於...

GAN原理總結

趁著期末補報告的機會,順便發個 基本上是兩篇經典文獻generative adversarial networks與unsupervised representation learning with deep convolutional generative adversarial networks...