對抗生成網路GAN可以合成什麼樣的模型和資料?

2021-10-04 21:01:09 字數 1424 閱讀 1619

目前,大多數的gan都主要集中在生成影象上,且依賴於一些標準的資料集。像mnist,cifar-10,stl,celeba和imagenet等。傳聞中,gan在某些資料集上要好於另一些資料集。特別的,生成像cifar-10和celeba的要比生成像imagenet一樣的要容易些。還有一些人注意到用gan生成像imagenet這樣有很多標籤或者類的影象有點難。這些經驗基本上都有一些實驗結果支撐著。

但是,我們應該通過一些理論來證明為什麼在有很多標籤更複雜的資料集上訓練gan有一些困難。特別的,我們最好知道為什麼gan在這些資料集上發生了什麼作用。

一般情況下,我們可以先看一下資料集,做一些前期的計算(這時我們可能並沒有做一些實際的gan訓練過程),然後我們可以說用gan去生成這些資料是可以的,但是其他一些生成模型可能不行。這裡,我們認為有更多的事情值得被做,進而提出乙個問題:

問題:給定乙個分布,gan去模擬或生成這個分布有多難呢?

與此相關的,我們可能會問一些其他問題,如:模擬這個分布是什麼意思?我們是否滿足建立乙個較低支集的模型表示?或者我們最理想的結果是生成乙個幾乎真實的概率密度分布?這些分布是否可以使用gan來學習呢?對於gan來說,這些問題的答案是否與其他生成模型不同呢?

我們對此有兩個策略:

合成資料集:我們可以去研究合成的資料集,來調查哪些特性可以學習,哪些特性不可以被學習。例如,**就建立了乙個合成的三角形資料集,我們覺得我們可以進一步去研究。合成的資料集或許也可以被引數化方法來表示,比如連線性或者光滑性。這樣的乙個資料集也可以被用來研究其他生成模型。

修改現有的理論分析結果:我們可以使用現有的理論結果並嘗試修改一些假設條件以用在不同特性的資料集上。例如,我們可以看一看gan在給定單一分布的資料集上訓練會得到什麼樣的結果,然後也看看當資料集變成多模態時會發生什麼。

以下我們再說一說筆者目前所了解的gan生成上的一些難點:

1。多類別生成難於單類別生成,或者說gan生成的多樣性不是很好,這也就是所謂的模式坍塌問題。

2.生成細節較難,gan用來生成一些具有高度抽象的資料較為容易,相對來說生成具有清晰細節就比較難些。比如,生成高維特徵或隱空間變數較容易,還比如一些空間座標。但是相對來說,具有細節的影象則難一些,如imagenet。細節上會比較容易出現artifact,而高維特徵則不存在這個問題。換句話說,gang目前還無法有較好的區域性理解能力。

3.大解析度較難。

1:are gans created equal? a large-scale study

2:classification-reconstruction learning for open-set recognition

3:layoutgan: generating graphic layouts with wireframe discriminators

參考**:open questions about generative adversarial networks

GAN對抗生成網路

網上看了很多教程結合自己理解整合了一下。原文 看了很多篇中通俗易懂的。判別模型 比作乙個二分類器 如同0 1分類器 來判斷輸入的樣本是真是假。就是輸出值大於0.5還是小於0.5 比如上面的這個圖,我們有的只是真實採集而來的人臉樣本資料集,僅此而已,而且很關鍵的一點是我們連人臉資料集的類標籤都沒有,也...

對抗生成網路(GAN)學習筆記

判別模型 由資料直接學習決策函式y f x 或條件概率分布p y x 作為 模型,即判別模型。判別方法關心的是對於給定的輸入x,應該 什麼樣的輸出y。生成模型 由資料學習聯合概率分布p x,y 然後由p y x p x,y p x 求出概率分布p y x 作為 的模型。該方法表示了給定輸入x與產生輸...

GAN 生成對抗網路

原理 假設我們有兩個網路 乙個生g generator 乙個判別d discriminator g是乙個生成的的網路,它接受乙個隨機的雜訊z,通過這個雜訊生成,記做g z d是乙個判別網路,判斷一張是不是 真實的 它的輸入引數是x,x代表一張的。輸出d x 代表x為真實的概率,如果為1,就代表100...