生成對抗網路GAN(一) 簡介和變種

2021-08-10 16:55:28 字數 1628 閱讀 7897

零和遊戲(zero-sum game)

納什均衡

minimax演算法

gan借鑑了零和遊戲的思想,引入生成網路和辨別網路,讓兩個網路互相博弈,當辨別網路不能辨別資料來自於真實分布還是生成網路的時候,此時的生成網路可以當做乙個資料分布到另乙個資料分布的轉化器。

假設生成網路g

gg,辨別網路d

dd,noise資料z

zz,noise分布pz(

z)p_z(z)

pz​(z)

,data資料x

xx,data分布p

gp_g

pg​目標函式:

m in

gmax

dv(d

,g)=

ex∼p

data

(x)[

logd

(x)]

+ez∼

pz(z

)[lo

g(1−

d(g(

z)))

]min_max_v(d,g)=\mathbb e_(x)}[log d(x)]+\mathbb e_(z)}[log(1-d(g(z)))]

ming​m

axd​

v(d,

g)=e

x∼pd

ata​

(x)​

[log

d(x)

]+ez

∼pz​

(z)​

[log

(1−d

(g(z

)))]

max: 最大化辨別網路的辨別能力

min: 相當於最大化把g(z

)g(z)

g(z)

當成x

xx的概率(以假亂真)

###訓練流程

實際引數更新如下圖

優點:

缺點:ls-gan使用least squares作為loss function:

[外鏈轉存失敗,源站可能有防盜煉機制,建議將儲存下來直接上傳(img-qbc8z0gz-1618585505507)(./1495529121066.png)]

a是fake data的label,b是real data的label

相比於原始gan的sigmoid的交叉熵,有兩個優勢:

兩組引數

生成對抗網路(一)GAN

最近在研究深度學習相關的知識,看了cnn rnn dnn等經典的神經網路,然後研究了一下生成模型,也就是今天要講的生成對抗網路 gan 打算出乙個系列,畢竟關於生成對抗網路的 太多了,github上有整理,有興趣的小夥伴可以自己看看原 順便跑一下 真的很有意思。gan自誕生起一直頗受讚譽,後期也衍生...

GAN 生成對抗網路

原理 假設我們有兩個網路 乙個生g generator 乙個判別d discriminator g是乙個生成的的網路,它接受乙個隨機的雜訊z,通過這個雜訊生成,記做g z d是乙個判別網路,判斷一張是不是 真實的 它的輸入引數是x,x代表一張的。輸出d x 代表x為真實的概率,如果為1,就代表100...

生成對抗網路 GAN

原文 generative adversarial networks 模型組成 核心公式 演算法圖示化描述 全域性最優點 pg pdata 效果與對比展望 ming maxdv d,g exp data x logd x exp x x log 1 d g z 分析 上方為 gan 網路的核心演算法...