生成對抗網路的訓練技巧

2021-09-17 03:37:34 字數 393 閱讀 8579

①使用tanh作為生成器最後一層的啟用,而不用sigmoid;

②使用正太分布對潛在空間中的點進行啟用,而不用均勻分布;

③稀疏的梯度會阻礙gan的訓練,而最大池化運算和relu啟用可能會導致梯度稀疏,所以使用帶步長卷積取代池化,使用leakyrelu取代relu;

④生成的影象中可能會出現偽影,這是由於生成器中畫素空間的不均勻覆蓋導致的,所以卷積時使用的核心大小要能被步幅大小整除;

⑤label平滑,也就是說,如果有兩個目標label:real=1 和 fake=0,那麼對於每個新樣本,如果是real,那麼把label替換為0.7~1.2之間的隨機值;如果樣本是fake,那麼把label替換為0.0~0.3之間的隨機值;還可以在訓練判別器時向標籤中新增雜訊;

⑥適當採用批標準化和梯度正則化。

半監督生成對抗網路 生成對抗網路

一 生成對抗網路相關概念 一 生成模型在概率統計理論中,生成模型是指能夠在給定某些隱含引數的條件下,隨機生成觀測資料的模型,它給觀測值和標註資料序列指定乙個聯合概率分布。在機器學習中,生成模型可以用來直接對資料建模,也可以用來建立變數間的條件概率分布。通常可以分為兩個型別,一種是可以完全表示出資料確...

生成對抗網路 生成對抗網路的簡單介紹

近年來,在人工智慧領域深度學習取得了令人矚目的成就,在計算機視覺 自然語言處理等各種領域都取得了突破性的進展。深度學習現今主要是依靠神經網路模型來進行學習的,可大致分為三種基礎模型,首先的就是卷積神經網路 convolutional neural networks,cnns,1998 迴圈神經網路 ...

生成對抗網路

我們提出乙個框架來通過對抗方式評估生成模型,我們同時訓練兩個模型 乙個生成模型g捕捉資料分布,乙個鑑別模型d估計乙個樣本來自於訓練資料而不是g的概率。g的訓練過程是最大化d犯錯的概率。這個框架與minmax兩個玩家的遊戲相對應。在任意函式g和d的空間存在乙個唯一解,g恢復訓練資料的分布,d等於1 2...