srgan要訓練多久 SRGAN閱讀筆記

2021-10-13 11:20:03 字數 1287 閱讀 3991

abstract

cnn在傳統的單幀超解析度重建上取得了非常好的效果,可以取得較高的峰值訊雜比(psnr)。他們大都以mse為最小化的目標函式,這樣雖然可以取得較高的峰值訊雜比,但是當影象下取樣倍數較高時,重建的得到的會過於平滑,丟失細節。本文提出了利用gan來進行超解析度重建的方法,該網路是第乙個能恢復4倍下取樣影象的框架。作者提出的損失函式有兩部分組成:對抗損失,內容損失。

對抗損失將影象對映到高位流形空間,並用判別網路去判別重建後的影象和原始影象。而內容損失則是基於感覺相似性(perceptual similarity)而非畫素相似性(pixel similarity)。

intruction

所謂超解析度重建就是將低解析度影象恢復成對應的高解析度影象。但是由於低解析度影象資訊的缺失,這是乙個病態的求逆問題,尤其是在恢復的倍數較高的時候。傳統的方法考慮加入一些先驗資訊以恢復高解析度影象(如插值法),此外,還有基於回歸方法的隨記森林也可以用於超分問題。稀疏學習,cnn在超分上也取得了非常好的效果,特別是cnn,使得超分已經可以達到實時應用。

method

作者提出的網路結構如下:

網路結構

生成網路由殘差結構組成,並結合bn,生成的影象丟到判別網路中,交給判別器判斷是生成的高解析度影象還是真正的高解析度影象。

作者主要的創新點在於代價函式的設計,尤其是將逐畫素損失替換為內容損失。作者提出的損失函式由以下三部分加權組成:

content loss

內容損失函式

這一項說白了就是對某一層的特徵圖的逐畫素損失作為內容損失(而不是最後輸出結果的逐畫素損失)。這樣可以學得影象所在的流形空間。(這句話我也沒太懂是什麼意思!個人理解,大概就是可以學得一些高層的語義特徵,結構資訊)

adversarial loss

對抗損失項

作者用的對抗損失項用:

負對數求和替換原來的代價函式,這樣有利於訓練。(作者給的參考文獻提到了原因,有興趣可以看看)。

regularization loss

作者利用基於全變差的正則項以鼓勵產生具有空間相似性的結果。具體公式如下:

正則損失

experiments

作者用sub-pixel網路作為生成網路,用vgg作為判別網路構建gan得到了非常好的結果,但是這個用的是逐畫素差作為損失函式。

之後,作者嘗試了自己提出的感知損失函式作為優化目標,雖然psnr和ssim不高,但是視覺效果都要優於其他網路,避免了其他方法的過度平滑的特性。

conclusion

提出的srresnet取得了state-of-art的結果

將感知損失引入gan,實現了4倍超解析度重建

SRGAN閱讀筆記

photo realistic single image super resolution using a generative adversarial github srgan cnn在傳統的單幀超解析度重建上取得了非常好的效果,可以取得較高的峰值訊雜比 psnr 他們大都以mse為最小化的目標函...

損失函式 SRGAN損失函式(目標函式)詳解

srgan的特點之一就是引進了損失感知函式,由此提公升了超解析度之後的細節資訊。本文主要像您介紹srgan使用的損失函式,及其keras實現。這是原文中給出的損失函式。容易看出,此損失函式包括兩部分,第一部分是感知損失,第二部分是正則化損失。感知損失是由李飛飛團隊提出的一種損失函式。感知損失分了兩部...

學維修電腦要多久 保定學當眾講話要多久

保定學當眾講話要多久 新勵成口才學校,勵志幫助學員提公升說話邏輯,清晰講話思路,克服當眾演講恐懼 課程安排有公眾講話,述職匯報演講,人際關係溝通技巧技銷售口才,科學發聲等課程。學員的成功見證.諮詢享0元課程 現在社會是多元化的時代,它在飛速發展的同時,對我們綜合素質的要求也越來越高。不僅要求有的工作...