Deep Image Prior文章解析

2021-08-11 15:11:56 字數 1647 閱讀 6573

昨天(11月30)出了名叫「deepimage prior」 的這篇文章,文章在影象轉換任務上處理效果很好,而且提出了乙個很驚人的思想,認為模型可以不通過對於資料集上進行學習和預訓練就能實現影象轉換任務:例如去噪,超分,inpainting等任務,只需要調節一些超引數例如網路訓練次數和學習率等。

深度卷積神經網路能夠很好處理影象生成,和修復任務,其主要的優勢在於模型對於大量的資料樣本集進行訓練,使得模型能夠學習到這些資料的先驗資訊,從而在對於影象處理的時候表現優異。但是文章發現,實際中生成網路能夠在模型學習之前就能有效掌握大量low-level的影象統計學資訊。證明的實驗是,利用乙個隨機初始化的神經網路就可以作為乙個「人工先驗」,可以直接應用在影象去噪,超分辨,影象修復等任務中。

目前在影象復原,影象生成任務中表現優異的卷積神經網路都是使用大量的資料集進行訓練,以往通常的解釋是,網路能夠學到資料的先驗資訊。但是這種學習能力不能單一解釋深度網路的有效性。例如,[1]作者研究中發現,在真實資料集中訓練好的分類模型也會出現過擬合的現象,給出隨機的label輸出(這段論據我沒有看的很懂,我認為這是正常的,可能是我沒有閱讀過這篇文章,後續會看一看仔細剖析一下)。

本篇文章認為,影象的統計學資訊是被卷積的影象產生的而不是被網路學習得到的。

為了證實這一點,作者使用沒有被訓練的卷積生成網路來處理上述中影象轉換任務。

作者發現這種構想是更加卓越的方法,因為網路沒有對於資料進行過訓練;由於網路權重是隨機的,所以唯一的先驗資訊是來自網路結構本身。這種思路在之前是沒有被提出過的。

1.使用隨機引數初始化深度卷積網路f;

2.之後利用gan思想,將一組固定的隨機向量編碼z作為網路的輸入;

3.網路的目標是將輸入的編碼z進行不斷的分布學習,得到一張x,從而對於網路的引數進行訓練,來實現影象修復任務;

4.模型選擇的損失函式主要是生成影象和真實影象之間的mse,第二項為正則化項:

5.模型使用網路結構是gan網路中使用的自編解碼網路結構,網路引數個數大約是2百萬個;

通過這樣的研究意味著,限定模型的訓練迭代次數之後,可以將影象任務優先完成,而隨機雜訊等就會在未收斂時被去除,從而達到去噪的任務。

通過這樣的思想,作者發現在生成模型訓練很久之後,模型f可以生成和x一致分布的影象x~;而在訓練中進行迭代次數限制之後,可以讓模型輸出修復的影象x^;

這樣的實驗說明了生成網路有一種能力,能夠先學會影象x中沒有被破壞的部分,然後再學習被破壞部分的優化。例如,會學習如何複製一張沒有雜訊的影象,然後再去複製這些雜訊點。

這種不需要對於預修復資料集進行訓練的方法能夠實現模型的轉化任務,並且對比與專一的轉化模型方法,如去噪的cbm3d,超分辨的srresnet,lapsrn,影象inpainting的globally and locally consistent image completion等方法,這種模型思想更加簡單而且通用性強,網路引數也可能會少一些(我個人的看法),儘管模型還沒有達到上述模型那麼高的處理效能,但是模型也是有不錯的處理效果。

下面是實驗對比:

1.去噪:

2.超分辨x4

3.inpainting

[1]: c. zhang, s. bengio, m. hardt, b.recht, and o. vinyals. understanding deep learning requires rethinkinggeneralization. in proc. iclr, 2017. 2

NSSpeechSynthesizer 文字變語音

nsspeechsynthesizer 是 foundation中的乙個類,這個類可以方便的在cocoa應用程式中新增 文字到語言 功能。開發者可以使用這個類向ios 引用程式中新增類似功能。效果圖如下 截圖 speechutterance引數說明 utterance.voice 語系 不區分大小寫...

FileSystemWatcher判斷檔案複製完成

使用 filesystemwatcher 監視指定目錄中的更改。可監視指定目錄中的檔案或子目錄的更改。該元件可以監視本地計算機 網路驅動器或遠端計算機上的檔案。可監視目錄或檔案中的若干種更改。例如,可監視檔案或目錄的 attributes lastwrite 日期和時間或 size 方面的更改。通過...

Vmware Window Linux 共享資料夾

問題描述 在虛擬機器vmware 8.0下,其中宿主機系統為window 7,安裝的虛擬機器系統為ubuntu 12.04 x64,通過使用共享資料夾的方式,實現兩個系統的通訊。預備工作 虛擬機器需要安裝vmware tools。解決方案 1.在虛擬機器的詳細設定下,選擇啟用共享資料夾。右擊虛擬機器...