Adobe超解析度演算法 SRNTT

2022-05-13 19:22:02 字數 1111 閱讀 3908

**:image super-resolution by neural texture transfer

srntt

adobe 研究院與田納西大學的研究者提出。

基於參照的超解析度

與 lr 輸入有相似內容的參照(ref)影象。

已有的 refsr 方法是採用內部示例(self-example)或外部高頻資訊來增強紋理。但是,這些方法都假設參照影象與 lr 影象有相似的內容和/或有良好的對齊。否則,它們的表現會有顯著的下降,甚至會比sisr 方法更差。

相對而言,ref 影象在我們的設定中則發揮著不同的作用:無需與 lr 影象有良好的對齊或相似的內容。我們只希望將形義相關的紋理從 ref 影象遷移到輸出的 sr 影象。理想情況下,在存在良好的 ref 影象時,穩健的refsr 演算法應當優於 sisr,並且在沒有提供 ref 影象或完全不含相關紋理時也能得到與 sisr 相當的表現。注意,內容相似性可以推斷出紋理相似性,但反過來不成立。

srntt 框架,包含特徵交換和紋理遷移:

提出的 srntt 的目標是:給定參照影象,根據低解析度影象估計得到更高解析度的影象,使得到的超解析度影象能根據參照影象合成可信的紋理,同時在內容上保持與低解析度影象一致。

其中的主要思想是在特徵空間中搜尋與參照影象匹配的特徵,然後以多尺度的方式將匹配的特徵遷移到超解析度影象,因為特徵在面對顏色和光照條件變化時更為穩健。這種多尺度紋理遷移能同時考慮低解析度影象和參照影象在形義(高層面)和紋理(低層面)上的相似性,從而能在抑制不相關紋理的同時遷移相關的紋理。

【**自】

adobe提出新型超解析度方法:用神經網路遷移參照影象紋理

【相關 】

[**筆記] image super-resolution by neural texture transfer (cvpr2019) - deephome的部落格 - csdn部落格

「image processing」note on srntt - 小鋒子shawn - csdn部落格

超十億樣本煉就的cnn助力影象質量增強,adobe推出新功能「增強細節」 | 機器之心

超解析度參考

數字影象的儲存 影象四種型別 按照顏色 灰度劃分 影象超解析度及相關知識 簡介 超解析度知識筆記 學習筆記之 基於深度學習的影象超解析度重構 帶打包 兩篇乾貨滿滿的csdn博文 從srcnn到edsr,總結深度學習端到端超解析度方法發展歷程 影象超分辨之zssr 基於dl的超解析度 去噪近幾年 一篇...

DRRN超解析度

全名 image super resolution via deep recursive residual network code 這是一篇cvpr2017的關於影象超解析度的文章,相較於vdsr取得了更好的結果,從結構上看,還是之前的基調,更深的網路結構 52層 同時採取了遞迴操作,遞迴模組中存...

超解析度重建總結

1.srcnn 2,3改進 開山之作,三個卷積層,輸入影象是低解析度影象經過雙三次 bicubic 插值和高解析度乙個尺寸後輸入cnn。影象塊的提取和特徵表示,特徵非線性對映和最終的重建。使用均方誤差 mse 作為損失函式。2.fsrcnn 特徵提取 低解析度影象,選取的核9 9設定為5 5。收縮 ...