計算成像資料整理2

2022-05-13 21:18:06 字數 3859 閱讀 1339

定義:凡是在成像過程中參與了計算過程的成像方式都可以認為是計算成像。

計算成像能夠實現傳統成像無法完成的任務,例如:去除運動模糊、超解析度重建等。

在實際應用中,計算成像主要在以下三個方面對成像改進:

增大景深與全景深成像- ostartech -

計算成像的英文是computational imaging,在國外與之相近的叫計算攝像學(computational photography)。這門學科是一門將計算機視覺、數字訊號處理、圖形學等深度交叉的新興學科,旨在結合計算、數字感測器、光學系統和智慧型光照等技術,從成像機理上來改進傳統相機,並將硬體設計與軟體計算能力有機結合,突破經典成像模型和數字相機的侷限性,增強或者擴充套件傳統數字相機的資料採集能力,全方位地捕捉真實世界的場景資訊。

針對於實際應用中的問題,計算成像主要可以在大視場、高解析度、全景深等方便進行提高。

在擴大視場方面,典型的做法是微相機陣列拼接與複眼仿生;

在提高成像解析度方面,典型的做法是採用各種超解析度演算法;

在增大景深方面,典型的做法是利用波前編碼技術。

(1)微相機陣列拼接 

結合微相機陣列的大視場成像系統主要利用球透鏡成像的軸向對稱性,結合微相機陣列與後期的計算成像技術,實現寬視場和高解析度效果的成像結果。結合微相機陣列的大視場成像系統包括乙個共心光學主透鏡組和一系列小的光學元件組成的微相機陣列,共心光學主透鏡組將觀測視場成像於球面一次像面,微相機陣列在距一次像面一定位置處成球面分布,一次成像面經過微相機陣列折轉後被分割成一系列子影象,相鄰微相機陣列之間存在視場重疊,利用影象處理演算法,將每乙個微相機拍攝的小視場影象拼接為一幅寬視場影象,最終實現寬視場成像。

(2)複眼仿生 

節肢動物的複眼一直是科學家感興趣的研究物件。複眼有非常大的視角和景深,對運動物體的感應也十分靈敏。模擬複眼特性的仿生複眼照相機可實現視角和景深極大化,且不會產生軸外像差。人造同位複眼照相機由一組彈性微型透鏡陣列和一組可變形的矽基光電感  應陣列組成,分別布置在彈性薄膜基底的兩側,其中每個微型透鏡和光感元件構成乙個「小眼」。這兩個陣列都在平面上製造並組裝起來,然後經由彈性變形轉換成近乎完整的半球形狀(160度),上面整合了180個小眼,與火蟻和樹皮甲蟲複眼中的小眼數相近。這一特性使新相機實現了視角和景深的極大化。可拉伸電子器件對於仿生複眼照相機的研製起到了關鍵作用。因為傳統的脆性電子器件不能承受變形,無法像昆蟲的複眼那樣把光電感應陣列分布在乙個半球形的表面上。仿生複眼照相機具有的所謂「同位」功能,是指彈性薄膜基底在液壓調控下變形成任意曲率的球面時,微型透鏡和光感元件都能保持高度對應性,從而確保複眼照相機不會發生軸外像差,即由於折射球面存在球面像差和像面彎曲,衍生出實際像與理想像的偏差。

(3)球面探測器 

完全對稱的共心光學系統各球面共心,沒有與視場相關的像差,容易實現大視場,其像面為球面,如果採用曲面探測器則可以較好地匹配光學系統,但是基於目前曲面探測器的發展狀況,實現球形像面的困難較多。谷歌公司2023年01月27日申請公布的發明專利《曲面基板上的光電探測器陣列》提出將多個光電探測器定位在由光學系統限定的彎曲的焦曲面上的精確位置。為了實現該定位,光電探測器可以被安裝在平坦配置的柔性基板上的期望位置處。安裝有光電探測器的柔性基板可以被成形為與彎曲的焦曲面的形狀基本上一致。該成形可以通過將柔性基板夾在至少兩個夾緊件之間而實現。夾在所述至少兩個夾緊件之間的彎曲的柔性基板可以被相對於光學系統定位,使得光電探測器位於彎曲的焦曲面上的期望三維位置處。

增加空間解析度最直接的解決方法就是通過感測器製造技術減少畫素尺寸(例如增加每單元面積的畫素數量)。然而,隨著畫素尺寸的減少,光通量也隨之減少,它所產生的散粒雜訊使得影象質量嚴重惡化。不受散粒雜訊的影響而減少畫素的尺寸有乙個極限,對於0.35微公尺的cmos處理器,畫素的理想極限尺寸大約是40平方微公尺。當前的影象感測器技術大多能達到這個水平。 

另外乙個增加空間解析度的方法是增加晶元的尺寸,從而增加影象的容量。因為很難提高大容量的耦合轉換率,因此這種方法一般不認為是有效的。在許多高解析度影象的商業應用領域,高精度光學和影象感測器的**格也是乙個必須考慮的重要因素。因此,有必要採用一種新的方法來增加空間解析度,從而克服感測器和光學製造技術的限制。

(1)超解析度重建 

影象超解析度是指由一幅低解析度影象或影象序列恢復出高解析度影象,高解析度影象意味著影象具有高畫素密度,可以提供更多的細節,這些細節往往在應用中起到關鍵作用。影象超解析度技術分為超解析度復原和超解析度重建。超解析度重構的基本過程為:先進行影象退化分析,然後進行影象的配準,最後根據配準的資訊對影象進行重構。目前,影象超解析度研究可分為3個主要範疇:基於插值、基於重建和基於學習的方法。具體方法有:規整化重建方法,均勻空間樣本內插方法,迭代反投影方法(ibp),集合理論重建方法(凸集投影pocs),統計重建方法(最大後驗概率map和最大似然估計ml),混合ml/map/pocs方法,自適應濾波/維納濾波/卡爾曼濾波方法,確定性重建方法基於學習和模式識別的方法。

通過對獲得的低解析度影象進行處理以後,一方面能夠對成像光學系統的點擴充套件函式進行反卷積,去除光學系統的影響;另一方面能夠獲得顯示影象的像元總數增加,同時也希望在處理過程中去除相應的成像系統的雜訊等。通過這些處理以後,影象的解析度得到了改善,但獲得的並不一定是真實的高解析度影象,而是對真實高解析度影象的某種估計,因而通常稱所獲得的影象為超解析度影象,相應處理過程為超解析度影象重建。超解析度涉及的兩個問題:a)影象修復:改良光照不均勻、雜訊較多的影象,但是不改變影象大小;b)影象插值改變影象大小,對單張影象進行插值並不屬於超解析度重建技術。影象插值,即增加單幅影象的尺寸。插值也分線性插值與非線性插值,其中線性插值最簡單,容易實現。儘管這個領域已經被廣泛地研究,即使一些基本的功能已經建立,從一幅近似的低解析度影象放大影象的質量仍然是有限的,這是因為對單幅影象插值不能恢復在低解析度取樣過程中損失的高頻部分,因此影象插值方法不能被認作是超解析度重建技術。為了在這方面有更大的改進,下一步就需要應用基於同一場景的相關的額外資料,基於同一場景的不同的觀察資訊的融合就構成了基於場景的超解析度重建復原。

基於學習的概念首次由freeman提出,基本思想是先學習低解析度影象與高解析度影象之間的關係,利用這種關係來指導對影象進行超解析度。馬爾可夫網路建模低解析度和高解析度影象塊間的關係,學習因降質丟失的高頻分量,然後與插值得到的初始估計相加恢復出高解析度影象。主要方法有:有效組織影象塊資料庫提高匹配效率,通過主要輪廓先驗增強影象質量,基於流形學習的方法,利用多尺度張量投票理論來估計位置的高解析度影象,融合不同尺寸的影象進行解析度增強。

(2)雙目視覺 

雙目視覺是模擬人類視覺原理,使用計算機被動感知距離的方法,它是基於視差原理並由多幅影象獲取物體三維幾何資訊的方法。雙目立體視覺系統一般由雙攝像機從不同角度同時獲得被測物的兩幅數字影象,或由單攝像機在不同時刻從不同角度獲得被測物的兩幅數字影象,並基於視差原理恢復出物體的三維幾何資訊,重建物體三維輪廓及位置。雙目立體視覺系統在機器視覺領域有著廣泛的應用前景。從兩個或者多個點觀察乙個物體,獲取在不同視角下的影象,根據影象之間畫素的匹配關係,通過三角測量原理計算出畫素之間的偏移來獲取物體的三維資訊。得到了物體的景深資訊,就可以計算出物體與相機之間的實際距離,物體3維大小,兩點之間實際距離。目前也有很多研究機構進行3維物體識別,來解決2d演算法無法處理遮擋,姿態變化的問題,提高物體的識別率。雙目視覺演算法流程如下:

(3)雙攝像頭 

華為 p9 採用雙攝像頭設計,兩個攝像頭做不同的事情。兩個攝像頭中的一顆採用了索尼 imx 286 感測器,這個用於捕捉物體的 rgb 顏色;而另外一顆採用了 monochrome 黑白攝像頭用於捕捉物體的黑白影像。通過黑白攝像頭的大進光量捕捉到更清晰的物體細節;而通過 imx 286 的 rgb 顏色攝像頭去考慮顏色,就是配備一顆攝像頭負責記錄色彩,一顆黑白負責記錄細節輪廓。當 p9 拿到 rgb 攝像頭捕捉到的彩色資訊的和黑白大進光量的 monochrome 攝像頭捕捉到的細節時,通過軟體演算法將兩張合成。這樣理論上我們會獲得一張拍攝質量更好的**,特別是在高亮以及暗處的細節表現上。

【參考資料】

MV 成像幾何 2

最後一點點。3d視覺,是從2d場景中推測出3d資訊,主要困難有幾何和radiometric上的。幾何問題是單獨的不能提供3d結構的完整資訊,另乙個問題是建立強度影象的物理過程過於複雜。不是所有的輸入引數都是已知的。立體視覺通常需要使用兩個攝像機。stereopsis是視覺感知的乙個過程,它能讓人產生...

資料庫整理2

mysql 外掛程式式儲存引擎的資料庫 儲存引擎 儲存方式 磁碟 1.myisam 不支援外來鍵,不支援事務 支援全文索引,底層用b 樹 支援表鎖 2.innodb 支援外來鍵,支援事務 不支援全文索引,底層用b 樹 支援行鎖 3.memory 資料存在記憶體上,讀寫效率高,適合儲存臨時表資料 不考...

DB2常用資料整理

db2 基礎 日期和時間的使用 db2 中的列組統計資訊 dba將向何處去?db2 9.5 for linux的安裝方法 db 完整性控制 db2和oracle體系結構 建立db2伺服器報表並在前端access顯示 db2 備份恢復和錯誤處理方法 修改db2預設值,降低記憶體占用 db2 v9 64...