雙目視覺三維重構(一) 簡介

2021-09-07 03:36:22 字數 2717 閱讀 8921

csdn中關於立三維重構的介紹層出不窮,cnki中也有各類綜述對三維重構進行總結,撰寫這篇部落格僅作為本人對該類部落格、**的總結學習,加深自身學習的印象、作為學習的筆記。如有錯誤的地方,歡迎指正。

首先要了解立體匹配演算法,首先要知道立體匹配演算法主要具體應用於什麼方向。

個人認為,三維重構就是通過計算機視覺技術,將現實世界中物體的三維資訊獲取到計算機中的過程,使物體的三維資訊能夠通過點雲、網格等形式,顯示或是儲存在計算機中。(如點雲的pcd格式檔案儲存形式、以及利用gemagic等軟體進行點雲的視覺化處理等。)

三維資料需要通過三維重建技術獲得。廣義三維重建是指通過測量工具與解算方法,獲取目標區域性點、三維座標、面三維結構乃至整體三維模型;狹義三維重建指通過重建技術,獲取包括結構、紋理、尺度等的目標完整三維資訊。

在閱讀文獻的過程中,文獻提到了三維重構被廣泛應用於無人駕駛、物體導航、無人機避障、醫學診斷、逆向工程、文物保護、精密儀器測量等方面。提到的這些方面的應用雖然能夠給人一種模糊的印象,但是還是不夠具體。因此在此,我想嘗試揭開他的神秘面紗。

三維重構在這兩種領域的應用主要在於三維地圖的構建,具有代表性的是slam中的建圖、以及視覺測距等。(slam,即定位與地圖構建。問題可描述為:將乙個機械人放入未知環境中的未知位置,是否有辦法讓機械人一邊移動一邊逐步繪製出此環境完全的地圖,所謂完全的地圖(a consistent map)是指不受障礙行進到房間可進入的每個角落。)其中機械人的主體由無人機、無人汽車、移動機械人等替換。

其中一種解決無人機避障問題的方法是對無人機到障礙物的距離進行測量。 其中可運用視覺避障方法從二維的影象中獲取三維資訊,獲得障礙物的深度影象。在避障的過程中,利用slam獲得了場景模型,在機載計算機裡用演算法去搜尋優化的避障路徑。

其中無人機的避障方式可參考部落格:

三維重建在slam中主要是視覺slam應用,主要利用外部感測器獲知環境資訊。其中相機是常用的感測器之一,相機又分為三種,分別為:單目相機、雙目相機、rgb-d相機等。

單目相機對於三維資訊的提取效果較差,因此主要使用雙目相機與rgb-d相機。其中雙目相機則是通過左右眼影象的差異來判斷場景中物體的遠近,能直接提取完整的特徵資料,但是計算量複雜。而rgb-d相機,可同時獲取影象彩色資訊和深度資訊,是一種實用的獲取三維資訊的工具。視覺感測器很好地利用了豐富的環境資訊,實現了從早期二維地圖到三維地圖的轉化,豐富了地圖資訊,但是在現實環境下還存在很大的魯棒性和高適應能力技術挑戰。

醫學影象三維重建技術主要應用於面繪製、體繪製、醫學三維視覺化系統等方面。主要是計算機斷層掃瞄(ct)、核磁共振(mri)、超聲波等醫學成像技術的發展,使得感興趣區域ct、mri影象的三維重建成為可能。

利用重建軟體,如中國科學院開發的一款用於醫學影象資料的分析和處理的軟體3dmed,可以處理各種醫學影象,包括計算機斷層掃瞄影象,磁共振成像和原始格式影象。以mri為例,如可以通過研究對獲取的mri影象進行分割、三維建模和顯示,可以輔助醫生對疾病的判斷和制定**的方案。與雙目視覺重構相比,獲取影象的方式較為不同。

運用在測量的三維重構方法屬於非接觸式測量方法,比起三座標測量機等接觸式測量方法更能滿足各類不同的測量需求。其中三維重構方法又分為主動式測量與被動式測量方法。主動式測量是利用投射結構光等(如編碼結構光、散斑等),運用直接三角法進行重構測量。而被動式測量法可基於不同視角的測量法,通過不同角度獲取影象,根據視差恢復待測物體的三維資訊,其基本原理是雙目交會測量。

雙目交會測量使用兩台相機從不同角度對待測目標進行拍攝,在相機內、外引數標定基礎上,通過對匹配點對進行空間立體交會,獲得目標點雲,進而進行相關測量。目前影象匹配方法發展成熟,因此雙目交會對材質、顏色等物面性質及背景光等環境因素要求較低,適合對大型三維物體如建築物等的測量。雙目交會測量精度主要受匹配精度、基高比、相機標定精度等因素制約,因此測量精度較低,同時難以實現實時測量,重建與測量範圍不能覆蓋整個待測物體,目前只有在一些特定場合得到應用。

三維重構的步驟主要分為:影象獲取、攝像機標定、特徵提取、立體匹配、三維重構等方面。

(1)影象獲取

在進行影象處理之前,要使用攝像機獲取三維物體的二維圖形。光照條件、相機的幾何特性等對後續的影象處理造成很大的影響。其中,攝像機的感測器又分為cmos與ccd,ccd感測器的成像質量比cmos的更好,但是成本更高。

首先要對相機進行二次開發,而後搭建出雙目視覺平台,而雙目相機的關係又主要分為平行光軸與相交光軸兩種,將在之後對它們進行討論。

(2)攝像機標定

通過攝像機標定來建立有效的成像模型,求解出攝像機的內外引數,這樣就可以結合影象的匹配結果得到空間中的三維點座標,從而達到進行三維重建的目的。目前最常使用棋盤格,利用張氏標定法進行標定。

(3)特徵提取

特徵主要包括特徵點、特徵線和區域。大多數情況下都是以特徵點為匹配基元,特徵點以何種形式提取與用何種匹配策略緊密聯絡。因此在進行特徵點的提取時需要先確定用哪種匹配方法。匹配演算法又包括全域性立體匹配演算法與區域性立體匹配演算法。之後會進行討論。

(4)立體匹配

立體匹配是指根據所提取的特徵來建立影象對之間的一種對應關係,也就是將同一物理空間點在兩幅不同影象中的成像點進行一一對應起來。在進行匹配時要注意場景中一些因素的干擾,比如光照條件、雜訊干擾、景物幾何形狀畸變、表面物理特性以及攝像機機特性等諸多變化因素。

(5)三維重建

有了比較精確的匹配結果,結合攝像機標定的內外引數,就可以恢復出三維場景資訊。由於三維重建精度受匹配精度,攝像機的內外引數誤差等因素的影響,因此首先需要做好前面幾個步驟的工作,使得各個環節的精度高,誤差小,這樣才能設計出乙個比較精確的立體視覺系統。

之後可以對重構輸出的點雲資料進行後處理,如去噪處理、表面重建等。

基於雙目視覺和三維重構的三維書寫系統

最近在做雙目視覺和三維重構,這是這段時間的勞動成果,放上來與大家分享,算是給大家新年的祝福,新年快樂!這是一組工具,可以一步步實現乙個不成熟的三維書寫系統。最最終效果演示 http v.youku.com v show id xmjmznjk1odaw.html 下面對幾個工具做乙個簡單的介紹 0....

雙目視覺簡介

雙目視覺廣泛應用在機械人導航,精密工業測量 物體識別 虛擬實境 場景重建,勘測領域。什麼是雙目視覺?雙目視覺是模擬人類視覺原理,使用計算機被動感知距離的方法。從兩個或者多個點觀察乙個物體,獲取在不同視角下的影象,根據影象之間畫素的匹配關係,通過三角測量原理計算出畫素之間的偏移來獲取物體的三維資訊。得...

雙目視覺演算法簡介

雙目視覺廣泛應用在機械人導航,精密工業測量 物體識別 虛擬實境 場景重建,勘測領域。什麼是雙目視覺?雙目視覺是模擬人類視覺原理,使用計算機被動感知距離的方法。從兩個或者多個點觀察乙個物體,獲取在不同視角下的影象,根據影象之間畫素的匹配關係,通過三角測量原理計算出畫素之間的偏移來獲取物體的三維資訊。得...