特徵點法的巔峰之作 ORBSLAM2

2022-09-08 05:30:15 字數 1465 閱讀 3499

orb-slam 是西班牙 zaragoza 大學的 raúl mur-arta 編寫的視覺 slam 系統。 它是乙個完整的 slam 系統,包括視覺里程計、跟蹤、回環檢測,是一種完全基於稀疏特徵點的單目 slam 系統,同時還有單目、雙目、rgbd 相機的介面。其核心是使用 orb (orinted fast and brief) 作為整個視覺 slam 中的核心特徵。

orb-slam 基本延續了 ptam 的演算法框架,但對框架中的大部分元件都做了改進, 歸納起來主要有 4 點:

orb-slam 選用了 orb 特徵, 基於 orb 描述量的特徵匹配和重定位, 都比 ptam 具有更好的視角不變性。此外, 新增三維點的特徵匹配效率更高, 因此能更及時地擴充套件場景。擴充套件場景及時與否決定了後續幀是否能穩定跟蹤。

orbslam 加入了迴圈迴路的檢測和閉合機制, 以消除誤差累積。系統採用與重定位相同的方法來檢測迴路(匹配迴路兩側關鍵幀上的公共點), 通過方點陣圖 (pose graph) 優化來閉合迴路。

ptam 需要使用者指定 2 幀來初始化系統, 2 幀間既要有足夠的公共點, 又要有足夠的平移量. 平移運動為這些公共點提供視差 (parallax) , 只有足夠的視差才能三角化出精確的三維位置。orb-slam 通過檢測視差來自動選擇初始化的 2 幀。

引自《基於單目視覺的同時定位與地圖構建方法綜述》

orb-slam 它是由三大塊、三個流程同時執行的。第一塊是跟蹤,第二塊是建圖,第三塊是閉環檢測。

1. 跟蹤(tracking)

這一部分主要工作是從影象中提取 orb 特徵,根據上一幀進行姿態估計,或者進行通過全域性重定位初始化位姿,然後跟蹤已經重建的區域性地圖,優化位姿,再根據一些規則確定新關鍵幀。

這一部分主要完成區域性地圖構建。包括對關鍵幀的插入,驗證最近生成的地圖點並進行篩選,然後生成新的地圖點,使用區域性捆集調整(local ba),最後再對插入的關鍵幀進行篩選,去除多餘的關鍵幀。

3. 閉環檢測(loopclosing)

這一部分主要分為兩個過程,分別是閉環探測和閉環校正。閉環檢測先使用 wob 進行探測,然後通過 sim3 演算法計算相似變換。閉環校正,主要是閉環融合和 essential graph 的圖優化。

優點:

缺點:

associate:深度圖與彩色圖之間不能超過0.02s。

tumeuroc

kitti

紅色點表示當前追蹤的點,黑色點表示剩下的點。

glcloor3f(0.0,0.0,0.0); //黑色

glcloor3f(1.0,0.0,0.0); //紅色

loadimages(); //讀取的函式 用來loadframe

其中包含的系統類非常重

特徵點法的巔峰之作 ORBSLAM2

orb slam 是西班牙 zaragoza 大學的 ra l mur arta 編寫的視覺 slam 系統。它是乙個完整的 slam 系統,包括視覺里程計 跟蹤 回環檢測,是一種完全基於稀疏特徵點的單目 slam 系統,同時還有單目 雙目 rgbd 相機的介面。其核心是使用 orb orinted...

特徵點法匹配

在slam中vo的實現方法可以根據是否需要提取特徵分為兩類 基於特徵點的方法 不使用特徵點的直接方法。其中基於特徵點的vo執行穩定,對光照 動態物體不敏感。影象特徵點的提取和匹配是計算機視覺中的乙個基本問題,在視覺slam中就需要首先找到相鄰影象對應點的組合,根據這些匹配的點對計算出相機的位姿 相對...

速率法和終點法的區別 終點法 速率法 二點法

終點法 速率法二點法 終點法具有不同分子結構的物質,對光譜有選擇吸收的特性,吸收光譜的可在可見光區域也可在紫外或紅外光區 域。若利用物質對可見光譜的選擇吸收作定量分析,此時主要表現為顏色的變化,稱為比色分析法 若利用物質對紫外或 紅外光區域的選擇吸收作定量分析,稱為吸收分光光度法。比色分析法和吸收分...