PCL 三維計算視覺研究內容概述

2021-08-28 03:38:25 字數 3261 閱讀 5212

(1)三維匹配:兩幀或者多幀點雲資料之間的匹配,因為雷射掃瞄光束受物體遮擋的原因,不可能通過一次掃瞄完成對整個物體的三維點雲的獲取。因此需要從不同的位置和角度對物體進行掃瞄。三維匹配的目的就是把相鄰掃瞄的點雲資料拼接在一起。三維匹配重點關注匹配演算法,常用的演算法有最近點迭代演算法 icp和各種全域性匹配演算法。

(2)多檢視三維重建:計算機視覺中多檢視一般利用影象資訊,考慮多視幾何的一些約束,相關研究目前很火,射影幾何和多檢視幾何是視覺方法的基礎。在攝影測量中類似的存在共線方程,光束平差法等研究。這裡也將點雲的多視匹配放在這裡,比如人體的三維重建,點雲的多視重建不再是簡單的逐幀的匹配,還需要考慮不同角度觀測產生誤差累積,因此存在乙個針對三維模型進行優化或者平差的fusion融合過程在裡面。通常slam是通過觀測形成閉環進行整體平差實現,優先保證位姿的精確;而多檢視重建通過fusion過程實現對模型的整體優化,保證模型最優。多檢視三維重建可以只使用影象,或者點雲,也可以兩者結合(深度影象)實現,重建的結果通常是mesh網格。最典型的例子是kinectfusion,kinfu等等.

點雲匹配(最近點迭代演算法 icp、正態分佈變換方法 ndt)+位姿圖優化(g2o、lum、elch、toro、spa);實時3d slam演算法 (loam,blam);kalman濾波方法。

3d slam側重於定位,通常可以產生3d點雲,或者octree map。

基於視覺(單目、雙目、魚眼相機、深度相機)方法的slam,比如orbslam,lsdslam;vins是imu與視覺融合的不錯的開源專案。

(4)目標識別:無人駕駛汽車中基於雷射資料檢測場景中的行人、汽車、自行車、以及道路和道路附屬設施(行道樹、路燈、斑馬線等)。

這部分工作也是高精度電子地圖的主要內容。當然高精度電子地圖需要考慮的內容更多。

(5)形狀檢測與分類:點雲技術在逆向工程中有很普遍的應用。構建大量的幾何模型之後,如何有效的管理,檢索是乙個很困難的問題。需要對點雲(mesh)模型進行特徵描述,分類。根據模型的特徵資訊進行模型的檢索。同時包括如何從場景中檢索某類特定的物體,這類方法關注的重點是模型。

(6)語義分類:獲取場景點雲之後,如何有效的利用點雲資訊,如何理解點雲場景的內容,進行點雲的分類很有必要,需要為每個點雲進行labeling。可以分為基於點的分類方法和基於分割的分類方法。從方法上可以分為基於監督分類的技術或者非監督分類技術,深度學習也是乙個很有希望應用的技術。最近深度學習進行點雲場景理解的工作多起來了,比如pointnet,各種八叉樹的net。

(7)雙目立體視覺與立體匹配 zncc

(8)sfm(運動恢復結構) vs visual slam  [摘抄] sfm 和 visual slam

(9)multi-view stereo (mvs)多檢視立體視覺,研究影象一致性,實現稠密重建。

(10)自動造型(構型),快速造型(構型)技術。對模型進行凸分割,模型剖分,以實現模型進一步的編輯修改,派生出其他的模型。

1、點雲濾波方法(資料預處理):

雙邊濾波、高斯濾波、條件濾波、直通濾波、隨機取樣一致性濾波。

voxelgrid

2、關鍵點

iss3d、harris3d、narf,

sift3d、均勻取樣,曲率方法取樣

3、特徵和特徵描述

法線和曲率計算

normalestimation 、特徵值分析eigen-analysis、egi

pfh、fpfh、3d shape context、spin image

4、點雲匹配

icp、穩健icp、point to plane icp、point to line icp、mbicp、gicp、nicp

ndt 3d、multil-layer ndt

fpcs、kfpcs、sac-ia

line segment matching、icl

5、點雲分割與語義分類

分割:區域生長、ransac線面提取、ndt-ransac、全域性優化平面提取

k-means、normalize cut(context based)

3d hough transform(線、面提取)、連通分析、

分類:基於點的分類,基於分割的分類;監督分類與非監督分類

目前基於深度學習的點雲語義分模擬較熱:pointnet,octnet之類的吧,需要多加關注。

6、slam圖優化

ceres(google的最小二乘優化庫,很強大), g2o、lum、elch、toro、spa

slam方法:icp、mbicp、idc、likehood field、cross correlation、ndt

7、目標識別、檢索

hausdorff距離計算(人臉識別)

8、變化檢測

基於八叉樹的變化檢測

9. 三維重建

泊松重建、 delaunay triangulations

表面重建,人體重建,建築物重建,樹木重建。

結構化重建:不是簡單的構建乙個mesh網格,而是為場景進行分割,為場景結構賦予語義資訊。場景結構有層次之分,在幾何層次就是點線面。

實時重建:重建植被或者農作物的4d(3d+時間)生長態勢;人體姿勢識別;表情識別;

10.點雲資料管理

點雲壓縮,點雲索引(kd、octree),點雲lod(金字塔),海量點雲的渲染

點雲驅動的計算機圖形學主要研究應用   

三維計算視覺研究內容

三維計算視覺研究內容包括 三維匹配 多檢視三維重建 slam 目標識別 形狀檢測與分類 語義分類 立體視覺與立體匹配 zncc sfm1 點雲濾波方法 資料預處理 雙邊濾波 高斯濾波 條件濾波 直通濾波 隨機取樣一致性濾波。voxelgrid 2 關鍵點 iss3d harris3d narf si...

6 三維計算機視覺

2 雙目系統 視差 3 sift 立體視覺 雙目系統 視差 sift 立體視覺是一種計算機視覺技術,其目的是從兩幅或兩幅以上的影象中推理出影象中每個畫素點的深度資訊。o點為相機的光心,是攝像頭的成像平面。給定一幅影象上的乙個特徵,它在另一幅影象上的匹配檢視一定在對應的極線上 注 有了視差的計算方式 ...

三維視覺學習筆記

0.引言 怎麼獲得3d資訊?用2d相機 距離感測器 在3d世界獲得3d資訊?從相機中進行2d 3d重建 用kinect感測器,雷射距離感測器直接3d獲取 感測器思維?用陣列相機 1.2d到3d的重構 可以利用小孔成像或雙目攝像原理實現2d到3d的重構。通過特徵來對應關係,如果相機移動了,就要找到對應...