3D點雲目標的識別與抓取

2021-10-23 15:22:49 字數 1879 閱讀 1703

這是2023年乙個點雲目標識別研究的簡單描述。

點雲目標識別,顧名思義,需要有標準的目標點雲或者標準的點雲特徵描述向量;對實時採集的點雲資料,在裡面尋找與目標點雲相似度最高的點雲塊。

圖2.1 點雲在xy平面的投影圖像

圖2.2 圓環點雲採集影象

常用點雲濾波有帶通濾波、統計濾波、半徑濾波、去除背景平面、去除邊緣。

帶通濾波:就是設定乙個x、y、z方向的乙個取值範圍,以過濾掉明顯不在測試距離範圍的點雲;比如在kinect資料採集中,由於其成像範圍z軸方向比較大,因此會出現很多明顯我們不需要的背景雜訊資訊,這是可以設定乙個合理的z座標閾值;

半徑濾波:就是搜尋給定半徑r內的相鄰點雲個數,當個數少於給定閾值時,去除點雲;主要用在去除孤立點;

統計濾波:對每個點,計算最近鄰k個點雲距離的均值;假設最近鄰距離均值符合高斯分布,則剔除距離在乙個sigma外的點雲;主要用於去除不合群離散點。

去除背景平面:對放在平面上的物體,背景通常會有乙個較大的平面;採用ransac擬合平面,剔除平面。

圖2.3 統計濾波閾值選取方式 

圖2.4 圓環濾波後

三維點雲資料一般資料量都很大,為了提高程式的速度,可以對濾波後的資料進行降取樣;降取樣的原則是保證點雲的整體分布情況,又不能破壞邊緣資訊(類似於影象處理的邊緣保留edge-preserving)。均勻降取樣使用體素格的重心來表示給定半徑範圍內點的整體資訊,來實現降取樣和濾波的目的。

圖2.5 體素格降取樣

圖2.6 單一圓環體素格降取樣(藍色是原始點雲資料,紅色是降取樣資料)

通過濾波後,點雲被分成了很多基本不相鄰的塊,可以採用聚類的方法來進行分割(類似於二維影象的連通域標記)。

圖2.7 點雲分割 

當資料量不大的時候,可以直接計算降取樣資料的特徵向量;資料量很大時,最好先計算特徵點(滿足旋轉、平移、尺度、仿射不變性),然後計算特徵點處的特徵向量。

類似於二維影象,3d點雲也可以計算每個點的特徵,常用的特徵描述子有shot(signature histogram of orientation)、fpfh(fast point of histogram)等;

匹配找到對應特徵點對後,存在很多誤匹配特徵點對,需要採用ransac對點對進行提純,找到內點inliners,採用icp方法計算點對之間的旋轉變換關係;

圖2.8 識別的圓環(藍色點是原始的圓環資料,紅色的是識別後經過旋轉、平移變化的圓環)

分類:

3d視覺

標籤:

3d視覺、點雲處理、目標識別、抓取

關於3D點雲濾波

點雲是三維離散資料,影象是二維稠密矩陣。資料型別的不同決定了其處理方式的差異,但濾波的基本原理和目的有相同之處 利用資料的低頻特性剔除離群資料,並進行資料平滑或提取特定頻段特徵。點雲濾波包括剔除離群點,擬合區域性平面,方法分別有ransac與3d擬合。影象濾波側重於糾正雜訊點 如中值濾波 並平滑影象...

3D點雲的深度學習

使用卷積神經網路 cnn 架構的深度學習 dl 現在是解決影象分類任務的標準解決方法。但是將此用於處理3d資料時,問題變得更加複雜。首先,可以使用各種結構來表示3d資料,所述結構包括 1 體素網格 2 點雲 3 多檢視 4 深度圖 對於多檢視和深度圖的情況,該問題被轉換為在多個影象上使用2d cnn...

3D點雲的深度學習

使用卷積神經網路 cnn 架構的深度學習 dl 現在是解決影象分類任務的標準解決方法。但是將此用於處理3d資料時,問題變得更加複雜。首先,可以使用各種結構來表示3d資料,所述結構包括 1 體素網格 2 點雲 3 多檢視 4 深度圖 對於多檢視和深度圖的情況,該問題被轉換為在多個影象上使用2d cnn...