三維視覺學習筆記

2021-08-31 19:05:14 字數 1895 閱讀 2204

0.引言:

怎麼獲得3d資訊?

>>用2d相機、距離感測器

在3d世界獲得3d資訊?

>>從相機中進行2d、3d重建;用kinect感測器,雷射距離感測器直接3d獲取

感測器思維?

>>用陣列相機

1.2d到3d的重構

可以利用小孔成像或雙目攝像原理實現2d到3d的重構。通過特徵來對應關係,如果相機移動了,就要找到對應關係,用hough或者sift來找到相關特徵(用到梯度的向量資訊)。

怎麼從2d到3d對映回去?

>>需要深度資訊。同樣需要特徵對應關係。通過一些矩陣對映回去。

如果有兩個圖,怎麼構造3d圖?

>>用立體視覺。

怎麼找到基本座標資訊?

>>可以用極座標來恢復。

8點法:找到右邊8個影象的點,然後找到左邊對應的8個點。

如果有3個圖,怎麼重建?

>>與2個圖類似,但是加了更多的資訊。用光束法平差。通過不同的圖得到點的關係之後有乙個加權平均的過程,把問題構成優化的問題。

kalman filter可以通過這一幀圖來**下一幀的狀態。n個圖成像是用卡爾曼濾波是怎麼做的。

新型的感測器:用陣列相機。相機的距離是線性變換的。也可以是非線性的(檢測得更準)。

2.應用

(1)convolutional-recursive deep learning for 3d object classification:

photo tourisim:exploring photo collections in 3d:通過圖來拍攝出深度,不是很新,2023年左右,用的keypoint description,matching。

(2)a projector-camera system.

三個主要元件:投影相機標定、區域檢測和追蹤、自動

拼接圖的過程就是座標變換。還有需要矯正畸變。

(3)直接獲取3d資訊的要有:kinect(直接有深度資訊)

直接獲取全景資訊:photometric stereo用multiple cameras ,multiple light sources

homepage:    :multiple cameras fro human body reconstruction

structured light method:calculate the shape by how the strip is distorted.根據物體表面曲率來做出來

real time virtual 3d scanner-structured light technology前景後景

time of flight laser method雷射感測器

lidar light detection and ranging scanner

(4)motion caputre for film production(mocap):拍電影時白色幕布前演員動作建立

3d body scanner

kinect:有個ir檢測出紅外線的。

light field camera光流場,利用鏡頭上不同的長短來說明。

(5)convolutional-recursive deep learning for 3d object classification:

卷積層通過兩個引數:kernal size區域context、下取樣。如果stride是1,kernal是1,就是全連線層。artitect想清楚。

rgb、deepth、gray

3d未來/值得思考的問題

content search in 3d video data bases; shot boundary detection; video data mining; video classification

參考文獻  從3d重構到物體識別

視覺幾何(三維重建)

射影平面之齊次座標 老闆是搞三維重建的,最近跟著學了些數學知識。做一些筆記,以備查詢。第一點,為什麼需要齊次座標?簡單地說明一下,在一維空間中的一條線段上取一點x,然後我們想轉移x的位置,那我們應該是x x k,但我們能使用一維的矩陣來表示這變換嗎?不能,因為此時一維的矩陣只能讓x點伸縮。但如果變成...

三維計算視覺研究內容

三維計算視覺研究內容包括 三維匹配 多檢視三維重建 slam 目標識別 形狀檢測與分類 語義分類 立體視覺與立體匹配 zncc sfm1 點雲濾波方法 資料預處理 雙邊濾波 高斯濾波 條件濾波 直通濾波 隨機取樣一致性濾波。voxelgrid 2 關鍵點 iss3d harris3d narf si...

三維向量筆記

筆記 一 1 三維向量vec3的使用 1 vec3 cocos定義的乙個三維向量的類,在cc模組中 2 向量在每個座標軸的分量 x y z 3 構造乙個向量的3種方式 new vec3 v vec3 new了乙個vec3的例項出來,然後我們的例項裡面的x,y,z v的分量一樣 new vec3 x,...