雷射雷達與相機觸發

2021-10-06 20:55:47 字數 2074 閱讀 7779

用於自動駕駛的雷射雷達必須支援與主機或其他感測器的時鐘同步,同步精度通常要達到毫秒級。常見的同步技術有兩種,一種是基於gps的「pps+nmea」,另一種是基於乙太網的ieee 1588(或ieee 802.1as)時鐘同步協議。

gps能夠從衛星獲得高精度的時鐘訊號,因此通常作為整個系統的時鐘源。常規的gps單元都支援輸出精確到毫秒的秒脈衝訊號pps和包含年月日時分秒資訊的nmea指令,通過pps和nmea的組合就能夠實現對雷射雷達或主機的毫秒級時鐘同步。只要雷射雷達支援基於rs232介面的pps+nmea時鐘同步輸入訊號,就可以實現毫秒級的時鐘同步。

pps+nmea的優點是協議簡單,容易實現;缺點是必須基於rs232。多個裝置之間實現同步比較困難。ieee 1588(或ieee 802.1as)就成了最好的選擇,1588是基於乙太網的高精度時鐘同步協議,能夠實現乙太網中多個從節點(各種感測器)與主節點(主機)之間的亞微秒級時鐘同步,前提是所有節點之間都通過乙太網互聯,並且每個節點都支援1588協議。

如果雷射雷達支援1588協議,就可以使用如下的架構實現時鐘同步:

主機通過pps+nmea實現與gps的時鐘同步;

雷射雷達等其他節點通過1588協議實現與主機的時鐘同步;

雷射雷達輸出的資料中,除了每個點的(x,y,z)座標之外,還有乙個重要的字段就是時間戳。相對於相機,雷射雷達是乙個慢速掃瞄裝置,每一幀點雲中的不同點的時間戳是不一樣的,以每秒10幀的雷射雷達為例,每幀點雲耗時100毫秒,每幀點雲中的第乙個點和最後乙個點之間相差約100毫秒。掃瞄高速運動的物體時,原始點雲是「變形」的,類似於用普通相機(非全域性快門)在高鐵上拍攝景物時都是歪的一樣,必須利用點雲中的時間戳對點雲進行校正才能恢復被掃瞄物體的本來面貌。

雷射雷達與主機或gps實現高精度的時鐘同步之後,就會基於這個時鐘為每個雷射點生成乙個時間戳,有了這個時間戳,很多任務作開展起來就方便多了,例如多感測器的融合等等。

相機的時鐘同步要麻煩一些,常規相機(除非是定製的)都不支援與主機或其他感測器的時鐘同步。解決方法是測量相機的平均延時d,然後以在主機上獲取到影象幀時的主機時刻t減去這個延時(t-d)作為該幀影象的時間戳,用這個時間戳去找最匹配的點雲。以幀率為25fps的相機為例,與任意幀率的雷射雷達同步匹配的結果是,最大偏差≤20ms。這種方法的缺點很明顯:相機影象的延時是不穩定的,尤其是通過乙太網傳輸、需要編碼/解碼的相機。因此比較理想的方法是選擇支援ieee 1588(或ieee 802.1as)時鐘同步協議的相機,確保相機的時鐘與主機完全同步。然後為每一幀影象都增加乙個時間戳,並確保在主機上能夠讀取到這個時間戳,這樣就可以避免編碼/解碼、以及傳輸延時引入的同步誤差。

通過上述方法能夠將雷達和相機的同步精度控制在小於等於20ms的水平,對於慢速場景基本夠了。如果要求更高的同步精度,就必須在雷達和相機的幀率和幀同步上下功夫了。通常雷射雷達內含機械部件,幀率和幀同步都是不可控的,只有在相機上想辦法。

簡單的辦法是選擇更高幀率的相機,相機幀率從25fps增加到50fps時,最大同步偏差從≤20ms提公升到≤10ms。

更徹底的解決方法是選擇可以觸發拍攝的相機(必須是硬體線控),根據雷射雷達的幀週期同步觸發相機的拍攝,實現雷達和相機的完全幀同步,實現完全的毫秒級同步。

一般方案是用雷達觸發攝像**。但是由於雷達一幀掃瞄週期挺長的一般是100ms左右,載具快速移動或目標的運動會導致點雲很大的運動誤差。而攝像頭**幾乎可以看成是瞬時完成的,運動誤差可以忽略不計。因此即便完成了硬同步,還需要解決點雲運動誤差(包括載具引起的運動誤差和目標運動引起的運動誤差)的問題。此外,還需要解決聯合標定的問題,才能開始進行資料融合。

買hesai pandora,省時省力,只是費錢;

找個能外部觸發**的攝像頭,自己弄個微控制器對雷達報文進行解析,到了設定角度就產生觸發電平訊號,觸發攝像頭**,這種方案時間誤差相對比較小。

用pc對攝像頭採集的影象打上時戳t1,對雷達組好幀的資料也標記時戳t2,然後把雷達幀按照載具的運動軌跡推算到影象採集的時刻t1上去。說實話這種方法也不很靠譜,會受到感測器傳輸時延,作業系統排程時間,還有載具航位推算誤差這些誤差因素影響,另外設計起來也挺麻煩的。

提高攝像頭幀率,然後在pc上對每一幀標記時戳,並快取。對雷達組好幀的資料也標記時戳t1,然後在攝像頭快取序列中找到離t1最近的影象i,基本可以認為這幀影象i和t1時刻的點雲資料之間是同步的,一般低速場景是夠用了。

參考資料

雷射雷達 什麼是雷射雷達?

toc 本文引用 雷射雷達和老式雷達對比 來至 雷達 radar 是無線電探測和測距,即用無線電發現目標,並測定他們的空間位置,也稱為 無線電定位 雷達是利用電磁波探測目標的電子裝置。雷達發射電磁波對目標進行照射,並接收其回波,從而獲得目標至電磁波發射點的距離 距離變化率 徑向速度 方位 高度等資訊...

雷射雷達(一) 知名雷射雷達公司

目前大部分企業都以無人車 機械人及無人車領域雷射雷達為主要研究方向。而傳統機械式雷射雷達已逐漸向固態雷射雷達方向轉變。在 方面,無人駕駛領域的雷射雷達少則上萬,多則幾十萬元,普遍要高於機械人及a 等領域 而機械人領域的雷射雷達相對來說售價更低,國內思嵐科技及玩智商等企業已低至上百元。目前在用的就是思...

多線雷射雷達與單線雷射雷達的區別

多線雷射雷達是指同時發射及接收多束雷射的雷射旋轉測距雷達,市場上目前有4線 8線 16 線 32 線 64 線和128線之分,多線雷射雷達 可以識別物體的高度資訊並獲取周圍環境的3d掃瞄圖,主要應用於無人駕駛領域。在無人駕駛領域,多線雷射雷達主要有以下兩個核心作用 slam定位加強 同步建圖 sla...