從目前市場上無人駕駛的解決方案就能看出來，多感測器融合是必然趨勢，其對自動駕駛汽車的重要性就不用我多說了。由於我研究生階段研究的是公釐波雷達與攝像頭的融合進行障礙物檢測，所以就對一些學習筆記做個備忘，方便自己查閱。
感測器融合按不同策略主要分為：
（1）基於影象資料級融合（基於攝像頭為主感測器對公釐波雷達進行濾波）
（2）基於目標特徵級融合（以公釐波雷達為主感測器對攝像頭和雷達的目標輸出做融合）
（3）基於決策級融合（採用vs演算法對比做決策）。
目前我所採用的融合策略是決策級融合。
（1）特徵級融合的特點，主要是雷達輔助影象。
基本的思路是將雷達的點目標投影到影象上，圍繞該點我們生成乙個矩陣的感興趣區域，然後我們只對該區域內進行搜尋，搜尋到以後跟雷達點目標進行匹配。它的優點是可以迅速地排除大量不會有車輛的區域，極大地提高識別速度。而且，可以迅速排除掉雷達探測到的非車輛目標，增強結果的可靠性。
缺點：
1）首先，這個方法實現起來有難度。理想情況下雷達點出現在車輛中間。首先因為雷達提供的目標橫向距離不準確，再加上攝像頭標定的誤差，導致雷達的投影點對車的偏離可能比較嚴重。我們只能把感興趣區域設定的比較大。感興趣區域過大後導致裡面含有不止一輛車，這個時候目標就會被重複探測，這會造成目標匹配上的混亂。交通擁擠的時候尤其容易出來這種情況。
2）另一方面是這種方法本質上只是對雷達目標的一種驗證，無法充分發揮視覺的作用。雷達和攝像頭的視野其實並不完全重合，存在部分目標沒有被兩個感測器同時檢測到。
（2）決策級融合的特點：
jpda：概率資料關聯演算法，基於多個感測器的資料進行關聯。
相比原來的演算法，pda有以下優點：
1）很重要的一點是模組化，把目標識別和融合分開了，這使得演算法更容易實現和除錯。
2）感測器測量值有效地和車輛目標關聯。
3）感測器的資訊得到了充分利用。雷達和攝像頭的視野並不完全一樣。雷達長距離探測比較準確，但視野相對較窄。攝像頭長距離較弱，但視野較寬。有些目標只被單個的感測器探測到，此時這個目標會得到保留並進行跟蹤。
注：
（1）多目標跟蹤的核心是資料關聯，卡爾曼只是一種濾波演算法，可以作為跟蹤來使用，但前提是知道上一幀的目標對應下一幀哪個目標，否則無法處理。
其中jpda是多目標跟蹤裡面的資料關聯的內容，pda是單個目標裡面的資料關聯的內容。
（2）融合的關鍵點：時間上同步（時間戳解決），空間上同步（標定解決）。
融合涉及到多個過程：目標關聯+目標濾波+目標跟蹤等。
（3）最後在影象和雷達資料當中，需要解決幾個關鍵問題：
1）觀察值匹配問題， 如何驗證影象和公釐波雷達得到的觀測值與上乙個週期的目標值相匹配。
2）資料融合問題， 如何將已經確認的雷達和影象的觀測值進行融合，得到當前目標值。
3）維護有效目標庫，為了對跟蹤序列的目標進行刪除、新建、跟蹤，需要對目標的個數進行限定。對於新目標，我們需要建立新的軌跡進行跟蹤。
公釐波雷達 公釐波雷達技術與雷射雷達技術的區別
近年來，公釐波雷達被廣泛應用於高階駕駛輔助系統 adas 中，再度成為了零部件 商們的焦點戰場。adas系統需要多種感測器配合工作，公釐波雷達由於其眾多優勢，成為adas不可或缺的核心感測器，也是自動駕駛和無人駕駛的關鍵感測器。在自動駕駛感測器領域，看上去有些沉寂的公釐波雷達開始變得熱門。雖然公釐波...
公釐波雷達與雷射雷達探秘
雷射雷達是以發射雷射束探測目標的位置 速度等特徵量的雷達系統，計算時是按照光的特性來計算。而公釐波雷達是指工作在公釐波波段探測的雷達。公釐波實質上就是電磁波，利用都卜勒效應計算。公釐波的頻段比較特殊，其頻率高於無線電，低於可見光和紅外線，頻率大致範圍是10ghz 200ghz。從工作原理上來講，雷射...
公釐波雷達與雷射雷達的初探
雷達 radio detection and range,radar 是一種利用電磁波來對目標進行探測和定位的電子裝置。實現距離測量 運動引數測量 搜尋和發現目標 目標定位 目標特性引數分析等功能。分類 電磁波按照從低頻到高頻的順序，包括有無線電波 微波 紅外線 可見光 紫外線 伽馬射線的電磁輻射。...