車載全景可視系統surroundview

2021-07-16 10:38:25 字數 2350 閱讀 8347

全景可視系統,也又稱全景泊車等等,市面已經有產品出現,各家的方案看起來又不一樣。

對全景,飛思卡爾freescale、富士通fujitsu擁有比較完整的解決方案,但也有其他公司推出自己的產品,但晶元都基本選用飛思卡爾或富士通的。

從使用者角度來說,全景有以下幾個分類:

影象是否有拼接? 支援哪些視角功能(廣角或俯視)?是否有3d模型?

目前主流是四個攝像頭,採用180度以上的廣角攝像頭,如190度;

也有採用更多攝像頭的,如6個。

ccd: 優點是靈敏度高,噪音小,訊雜比大。但是生產工藝複雜、成本高、功耗高。

cmos : 優點是整合度高、功耗低(不到ccd的1/3)、成本低。但是噪音比較大、靈敏度較低、對光源要求高。

在採用cmos為感光元器件的產品中,通過採用影像光源自動增益補強技術,自動亮度、白平衡控制技術,色飽和度、對比度、邊緣增強以及伽馬矯正等先進的影像控制技術,完全可以達到與ccd攝像頭相媲美的效果. 

由於成本原因,車載攝像頭普遍選用cmos攝像頭感測器。

攝像頭的解析度:一般車道檢測的攝像頭30萬畫素就能滿足需求。但用於全景的攝像頭會採用更高解析度。

前視攝像頭位置,一般在車標附近的位置;左右攝像頭一般放在倒車鏡附近;後視攝像頭會放在車牌上方的位置。四個攝像頭的水平位置基本相同。

另外,根據不同的車型,攝像頭的安裝位置和高度也不同。

全景攝像頭的標定一般是指標對外參進行標定,得到攝像頭的安裝高度、安裝方位角度。

而攝像頭的內參在出廠時,就能拿到其引數。

在獲取攝像頭的內外參之後,就可以對四個攝像頭的資料進行融合或拼接。

目前,市面上的產品很多都是做到標定後,直接拼接融合就完事了。

標定方法:

張正友平板標定法是介於傳統標定和自動標定之間的方法。既結合了影象檢測的方法,但又需要人工確定(校正)物理模板點與影象中檢測點的對應關係。形成超定方程,並求解出較好的結果。

其不足是,手動調整角點順序比較繁瑣,易出錯。

自動標定方法,是採用特徵點跟蹤軌跡的方式,根據多幅影象的對應關係進行標定,更加靈活。但其為非線性標定,魯棒性不高。

一般單純使用標定後的攝像頭進行 全景影象的拼接和融合時,在交合重疊區域,會產生盲點的現象,如經過的物體在這個很小的區域會模糊不清或消失。

這是因為物距的改變,會產生較大的拼接區域誤差。

什麼是景深現象?

當鏡頭聚焦於某一物體時,在這一物體前後一定範圍內,景物記錄的比較清晰,而超出這個範圍,物體就顯得不清晰了。這個就景深原理。決定景深的因素包括:光圈(進入鏡頭的光線的粗細)、焦距、物距。

光圈越小,景深越大,拍攝清晰的前後範圍越大。而廣角鏡頭的景深是比較大的。景深的位置、範圍會隨焦距的不同而變化,魚眼相機需要採用比較大f值,才能獲取較大的景深。

影象配準的常見方法及優缺點:

1) 基於區域的方法

a) 畫素點的直接的相關性,外加金字塔的多解析度。 計算量較大,而且對旋轉和縮放效果有一定影響。

b)基於頻域fft變換的方法。 在空間頻域中尋找相關性,計算快,對小平移、旋轉及尺度變換的影象拼接較合適,但對重疊區域較小的情況較差。

2)基於特徵的方法

a)經典的方法,如基於輪廓、角點檢測演算法。harris角點。

b)尺度不變特徵的sift演算法,及其改進演算法。配準精度高,但速度慢,且原始演算法未公開,版權保護。

c)surf配準演算法。配準精度高,略遜於sift,但速度快。

對於魚眼相機的配準,一般需要:

1)畸變校正。4個相機都是190或180左右的視角的情況,畸變校正後,即使損失一部分邊緣影象,仍然會有一部分影象重合。

2)配準。如果有相機內外參的先驗知識的情況下,配準,可以採用基於改進的區域配準方法,效果好,且速度快。 基於特徵的方法也可以嘗試。

3)融合或拼接。直接採用拼接的方式,或採用影象疊加融合的方式,或增強邊緣的方式,或用小波等等。

採用配準方式進行拼接和融合的產品,效果會好很多。

由於配準會比較耗費時間,而配準的區域可能又不斷變化,所以,配準過程不必對拍攝的每幅影象都進行。

俯檢視:每個攝像頭都有內外參,所以,其俯檢視也可以比較輕鬆的獲取,然後進行拼接,得到車輛周圍比較完整的俯檢視。

俯檢視,對於直立的物體會有很大的形變,看起來不舒服,一種改善的方法就是降低俯視虛擬相機的高度,這樣直立物體的形變會減輕,但是對地面直線物體又會產生魚眼式的形變,這個需要乙個折中。

3d模型:其實,就是將幾個魚眼攝像頭的座標系統一轉換到乙個世界座標系中,並建立乙個碗狀的三維虛擬成像面,最後建立三維模型。

富士通fujitsu的方案是比較成熟的。

查了一些資料,沒有翻到其詳細的演算法過程,估計是預先建立乙個3d的投射曲面,然後,將整個魚眼相機拼接的影象投射到這個曲面上。這個過程可以使用查詢表,能提高運算速度,簡化運算過程。

這個過程需要結合攝像頭的景深,內外引數,地面俯視等。

SAP HANA 系統全景架構

通過下圖,我們可以了解到系統sap hana的系統全景,基本上我們也就清楚了整個系統所需的元件。1.hana box是由sap認證的硬體廠商所構建的伺服器比如ibm hp dell等。2.sap hana目前只能使用linux suse作為作業系統。3.管理員通過sap hana studio來進行...

車載診斷系統 OBD

obd是英文on board diagnostic的縮寫,中文翻譯為 車載診斷系統 這個系統隨時監控發動機的執行狀況和尾氣後處理系統的工作狀態,一旦發現有可能引起排放超標的情況,會馬上發出警示。當系統出現故障時,故障燈 mil 或檢查發動機 check engine 警告燈亮,同時obd系統會將故障...

愛奇藝為福特SYNC 車載系統提供車載娛樂解決方案

騰訊科技訊 據國外 報道,中國 娛樂公司愛奇藝今日宣布,其將為汽車製造商福特的sync 資訊娛樂系統提供車載娛樂解決方案。sync 是福特中國和共同開發的一款新型車載資訊娛樂系統。從今年晚些時候開始,國產福特和林肯等車型將配備sync 資訊娛樂系統。愛奇藝將繼續通過進軍車載 流服務領域,展示其改善使...