事件相機資料處理整理

2021-10-24 12:08:29 字數 2344 閱讀 8338

部分參考的部落格:

(僅用於學習)

對事件流資料進行處理

根據事件相機工作原理,在相應的畫素點的亮度變化達到某一閾值時,事件相機會觸發乙個事件(event),這樣的事件是離散的非同步的點。對這種非同步的資料進行濾波可以採用離散傅利葉變化(dft)[1]法或者改進傳統的就按及濾波方法,採用不斷更新乙個內部狀態實現在資料流上的直接進行卷積濾波。

事件流雜訊分類與產生的原因

事件相機的雜訊**可能**於數碼訊號傳輸時的脈衝雜訊以及光電二極體所引起的高斯雜訊等[3]。

1、背景雜訊

在背景中並沒有發生事件,卻產生了事件。原因:背景雜訊與溫度相關,溫度越高數量越多,與場景中亮度無關。感測器硬體重感光器件的光子不穩定,造成的事件的不穩定,這個無法避免。

2、感光閾值c造成的雜訊

根據事件相機的原理,當亮度達到某一閾值c後,會產生事件,但是這個閾值c不是不變的,跟當前環境的亮度有關係。實際中的閾值一般以理論閾值c為期望的正態分佈,標準差δ一般為2%~4%。

3、熱點雜訊

和傳統相機一樣,事件相機也會產生熱點雜訊。產生的原因可能是畫素損壞,或充放電裝置存在問題導致產生高頻事件。背景雜訊是沒有運動物體經過時產生的雜訊,而熱點雜訊是在整個時間軸上一直出現的事件。(我手頭的事件相機可能就存在這種雜訊,如下圖)。這種雜訊會一直出現,消除不掉,但是好在是僅僅單個畫素點,可以通過濾波濾除。

背景雜訊與熱點雜訊示意圖[5]:

雜訊模型

常見的雜訊模型用概率形式表示:例如乙個事件觀測到時,認為他是乙個高斯分布和均勻分布的疊加,高斯分布的期望為真實值,而均勻分布代表沒有事件時產生雜訊的概率。

去雜訊的方法:存在許多去雜訊的方法,但核心是圍繞保證快速實時性,因為資料到來很快且多,如果不是這種高速演算法,那麼就沒有什麼意義了。較為可採用的去噪方法有:1.視窗抑制,即當乙個事件發生後周圍乙個視窗(空間視窗,多為一圈即8個畫素)內短時間內的事件認為是雜訊;2.倔強時間法,refractory period,即認為當乙個事件發生後,這個畫素在短時間內產生的接下來的事件都是雜訊,這種方式可以避免高速運動時同乙個位置產生資料過於密集。

去噪方法1效果(左原來的,右濾波後):

去噪方法2效果(左原來的,右濾波後):

視覺化方法

由於單個事件沒有意義。根據事件相機的原理,畫素感受的亮度變化一般是由場景中運動物體邊緣與背景的差異形成的,具有空間稀疏性,需要視覺化處理。

1、利用固定時間視窗。以某一固定時間進行累計得到事件幀。但是不能改善狀態差異導致的幀間的資訊量差異。

2、利用事件數量。以達到某一數量的事件數為閾值,輸出乙個事件幀。

3、利用事件資訊數量及事件閾值雙限制的方式進行累計得到事件幀。這樣產生的事件幀既可以保證高時間解析度又可以使事件中具有足夠的資訊進一步處理。

4、基於生命週期的方法。根據影象平面上事件的速度進行編譯的,這種演算法可以在任何時刻構建清晰的邊緣影象。這種方法是來擴大基於事件相機的資料流的壽命和每個事件的速度,同時過濾雜訊[4]。利用新事件的速度資訊,以負速度方向重置相鄰畫素的壽命,有效地抑制加速梯度引起的運動模糊。

參考文獻:

[1]. quentin sabatier, et al. asynchronous event-based fourier analysis. 2017.

[2]. cedric scheerlinck, et al. aysnchronous spacial image convolutions for event cameras. 2019.

[3]. 閆昌達等,基於事件相機的視覺化及降噪演算法研究. 2015

[4]. elias mueggler, et al. lifetime estimation of events from dynamic vision sensors. 2014.

[5]. yang feng. event density based denoising method for dynamic vision sensor.2020.

資料處理視窗CloseQuery事件程式設計

該事件下的指令碼流程是首先判斷資料是否修改過,如果修改過,則讓使用者選擇是否儲存,使用者確認儲存則儲存,不儲存則退回事務然後關閉視窗。儲存資料時,儲存成功則直接關閉視窗,儲存失敗則讓使用者確認是否關閉視窗,使用者確認要關閉則關閉視窗。指令碼如下 int li flag if dw 1.modifie...

資料處理 流資料處理利器

流處理 stream processing 是一種計算機程式設計正規化,其允許給定乙個資料序列 流處理資料來源 一系列資料操作 函式 被應用到流中的每個元素。同時流處理工具可以顯著提高程式設計師的開發效率,允許他們編寫有效 乾淨和簡潔的 流資料處理在我們的日常工作中非常常見,舉個例子,我們在業務開發...

爬蟲 資料處理 pandas資料處理

使用duplicated 函式檢測重複的行,返回元素為布林型別的series物件,每個元素對應一行,如果該行不是第一次出現,則元素為true keep引數 指定保留哪一重複的行資料 dataframe替換操作 使用df.std 函式可以求得dataframe物件每一列的標準差 資料清洗清洗重複值 清...