海思Hi3516智慧型分析引擎應用介紹

2021-06-26 17:14:19 字數 1818 閱讀 1002

圖1:hi3516功能框圖

運動目標跟蹤是在運動目標檢測的基礎上,利用目標的有效特徵,使用適當的匹配演算法,在序列影象中尋找與目標模板最相似的影象位置,對目標進行定位。在實際應用中,運動目標跟蹤不僅可以提供目標的運動軌跡和準確定位目標,為下一步的目標行為分析與理解提供了可靠的資料**,而且也可以為運動目標檢測提供有效反饋,對目標檢測進行修正更新,從而形成乙個良性迴圈,因此運動目標檢測和運動目標跟蹤演算法是密不可分的,相輔相成。

安全規則判別是在運動目標檢測、跟蹤、分類的基礎上,得到準確的目標資訊,通過判斷當前時刻目標的行為特徵是否違反了使用者自定義的安全規則,從而觸發報警。其中安全規則判別也就是最終形成了使用者應用功能,如周界入侵(進入、離開、出現、消失)、單警戒線、多警戒線、逆行、徘徊、異常速度、非法停車、計數、ptz跟蹤等等。

表1:各模組資源消耗資料表

各模組消耗資源分布圖如圖3所示:

圖3:各模組消耗資源分布圖

從hi3516提供的硬化運算元來看,其選取了與運動目標檢測模組關聯性強且本身消耗資源大的部分的主要運算元進行了硬化,涉及影象下取樣、色彩空間轉換、濾波器、形態學處理、梯度與邊緣處理、影象運算操作、塊統計等多個方面。

經測試,ive對運動目標檢測演算法效能的提高可達40%左右。

該應用的主要功能包括:

6.畫面凍結檢測

7.ptz失控檢測

自動檢測前端雲台和鏡頭是否出現旋轉失控狀態。

8.人為干擾檢測

自動檢測由於人為惡意行為引起的畫面遮擋等現象。

在這個應用系統中可分為三部分:塔基、塔身、塔頂。塔基負責收集資料和初步加工資料;塔身部分負責根據初步資料得出9種特徵的評價結果;而負責觸發告警的塔頂部分,使用者在此可調節的高階引數,並且根據自身應用需要變化報警策略。

圖4 自下而上的資料金字塔

在塔基和塔身部分主要完成以下三個處理過程:

1.資料來源

根據技術樹(圖5)表示,所有功能由9個特徵完成。而9個特徵的提取源於3類資料來源,分別是:rgb圖、梯度圖、亮度圖。因此在這3個資料來源的資料加工中存在著公用資料或結論,可以大幅減少相同資料的重複運算,正是硬體加速引擎的主要方面;另一方面是規格化的加工手段,通過盡可能相同的流水線處理來規格化特徵的提取,使不同的特徵提取過程使用盡可能多的相同的處理子模組,從而達到資源的最大化利用。

圖5 技術樹和9種特徵

1.指標統計

統計方法使用:直方圖,均值和方差,fft變換。其中首先把cif影象(352×288)進行橫縱4×4等間隔劃分成16塊(88×72)(見圖6),然後分別對每個區域進行直方圖、均值和方差分別統計,這樣不僅在塊區域分析時可以使用資料結果,而且在整幅資料統計時,僅需要簡單把各個塊資訊進行簡單對應相加即可。這不僅可以用於亮度圖、rgb圖的處理,還可以用於梯度圖。對於fft變換,則直接對彩色圖進行運算。詳情見表二。

圖6 劃分為16塊區域的影象

表2 資料來源與統計方法

1.指標差異分析

差異分析主要使用:時域幀差、空域求比、頻域求比等手段。

空域求比:對於16個塊的統計,可以為每個塊在每個資料來源上做出乙個二值判定以表徵此塊是否處於異常,再通過對異常塊佔全部塊(16塊)的比例來判定整個影象是否處於異常。

頻域求比:用於統計某一頻段內畫素出現次數佔總頻段次數的百分比,來評估畫素的分布特性。例如可以通過大於200亮度值的畫素數與總影象素的比例來判斷整圖是否亮度過亮。

塔頂部分報警觸發是使用者最終需要的產品功能。此功能可根據不同場景和目標以及使用者個性需求表現出不同的靈敏性和傾向性。為了達到這一目的,報警策略設定完全開放給使用者。使用者可以根據需要設定閾值門限、增強或減弱所希望的特徵(甚至遮蔽掉無效特徵),以達到準確檢測的目的。

結束語:

我們相信hi3516晶元的推出,將對監控行業的高畫質化、智慧型化發展起到強勁的推動作用。

海思hi3516下glog終端不顯示顏色

現象 移植了glog設定flags logtostderr true 但是終端輸出無顏色 原因 glog原始碼中檢測終端是否支援顏色,如果檢測不支援,則不顯示顏色 glog檢測終端是否支援顏色 在logging.cc檔案中,如下 returns true iff terminal supports ...

海思Hi3516A上移植OpenCV

最近新換了工作,工作中一項任務是將opencv移植到hi3516a平台上。這項工作涉及到很多步驟,中間可以說經歷了千難萬險,克服了種種艱難困苦,最終成功了!現將過程詳細寫出,一方面作為此段工作的總結和回顧,另一方面也使後來者能不必再經歷我所經歷的困難乃至苦難。言歸正傳。這個任務需要很多步驟,下邊一步...

海思HI3516A 開發記錄(sdk環境搭建)

ubuntu 16 解壓sdk檔案 1 hi3516a sdk包位置 在 hi3516a v100r001 01.software board 目錄下,您可以看到乙個 hi3516a sdk vx.x.x.x.tgz 的檔案,該檔案就是hi3516a的軟體開發包。2 解壓縮sdk包 在linux伺服...