基於關鍵點檢測和空間敏感時序響應的豬隻點數

2021-10-08 15:02:59 字數 1906 閱讀 5020

**:efficient pig counting in crowds with keypoints tracking and spatial-aware temporal response filtering

youtube:

icra2020京東農牧美國團隊的作品

**提出了乙個自底向上的豬隻身體關鍵點檢測方法,非常類似openpose。然後是乙個基於匈牙利演算法的不同時刻豬隻匹配問題。最後基於空間敏感時序響應(strf)進行豬隻計數。

主要貢獻:

在大量聚集的房屋中的豬隻點數的感測器硬體配置被提出。

乙個新穎的自下而上的豬隻關鍵點檢測演算法被提出,解決了檢測中的高iou問題,遮擋問題,形變問題。

基於空間敏感時序響應(strf)演算法被提出,解決了跟蹤和豬隻運動造成的誤檢問題。

乙個高效的豬隻點數的整體流程被提出,並且在嵌入式裝置取得了非常快的速度表現。

整體流程:

高iou問題:

基於座標軸對齊的正框,不能解決高iou的問題。但是本文的基於關鍵點的方法,則完全可以避免這個問題。

關鍵點網路結構:

網路輸入大小為352*640,整體結構先進行下取樣,再進行上取樣。輸出大小和輸入大小一樣。

網路的輸出包括2個部分,關鍵點的特徵圖和關鍵點的偏移向量。

其中關鍵點的特徵圖包含4個通道,1個紅色點+2個綠色點+2個藍色點+背景,組成了4個通道。本質就是基於每乙個pixel的分類問題,訓練loss為交叉熵loss。

關鍵點偏移的特徵圖包含2個通道,分別表示x,y的偏移。

g0(x) 表示關鍵點的mask,關鍵點位置為1,背景位置為0,

u(x) 表示網路的**

v (x) 表示ground truth,

關鍵點跟蹤:

關鍵點跟蹤問題,本質是乙個二分圖匹配問題(bipartite graph matching),最終通過匈牙利演算法解決。

ct-1j 表示,第j頭豬在t-1時刻的候選,

cit表示,第i頭豬在t時刻的候選,

ψ 表示ct-1j和cit的相似性,

ψ由關鍵點的相似性ψa和空間距離的相似性ψl組成,

其中,關鍵點的相似性ψa,通過關鍵點檢測網路的上取樣的前一層的特徵作為關鍵點的特徵。

空間距離的相似性ψl,基於豬隻中心點的l2距離得到。

strf將乙個水平分為啟用區域和非啟用區域,非啟用區域表示已經計入總的豬隻個數的區域,啟用區域表示還未計入總的豬隻個數的區域。啟用區域經過啟用掃瞄線,就變為非啟用區域。

使用strf演算法,大大的避免了誤檢問題。

實驗結果:

關鍵點檢測結果,

點數結果,

總結:

基於 OpenCV 的面部關鍵點檢測實戰

csdn 編者按 這篇文章概述了用於構建面部關鍵點檢測模型的技術,這些技術是udacity的ai nanodegree程式的一部分。作者 小白 責編 歐陽姝黎 概述 在udacity的aind的最終專案中,目標是建立乙個面部關鍵點檢測模型。然後將此模型整合到完整的流水線中,該流水線拍攝影象,識別影象...

基於2D多邊形的碰撞檢測和響應 一

簡介 本文是闡述如何在2d動作遊戲中進行精確而高效的碰撞檢測。這裡的碰撞是基於多邊形而不是基於精靈的。這兩者之間在設計上會有不同。基於精靈的碰撞檢測是通過精靈之間的重疊的畫素來完成的。而多邊形使用向量數學來精確計算交點,時間和碰撞方向。雖然多邊形僅僅是精靈的乙個近似,但是它比精靈系統要高階。特性本文...

基於2D多邊形的碰撞檢測和響應 四

下面要作的是用給定的量將兩個物體分離,並新增一點摩擦和一些靜態摩擦,以便使物體靜止在斜面上。該部分使用簡單的速度影響演算法。同樣,為了使碰撞響應更加真實,物體被賦予了質量 更好的是質量的倒數 質量的倒數是比較常用的,該值為零意味著該物體具有無窮大的質量,並因此不能移動。同時速度響應中使用質量的倒數具...