機械人視覺專案 視覺檢測識別 機械人跟隨(3)

2021-08-28 07:27:48 字數 731 閱讀 4691

嵌入式裝置,計算資源有限,對演算法的執行時間敏感。

yolov3在tx2上能跑到5fps,但存在偶爾漏檢的情況。yolov3使用darknet。

kcf雖然非常快,但很容易跟丟,對於目標形變(人的姿態變化)、目標移動較快、目標離開場景等情況,效果較差。kcf使用opencv contrib的實現。

detection

使用tensorrt移植yolov3,減少檢測時間。

使用應用場景的資料,訓練yolo。

tracking

改進特徵,加入「人體」特徵,同時要注意特徵計算要很快。

多幀融合**搜尋範圍。

結合的方法,一部分取決於兩個演算法的精度和速度。越好越快,結合的方式可以越簡單。

獲取方法

yolo@rgbd

kcf@rgbd

用pytorch實現yolov3模型

除錯時發現,pytorch版本的**和darknet相差很大。

發現原因:影象預處理時的resize,雖然都使用雙線性插值,darknet自己實現的插值演算法,我使用opencv的resize實現,計算的結果小數點第3位有很大差別,第2位有少許差別。由於輸入不同,網路引數相同,另外網路結構的具體實現,也存在差異,這些共同導致了pytorch**的輸出,和darknet差別巨大。

解決辦法:用pytorch重新訓練yolov3,進行適度的引數調整,使得引數適應移植後的平台。

任何重現或者移植的工作,一定要實現學習過程,才是有意義的復現。

機械人視覺專案 視覺檢測識別 機械人跟隨(16)

跟蹤丟失後再檢測時加上目標特徵匹配,是將第一幀檢測到的目標框中的特徵提取出來,具體可以採用尺度不變特徵sift,surf特徵提取,提取出來的特徵,能否以向量的形式儲存在變數中,再檢測時搜尋影象幀中的待確定目標區域 可能有數個這樣的roi 可以通過計算歐式距離的方式與第一幀影象中的特徵進行匹配,快速排...

機械人視覺專案 視覺檢測識別 機械人跟隨(20)

1.嘗試用tx2外接kinectv1深度相機獲取rgbd影象資訊,傳入到我們的行人檢測 框架中,除錯基於深度相機的行人檢測與跟蹤演算法的效果。首先安裝kinect對應arm處理器的ubuntu驅動程式,libfreenect v2.0 openni v2.2.0.33 nite v2.0.0 安裝l...

訊號處理在機器視覺 機械人視覺與機器視覺

機械人視覺 計算機視覺 影象處理 機器視覺和圖形識別,這幾者之間到底有神馬區別呢?要弄清楚他們哪乙個是哪乙個,有時候也真的是容易混淆的。接下來看看這些術語的具體含義是什麼,以及他們與機械人技術有什麼關聯。讀了這篇文章後,你就再也不會被這些概念弄糊塗了!在這篇文章當中,我們分解了機械人視覺的 族譜 以...