學習筆記18 SiamRPN

2021-10-03 15:59:11 字數 1922 閱讀 3142

**high performance visual tracking with siamese region proposal network

本文主要提出siamese region proposal network(siamese-rpn),包含siamese子網路用於特徵提取,以及候選區域生成網路(region proposal subnetwork)用於分類和回歸。

一、先了解siamese網路--fully-convolutional siamese networks for object tracking

網路結構為上下兩分支,共享卷積層引數(相同的特徵提取網路φ,孿生網路含義)。模板分支z用來提取第一幀特徵,檢測分支x在當前幀上根據上一幀結果裁剪出search region。然後將模板z提取的特徵圖作為卷積核在x的特徵上進行卷積操作,即圖中的*部分,最終得到乙個分數圖score map,表示搜尋區域各個位置與模板z之間的相似度,相應最大的點即為目標位置。

二、siamese-rpn框架

類似於siamesefc網路,採用無填充的全卷積網路,上分支輸入為模板幀,即第一幀的bounding box。下分支是待檢測的幀,即當前幀。兩條分支經過同乙個cnn之後得到了兩個feature map(ϕ(z)和ϕ(x)),該cnn使用除去了conv2和conv4兩層alexnet。

2、region proposal subnetwork

受faster r-cnn中的rpn的啟發,分為分類分支和回歸分支。在兩個分支上分別對模板幀和檢測幀的特徵做卷積運算,在x上使用經過處理的z作為卷積核進行卷積操作。

損失函式即rpn中的損失函式,由lcls和lreg兩部分組成,lcls使用交叉熵損失,lreg使用smooth l1 loss。

3、訓練

成對給網路feed,由於跟蹤前後連續幀的目標形變較小,anchor採用一種尺度,5種不同的長寬比[0.33, 0.5, 1, 2, 3]。

正負樣本的選取,iou>0.6為正樣本和iou<0.3為負樣本。

4、 tracking as one-shot detection

希望找到使**函式ψ(x; w)的平均損失l最小的引數w。而one-shot學習目的在從感興趣類別的單個模板z中學習w。 discriminative one-shot learning的挑戰是找到一種將類別資訊整合到學習者中的機制,即learning to learn。為解決這一挑戰,文中提出了一種從單個模板z學習**變數引數w的方法。元學習過程。

one-shot detection:借用了meta learning的思想,預訓練模版分支,通過模版幀學習到檢測分支rpn的網路引數。具體來說,模板分支使用第一幀來**檢測分支上區域提出子網核的權重(灰色部分)。 然後剪掉模板分支,只保留檢測分支,因此將框架修改為區域性檢測網路。

SiamRPN閱讀筆記

這是來自商湯的一篇文章 發表在cvpr2018上 位址 目錄 3.siamese rpn framework 4.tracking as one shot detection 5.實驗 6.結論 作者說現代的 分為兩個分支,乙個是基於相關濾波器的方法,不再贅述 另乙個是利用非常好的深度特徵的方法,此...

python學習筆記18

棧 stack 可以用順序表實現,也可以用鍊錶實現,其原理為後進先出,操作包括 stack 建立乙個新的空棧 push item 新增乙個新的元素item到棧頂 pop 彈出棧頂元素 peek 返回棧頂元素 is empty 判斷棧是否為空 size 返回棧的元素個數。佇列 queue 也是可以用順...

c 學習筆記(18)

類模板做友元 全域性函式類內實現 直接在類內宣告友元 全域性函式類外實現 需要提前讓編譯器知道全域性函式的存在 template classt1,class t2 class person 全域性函式的類內實現 friend void printperson personp 加入空模板的引數列表,表...