行人重識別RE ID 瑣碎知識點總結

2021-08-13 18:31:16 字數 1755 閱讀 9109

1. single shot 和muti shot

前者是指gallery中每個人的影象為一張(n=1),而後者是指gallery中每個人的影象為n>1張影象,同樣的rank-1下,一般n越大,得到的識別率越高。

2.gallery、probe和cmc

gallery是候選行人庫,probe是待查詢輸入,也叫查詢影象(query),cmc是一種reid的效能評價方法,即cumulative match characteristic。cmc將再識別問題看成是一種排序問題,cmc 曲線的具體含義是指在候選行人庫(gallery)中檢索待查詢(probe)的行人,前 r 個檢索結果中包含正確匹配結果的比率。其中,第 1 匹配率 r=1 指標rank-1反映了最匹配候選目標剛好為待查詢目標的概率,即該指標為真正的識別能力,因此很重要。但是當 r 值很小但大於1時,由於可以通過人眼進行輔助識別查詢目標,因此也很有現實意義,如第 5 匹配率 r=5 指標反映前 5 個匹配候選目標中存在待查詢目標的概率,如下圖:橫座標表示排名等級,縱座標表示再識別的準確率。

3.可考慮的特徵優化方法及優缺點:

顏色資訊:

紋理資訊:

顯著性資訊:

一般是基於塊顯著特徵匹配。涉及水平方向的塊匹配來對齊,查詢影象與候選行人影象庫中每一幅影象之間都實現了特徵塊的對齊,可減少了由於視角、位姿變化而引起的空間錯位。匹配塊的顯著性外觀特徵空間分布不一致。

空間資訊:

資訊融合方法:

深度資訊:

4.行人再識別演算法的分類

基於特徵設計的方法:

主要包括顏色、紋理、邊緣、形狀、全域性特徵、區域特徵和基於塊的特徵等基本特徵

基於機器學習的方法:

5.reid訓練的loss類別:

見今年aaai的那篇multi-task的思路。用softmax做classification,contrastive loss或者image pair融合做identification,triplet loss做ranking,這個幾乎已經是標準架構了,無非在裡面再做細緻調整。其他的就是各種trick了,影象增強,資料擴充,增加標籤語意監督,以及各種各樣的reranking技巧。

總結一下常見loss:contrastive loss,triplet loss,center loss,coupled clusters loss,structured loss,quadruplet loss,以及對應的改進版,基本已經差不多了,而且都是行人,車輛,人臉,例項等檢索識別任務通用的損失函式。

另外:

image pairs融合這一部分有相當多的工作可以考慮,卷積層融合,還是全連線相減,依然還有不少東西可以挖。

多標籤學習,是單純的大量softmax呢,還是多重交叉熵,也有一些東西可以做。

part model,包括單純切割,或者是用pose定位切塊,也是能顯著提公升效能的。

其他的其實單從效能上的話,transfer learning,cross domain,gan模型資料擴增,以及reranking。

基本上以上這些工作都是對實際效能提公升會有一些幫助的,基本上我復現之後,都能在我原模型基礎上好2到5個點之間。

瑣碎知識點

13 反射獲取方法所在的類名稱 system.reflection.methodbase.getcurrentmethod declaringtype 12 try catch finally try catch exception ex finally view code sqliteconnec...

阿里行人重識別 ReID 演算法效果取得世界第一

近日,阿里巴巴機器智慧型技術實驗室在行人重識別 person re identification 演算法上獲得突破性成果。該技術團隊通過最新演算法,在不使用任何時序資訊的情況下,在行人重識別主流資料庫 market1501,dukemtmc reid和cuhk03 上各項指標均取得第一的好成績,重新...

ReID 行人重識別中常用loss與評價指標說明

如有錯誤,請多多指教!在reid中常見的loss有identity loss verification loss triplet loss 把reid問題看做是乙個影象分類問題,每乙個id都是乙個類。計算公式 n 每個batch訓練的樣本數 p yi xi 輸入影象xi和其類別標籤yi,經過soft...