目前參與的乙個專案是『足球事件檢索』。事件是乙個 high-level 概念，需要基於一些 low-level 資訊來做。後者主要就是一些影象處理的東西了。兩個 level 之間，會有一些中間層的資訊，比如足球的走向。根據師兄的建議，可以考慮對足球場上的運動員進行多目標跟蹤，在跟蹤軌跡的基礎上抽取一些有用的資訊。一來這個專案可能用到 mot 作為中間的乙個處理環節，另一方面有**文的壓力，mot 或許是乙個不錯的方向。之前也看過許多單目標跟蹤的文獻，這樣再看 mot 會容易些。
output: tracklets. 就是最終得到每個 target 的軌跡。
occlusions：有三種，被場景中的物體遮擋，被其他 target 遮擋，被自己遮擋（如變形，無法檢測到），遮擋之後，本來應該檢測到的 target 就檢測不到了。解決的方法如根據 temporal 資訊，估計出某一幀的某個位置有 target 被遮擋了。
motion: 最簡單的情況是勻速直線運動，這樣我們很好**下一幀中這個 target 在哪，但實際情況往往並不如此。比如可能來了個急轉彎，可能突然轉身往回走。解決之道，一般要設計更靈活、更複雜的運動模型。
false alarms: detector 給出了 response，但實際上那個地方並沒有 target，誤檢。這就要根據可信度，以及多種 refinement 方法來甄別了。
目前比較有代表性的有兩種：
detection-based data association. 多目標跟蹤，可以看作乙個資料關聯問題，連續兩幀之間的tracklets or detections 做 link，形成 longer tracklets。最經典的框架是nevatia 他們在2023年 eccv 發表的**robust object tracking by hierarchical association of detection responses 中提出的多層跟蹤框架。low-level:把連續幀中的 detection responses 連起來成為 short tracklets，並用閾值去掉 unsafe 的，剩下 reliable tracklets。mid-level:對 low-level 得到的 tracklets，對每對tracklet 計算一算乙個 link probability 或 affinity score，然後用 hungarian 演算法做 global optimal assignment，得到 longer tracklets.high-level:這裡就是對 mid-level 得到的 tracklets 做 refine 了，比如做乙個 entry-exit map，估計tracklets 的 start 和 end，對於沒有 reach entry-exit points 的，做乙個 completion；又如，尋找 moving group，並據此完善 group 中的 targets 的 tracklets。這是乙個基礎性的、開放的框架，人們可以在每個層次中不斷新增使用新的方法，可以看到，此後的許多**都是構建在這個框架上的。
energy minimization. 很多問題都可以轉化為乙個能量最小化的問題：在解空間中，每個解都對應乙個 cost或者說是 energy，我們要做的就是把這個 cost function 表示出來，並找到乙個合適的方法求最優解。mot 大神 anton milan 在2023年 pami 發表的continuous energy minimization for multi-target tracking 就是乙個典型。已知的是所有 detection responses，解空間就是這些個 responses 構成的所有可能的 tracklets 組合。每個組合都有乙個 cost ，尋找乙個最優的組合。本文清晰的闡述了 cost function 的構成，以及 minimization。它的牛掰之處是構造了乙個連續的 cost function，這樣容易求解；它用了 jump move,跳出區域性最優，尋找全域性最優。
目前，mot 的研究中，大家都是直接使用目前最好用的 hog or dpm detector，或者直接使用帶有 detection 標記的 dataset，在 detection 方面不下功夫。
low-level 方面，可用的特徵就那些，沒什麼改進的餘地。
對於足球場上的運動員跟蹤，運動員與球場容易區分，不同隊伍中的運動員容易區分，運動員之間也不太會發生 occlusion；但是，同一隊伍中的運動員相似度就比行人大多了，這可能是個挑戰。
deepsort多目標跟蹤
題目 online and realtime tracking with a deep association metric deepsort是在sort目標追蹤基礎上的改進。引入了在行人重識別資料集上離線訓練的深度學習模型，在實時目標追蹤過程中，提取目標的表觀特徵進行最近鄰匹配，可以改善有遮擋情況...
多目標跟蹤deepSORT
文章對 中的翻譯做了一些筆記，方便在演算法使用過程中遇到問題時檢視 jpdaf 中，單個狀態假設是通過關聯概率對單個測量值進行加權而產生的。在 mht中，所有可能的假設都被跟蹤，但為了計算的可操作性，必須應用剪枝方案。這些方法的效能取決於計算量和實現複雜性。深度關聯度量 軌道處理和卡爾曼濾波框架與s...
人臉跟蹤 sort多目標跟蹤
多目標跟蹤中sort演算法的理解 在跟蹤之前，對所有目標已經完成檢測，實現了特徵建模過程。1.第一幀進來時，以檢測到的目標初始化並建立新的 標註id。2.後面幀進來時，先到卡爾曼濾波器中得到由前面幀box產生的狀態 和協方差 求 所有目標狀態 與本幀檢測的box的iou，通過匈牙利指派演算法得到io...