時空上下文視覺跟蹤(STC)演算法

2022-05-28 11:27:16 字數 2775 閱讀 8071

而stc跟蹤演算法基於貝葉斯框架,根據跟蹤目標與周圍區域形成的的時空關係,在影象低階特徵上(如影象灰度和位置)對目標與附近區域進行了統計關係建模。通過計算置信圖(confidence map),找到似然概率最大的位置,即為跟蹤結果。

在視覺跟蹤,區域性上下文包括乙個目標和它的附近的一定區域的背景。因為,在連續幀間目標周圍的區域性場景其實存在著很強的時空關係。例如,上圖中的目標存在著嚴重的阻擋,導致目標的外觀發生了很大的變化。然而,因為只有小部分的上下文區域是被阻擋的,整體的上下問區域是保持相似的,所以該目標的區域性上下文不會發生很大的變化。因此,當前幀區域性上下文會有助於幫助**下一幀中目標的位置。圖中,黃色框的是目標,然後它和它的周圍區域,也就是紅色框包圍的區域,就是該目標的上下文區域。左:雖然出現嚴重的阻擋導致目標的外觀發現很大的變化,但目標中心(由黃色的點表示)和其上下文區域中的周圍區域的其他位置(由紅色點表示)的空間關係幾乎沒有發生什麼變化。中:學習到的時空上下文模型(藍色方框內的區域具有相似的值,表示該區域與目標中心具有相似的空間關係)。右:學習到的置信圖。

時間資訊:鄰近幀間目標變化不會很大。位置也不會發生突變。

空間資訊:目標和目標周圍的背景存在某種特定的關係,當目標的外觀發生很大變化時,這種關係可以幫助區分目標和背景。

對目標這兩個資訊的組合就是時空上下文資訊,該**就是利用這兩個資訊來進行對阻擋等魯棒並且快速的跟蹤。

在stc演算法中,目標的定位問題可用乙個目標在預估出現區域各個位置上的出現概率問題來處理。因此如果有一張概率圖,可以知道影象中各個位置目標出現的概率,則影象中概率最大的位置就是目標最可能存在的位置,置信圖定義為:

$c(x) = p(x|o) = b}}} \right|}^\beta }}}$ 

$x$表示目標位置,$o$ 表示目標出現, $b$為歸一化常量,$\alpha $為尺度引數,$\beta $為形狀引數。 $$是目標的位置。其中$\beta =1 $能夠有效的避免二義性和過擬合。

置信圖可分解成為:

定義上一小節中提到的,跟蹤目標與周圍上下文資訊的空間關係的條件概率$p(x,c(z)|o)$ 即是空間上下文模型,定義為:

$p(x,c(z)|o)}}^}}}}$

該模型表示目標位置 $$與區域性區域內點$z$之間的相對距離及方向關係,反映了目標與周圍區域的空間關係。由於$}(x - z)$不是乙個徑向對稱函式,因此解決分辨二異性問題。

上一小節中提到的,跟蹤目標與周圍上下文資訊的空間關係的條件概率$p(x,c(z)|o)$即是空間上下文模型,定義為:

$p(x,c(z)|o)}}^}}}}$

該模型表示目標位置 $$與區域性區域內點 之間的相對距離及方向關係,反映了目標與周圍區域的空間關係。由於$}(x - z)$不是乙個徑向對稱函式,因此解決分辨二異性問題。

上下文先驗概率模型可表示為:

$p(c(z)|o) = i(z)(z - )$

$i(z)$表示$z$處的灰度值,$ = \alpha ^2}}}}}}}$表示權重函式,該權重函式是由生物視覺系統的focus of attention啟發得到的,它表示人看東西的時候,會聚焦在乙個確定的影象區域。通常距離目標$$越近的點對於跟蹤目標越重要,因此對應的權重值也越大。而距離越遠則越容易被忽視。

傅利葉變換得:

$f\left( }}} \right|}^\beta }}}} \right) = f(}^}}}(x)) \odot f(i(x)(x - ))$

所以:$}^}}}(x) = }\left( }}} \right|}^\beta }}}} \right)}}(x - )}}} \right)$

第t+1幀的時空上下文模型$h_^(x)$的更新公式為:

$h_^(x) = (1 - \rho )h_t^ + \rho h_t^$

$\rho $為模型學習速率。這樣演算法通過不斷學習到的空間上下文模型結合前一傾的時空上下文模型,就得到了當前頓的時空上下文模型,再利用該模型更新置信圖,從而計算出當前頓目標的位置。 

得到時空上下文模型後,我們就可以在新的一幀計算目標的置信圖了: 

$}(x) = }(h_^(x) \odot }(x)}(x - *))$

然後置信圖中值最大的位置,就是我們的目標位置了:

$x_}^* = \mathop \limits_ }(x)$

$ = \alpha ^2}}}}}}}$中的$\sigma $應隨著時間變化進行更新,更新的方法是: 

t幀:在該幀目標(第一幀由人工指定)已經知道的情況下,我們計算得到乙個目標的置信圖(confidence map,也就是目標的似然)。通過生物視覺系統上的focus of attention特性我們可以得到另一張概率圖(先驗概率)。通過對這兩個概率圖的傅利葉變換做除再反傅利葉變換,就可以得到建模目標和周圍背景的空間相關性的空間上下文模型(條件概率)。然後我們用這個模型去更新跟蹤下一幀需要的時空上下文模型。

t+1幀:利用t幀的上下文資訊(時空上下文模型),卷積影象得到乙個目標的置信圖,值最大的位置就是我們的目標所在地。或者理解為影象各個地方對該上下文資訊的響應,響應最大的地方自然就是滿足這個上下文的地方,也就是目標了。

ref:

時空上下文視覺跟蹤(stc)演算法的解讀與**復現

運動目標跟蹤(八) 時空上下文 STC 跟蹤原理

從原理可以看出,stc在相機運動環境中,效果不會太好,尤其是在高速運動環境下。因為高速運動環境,背景幾乎與前景一起運動,這與其核心原理是違背的,其次,時間上下文關係,也是低速環境下的經驗值,實際會出現跟不上的問題 完全與時間上下文相關的引數有關 其優點在於固定背景下,遮擋問題的魯棒性。演算法的計算過...

上下文 上下文棧

全域性 函式 區域性 在執行全域性 前將window確定為全域性執行上下文 對全域性資料進行預處理 var定義的全域性變數 undefined,新增為window的屬性 function宣告的全域性函式 賦值 fun 新增為window的方法 this 賦值 window 開始執行全域性 在呼叫函式...

中斷上下文 程序上下文

在學習與作業系統相關的知識時候,我們經常遇到程序上下文 中斷上下文,看似熟悉又感覺不是特別清晰。這裡我們從如下幾個方面進行描述。上下文是從英文中context翻譯過來的,指的是一種環境。上下文我們看起來不怎麼熟悉,但是我們可以看context的中文翻譯,或者我們能更加的情形些。context n 語...