在分析 文章前先膜拜以下大神...
tld(tracking-learning-detection)
是英國薩里大學的乙個捷克籍博士生
zdenek kalal
在其攻讀博士學位期間提出的一種新的單目標長時間（
long term tracking
tld演算法本身包含了很多模組，打算花時間仔細研究下，先從tld演算法的跟蹤演算法入手吧。
tld的跟蹤演算法採用了金字塔lucas-kanade 光流方法。
光流的概念是gibson在2023年首先提出來的。
它是空間運動物體在觀察成像平面上的畫素運動的瞬時速度，是利用影象序列中畫素在時間域上的變化以及相鄰幀之間的相關性來找到上一幀跟當前幀之間存在的對應關係，從而計算出相鄰幀之間物體的運動資訊的一種方法。
一般而言，光流是由於場景中前景目標本身的移動、相機的運動，或者兩者的共同運動所產生的。
當人的眼睛觀察運動物體時，物體的景象在人眼的視網膜上形成一系列連續變化的影象，這一系列連續變化的資訊不斷「流過」視網膜（即影象平面），好像一種光的「流」，故稱之為光流（optical flow）。光流表達了影象的變化，由於它包含了目標運動的資訊，因此可被觀察者用來確定目標的運動情況。
研究光流場的目的就是為了從序列中近似得到不能直接得到的運動場。運動場，其實就是物體在三維真實世界中的運動；光流場，是運動場在二維影象平面上（人的眼睛或者攝像頭）的投影。
那通俗的講就是通過乙個序列，把每張影象中每個畫素的運動速度和運動方向找出來就是光流場。那怎麼找呢？咱們直觀理解肯定是：第t幀的時候a點的位置是(x1, y1)，那麼我們在第t+1幀的時候再找到a點，假如它的位置是(x2,y2)，那麼我們就可以確定a點的運動了：(ux, vy) = (x2, y2) - (x1,y1)。
那怎麼知道第t+1幀的時候a點的位置呢？ 這就存在很多的光流計算方法了。
2023年，horn和schunck創造性地將二維速度場與灰度相聯絡，引入光流約束方程，得到光流計算的基本演算法。人們基於不同的理論基礎提出各種光流計算方法，演算法效能各有不同。barron等人對多種光流計算技術進行了總結，按照理論基礎與數學方法的區別把它們分成四種：基於梯度的方法、基於匹配的方法、基於能量的方法、基於相位的方法。近年來神經動力學方法也頗受學者重視。
tld的光流演算法流程如下：
從t1時刻的a點，跟蹤到t2時刻的b點，然後再從t2時刻的b點對映到t1時刻的c點，如此就產生了向前向後兩個軌跡，然後比較t1時刻a點和c的距離，如果其距離小於指定閾值，就認為前向跟蹤結果可信。
然後採用ncc影象匹配演算法，計算模板影象與被搜尋影象的互相關值確定匹配程度。tld演算法將跟蹤結果周圍10*10畫素與原始位置周圍10*10畫素的小進行ncc匹配計算，並按照匹配相似度進行過濾。
根據後向跟蹤過濾和匹配相似度過濾，最終計算出關鍵點的跟蹤軌跡。
計算機視覺演算法
講了乙個最小二乘法問題 存在四個不在一條直線上點，擬合一條直線，使這條直線能夠 誤差最小的穿過這四個點 雖然還不知道具體怎麼解。引申到矩陣的最小二乘法 有三個矩陣a，b，c，a為4 2,c為4 1，a b c.求b矩陣 求b，a矩陣是乙個非奇異矩陣，不可逆，所以讓a轉置左乘a構成滿秩矩陣c，可得b等...
（計算機視覺）計算機視覺基礎
opencv cximage cimg freeimage opencv中vc庫的版本與visual studio版本的對應關係 vc8 2005 vc9 2008 vc10 2010 vc11 2012 vc12 2013 vc14 2015 vc15 2017 visual studio中的輔助...
計算機視覺
主講老師 曹洋 課程 視覺 基礎 底 層處理 影象處理 特徵提 取 中 層處理 影象分割 相機標 定 深度 估計 運 動估計 高層處 理 3d 重建 目 標識別 視 覺基 礎 底層 處理 圖 像處理 特徵提取 中層 處理 圖 像分割 相機標定 深度估 計 運動 估計 高層處理 3d重 建 目標 識別...