2024年-TLD目標跟蹤算法

Tracking-Learning-Detection目標跟蹤算法12一、TLD算法簡介二、TLD框架結(jié)構(gòu)三、P-N學習四、TLD算法實現(xiàn)主要內(nèi)容22024/5/14一、TLD算法簡介

TLD(Tracking-Learning-Detection)

是英國薩里大學的一個捷克籍博士生ZdenekKalal在其攻讀博士學位期間提出的一種新的單目標長時間（longtermtracking）跟蹤算法。Z.Kalal,K.Mikolajczyk,andJ.Matas,“Tracking-Learning-Detection,”

PatternAnalysisandMachineIntelligence

2011.Z.Kalal,K.Mikolajczyk,andJ.Matas,“Face-TLD:Tracking-Learning-DetectionAppliedtoFaces,”InternationalConferenceonImageProcessing,2010.

Z.Kalal,K.Mikolajczyk,andJ.Matas,“Forward-BackwardError:AutomaticDetectionofTrackingFailures,”

InternationalConferenceonPatternRecognition,2010,pp.23-26.

Z.Kalal,J.Matas,andK.Mikolajczyk,“P-NLearning:BootstrappingBinaryClassifiersbyStructuralConstraints,”

ConferenceonComputerVisionandPatternRecognition,2010.作者相關(guān)文章：ZdenekKalal32024/5/14一、TLD算法簡介長時間跟蹤的一個關(guān)鍵的問題：目標重新出現(xiàn)重新檢測重新跟蹤TLD與傳統(tǒng)跟蹤算法的顯著區(qū)別：將傳統(tǒng)的跟蹤算法和傳統(tǒng)的檢測算法相結(jié)合，來解決被跟蹤目標在被跟蹤過程中發(fā)生的形變、部分遮擋、消失等問題。同時，通過一種改進的在線學習機制不斷更新檢測模塊的目標模型及相關(guān)參數(shù)，從而使得跟蹤效果更加穩(wěn)定、魯棒、可靠。：形變、光照變化、尺度變化、遮擋、消失等情況42024/5/14一、TLD算法簡介二、TLD框架結(jié)構(gòu)三、P-N學習四、TLD算法實現(xiàn)主要內(nèi)容52024/5/14二、TLD框架結(jié)構(gòu)TLD算法框架主要由三部分組成：跟蹤模塊、檢測模塊、學習模塊。TLD架構(gòu)結(jié)構(gòu)圖62024/5/14二、TLD框架結(jié)構(gòu)TLD算法運行機制：跟蹤模塊

假設(shè)相鄰視頻幀之間物體的運動是有限的，且被跟蹤目標是可見的，以此來估計目標的運動。如果目標在相機視野中消失，將造成跟蹤失敗。檢測模塊

假設(shè)每一個視幀都是彼此獨立的，并且根據(jù)以往檢測和學習到的目標模型，對每一幀圖片進行全局搜索以定位目標可能出現(xiàn)的區(qū)域。學習模塊根據(jù)跟蹤模塊的結(jié)果對檢測模塊的錯誤進行評估，并根據(jù)評估結(jié)果生成訓(xùn)練樣本，對檢測模塊的目標模型及相關(guān)參數(shù)進行更新。檢測模塊和跟蹤模塊互補干涉的并行進行處理。72024/5/14一、TLD算法簡介二、TLD框架結(jié)構(gòu)三、P-N學習四、TLD算法實現(xiàn)主要內(nèi)容82024/5/14三、P-N學習

P-N學習：TLD的學習模塊，是一種半監(jiān)督的機器學習算法，目的是在線更新檢測器，提高檢測器的性能。它針對檢測器對樣本分類時產(chǎn)生的兩種錯誤提供了兩種“專家”進行糾正：P-N學習的主要思想：檢測器的錯誤能夠被兩種類型的專家（P-experts和N-experts）標識出。P-experts僅識別錯誤的負樣本，N-experts僅識別錯誤的正樣本。P專家（P-expert）

檢出漏檢（falsenegative，正樣本被誤分為負樣本）的正樣本，并將其添加到正樣本集中；N專家（N-expert）

改正誤檢（falsepositive，負樣本被誤分為正樣本）的正樣本，并將其添加到正樣本集中。92024/5/14P-N學習結(jié)構(gòu)圖P-N學習包含四個部分：1.待學習的分類器2.已標注的訓(xùn)練集4.學習過程中產(chǎn)生正、負樣本的函數(shù)3.從訓(xùn)練樣本集訓(xùn)練分類器的方法102024/5/14三、P-N學習P-N學習的公式化（略）P-N學習的穩(wěn)定性證明（略）P-N學習的仿真驗證（略）詳細內(nèi)容請參考：Z.Kalal,K.Mikolajczyk,andJ.Matas,“Tracking-Learning-Detection,”

PatternAnalysisandMachineIntelligence

2011.

Z.Kalal,J.Matas,andK.Mikolajczyk,“P-NLearning:BootstrappingBinaryClassifiersbyStructuralConstraints,”

ConferenceonComputerVisionandPatternRecognition,2010.112024/5/14P-N

experts的設(shè)計：b）中待檢測目標在一個視頻幀中可能同時出現(xiàn)在好幾個區(qū)域，并且待檢測目標在相鄰視頻幀之間的運動沒有連續(xù)性。c）中每個視頻幀中，目標只可能出現(xiàn)在一個區(qū)域，并且，相鄰視頻幀之間檢測到的目標區(qū)域是連續(xù)的，構(gòu)成了一個目標的運動軌跡。這種性質(zhì)，我們稱之為“結(jié)構(gòu)性”。a）中展示了覆蓋有掃描窗格的三幀圖片，每個方框定義一個圖像片，圖b)和c)中的紅點表示正樣本標簽。P-N專家的關(guān)鍵就是找到這種結(jié)構(gòu)性的數(shù)據(jù)，從而來判別檢測模塊所產(chǎn)生的錯誤標簽。122024/5/14P-N

experts的設(shè)計：

P-experts尋找視頻序列中的時域上的結(jié)構(gòu)性特征，并且假設(shè)目標是沿著軌跡線移動的。P-experts記錄目標在上一幀中的位置，并根據(jù)幀與幀之間的跟蹤算法來預(yù)測目標在當前幀中的位置。如果檢測模塊將目標在當前幀中的位置標記為負標簽，那么P-experts就產(chǎn)生一個正樣本。

N-experts尋找視頻序列中的空域上的結(jié)構(gòu)性特征，并且假設(shè)目標在一個視頻幀中只可能出現(xiàn)在一個位置。N-experts對檢測模塊在當前幀中的所有輸出結(jié)果以及跟蹤模塊的輸出結(jié)果進行分析，并找到置信度最高的結(jié)果。同置信度最高區(qū)域之間沒有重疊的圖相片被認定為負樣本。另外，具有最大可能性的那個區(qū)域，被用于重新初始化跟蹤模塊。132024/5/14P-N

experts的產(chǎn)生樣本的例子：目標是下面深色的車黑色框是檢測器檢測到的正樣本黃色框是跟蹤器產(chǎn)生的正樣本紅星標記的是每一幀最后的跟蹤結(jié)果跟蹤器代表產(chǎn)生正樣本的P專家在第t幀，檢測器沒有發(fā)現(xiàn)深色車，P專家認為深色車是正樣本，N專家經(jīng)過比較，認為深色車的樣本更可信，所以把淺色車輸出為負樣本。在第t+1幀的過程與之類似。在第t+2幀時，P專家產(chǎn)生了錯誤的結(jié)果，但經(jīng)過N專家的比較，又把這個結(jié)果排除了，算法仍然可以追蹤到正確的車輛。142024/5/14一、TLD算法簡介二、TLD框架結(jié)構(gòu)三、P-N學習四、TLD算法實現(xiàn)主要內(nèi)容152024/5/14四、TLD算法實現(xiàn)TLD架構(gòu)詳細的結(jié)構(gòu)圖162024/5/14(1)在任意時刻，被跟蹤目標都可以用其狀態(tài)屬性來表示。該狀態(tài)屬性可以是一個方框或一個指示目標是否可見的標記。

方框由它的位置和尺度來決定，有固定的長寬比。兩個方框的空間相似度由重疊度來量化，定義為兩個方框交集與并集之比。

(2)目標的外觀用圖像片p來表示，每一個圖像片都是從跟蹤框內(nèi)部采樣得到的，并被重采樣到一個歸一化的分辨率（15*15像素）。兩個圖相框pi,pj的相似度：1.一些基本定義

NCC是一個歸一化相關(guān)性系數(shù)。172024/5/14任意給定一個圖像片P和目標模型M，我們定義幾個量化指標：正樣本最近鄰相似度負樣本最近鄰相似度前50%正樣本的正最近鄰相似度相對相似度保守相似度1.一些基本定義(3)目標模型是一個代表迄今為止觀測到的被檢測目標及其周圍背景的數(shù)據(jù)結(jié)構(gòu)，它是一系列正樣本和負樣本的集合182024/5/142.跟蹤模塊--Tracker帶有失敗檢測（Failuredetection）的中值流（Median-Flow）跟蹤算法，定義FB誤差（forward-backwarderror）：從時間t的初始位置x(t)開始追蹤產(chǎn)生時間t+p的位置x(t+p)；再從位置x(t+p)反向追蹤產(chǎn)生時間t的預(yù)測位置x`(t)；初始位置x(t)和預(yù)測位置x`(t)之間的歐氏距離就作為追蹤器在t時間的FB誤差。192024/5/142.跟蹤模塊--Tracker在第t幀的目標框中均勻撒點并采樣作為特征點；使用金字塔LK光流法跟蹤特征點在第t+1幀的對應(yīng)位置。計算跟蹤點的FB誤差，篩選出FB誤差最小的一半點作為最佳追蹤點。根據(jù)這些點的坐標變化變化計算第t+1幀包圍框的位置和尺度（平移和尺度的變化取中值）中值流跟蹤器中值流跟蹤器原理202024/5/142.跟蹤模塊--Tracker跟蹤失敗檢測跟蹤模塊的跟蹤失敗檢測算法：中值流跟蹤算法的前提假設(shè)是目標是可見的，所以當目標完全被遮擋或者消失于視野，則不可避免地出現(xiàn)跟蹤失敗。參考文獻：Z.Kalal,K.Mikolajczyk,andJ.Matas,“Forward-BackwardError:AutomaticDetectionofTrackingFailures,”

InternationalConferenceonPatternRecognition,2010,pp.23-26.

讓表示其中某一個點的移動位移，表示位移中值，則殘差可定義為。如果殘差大于10個像素，那么就認為跟蹤失敗。這個策略能夠很穩(wěn)定地就確定出由劇烈移動或者遮擋所造成的跟蹤失敗。212024/5/143.檢測模塊--Detection檢測器通過一個掃描窗口來掃描輸入圖像，然后判斷出每一個圖像塊是否含有目標。在初始跟蹤框的基礎(chǔ)上，掃描窗口的參數(shù)設(shè)置為：

縮放比例的步長系數(shù)為1.2，產(chǎn)生20種尺度系數(shù)水平步長是寬度的10%，垂直步長是高度的10%最小的掃描窗口大小為20個像素。

如此，對于QVGA圖片（240*320）來說會產(chǎn)生約5萬個掃描方框，具體數(shù)字取決于初始框的長寬比。這是一個非常巨大的數(shù)字，每個圖像塊的處理必須非常高效。222024/5/14檢測模塊使用級聯(lián)分類器（Cascsdedclassifier）來判斷輸入的圖像塊中是否還有目標，劃分為三個模塊：方差分類器（PatchVariance）集成分類器（EnsembleClassifier）最近鄰分類器（NNClassifier）3.檢測模塊--Detection圖塊1被方差分類器淘汰圖塊3通過級聯(lián)分類器圖塊2被集成分類器淘汰232024/5/14

3.1方差分類器方差分類器淘汰所有灰度值方差（gray-valuevariance）小于初始跟蹤框內(nèi)圖像塊的50%的圖像塊，灰度值方差可以表示為：一般而言，這一步會淘汰超過50%的非目標圖像塊（比如，天空，街道等等）。p0yx242024/5/14

3.2集成分類器

經(jīng)過方差分類器之后未被去除的圖像塊進入集成分類器。集成分類器由n(n=10)個獨立的基本分類器組成，每個基本分類器對圖像塊進行m(m=10)組像素比較（pixelcomparisons），并產(chǎn)生一個二進制編碼x。每個基本分類器為樹形結(jié)構(gòu)（隨機蕨分類器），每層的節(jié)點的判斷準則相同，即,在圖像元中任意選取兩點A和B，比較這兩點的亮度值，若A的亮度大于B，則特征值為1，否則為0。

集成分類器由10棵樹組成，每棵樹有13層，圖像塊經(jīng)過每棵樹都會產(chǎn)生一個13位的二進制編碼。...252024/5/14

3.2集成分類器

輸入圖像塊經(jīng)過所有基本分類器后，產(chǎn)生的10個后驗概率值會被平均，集成分類器把平均后驗概率大于0.5的圖像塊認為是目標。262024/5/14生成像素比較對先用一個歸一化（15*15）的patch去離散化像素空間，產(chǎn)生所有可能的垂直和水平的pixelcomparisons；把這些pixelcomparisons隨機分配給10個分類器，每個分類器得到不同的pixelcomparisons(特征集合，包含13組像素對）。這樣，保證了每個分類器基于一組不同的特征集合，而且所有的特征統(tǒng)一起來就可以覆蓋整個patch了。像素比較對的坐標離線、隨機生成，并在運行過程中保持固定。272024/5/14后驗概率分布

初始化及更新

282024/5/143.3最近鄰分類器

292024/5/144.綜合模塊--Integrator跟蹤器和檢測器獨立同步運行，各自輸出預(yù)測到的目標框，而且檢測器的輸出結(jié)果很可能不唯一。綜合器先對檢測器的結(jié)果進行聚類，然后根據(jù)檢測器聚類結(jié)果和跟蹤器跟蹤結(jié)果的置信度(confidence)，對兩者