運動跟蹤與行為識別

1、模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 運動跟蹤與行為識別模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences q 運動跟蹤運動跟蹤q 行為識別行為識別運動分析的一般流程運動檢測運動

2、檢測目標分類目標分類跟跟 蹤蹤識識 別別模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 什么是跟蹤(Tracking)？ q所謂跟蹤，就是指在圖像序列中持續(xù)地估計出所謂跟蹤，就是指在圖像序列中持續(xù)地估計出感興趣的運動目標所在區(qū)域（位置），形成運感興趣的運動目標所在區(qū)域（位置），形成運動目標的運動軌跡；有時還需要估計出運動目動目標的運動軌跡；有時還需要估計出運動目標的某些運動參數(shù)（比如速度、

3、加速度等）。標的某些運動參數(shù)（比如速度、加速度等）。模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 一個跟蹤的例子模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences q 運動目標的表示方法

4、運動目標的表示方法q 具體介紹常用的跟蹤方法具體介紹常用的跟蹤方法q 多目標跟蹤的數(shù)據(jù)關(guān)聯(lián)問題多目標跟蹤的數(shù)據(jù)關(guān)聯(lián)問題q 多攝像機跟蹤多攝像機跟蹤模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 運動目標的表示方法r 基于點的跟蹤基于點的跟蹤r 基于區(qū)域的跟蹤基于區(qū)域的跟蹤r 基于輪廓的跟蹤基于輪廓的跟蹤r 基于模型的跟蹤基于模型的跟蹤模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自

5、動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 基于點的跟蹤q 質(zhì)心或一組特征點集質(zhì)心或一組特征點集q 運動輪廓的角點運動輪廓的角點模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 基于點的跟蹤q將運動目標表示成點比較適合跟蹤那些在圖像上所占

6、將運動目標表示成點比較適合跟蹤那些在圖像上所占區(qū)域比較小的目標區(qū)域比較小的目標q做簡單剛體運動的目標（特征點集）做簡單剛體運動的目標（特征點集）模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 基于區(qū)域的跟蹤q將運動目標用比較簡單的幾何形狀表示，比如矩形或?qū)⑦\動目標用比較簡單的幾何形狀表示，比如矩形或橢圓等橢圓等q適合于表示適合于表示簡單的簡單的剛體或非剛體運動目標。剛體或非剛體運動目標。q

7、相較于后面要介紹的活動輪廓等表示方法精度較差。相較于后面要介紹的活動輪廓等表示方法精度較差。模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 基于輪廓的跟蹤q Contour表示運動目標的外部輪廓表示運動目標的外部輪廓q Silhouette表示運動目標外部輪廓內(nèi)的區(qū)域表示運動目標外部輪廓內(nèi)的區(qū)域q 適用于表示適用于表示復(fù)雜的復(fù)雜的非剛體運動目標。非剛體運動目標。ContourSilhoue

8、tte模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 基于輪廓的跟蹤q 主動輪廓主動輪廓 Active Contourq利用封閉的曲線輪廓來表示運動目標，并且該輪廓能夠利用封閉的曲線輪廓來表示運動目標，并且該輪廓能夠自動連續(xù)地更新自動連續(xù)地更新* YILMAZ, A., LI, X., AND SHAH, M. 2004. Contour based object tracking wit

9、h occlusion handling in video acquired using mobile cameras. IEEE Trans. Patt. Analy. Mach. Intell. 26, 11, 15311536.模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 基于模型的跟蹤q 二維形狀模型二維形狀模型 q 立體模型立體模型 Volumetric ModelSkelet

10、al Articulated Model模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 運動目標的表示方法r 基于點的跟蹤基于點的跟蹤r 基于區(qū)域的跟蹤基于區(qū)域的跟蹤r 基于輪廓的跟蹤基于輪廓的跟蹤r 基于模型的跟蹤基于模型的跟蹤由由簡簡到到繁繁模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern Recogniti

11、onInstitute of Automation, Chinese Academy of Sciences q采用上述的哪種方法來表示運動目標和不同的采用上述的哪種方法來表示運動目標和不同的應(yīng)用場合、運動目標的運動特性、以及對跟蹤應(yīng)用場合、運動目標的運動特性、以及對跟蹤算法的精度要求等密切相關(guān)。算法的精度要求等密切相關(guān)。模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences q 運動目標的表示方

12、法運動目標的表示方法q 具體介紹常用的跟蹤方法具體介紹常用的跟蹤方法q 多目標跟蹤的數(shù)據(jù)關(guān)聯(lián)問題多目標跟蹤的數(shù)據(jù)關(guān)聯(lián)問題q 多攝像機跟蹤多攝像機跟蹤模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 跟蹤問題的兩種解決思路*q 自底向上自底向上(Bottom-up)(Bottom-up)的處理方法的處理方法n 又稱為數(shù)據(jù)驅(qū)動又稱為數(shù)據(jù)驅(qū)動(Date-driven)(Date-driven)的方

13、法，不依賴于的方法，不依賴于 先驗知識先驗知識q 自頂向下自頂向下(Top-down)(Top-down)的處理方法的處理方法n 又稱為模型驅(qū)動又稱為模型驅(qū)動(Model-driven)(Model-driven)的方法，依賴于所的方法，依賴于所 構(gòu)建的模型或先驗知識構(gòu)建的模型或先驗知識 * Comanniciu D, Ramesh V, Meer P. Kernel-based object tracking. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(5): 564577模式識別國家重點

14、實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 跟蹤問題的兩種解決思路*q 自底向上自底向上(Bottom-up)(Bottom-up)的處理方法的處理方法 模板匹配模板匹配 (Template Match) 均值漂移均值漂移 (Mean Shift)q 自頂向下自頂向下(Top-down)(Top-down)的處理方法的處理方法 卡爾曼濾波器卡爾曼濾波器 (Kalman Filter) 粒子濾波器粒子濾

15、波器 (Particle Filter)模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 自底向上(Bottom-up)的處理方法q 模板匹配法模板匹配法 (Template Matching)n 在前一幀圖像中目標位置在前一幀圖像中目標位置（或模板（或模板T位置）為：位置）為：n 在當(dāng)前幀搜尋位置在當(dāng)前幀搜尋位置 使得使得:( , )x y(,)xdx ydy=+( , )x yv 概念上

16、相對比較簡單概念上相對比較簡單v 進行窮盡的搜索計算量非常大進行窮盡的搜索計算量非常大 ,argmaxcov( ( , ), (,)dx dyT x y I xdx ydy+模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences q 在前一幀目標位置附近的一個小區(qū)域內(nèi)搜索在前一幀目標位置附近的一個小區(qū)域內(nèi)搜索vFIEGUTH, P. AND TERZOPOULOS, D. 1997. Color-

17、based tracking of heads and other mobile objects at video frame rates. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2127.q 使用模板匹配的快速算法使用模板匹配的快速算法 vSCHWEITZER, H., BELL, J. W., AND WU, F. 2002. Very fast template matching. In European Conference on Computer Vision (ECCV). 358

18、372. 模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 自底向上(Bottom-up)的處理方法q 均值漂移法均值漂移法 (Mean Shift)q 原理原理 在圖像分割中已經(jīng)做過介紹在圖像分割中已經(jīng)做過介紹模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Aut

19、omation, Chinese Academy of Sciences 自底向上(Bottom-up)的處理方法q 均值漂移法均值漂移法 (Mean Shift)模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 自底向上(Bottom-up)的處理方法q 均值漂移法均值漂移法 (Mean Shift) 通常只需要經(jīng)過通常只需要經(jīng)過45次迭代次迭代v Comanniciu D, Ramesh

20、 V, Meer P. Kernel-based object tracking. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(5): 564577模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 自頂向下(Top-down)的處理方法q通過建立狀態(tài)空間模型，把跟蹤問題表示為動態(tài)通過建立狀態(tài)

21、空間模型，把跟蹤問題表示為動態(tài)系統(tǒng)的狀態(tài)估計問題。系統(tǒng)的狀態(tài)估計問題。q思路是將目標跟蹤問題轉(zhuǎn)換為在貝葉斯思路是將目標跟蹤問題轉(zhuǎn)換為在貝葉斯 (Bayesian)(Bayesian)理論框架下已知目標狀態(tài)的先驗概率，理論框架下已知目標狀態(tài)的先驗概率，在獲得的測量值在獲得的測量值(Measurement)(Measurement)后不斷求解目標后不斷求解目標狀態(tài)的后驗概率的過程。狀態(tài)的后驗概率的過程。模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation,

22、 Chinese Academy of Sciences 狀態(tài)空間模型(State Space Model)q 動態(tài)系統(tǒng)由狀態(tài)轉(zhuǎn)移方程和觀測方程組成。動態(tài)系統(tǒng)由狀態(tài)轉(zhuǎn)移方程和觀測方程組成。q 狀態(tài)轉(zhuǎn)移方程：狀態(tài)轉(zhuǎn)移方程：11(,)kkkkxfxv11:,:kkkfxxv當(dāng)前時刻和前一時刻的狀態(tài)當(dāng)前時刻和前一時刻的狀態(tài)在很多跟蹤問題中可能是非線性的在很多跟蹤問題中可能是非線性的系統(tǒng)噪聲，系統(tǒng)噪聲，通常是非高斯的通常是非高斯的 模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute o

23、f Automation, Chinese Academy of Sciences 狀態(tài)空間模型(State Space Model)11kkkxxv模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences q 觀測方程觀測方程狀態(tài)狀態(tài)在很多跟蹤問題中可能是非線性的在很多跟蹤問題中可能是非線性的測量噪聲，測量噪聲，通常是非高斯的通常是非高斯的 (,)kkkkyh x n:kkkhyxn測量值測量值狀

24、態(tài)空間模型(State Space Model)模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 貝葉斯遞歸濾波器(Recursive Filters)q 狀態(tài)轉(zhuǎn)移方程：狀態(tài)轉(zhuǎn)移方程： q 測量方程：測量方程：q 已知信息：已知信息：q 要求的是：要求的是：1:()kkp x y111(,)(|)kkkkkkxfxvp xx(,)(|)kkkkkkyh x np yx1:10(,)()KKy

25、yyp x模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences q 步驟步驟: : n 預(yù)測測量更新預(yù)測測量更新 (Predict-Measurement-Update)n 預(yù)測預(yù)測: : n 更新：更新：11:11:1()()kkkkp xyp x y1:11:(),()kkkkkp x yyp x y測量測量貝葉斯遞歸濾波器(Recursive Filters)模式識別國家重點實驗室模式識別

26、國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 預(yù)測測量更新q 復(fù)習(xí)一下貝葉斯準則復(fù)習(xí)一下貝葉斯準則 (Bayes Rule):()() ( )p x yp y x p xPosteriorlikelihoodPrior模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, C

27、hinese Academy of Sciences q 預(yù)測預(yù)測: : (using Chapman-Kolmogoroff equation)q 更新更新: :(using Bayes Rule)1:1111:11()() ()kkkkkkkp x yp x xp xydx1:11:1:1() ()()()kkkkkkkkp y xp x yp x yp yy預(yù)測測量更新1:11:1(|)(|) (|)kkkkkkkp yyp yxp xydx模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern Recognitio

28、nInstitute of Automation, Chinese Academy of Sciences q上述推導(dǎo)給出了理論上解的形式，實際中往往無法得到上述推導(dǎo)給出了理論上解的形式，實際中往往無法得到解析表達解析表達q在特定假設(shè)下可以獲得最優(yōu)解在特定假設(shè)下可以獲得最優(yōu)解 基于線性、高斯假設(shè)基于線性、高斯假設(shè)n 卡爾曼濾波器卡爾曼濾波器q對任意概率密度函數(shù)對任意概率密度函數(shù) 概率密度函數(shù)多峰情況概率密度函數(shù)多峰情況n 粒子濾波器粒子濾波器模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionIn

29、stitute of Automation, Chinese Academy of Sciences 基本假設(shè)基本假設(shè): q后驗概率分布后驗概率分布 為為高斯高斯分布分布q動態(tài)系統(tǒng)是動態(tài)系統(tǒng)是線性線性的的q系統(tǒng)噪聲和測量噪聲都是系統(tǒng)噪聲和測量噪聲都是高斯高斯分布的，協(xié)方差矩陣分別分布的，協(xié)方差矩陣分別為為 和和 。11:1()kkp xy11kkkkkkkkkkxF xG vzH xJ n1kQkR卡爾曼濾波器(Kalman Filter)模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionIns

30、titute of Automation, Chinese Academy of Sciences 11:11|11|1(|) (,)kkkkkkp xymP-N1:1|1|1(|) (,)kkk kk kp xymP-Nwith|11|1|111|1k kkkkTTk kkkkkkkkmF mPG QGF PF-=+卡爾曼濾波器預(yù)測模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 1:()

31、 (,)kkk kk kp x ymPN11()kkkkk kk kk kestimated ymmKyH m 11kkk kk kk kPPK H P111()kTTTkkkkkkkk kk kCov yKPHH PHJ R J withKalman Gain （增益）：（增益）：Kalman Innovation(新息)卡爾曼濾波器更新模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences q

32、 Extended Kalman Filter (EKF)q Unscented Kalman Filter (UKF)n 同樣基于高斯分布的假設(shè)；同樣基于高斯分布的假設(shè)；n 狀態(tài)轉(zhuǎn)移方程和測量方程為狀態(tài)轉(zhuǎn)移方程和測量方程為非線性非線性函數(shù)；函數(shù)；n 沿用沿用KalmanKalman Filter Filter的框架；的框架；n 將非線性函數(shù)局部線性化。將非線性函數(shù)局部線性化。v為處理更為一般的概率密度函數(shù)（比如，多峰情況），我們?yōu)樘幚砀鼮橐话愕母怕拭芏群瘮?shù)（比如，多峰情況），我們需要適應(yīng)性更強的方法需要適應(yīng)性更強的方法粒子濾波器粒子濾波器?？柭鼮V波器的擴展模式識別國家重點實驗室模式識別國家

33、重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences q 粒子濾波器的一系列別名粒子濾波器的一系列別名: : n Condensation Algorithmsn Sequential sampling-importance re-sampling (SIR)n Bootstrap Filteringn Interacting particle approximationsn Survival of the fittestn 粒

34、子濾波器(Particle Filter)模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences q基于貝葉斯準則的序貫蒙特卡羅算法基于貝葉斯準則的序貫蒙特卡羅算法(Sequential Monte Carlo )粒子濾波器(Particle Filter)模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern Recogni

35、tionInstitute of Automation, Chinese Academy of Sciences q 通過尋找一組隨機樣本對任意概率密度函數(shù)進行近似通過尋找一組隨機樣本對任意概率密度函數(shù)進行近似q 也即：用一組離散樣本點來近似連續(xù)的概率密度函數(shù)也即：用一組離散樣本點來近似連續(xù)的概率密度函數(shù)q 樣本點的權(quán)重表示概率密度樣本點的權(quán)重表示概率密度( ,)1,2,1iiiisiN粒子濾波器(Particle Filter)模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitut

36、e of Automation, Chinese Academy of Sciences * Isard M and Blake A. Condensationconditional density propagation for visual tracking. International Journal of Computer Vision, 1998, 29 (1): 5-28.11:1()kkp xy1:1()kkp x y1:()kkp x y模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern Recogni

37、tionInstitute of Automation, Chinese Academy of Sciences 模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences q 通過隨機采樣近似復(fù)雜的、無法解析表達的概率密度函數(shù)通過隨機采樣近似復(fù)雜的、無法解析表達的概率密度函數(shù)q 不需要計算復(fù)雜的積分不需要計算復(fù)雜的積分q 適應(yīng)性廣適應(yīng)性廣粒子濾波器(Particle Filter)模式識別國家重點實

38、驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences Kalman Filter vs. Particle Filter 性能比較性能比較實驗 Bouncing Ball模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Scie

39、nces Kalman FilterThe estimated position from the Kalman filter (red) is compared against the actual ground truth position (green). 模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences Kalman filter Failures：Kalman Filter模式識別

40、國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences The predicted position from the particle filter (red) is compared against the actual ground truth position (green). Particle Filter模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Lab

41、oratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences Particle Filter模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 運動跟蹤中的一些難點問題q運動跟蹤所面臨的主要難點可以歸結(jié)為對跟蹤運動跟蹤所面臨的主要難點可以歸結(jié)為對跟蹤算法在三個方面的要求，即對算法的魯棒性、算

42、法在三個方面的要求，即對算法的魯棒性、準確性和快速性的要求。準確性和快速性的要求。模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences q魯棒性要求跟蹤算法能夠在各種環(huán)境條件下實現(xiàn)對運動魯棒性要求跟蹤算法能夠在各種環(huán)境條件下實現(xiàn)對運動目標持續(xù)穩(wěn)定的跟蹤。影響視覺跟蹤算法魯棒性的主要目標持續(xù)穩(wěn)定的跟蹤。影響視覺跟蹤算法魯棒性的主要原因在于：原因在于：n被跟蹤運動目標的姿態(tài)變化；被跟蹤運動目標的姿態(tài)

43、變化；n運動目標所處環(huán)境的變化（比如，光照條件等）；運動目標所處環(huán)境的變化（比如，光照條件等）；n部分遮擋引起的運動目標不規(guī)則變形和全部遮擋引起的運動目部分遮擋引起的運動目標不規(guī)則變形和全部遮擋引起的運動目標的暫時消失。標的暫時消失。運動跟蹤中的一些難點問題 模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences q準確性的要求包括兩個方面：準確性的要求包括兩個方面：n 對運動目標檢測的準確性；對

44、運動目標檢測的準確性；n 對運動目標分割的準確性；對運動目標分割的準確性；q快速性的要求在于：在保證所要求的跟蹤精度的前提下快速性的要求在于：在保證所要求的跟蹤精度的前提下實現(xiàn)實現(xiàn)實時實時地跟蹤。地跟蹤。運動跟蹤中的一些難點問題模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences q場景中運動目標的數(shù)目：場景中運動目標的數(shù)目： 單運動目標單運動目標 vs. vs. 多多運動目標運動目標n在多目標

45、跟蹤過程中，必須考慮到多個目標在場景在多目標跟蹤過程中，必須考慮到多個目標在場景中會互相遮擋中會互相遮擋(Occlusion)(Occlusion)，合并，合并(Merge)(Merge)，分離，分離(Split)(Split)等情況等情況。n多目標跟蹤中的數(shù)據(jù)關(guān)聯(lián)問題多目標跟蹤中的數(shù)據(jù)關(guān)聯(lián)問題(Data Association)。跟蹤問題分類模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences

46、 跟蹤問題分類q 攝像機的數(shù)目：攝像機的數(shù)目： 單攝像機單攝像機 vs. vs. 多攝像機多攝像機n 使用多攝像機有望解決因相互遮擋導(dǎo)致的運動目標使用多攝像機有望解決因相互遮擋導(dǎo)致的運動目標 丟失問題，但多攝像機的信息融合是一個關(guān)鍵性問丟失問題，但多攝像機的信息融合是一個關(guān)鍵性問 題。題。q 攝像機是否運動：攝像機是否運動： 攝像機靜止攝像機靜止 vs. vs. 攝像機運動攝像機運動n 攝像機的運動形式，一種是攝像機支架固定，但攝像攝像機的運動形式，一種是攝像機支架固定，但攝像 機可以偏轉(zhuǎn)機可以偏轉(zhuǎn)(Pan)(Pan)，俯仰，俯仰(Tilt)(Tilt)以及縮放以及縮放(Zoom)(Zoom)

47、；另一；另一 種是攝像機裝在某個移動的載體上，如移動的車輛種是攝像機裝在某個移動的載體上，如移動的車輛 或飛行的飛機?；蝻w行的飛機。n 攝像機的運動增加了運動目標檢測的難度。攝像機的運動增加了運動目標檢測的難度。模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences q 場景中運動目標的類型：場景中運動目標的類型： 剛體剛體 vs. vs. 非剛體非剛體n 交通車輛剛體；交通車輛剛體； 人非剛體。

48、人非剛體。q 傳感器的種類：傳感器的種類： 可見光圖像可見光圖像 vs. vs. 紅外圖像紅外圖像n 白天使用可見光圖像；晚上使用紅外圖像。白天使用可見光圖像；晚上使用紅外圖像。 跟蹤問題分類模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences q 運動目標的表示方法運動目標的表示方法q 具體介紹常用的跟蹤方法具體介紹常用的跟蹤方法q 多目標跟蹤的數(shù)據(jù)關(guān)聯(lián)問題多目標跟蹤的數(shù)據(jù)關(guān)聯(lián)問題q 多攝像機

49、跟蹤多攝像機跟蹤模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 多目標跟蹤中的數(shù)據(jù)關(guān)聯(lián)q 數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)關(guān)聯(lián) Data Associationq 類似于在兩幅圖像中找對應(yīng)點類似于在兩幅圖像中找對應(yīng)點(Correspondence)的問題的問題模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionI

50、nstitute of Automation, Chinese Academy of Sciences 多目標跟蹤中的數(shù)據(jù)關(guān)聯(lián)模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 多目標跟蹤中的數(shù)據(jù)關(guān)聯(lián) 如何確定哪一個觀測對應(yīng)如何確定哪一個觀測對應(yīng)于哪一個跟蹤目標？于哪一個跟蹤目標？模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of P

51、attern RecognitionInstitute of Automation, Chinese Academy of Sciences q 貝葉斯遞歸濾波器貝葉斯遞歸濾波器n 預(yù)測測量更新預(yù)測測量更新n 預(yù)測預(yù)測: : n 更新更新: :11:11:1()()kkkkp xyp x y1:11:(),()kkkkkp x yyp x y測量測量多目標跟蹤中的數(shù)據(jù)關(guān)聯(lián)使用哪一個測量值進行更新？使用哪一個測量值進行更新？預(yù)預(yù) 測測數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)關(guān)聯(lián)確定哪一個測量最為匹配確定哪一個測量最為匹配更更 新新模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Labor

52、atory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 多目標跟蹤中的數(shù)據(jù)關(guān)聯(lián)q 一些常用的基本約束一些常用的基本約束模式識別國家重點實驗室模式識別國家重點實驗室中國科學(xué)院自動化研究所National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences 多目標跟蹤中的數(shù)據(jù)關(guān)聯(lián) q 典型的數(shù)據(jù)關(guān)聯(lián)方法典型的數(shù)據(jù)關(guān)聯(lián)方法n最近鄰方法最近鄰方法 ( NN, Nearest Neighbor )n聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)方法聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)方法 ( JPDA, Join