運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤

1、運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤 主講人：劉健 2010.11.3 Contents 現(xiàn)狀和應(yīng)用1 目標(biāo)檢測(cè)的相關(guān)技術(shù)2 目標(biāo)跟蹤的常用方法3 4結(jié)語(yǔ) 現(xiàn)狀現(xiàn)狀 運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤是在基于動(dòng)態(tài)圖像分析的基 礎(chǔ)上結(jié)合圖像模式識(shí)別和圖像跟蹤方法對(duì)圖像序 列中的目標(biāo)進(jìn)行檢測(cè)識(shí)別跟蹤的過(guò)程，它是 圖像處理與計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)非?；钴S的 分支，在最近二十幾年間，隨著計(jì)算機(jī)技術(shù)、 CLSI技術(shù)與高分辨率傳感技術(shù)，圖像處理技術(shù)的 迅速更新，它在國(guó)名經(jīng)濟(jì)和軍事領(lǐng)域的許多方面 有著廣泛的應(yīng)用。 人們對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤系統(tǒng)的穩(wěn)定性、魯棒 性提出了很高的要求。 軍事公安方面的應(yīng)用：在軍事方面主要用于導(dǎo)彈的

2、精確制軍事公安方面的應(yīng)用：在軍事方面主要用于導(dǎo)彈的精確制 導(dǎo)，可疑目標(biāo)的檢測(cè)與跟蹤公安業(yè)務(wù)圖片的判讀分析，指導(dǎo)，可疑目標(biāo)的檢測(cè)與跟蹤公安業(yè)務(wù)圖片的判讀分析，指 紋識(shí)別，人臉識(shí)別，不完整圖片的復(fù)原，以及智能交通監(jiān)紋識(shí)別，人臉識(shí)別，不完整圖片的復(fù)原，以及智能交通監(jiān) 控、事故分析等?？?、事故分析等。 工業(yè)方面的應(yīng)用：具備視覺、聽覺和觸覺功能的智能機(jī)器工業(yè)方面的應(yīng)用：具備視覺、聽覺和觸覺功能的智能機(jī)器 人的成功應(yīng)用。人的成功應(yīng)用。 生物醫(yī)學(xué)工程方面的應(yīng)用：各種細(xì)胞的運(yùn)動(dòng)分析檢測(cè)和判生物醫(yī)學(xué)工程方面的應(yīng)用：各種細(xì)胞的運(yùn)動(dòng)分析檢測(cè)和判 別別 1 2 3 應(yīng)用應(yīng)用 智能交通方面：通過(guò)對(duì)道路交通情況的實(shí)時(shí)監(jiān)控

3、，利用圖智能交通方面：通過(guò)對(duì)道路交通情況的實(shí)時(shí)監(jiān)控，利用圖 像處理技術(shù)對(duì)各種情況作出準(zhǔn)確的判斷。像處理技術(shù)對(duì)各種情況作出準(zhǔn)確的判斷。 4 體育方面的應(yīng)用：對(duì)運(yùn)動(dòng)員在比賽或者是訓(xùn)練中的技術(shù)動(dòng)體育方面的應(yīng)用：對(duì)運(yùn)動(dòng)員在比賽或者是訓(xùn)練中的技術(shù)動(dòng) 作的視頻進(jìn)行分析，得出精確的運(yùn)動(dòng)參數(shù)進(jìn)行分析。作的視頻進(jìn)行分析，得出精確的運(yùn)動(dòng)參數(shù)進(jìn)行分析。 5 運(yùn)動(dòng)目標(biāo)檢測(cè)的相關(guān)技術(shù)運(yùn)動(dòng)目標(biāo)檢測(cè)的相關(guān)技術(shù) 光流法光流法 幀間差方法幀間差方法 背景差方法背景差方法 背景估計(jì)法背景估計(jì)法4 1 2 3 光流法光流法 連續(xù)光流法連續(xù)光流法特征光流法特征光流法 優(yōu)點(diǎn)：優(yōu)點(diǎn)：能得到連續(xù)的光流場(chǎng) 缺點(diǎn)：缺點(diǎn)：計(jì)算量大 光流法通過(guò)計(jì)

4、算三維運(yùn)動(dòng)場(chǎng)投影到二維圖像平面內(nèi)的速度場(chǎng)來(lái)區(qū)分運(yùn) 動(dòng)目標(biāo)和背景，一般包括連續(xù)光流法和特征光流法。 采用基于幀間圖像強(qiáng)度守衡的梯采用基于幀間圖像強(qiáng)度守衡的梯 度算法來(lái)計(jì)算光流度算法來(lái)計(jì)算光流 通過(guò)特征匹配求得特征點(diǎn)處的光流通過(guò)特征匹配求得特征點(diǎn)處的光流 幀間差法幀間差法 如圖可見，由目標(biāo)運(yùn)動(dòng)引起的運(yùn)動(dòng)變化區(qū)域包括運(yùn)動(dòng)目 標(biāo)在前后兩幀中的共同位置(圖中黑色區(qū)域)、在當(dāng)前幀 中新顯露出的背景區(qū)域和新覆蓋的背景區(qū)域三部分。 背景差方法背景差方法 背景差分法假定背景是靜止不 變的,因此背景不隨幀數(shù)而變。 相減相減二值化二值化后處理后處理結(jié)果結(jié)果 背景估計(jì)法背景估計(jì)法 背景估計(jì)法適用于背景靜止情況下的視頻

5、分割，其主要基 于以下兩個(gè)假設(shè)： 假設(shè)1：在背景靜止的情況下，若外界光照條件不變，且在不考慮噪 聲的情況下，視頻序列圖像中的背景保持不變。 假設(shè)2：在目標(biāo)可視的情況下，目標(biāo)與背景的灰度之間存在著一定的 對(duì)比度。 根據(jù)假設(shè)1，在靜態(tài)場(chǎng)景的條件下視頻序列圖像中不包含目標(biāo)的完整 背景在每一幀都相同，由于運(yùn)動(dòng)目標(biāo)會(huì)遮擋住一部分背景，所以每一 幀中的背景并不等于完整背景，關(guān)鍵技術(shù)就是根據(jù)一定的準(zhǔn)則從連續(xù) k幀圖像中估計(jì)出該視頻序列圖像的完整背景。 根據(jù)假設(shè)2，運(yùn)動(dòng)目標(biāo)與背景之間的灰度存在著一定的對(duì)比度，因此 在不考慮噪聲的情況下，在差分圖像中屬于背景區(qū)域的像素的灰度值 為零，從而檢測(cè)出了運(yùn)動(dòng)目標(biāo)。 1

6、運(yùn)動(dòng)陰影的 干擾 3 場(chǎng)景光照的 變化 2 動(dòng)態(tài)背景的 影響 運(yùn)動(dòng)目標(biāo)檢測(cè)方法存在的實(shí)際應(yīng)運(yùn)動(dòng)目標(biāo)檢測(cè)方法存在的實(shí)際應(yīng) 用上的困難用上的困難 運(yùn)動(dòng)陰影的干擾運(yùn)動(dòng)陰影的干擾 原因：由于陰影和目標(biāo)都與背景的差別很大，并 且二者常有著相同的運(yùn)動(dòng)，陰影常被錯(cuò)劃為運(yùn)動(dòng) 目標(biāo)。 陰影對(duì)運(yùn)動(dòng)目標(biāo)的分割和提取過(guò)程的干擾： 1.目標(biāo)的合并，即兩個(gè)或多個(gè)目標(biāo)由于陰影而連 成一個(gè)連通域，被后續(xù)目標(biāo)提取算法判為一個(gè)目 標(biāo)； 2.目標(biāo)外形改變，這種影響對(duì)需要精確提取目標(biāo) 形狀信息的應(yīng)用相當(dāng)不利； 3.目標(biāo)的消失，往往發(fā)生在一個(gè)目標(biāo)的陰影投射 在另一個(gè)目標(biāo)上。 消除運(yùn)動(dòng) 陰影干擾 的陰影檢 測(cè)方法 基于紋理模型的檢測(cè)方法

7、 基于顏色特征的算法 基于幾何模型的方法 1.基于幾何模型的方法：它利用攝像機(jī)位置、場(chǎng)景表面的幾 何特征以及目標(biāo)間的幾何約束來(lái)檢測(cè)陰影，需要很多假設(shè) 和先驗(yàn)知識(shí)，如要求地面平直、目標(biāo)垂直于地面、明確攝 像機(jī)和光源位置等； 2.基于顏色特征的算法：它在RGB、HSV、YUV等顏色空間 上使用多種閾值分割前景、背景、陰影，或者利用統(tǒng)計(jì)模 型對(duì)陰影像素的顏色值進(jìn)行描述，如顯著性檢驗(yàn)、貝葉斯 推斷、最大后驗(yàn)概率、混合高斯模型等。這類方法中，大 多通過(guò)經(jīng)驗(yàn)選取分割閾值，分割效果常會(huì)隨圖像內(nèi)容的不 同而不同。 3.基于紋理模型的檢測(cè)方法：它利用投射陰影降低相應(yīng)背景 像素灰度值，但不改變像素領(lǐng)域紋理的特征進(jìn)

8、行陰影檢測(cè)， 典型的用于陰影檢測(cè)的紋理特征有Gabor特征，小波變換 特征，比率邊緣等。 動(dòng)態(tài)背景影響動(dòng)態(tài)背景影響 場(chǎng)景中如果除了運(yùn)動(dòng)目標(biāo)外還存在一些運(yùn)動(dòng)的背 景物體，如果不抑制背景中的運(yùn)動(dòng)物體，這些虛 假目標(biāo)會(huì)表現(xiàn)出大量的虛警，直接影響感興趣運(yùn) 動(dòng)目標(biāo)的提取。 在視頻監(jiān)控中，較高的虛警率是導(dǎo)致檢測(cè)系統(tǒng)失 效的主要原因。 場(chǎng)景光照的變化場(chǎng)景光照的變化 天氣變化、燈光開啟或關(guān)閉以及攝像機(jī)光 圈自動(dòng)調(diào)節(jié)均會(huì)導(dǎo)致光照發(fā)生較大變化， 致使圖像發(fā)生顯著變化，提取的運(yùn)動(dòng)區(qū)域 就不對(duì)應(yīng)于任何運(yùn)動(dòng)目標(biāo)，形成大面積虛 警。 基于卡爾曼濾波基于卡爾曼濾波 器的跟蹤方法器的跟蹤方法 兩種典型的兩種典型的 跟蹤方法跟

9、蹤方法 基于特征光流法基于特征光流法 的跟蹤方法的跟蹤方法 1.基于卡爾曼濾波器的跟蹤方法基于卡爾曼濾波器的跟蹤方法 卡爾曼濾波器參數(shù)的修正卡爾曼濾波器參數(shù)的修正 第一步第一步 第二步第二步 第三步第三步 第四步第四步 線性卡爾曼濾波是美國(guó)工程師線性卡爾曼濾波是美國(guó)工程師 KalmanKalman在線性最小方差估計(jì)的基礎(chǔ)上在線性最小方差估計(jì)的基礎(chǔ)上, , 提出的在數(shù)學(xué)結(jié)構(gòu)上比較簡(jiǎn)單的最優(yōu)線提出的在數(shù)學(xué)結(jié)構(gòu)上比較簡(jiǎn)單的最優(yōu)線 性遞推濾波方法。性遞推濾波方法。 預(yù)測(cè)下一時(shí)刻預(yù)測(cè)下一時(shí)刻 目標(biāo)的位置目標(biāo)的位置 目標(biāo)匹配搜索目標(biāo)匹配搜索 設(shè)置初始值設(shè)置初始值 第一步：設(shè)置初始值第一步：設(shè)置初始值 設(shè)置

10、初始狀態(tài) x0,P0,Q0和R1的初始值 這里運(yùn)用式(5)和式(6),根據(jù)擴(kuò)展的卡爾曼濾波器,預(yù)測(cè)目標(biāo) 在下一時(shí)刻可能出現(xiàn)的位置: 式中:pk+1表示預(yù)測(cè)的不準(zhǔn)確程度,即提供了目標(biāo)匹配的 搜索范圍;pk+1表示預(yù)測(cè)位置的坐標(biāo)及搜索范的中心坐 標(biāo)。在實(shí)際應(yīng)用中,往往擴(kuò)大目標(biāo)匹配的搜索范圍為 pk+1+,其中為預(yù)設(shè)正常數(shù)。 第二步：預(yù)測(cè)下一時(shí)刻目標(biāo)的位置第二步：預(yù)測(cè)下一時(shí)刻目標(biāo)的位置 第三步：目標(biāo)匹配搜索第三步：目標(biāo)匹配搜索 使用基于像素點(diǎn)的亮度差的和作為匹配距離準(zhǔn)則： 將找到的使匹配距離最小的目標(biāo)區(qū)域作為被跟蹤到的目標(biāo)， 將該區(qū)域的復(fù)制記為Tk+1,并把它的中心坐標(biāo)復(fù)制給pk+1,則: 目標(biāo)的測(cè)

11、量速度為: 目標(biāo)的測(cè)量加速度為: 第四步：卡爾曼濾波器參數(shù)的修正第四步：卡爾曼濾波器參數(shù)的修正 主要根據(jù)每幀得到的測(cè)量值修正目標(biāo)的參數(shù),使用IRR(無(wú) 限沖擊響應(yīng))濾波器完成對(duì)vk,ak和vk,ak的修正,其 公式為: 式中:a,為一常數(shù),0a,1。 2.基于特征光流法的跟蹤方法基于特征光流法的跟蹤方法 兩種跟蹤方法的比較兩種跟蹤方法的比較 由于卡爾曼濾波由于卡爾曼濾波 是基于高斯分布是基于高斯分布 的狀態(tài)預(yù)測(cè)方法的狀態(tài)預(yù)測(cè)方法, 不能有效地處理不能有效地處理 多峰模式的分布多峰模式的分布 情況情況 對(duì)目標(biāo)在幀間的對(duì)目標(biāo)在幀間的 運(yùn)動(dòng)的限制較小運(yùn)動(dòng)的限制較小, 可以處理大的幀可以處理大的幀 間

12、位移間位移;對(duì)噪聲的對(duì)噪聲的 敏感性降低敏感性降低;只處只處 理圖像中很少數(shù)理圖像中很少數(shù) 的特征點(diǎn)的特征點(diǎn),計(jì)算量計(jì)算量 較小較小 得到的是稀疏光得到的是稀疏光 流場(chǎng)流場(chǎng),導(dǎo)致難于提導(dǎo)致難于提 取運(yùn)動(dòng)目標(biāo)的精取運(yùn)動(dòng)目標(biāo)的精 確形狀確形狀;特征匹配特征匹配 問題尚未得到較問題尚未得到較 好的解決。好的解決。 優(yōu)點(diǎn)優(yōu)點(diǎn) 缺點(diǎn)缺點(diǎn) 基于卡基于卡 爾曼濾爾曼濾 波波 基于特基于特 征光流征光流 法法 硬件設(shè)施要求較硬件設(shè)施要求較 高高,能在環(huán)境較差能在環(huán)境較差 情況下跟蹤目標(biāo)情況下跟蹤目標(biāo) 可以處理目標(biāo)重可以處理目標(biāo)重 疊及目標(biāo)失鎖等疊及目標(biāo)失鎖等 異常情況異常情況 適用范圍適用范圍 用于預(yù)測(cè)目標(biāo)起用于預(yù)測(cè)目標(biāo)起 始中心始中心,在周圍環(huán)在周圍環(huán) 境存在干擾