《數(shù)字圖像處理系統(tǒng)導(dǎo)論》課件第5章

第五章運(yùn)動目標(biāo)檢測與跟蹤5.1運(yùn)動目標(biāo)檢測

5.2運(yùn)動目標(biāo)跟蹤

5.3特征點(diǎn)跟蹤示例lkdemo.c略析

5.4小結(jié)習(xí)題

運(yùn)動目標(biāo)檢測是指在序列圖像中檢測出變化區(qū)域，并將運(yùn)動目標(biāo)從背景圖像中提取出來。通常情況下，目標(biāo)分類、跟蹤和行為理解等后處理過程僅僅考慮圖像中的運(yùn)動目標(biāo)的像素區(qū)域，因此運(yùn)動目標(biāo)的正確檢測與分割對于后期處理非常重要。

一般而言，好的視頻跟蹤算法要滿足兩個(gè)基本的要求：(1)實(shí)時(shí)性好，算法費(fèi)時(shí)少。如果系統(tǒng)的跟蹤環(huán)節(jié)后面還有其他的圖像處理環(huán)節(jié)，那么就要預(yù)留較多的時(shí)間給后面的處理，無法實(shí)現(xiàn)正常跟蹤，所以實(shí)時(shí)性至關(guān)重要。

(2)魯棒性強(qiáng)。實(shí)際的觀測環(huán)境及圖像的背景可能很復(fù)雜，光照、圖像噪音及隨時(shí)可能出現(xiàn)的對目標(biāo)的遮擋均使目標(biāo)的跟蹤變得非常困難，這樣對算法的魯棒性要求就很高。

由于場景的動態(tài)變化，如天氣、光照、陰影及雜亂背景干擾等的影響，使得運(yùn)動目標(biāo)的檢測與分割變得相當(dāng)困難。圖5-1所示為變化背景下運(yùn)動目標(biāo)的檢測結(jié)果。圖5-1變化背景下運(yùn)動目標(biāo)的檢測結(jié)果

5.1運(yùn)動目標(biāo)檢測

5.1.1靜態(tài)背景下的運(yùn)動目標(biāo)檢測

大多數(shù)視頻監(jiān)控系統(tǒng)的攝像頭是固定的，因此靜態(tài)背景下的運(yùn)動目標(biāo)檢測算法受到廣泛關(guān)注，常用的方法有幀差法、

累積差分法、光流法、背景減除法等。

1.幀差法

幀間差分法，簡稱幀差法，檢測相鄰兩幀圖像之間的變化，直接比較兩幀圖像對應(yīng)像點(diǎn)的灰度值的不同，然后通過閾值來提取序列圖像中的運(yùn)動區(qū)域。由于相鄰兩幀間的時(shí)間間隔非常短，用前一幀圖像作為當(dāng)前幀的背景模型具有較好的實(shí)時(shí)性，其背景不積累，且更新速度快，算法簡單，計(jì)算量小。下面介紹幀差法的算法實(shí)現(xiàn)。

第k幀圖像的灰度值Ik(xi，yi)和第k+1幀圖像的灰度值

Ik+1(xi，yi)的變化用二值差分圖像DPk,k+1(x，y)表示為

式中：(x，y)為運(yùn)動車輛在圖像空間的位置；T為閾值。閾值的選擇相當(dāng)關(guān)鍵，若選擇過低，則不足以抑制圖像中的噪聲；若選擇過高，則忽略了圖像中有用的變化。運(yùn)動序列的幀間差分法結(jié)果如圖5-2所示。(5-1)圖5-2運(yùn)動序列的幀間差分法結(jié)果

2.累積差分法

緩慢運(yùn)動的物體在圖像中的變化量是一個(gè)很小的量，累積差分圖像方法(AccumulativeDifferencePicture，ADP)的基本思想是通過分析整個(gè)圖像序列的變化(而不是僅僅分析兩幀之間的變化)來檢測小位移或緩慢運(yùn)動的物體。這種方法不僅能用來可靠檢測微小運(yùn)動或緩慢運(yùn)動的物體，也可用來估計(jì)物體移動速度的大小、方向以及物體尺度的大小。

下面介紹累積差分法的算法實(shí)現(xiàn)。

累積差分圖像可分為一階累積差分圖像(FADP)和二階累積差分圖像(SADP)。一階累積差分圖像的形成過程如下：將圖像序列的每一幀圖像與一幅參考圖像進(jìn)行比較，當(dāng)差值大于某一閾值時(shí)，就在累積差分圖像中加1。通常將圖像序列的第一幀作為參考圖像，并且置累積差分圖像FADP0的初始值為0。這樣，在第k幀圖像上的累積差分圖像FADPk(x，y)為

二階差分圖像的構(gòu)造為：對應(yīng)于第n幀(n=0，1，…，N且n>1)的二階差分圖像在(x，y)位置的值為“1”，表明在這個(gè)位置上第n－1和n幀的一階差分圖像FADP具有不同符號。

累積差分圖像具有許多性質(zhì)，可以用于描述物體運(yùn)動的總體參數(shù)。(5-2)(5-3)

3.光流法

光流(opticalflow)是指圖像亮度模式的表觀(或視在)運(yùn)動(apparentmotion)。光流法的主要任務(wù)就是計(jì)算光流場，即在適當(dāng)?shù)钠交约s束條件下，根據(jù)圖像序列的時(shí)空梯度估算運(yùn)動場，通過分析運(yùn)動場的變化對運(yùn)動目標(biāo)和場景進(jìn)行檢測與分割。給圖像中的每一像素點(diǎn)賦予一個(gè)速度向量，就形成了圖像運(yùn)動場(motionfield)，對應(yīng)于物體三維運(yùn)動。例如,在一個(gè)攝像機(jī)前，讓一個(gè)顏色均勻的小球均勻轉(zhuǎn)動，運(yùn)動場因?yàn)橛薪撬俣龋粸榱悖驗(yàn)閳D像并不隨時(shí)間而變化，所以光流場處處為零。圖5-3所示的Barber的運(yùn)動場和光流場的方向也不一致。圖5-3

Barber的運(yùn)動場和光流場對于運(yùn)動檢測，通常有基于全局光流場和特征點(diǎn)光流場兩種方法。

1)光流方程

在視頻中，對于t和t+dt幀的光流計(jì)算，相當(dāng)于兩幅圖像的像素匹配過程。我們假設(shè)在視頻幀中，物體的對應(yīng)像素的灰度值不因運(yùn)動而變化，則可得到光流的基本公式：

I(x+udt，y+vdt，t+dt)=I(x，y，t) (5-4)

令u=dx/dt，v=dy/dt分別表示水平方向和垂直方向的光流速度，I*表示某方向的梯度，用一階差分代替一階微分，則光流基本公式可以表示為

Ixu+Iyv+It=0 (5-5)

Ix、Iy、It的計(jì)算用離散的差分代替導(dǎo)數(shù)。而未知數(shù)u和v只有一個(gè)方程，這種問題稱為孔徑問題(apertureproblem)。

為了解決孔徑問題，可以假設(shè)在一個(gè)小窗口內(nèi)的像素光流是一致的：①亮度恒定；②時(shí)間連續(xù)或者運(yùn)動是“小運(yùn)動”；③空間一致，臨近點(diǎn)有相似運(yùn)動，保持相鄰。

圖5-4所示為一致光流及其方程。圖5-4一致光流及其方程則光流方程矩陣可以表示為

Au=b (5-6)

使用最小二乘法解Au=b中的向量，考慮矩陣的可逆性：

則

u=(ATA)－1ATb (5-7)

u即為所求的光流矢量。

2)經(jīng)典算法

經(jīng)典的全局光流場計(jì)算方法是L-K(Lucas-Kanade)法和H-S(Horn-Schunck)法，Lucas和Kanade假設(shè)在一個(gè)小的空間鄰域Ω上運(yùn)動矢量保持恒定，然后使用最小二乘方估計(jì)光流。

在L-K算法中，有些情況會導(dǎo)致矩陣不可逆。利用圖像的特征角點(diǎn)計(jì)算光流，具有計(jì)算量小、快速靈活的特點(diǎn)，但當(dāng)物體運(yùn)動范圍較大時(shí)，計(jì)算誤差很大。這時(shí)，可以引入金字塔的思想，對原始圖像進(jìn)行采樣，由粗到精，先通過高層金字塔找出大的運(yùn)動量，再逐步細(xì)化，計(jì)算小的運(yùn)動量并不斷糾正大運(yùn)動量的精確度?？偟膩碚f，光流法不需要預(yù)先知道場景的任何信息，就能夠檢測到運(yùn)動對象，可處理背景運(yùn)動的情況，但噪聲、多光源、陰影和遮擋等因素會對光流場分布的計(jì)算結(jié)果造成嚴(yán)重影響。

3)應(yīng)用示例

在攝像機(jī)固定的情況下，運(yùn)動物體的檢測其實(shí)就是分離前景和背景的問題，得到光流場后通過比較運(yùn)動目標(biāo)與背景之間的運(yùn)動差異對運(yùn)動目標(biāo)進(jìn)行光流分割，如圖5-5所示。對于背景，理想情況下，其光流應(yīng)當(dāng)為0，前景光流不為0。所以我們并不要求通過求解光流約束方程求出u、v，只要求出亮度梯度方向的速率就可以了，即求出sqrt(u*u+v*v)。

而由光流約束方程可以很容易求到梯度方向的光流速率為V=abs(It/sqrt(Ix*Ix+Iy*Iy))。這樣我們設(shè)定一個(gè)閾值T，若V(x，y)>T，則(x，y)是前景，反之是背景。圖5-5目標(biāo)運(yùn)動的光流檢測結(jié)果

4.背景減除法

背景減除法的基本思想是利用背景的參數(shù)模型來近似背景圖像的像素值，將當(dāng)前幀與背景圖像進(jìn)行差分，實(shí)現(xiàn)對運(yùn)動區(qū)域的檢測，其中區(qū)別較大的像素區(qū)域被認(rèn)為是運(yùn)動區(qū)域，而區(qū)別較小的像素區(qū)域被認(rèn)為是背景區(qū)域。背景減除法必須要有背景圖像，并且背景圖像必須是隨著光照或外部環(huán)境的變化而實(shí)時(shí)更新的，因此背景減除法的關(guān)鍵是背景建模及其更新。

混合高斯模型(GaussianMixtureModel，GMM)可對存在漸變及重復(fù)性運(yùn)動的場景進(jìn)行建模，被認(rèn)為是最好的背景模型之一?；诟咚狗植急尘澳Ｐ偷牟罘址椒?，將圖像中的每個(gè)圖像單位(像素、塊等)看成是從混合高斯分布樣本中采樣得到的隨機(jī)變量。根據(jù)先驗(yàn)知識，每個(gè)像素點(diǎn)是前景或背景的先驗(yàn)概率可以估值。通過背景的分布模型判斷一個(gè)像素點(diǎn)是否屬于背景點(diǎn)，以此區(qū)分前景點(diǎn)和背景點(diǎn)，前景點(diǎn)就構(gòu)成分割出來的物體，如圖5-6所示。圖5-6高斯背景減除法檢測結(jié)果最常用的描述背景點(diǎn)顏色分布的概率分布是高斯分布(正態(tài)分布)，實(shí)際上也就是對每個(gè)像素考察其像素值與背景模型中的高斯分布的匹配程度。例如，當(dāng)像素值在一個(gè)高斯分布的16以內(nèi)時(shí)就認(rèn)為它與該高斯分布匹配，即認(rèn)為其屬于背景點(diǎn)；而如果不與背景中任何一個(gè)高斯分布匹配，則認(rèn)為其為前景點(diǎn)。背景模型的建立可以通過訓(xùn)練得到，并在處理中不斷更新，這些過程除了需要人為地少量干預(yù)之外，可以自動地實(shí)現(xiàn)。

混合高斯模型使用k個(gè)(基本為3～5個(gè))高斯模型來表征圖像中各個(gè)像素點(diǎn)的特征，在新一幀圖像獲得后更新混合高斯模型，用當(dāng)前圖像中的每個(gè)像素點(diǎn)與混合高斯模型匹配，如果成功則判定該點(diǎn)為背景點(diǎn)，否則為前景點(diǎn)。通觀整個(gè)高斯模型，主要由方差和均值兩個(gè)參數(shù)決定，對均值和方差的學(xué)習(xí)，采取不同的學(xué)習(xí)機(jī)制，將直接影響到模型的穩(wěn)定性、精確性和收斂性。由于我們是對運(yùn)動目標(biāo)的背景提取建模，因此需要對高斯模型中方差和均值兩個(gè)參數(shù)實(shí)時(shí)更新。為提高模型的學(xué)習(xí)能力，改進(jìn)方法對均值和方差的更新采用不同的學(xué)習(xí)率；為提高在繁忙的場景下大而慢的運(yùn)動目標(biāo)的檢測效果，引入權(quán)值均值的概念，建立背景圖像并實(shí)時(shí)更新，然后結(jié)合權(quán)值、權(quán)值均值和背景圖像對像素點(diǎn)進(jìn)行前景和背景的分類。初始化混合模型參數(shù)包括每個(gè)高斯模型的所占權(quán)重、每個(gè)高斯模型的均值和標(biāo)準(zhǔn)差。K個(gè)高斯模型的均值u為輸入視頻的第一幀對應(yīng)的像素值或平均值，所有高斯模型的初始

方差都是相等的，方差取值表現(xiàn)該視頻的動態(tài)特性，因?yàn)闃?biāo)準(zhǔn)差的大小與各個(gè)高斯模型像素值的波動范圍直接相關(guān)。高斯模型的權(quán)重的初始化就是對背景的分布進(jìn)行先驗(yàn)概率的估值，在初始化時(shí)，一般將第一個(gè)高斯模型的權(quán)重取較大，其他就相應(yīng)地取值較小，即(5-8)如果對于所有的顏色分量都成立，那么就把該像素歸于第B個(gè)高斯模型，說明該像素點(diǎn)屬于背景點(diǎn)，則第B個(gè)背景分布輸出了一個(gè)采樣值，這時(shí)所有分布都需要進(jìn)行參數(shù)更新。野點(diǎn)指的是該像素值不符合任何一個(gè)高斯分布，此時(shí)我們把該像素點(diǎn)看成是視頻中出現(xiàn)的新情況，用這種新情況來代替第k個(gè)高斯分布，其權(quán)重和均值以及方差都按照初始化思路確定，也就是分配一個(gè)較小的權(quán)重，和一個(gè)較大的方差，同時(shí)確定該點(diǎn)是前景點(diǎn)。

最后一步就是把k個(gè)高斯模型按照優(yōu)先級別進(jìn)行從大到小的排序，這里的優(yōu)先級別取決于權(quán)值和方差之比，即(5-9)上式直接說明了在方差相等的情況下，權(quán)重越大，就越趨向于背景分布；在權(quán)重相等的情況下，方差越小，也就是變量的分布越集中，那么就更加趨向于背景分布；反之則趨向于前景分布。

基于高斯背景模型的運(yùn)動目標(biāo)檢測方法，首先利用統(tǒng)計(jì)的方法得到背景模型，并實(shí)時(shí)地對背景模型進(jìn)行更新以適應(yīng)光線變化和場景本身的變化，用形態(tài)學(xué)方法和檢測連通域面積進(jìn)行后處理，消除噪聲和背景擾動帶來的影響。圖5-7所示為高斯背景建模運(yùn)動檢測。圖5-7高斯背景建模運(yùn)動檢測綜上所述，高斯背景建模方法將圖像中的每個(gè)圖像單位看做從混合高斯分布樣本中采樣得到的隨機(jī)變量，一般的混合高斯模型采用3～5個(gè)單高斯模型進(jìn)行混合。該方法根據(jù)先驗(yàn)知識，對每個(gè)像素點(diǎn)是前景或背景的先驗(yàn)概率進(jìn)行估值，并考慮到背景的多模態(tài)和復(fù)雜度，具有較好的檢測效果。

基于統(tǒng)計(jì)背景模型的運(yùn)動目標(biāo)檢測方法主要存在以下問題：

(1)背景獲取。在場景存在運(yùn)動目標(biāo)的情況下獲得背景圖像。

(2)背景擾動。背景中可以含有輕微擾動的對象，如樹枝、樹葉的搖動，擾動部分不應(yīng)該被看做前景運(yùn)動目標(biāo)。

(3)外界光照變化。一天中不同時(shí)間段光線、天氣等的變化對檢測結(jié)果的影響。

(4)背景中固定對象的移動。背景中的固定對象可能移動，如場景中的一輛車開走、一把椅子移走，對象移走后的區(qū)域在一段時(shí)間內(nèi)可能被誤認(rèn)為是運(yùn)動目標(biāo)，但不應(yīng)該永遠(yuǎn)被看做前景運(yùn)動目標(biāo)。

(5)背景的更新。背景中固定對象的移動和外界光照條件的變化會使背景圖像發(fā)生變化，需要及時(shí)對背景模型進(jìn)行更新，以適應(yīng)這種變化。

(6)陰影的影響。通常，前景目標(biāo)的陰影也被檢測為運(yùn)動目標(biāo)的一部分，但這樣會影響對運(yùn)動目標(biāo)的進(jìn)一步處理和分析。5.1.2動態(tài)背景下的運(yùn)動目標(biāo)檢測

基于幀間差分檢測方法的前提是背景本身是靜止的。在圖像處理中，我們通常是通過攝像機(jī)獲得原始的視頻序列圖像的。很多情況下，攝像機(jī)安裝在運(yùn)動平臺上，攝像機(jī)本身也要在全空間范圍內(nèi)作掃描運(yùn)動。這樣一來，固定的背景物體會在圖像平面上顯示出一種全局的二維運(yùn)動，這就是圖像背景的全局運(yùn)動。全局運(yùn)動對動目標(biāo)檢測增加了圖像處理的復(fù)雜度。這時(shí)，首先要做的就是幀間圖像的配準(zhǔn)，經(jīng)過全局背景運(yùn)動補(bǔ)償后，幀間圖像相對靜止，可通過差分檢測檢測

出目標(biāo)的輪廓。圖5-8所示為背景存在運(yùn)動的圖像序列。圖5-8背景存在運(yùn)動的圖像序列

1.基本原理

一般的目標(biāo)檢測系統(tǒng)首先估計(jì)攝像機(jī)的運(yùn)動參數(shù)，再根據(jù)這些運(yùn)動參數(shù)進(jìn)行運(yùn)動補(bǔ)償，最后通過圖像的差分求得運(yùn)動目標(biāo)區(qū)域，流程如圖5-9所示。圖5-9運(yùn)動背景下目標(biāo)檢測算法流程框圖在目標(biāo)檢測與跟蹤系統(tǒng)中，攝像機(jī)與場景之間距離一般較大，通常用仿射模型來逼近場景圖像的運(yùn)動，普通仿射模型包括平移(a5，a6)、旋轉(zhuǎn)和縮放(a1，a2，a3，a4)三種運(yùn)動。

仿射模型將直線映射成直線，將平行線映射成平行線，其方程式為

式中：(x1，y1)為第一幅圖像的特征點(diǎn)坐標(biāo)；(x2，y2)為第二幅圖像的對應(yīng)特征點(diǎn)坐標(biāo)；a1、a2、a3、a4、a5、a6為六個(gè)未知數(shù)。理想情況下，只要知道三個(gè)對應(yīng)特征點(diǎn)就可解出此方程。但是由于圖像噪聲、目標(biāo)以及遮擋等影響，不能準(zhǔn)確地得到最能代表背景全局運(yùn)動的三個(gè)特征點(diǎn)來求解這六個(gè)參數(shù)，必須采用魯棒估計(jì)的方法得到精確的仿射運(yùn)動參數(shù)。(5-10)

2.算法實(shí)現(xiàn)

通過全局運(yùn)動估計(jì)進(jìn)行運(yùn)動目標(biāo)檢測，主要包括以下三個(gè)步驟：

(1)運(yùn)動估計(jì)：估計(jì)幀間的運(yùn)動參數(shù)，主要是運(yùn)動模型的選擇和圖像運(yùn)動的檢測。首先需要選擇一定的運(yùn)動模型，然后在此基礎(chǔ)上計(jì)算和估計(jì)攝像機(jī)的運(yùn)動參數(shù)。

(2)運(yùn)動補(bǔ)償：根據(jù)運(yùn)動估計(jì)的結(jié)果計(jì)算出全局的變換參數(shù)，或者說是去除不想要的(unwanted)運(yùn)動，使觀察者看起來有攝像機(jī)的晃動已被消除或減弱的感覺。

(3)目標(biāo)檢測：根據(jù)運(yùn)動補(bǔ)償模塊的全局變換參數(shù)來改變當(dāng)前幀，即得到了穩(wěn)定的圖像序列，兩幀圖像作差，可以獲得運(yùn)動目標(biāo)的檢測。下面對這三個(gè)步驟進(jìn)行詳細(xì)介紹。

1)基于特征點(diǎn)的運(yùn)動估計(jì)

運(yùn)動矢量估計(jì)的算法主要包括灰度投影法、光流場法、圖像塊匹配法、特征匹配法和相位法等。傳統(tǒng)的灰度投影法盡管實(shí)現(xiàn)簡單，但只能解決平移運(yùn)動的問題。光流場法的計(jì)算較復(fù)雜，而且對噪聲敏感?；诟凳献儞Q的方法采用了傅氏變換、相關(guān)運(yùn)算或者極坐標(biāo)變換，計(jì)算復(fù)雜度同樣很高。目前較為常用的方法是圖像塊匹配法和特征匹配法。

基于塊(Block-based)的運(yùn)動分析在圖像運(yùn)動估計(jì)和其他圖像處理和分析中得到了廣泛的應(yīng)用。塊運(yùn)動估計(jì)與光流計(jì)算不同，它無需計(jì)算每一個(gè)像素的運(yùn)動，而只是計(jì)算由若干像素組成的像素塊的運(yùn)動，如圖5-10所示。對于許多圖像分析和估計(jì)應(yīng)用來說，塊運(yùn)動分析是一種很好的近似。圖5-10運(yùn)動估計(jì)搜索示意圖特征點(diǎn)匹配的關(guān)鍵在于特征點(diǎn)的選擇和匹配策略的選擇。所謂特征點(diǎn)的匹配，就是在待匹配圖像中找到基準(zhǔn)圖像中的每一特征點(diǎn)的唯一匹配點(diǎn)。通過兩幀之間特征點(diǎn)的位置變化，可以求出該特征點(diǎn)的局部運(yùn)動矢量，而將所有特征點(diǎn)在兩幀之間的位置變化信息代入運(yùn)動模型，即可求出背景的全局運(yùn)動矢量。因此，所有的特征點(diǎn)能否精確匹配，關(guān)鍵在于所選用的匹配準(zhǔn)則和搜索策略。相比于塊匹配法，利用這些特征點(diǎn)來估計(jì)運(yùn)動矢量可以有效地減少數(shù)據(jù)量，提高計(jì)算的速度，且有利于圖像的可靠匹配。

以基準(zhǔn)圖像的特征點(diǎn)為中心，構(gòu)造了一定大小的M×M(5×5或7×7)的圖像塊，利用這些圖像塊，在待匹配圖像的一定范圍內(nèi)進(jìn)行搜索，來完成待匹配圖像中的匹配特征點(diǎn)的獲取?？梢岳萌剿阉鞣?TSS)進(jìn)行快速搜索。需要指出的是，全部特征點(diǎn)中，只有部分能得到正確的匹配。這是因?yàn)槠ヅ渌惴ū旧淼娜毕莼蛱卣鼽c(diǎn)由于其他的原因而消失，如被遮擋或移出視野等。

2)運(yùn)動補(bǔ)償

考慮到所有背景像素點(diǎn)符合同一攝像機(jī)運(yùn)動參數(shù)模型這一基本事實(shí)，不需要估計(jì)所有像素點(diǎn)的運(yùn)動矢量，只需要通過估計(jì)少量背景的像素點(diǎn)運(yùn)動來估計(jì)出攝像機(jī)的運(yùn)動參數(shù)，就可以通過該攝像機(jī)運(yùn)動參數(shù)模型來估計(jì)圖像背景中所有像素點(diǎn)的運(yùn)動矢量。在特征點(diǎn)匹配的基礎(chǔ)上，可以利用特征點(diǎn)之間一一對應(yīng)的位置關(guān)系來估計(jì)全局運(yùn)動參數(shù)，即仿射變換模型參數(shù)。設(shè)時(shí)刻tk的某一特征點(diǎn)坐標(biāo)為(X，Y)，它在時(shí)刻tk+1的坐標(biāo)為(X′，Y′)。如果以二維仿射變換描述特征點(diǎn)的運(yùn)動，則兩個(gè)特征點(diǎn)間的關(guān)系可以表示為(5-11)二維仿射變換有六個(gè)參數(shù)，需要三個(gè)不共線的特征點(diǎn)及其匹配點(diǎn)才能求得唯一解。僅僅由三對特征點(diǎn)估算全局的二維仿射變換參數(shù)并不合理，因?yàn)槿绻粋€(gè)特征點(diǎn)的位置有較大的誤差，或者錯誤的匹配都會給最終的計(jì)算結(jié)果帶來很大的偏差。為此可以采用最小二乘法，用所有已知的特征點(diǎn)來求解變換參數(shù)。

根據(jù)求取的運(yùn)動估計(jì)對抖動的圖像作反向運(yùn)動補(bǔ)償，可使當(dāng)前幀圖像補(bǔ)償?shù)絽⒖紟瑘D像的位置上，使兩幀圖像完全重合，消除了因抖動造成的視頻抖動，從而得到一個(gè)穩(wěn)定的、靜止的圖像序列。

3)目標(biāo)檢測

將背景穩(wěn)定序列進(jìn)行幀差即可獲得運(yùn)動目標(biāo)區(qū)域。圖5-11為實(shí)驗(yàn)結(jié)果，AB為兩幀相鄰圖像，圖(a)為根據(jù)運(yùn)動參數(shù)配準(zhǔn)后的結(jié)果，圖(b)為運(yùn)動補(bǔ)償后的圖像結(jié)果，圖(c)為幀差后提取的運(yùn)動目標(biāo)結(jié)果。圖5-11實(shí)驗(yàn)結(jié)果

5.1.3運(yùn)動目標(biāo)檢測的應(yīng)用

根據(jù)對運(yùn)動目標(biāo)的檢測和分析結(jié)果，可以衍生出不同的應(yīng)用模式：

(1)周界警戒及入侵檢測。在攝像機(jī)監(jiān)視的場景范圍內(nèi)，可根據(jù)監(jiān)控需要和目的設(shè)置警戒區(qū)域，系統(tǒng)可以自動檢測入侵警戒區(qū)域內(nèi)的運(yùn)動目標(biāo)及其行為，一旦發(fā)現(xiàn)有滿足預(yù)設(shè)警戒信息的警情，即用警告框標(biāo)示出進(jìn)入警戒區(qū)的目標(biāo)，同時(shí)標(biāo)識出其運(yùn)動軌跡，如圖5-12所示。圖5-12區(qū)域警戒檢測結(jié)果

(2)運(yùn)動物體流的統(tǒng)計(jì)。運(yùn)動物體流檢測技術(shù)就是在視頻場景內(nèi)能找到和發(fā)現(xiàn)要找的運(yùn)動物體，并從視頻背景中區(qū)分出來，然后進(jìn)一步對該物體流的數(shù)量進(jìn)行統(tǒng)計(jì)的技術(shù)。此外，還可以設(shè)定物體流經(jīng)過的區(qū)域和流向并以此來判斷是否作為統(tǒng)計(jì)目標(biāo)，有非常廣泛的應(yīng)用。圖5-13所示為公交車人流統(tǒng)計(jì)。圖5-13公交車人流統(tǒng)計(jì)

(3)面向?qū)ο蟮囊曨l編碼。視頻編碼標(biāo)準(zhǔn)技術(shù)中，運(yùn)動估計(jì)、運(yùn)動補(bǔ)償技術(shù)是提高編碼效率的主要措施。因此，高效且精確的視頻對象分割和先進(jìn)的運(yùn)動估計(jì)、運(yùn)動補(bǔ)償算法是基于內(nèi)容的視頻編碼的一項(xiàng)關(guān)鍵技術(shù)。視頻對象分割在時(shí)域和空域把視頻分為多個(gè)視頻對象(如圖5-14所示)，是基于內(nèi)容的交互式視頻處理系統(tǒng)的關(guān)鍵前處理技術(shù)，也是MPEG-4與MPEG-7的重要組成部分。圖5-14視頻對象分割結(jié)果

(4)運(yùn)動人體行為分析。一般利用混合高斯模型建立背景的算法，在復(fù)雜背景中提取清晰、完整的運(yùn)動目標(biāo)，通過自適應(yīng)閾值進(jìn)行背景更新，消除外界環(huán)境變化的影響，并對陰影進(jìn)行檢測和抑制，然后進(jìn)行人體行為識別。運(yùn)動人體行為分析技術(shù)在智能監(jiān)控、人機(jī)交互等方面應(yīng)用廣泛。圖5-15所示為運(yùn)動對象分割結(jié)果。圖5-15運(yùn)動對象分割結(jié)果

5.2運(yùn)動目標(biāo)跟蹤

視頻目標(biāo)跟蹤技術(shù)在軍用視覺制導(dǎo)、機(jī)器人視覺導(dǎo)航、安全監(jiān)測、交通管制、醫(yī)療診斷、虛擬現(xiàn)實(shí)和戰(zhàn)場警戒、公共安全監(jiān)視、視頻壓縮以及氣象分析等許多方面都有廣泛的應(yīng)用。在民用領(lǐng)域，具有目標(biāo)跟蹤功能的數(shù)字視頻監(jiān)視系統(tǒng)已取代模擬系統(tǒng)，并在多種領(lǐng)域獲得了廣泛的應(yīng)用。

“神州”號飛船的發(fā)射時(shí)間之所以選擇在夜晚而不是白天，主要是便于飛船發(fā)射升空時(shí)，地面的光學(xué)跟蹤測量設(shè)備易于捕捉到跟蹤目標(biāo)。在夜晚或凌晨發(fā)射，由于噴射的火焰特別顯眼，所以地面的光學(xué)跟蹤測量設(shè)備容易跟蹤目標(biāo)。而白天就不利于地面光學(xué)跟蹤設(shè)備對飛船的跟蹤。圖5-16給出了一運(yùn)動目標(biāo)跟蹤示例。圖5-16運(yùn)動目標(biāo)跟蹤示例5.2.1視頻目標(biāo)跟蹤方法

1.基于區(qū)域匹配的跟蹤算法

圖像相關(guān)匹配是一種基于最優(yōu)相關(guān)理論的圖像處理方法，在相關(guān)匹配過程中，需要一個(gè)表示目標(biāo)的模板，通過計(jì)算目標(biāo)模板與候選目標(biāo)的相似程度，來確定當(dāng)前圖像中目標(biāo)的具體位置?；趨^(qū)域匹配相關(guān)的算法由于用到目標(biāo)的全局信息，比如灰度、色彩、紋理等，因此具有較高的可信度。它可以利用色度信息建立目標(biāo)區(qū)域的特征模板，通過MeanShift算法對其進(jìn)行特征匹配，尋找最佳匹配的區(qū)域作為目標(biāo)，如圖5-17所示。此方法可以克服目標(biāo)的不完全遮掩，對顏色特征明顯的目標(biāo)跟蹤準(zhǔn)確率較高，目前應(yīng)用很廣泛。圖5-17

MS方法跟蹤結(jié)果

2.基于特征點(diǎn)的跟蹤算法

基于特征點(diǎn)的跟蹤算法包括特征提取和特征匹配兩個(gè)過程。特征點(diǎn)是目標(biāo)上具有多個(gè)方向奇異性的點(diǎn)，其匹配搜索也是基于最優(yōu)相關(guān)匹配理論的。由于特征點(diǎn)分布在整個(gè)目標(biāo)上，因此即使有一部分被遮擋，仍然可以跟蹤到另外一部分特征點(diǎn)，可以解決部分遮擋問題?；谔卣鼽c(diǎn)的跟蹤算法中，難點(diǎn)在于目標(biāo)發(fā)生旋轉(zhuǎn)等形變后的特征點(diǎn)自適應(yīng)，對于非剛性目標(biāo)，運(yùn)動過程中部分特征點(diǎn)會消失。圖5-18為特征點(diǎn)方法跟蹤結(jié)果。圖5-18特征點(diǎn)方法跟蹤結(jié)果

3.基于活動輪廓的跟蹤算法

活動輪廓方法利用封閉的參數(shù)化曲線表示運(yùn)動目標(biāo)輪廓，在由圖像構(gòu)造的特征場中通過極小化以曲線函數(shù)為參數(shù)的能量來進(jìn)行動態(tài)迭代，使得該輪廓能夠自動連續(xù)地更新，如圖5-19所示。相對于區(qū)域跟蹤方法，該方法計(jì)算量小，但是初始化輪廓是算法的關(guān)鍵，而且不易做好，在目標(biāo)跟蹤中的應(yīng)用較少。圖5-19活動輪廓方法目標(biāo)跟蹤結(jié)果

4.基于光流的跟蹤算法

光流法根據(jù)連續(xù)圖像計(jì)算各像素運(yùn)動的大小和方向，利用運(yùn)動矢量場區(qū)分背景和運(yùn)動對象，通常有特征光流場和全局光流場兩種方法。全局光流場的計(jì)算方法有Horn-Schunck方法、Lucas-Kanade方法等，得到全局光流場后通過比較運(yùn)動目標(biāo)與背景之間的運(yùn)動差異對運(yùn)動目標(biāo)進(jìn)行光流分割，從而達(dá)到跟蹤的目的。全局光流法的缺點(diǎn)是計(jì)算量大。特征光流法通過特征匹配來求得特征點(diǎn)處的流速，這種算法具有計(jì)算量小和快速靈活的特點(diǎn)，如圖5-20所示。圖5-20光流特征方法目標(biāo)跟蹤結(jié)果5.2.2

MeanShift目標(biāo)跟蹤方法

1.基本理論

MeanShift這個(gè)概念最早是由Fukunaga等人于1975年在一篇關(guān)于概率密度梯度函數(shù)的估計(jì)(TheEstimationoftheGradientofaDensityFunction，withApplicationsinPattern

Recognition)的文章中提出來的，其最初含義正如其名，就是偏移的均值向量。在這里，MeanShift是一個(gè)名詞，它指代的是一個(gè)向量，一般是指一個(gè)迭代的步驟，即先算出當(dāng)前點(diǎn)的偏移均值，移動該點(diǎn)到其偏移均值，然后以此為新的起始點(diǎn),繼續(xù)移動,直到滿足一定的條件結(jié)束。1995年，Cheng的文章將它引入計(jì)算機(jī)視覺領(lǐng)域?？臻gRd中有n個(gè)樣本點(diǎn)xi(i=1，…，n)，x點(diǎn)的MeanShift向量的基本形式定義為

其中，Sh是一個(gè)半徑為h的高維球區(qū)域，是滿足以下關(guān)系的y點(diǎn)的集合:

Sh(x)≡{y：(y－x)T(y－x)≤h2}

(5-13)

k表示在這n個(gè)樣本點(diǎn)xi中，有k個(gè)點(diǎn)落入Sh區(qū)域中。(5-12)可以看到(xi－x)是樣本點(diǎn)xi相對于點(diǎn)x的偏移向量。式(5-12)定義的MeanShift向量Mh(x)就是對落入?yún)^(qū)域Sh中的k個(gè)樣本點(diǎn)相對于點(diǎn)x的偏移向量求和，然后再平均。從直觀上看,如果樣本點(diǎn)xi從某個(gè)概率密度函數(shù)f(x，y)中采樣得到，則非零的概率密度梯度指向概率密度增加最大的方向。因此，對應(yīng)的MeanShift向量Mh(x)應(yīng)該指向概率密度梯度的方向。圖5-21所示為MeanShift示意圖，圖中，大圓圈所圈定的范圍就是Sh，小圓圈代表落入Sh區(qū)域內(nèi)的樣本點(diǎn)xi∈Sh，黑點(diǎn)就是MeanShift的基準(zhǔn)點(diǎn)x，箭頭表示樣本點(diǎn)相對于基準(zhǔn)點(diǎn)x的偏移向量。圖5-21

MeanShift示意圖我們可以看出，平均的偏移向量Mh(x)會指向樣本分布最多的區(qū)域，也就是概率密度函數(shù)的梯度方向。這個(gè)關(guān)系可

以直觀地描述為“局部平均值向著大多數(shù)點(diǎn)所在的區(qū)域移動”。MeanShift向量和局部梯度估計(jì)平行，它指向估計(jì)密度的“定點(diǎn)”，密度的模式就是那些“定點(diǎn)”。反復(fù)地進(jìn)行如下步驟，就是MeanShift過程：

(1)計(jì)算MeanShift向量Mh(x);

(2)用Mh(x)平移x;

(3)如果||Mh(x)－x||<ε，則結(jié)束循環(huán)，否則返回步驟(1)繼續(xù)執(zhí)行。最終，中心點(diǎn)收斂到數(shù)據(jù)空間中密度最大的點(diǎn)，即收斂到密度梯度為零的點(diǎn)。特征空間分析對密度很低的區(qū)域不感興趣，在這些區(qū)域里，MeanShift過程的步長很大。而在感興趣特征的區(qū)域，步長越小，越接近最大密度處，即越接近局部極大值，步長越小，分析得以優(yōu)化。因而MeanShift過程是一個(gè)梯度自適應(yīng)方法。圖5-22所示為MeanShift收斂過程示意圖。圖5-22

MeanShift收斂過程示意圖

2.MeanShift目標(biāo)跟蹤

在視頻目標(biāo)跟蹤中，均值偏移向量的計(jì)算，由目標(biāo)建模、相似性度量和模板匹配三部分組成。首先初始化候選目標(biāo)模板，計(jì)算與目標(biāo)模板的相似度函數(shù)；然后利用均值偏移迭代快速的特點(diǎn)，得到均值偏移矢量，它是使每一個(gè)點(diǎn)“漂移”到密度函數(shù)的局部極大值點(diǎn)，即目標(biāo)所在當(dāng)前幀的位置。

1)目標(biāo)模型

MeanShift算法是一種非參數(shù)密度估計(jì)算法，使用空間分布和紋理信息作為匹配距離信息。我們用一個(gè)物體的灰度或色彩分布來描述這個(gè)物體，假設(shè)物體中心位于x0處，u表示特征，s為計(jì)算窗口大小，b(xsi)為當(dāng)前點(diǎn)的數(shù)值，則該物體特征分布可以表示為

候選的位于y的物體可以描述為

因此，物體跟蹤可以簡化為尋找最優(yōu)匹配的y，使得與最相似。與的相似性用Bhattacharrya距離來度量分布，即(5-16)(5-15)(5-14)圖5-23所示為三個(gè)目標(biāo)的Bhattacharrya距離。圖

5-23三個(gè)目標(biāo)的Bhattacharrya距離

2)算法實(shí)現(xiàn)

CAMShift算法全稱是ContinuouslyAdaptiveMeanShiftAlgorithm，是MeanShift算法的改進(jìn)算法。CAMShift算法充分利用了MeanShift算法計(jì)算簡單快捷的優(yōu)點(diǎn)，并且在不增加計(jì)算復(fù)雜度的同時(shí)，實(shí)現(xiàn)了自適應(yīng)的窗口大小控制。

該算法的實(shí)現(xiàn)步驟如下：

(1)確定初始目標(biāo)及其區(qū)域，計(jì)算出目標(biāo)的色度(Hue)分量的直方圖。

(2)將搜索初始點(diǎn)設(shè)置為目標(biāo)初始位置，利用直方圖計(jì)算輸入圖像的Bhattacharrya距離圖。

(3)利用MeanShift算法在反向投影圖中迭代搜索，直到其收斂或達(dá)到最大迭代次數(shù)，返回跟蹤目標(biāo)的零階矩M00，

(4)調(diào)整搜索窗口大小，用來初始化下一幀中的搜索窗口。

(5)根據(jù)更新大小的窗口作為下一幀視頻的初始窗口，并且將MeanShift所得到的迭代窗口中心重新作為目標(biāo)初始位置，執(zhí)行步驟(2)。若視頻結(jié)束，則返回。

圖5-24所示為跟蹤結(jié)果圖。(5-17)(5-18)圖5-24跟蹤結(jié)果及Bhattacharrya距離圖我們也可以根據(jù)需要，計(jì)算目標(biāo)的偏移角度?？梢缘贸?，橢圓的旋轉(zhuǎn)角度為(5-19)

3.MeanShift擴(kuò)展形式

從式(5-12)我們可以看出，只要是落入Sh的采樣點(diǎn)，無論其離x遠(yuǎn)還是近，對最終的Mh(x)計(jì)算的貢獻(xiàn)是一樣的。然而一般來說，離x越近的采樣點(diǎn)，對估計(jì)x周圍的統(tǒng)計(jì)特性越有效。因此，我們引進(jìn)核函數(shù)的概念，在計(jì)算Mh(x)時(shí)可以考慮距離的影響，認(rèn)為在這所有的樣本點(diǎn)xi中，都引入一個(gè)權(quán)重系數(shù)。可以把基本的MeanShift形式擴(kuò)展為(5-20)其中

GH(xi－x)=｜H｜－1/2G(H－1/2(xi－x))

在實(shí)際應(yīng)用的過程中，帶寬矩陣H一般被限定為一個(gè)對角矩陣H=diag［h21，…，h2d］，甚至更簡單地被取為H=h2I。由于后一形式只需要確定一個(gè)系數(shù)h，故在MeanShift中常常被采用，在后面部分我們也采用這種形式，因此式(5-20)又可以寫為(5-21)我們可以看到，如果對所有的采樣點(diǎn)xi都滿足

(1)w(xi)=1;

(2)

則式(5-21)完全退化為式(5-12)。也就是說，我們所給出的擴(kuò)展的MeanShift形式在某些情況下會退化為最基本的MeanShift形式。5.2.3視頻目標(biāo)跟蹤中的粒子濾波方法

1.粒子濾波原理

粒子濾波(ParticleFilter，PF)的思想基于蒙特卡洛(MonteCarlo)方法，它是利用粒子集來表示概率，可以用在任何形式的狀態(tài)空間模型上。它通過從后驗(yàn)概率中抽取的隨機(jī)狀態(tài)粒子來表達(dá)其分布，是一種順序重要性采樣法(SequentialImportanceSampling)。在濾波過程中，以大量采樣的分布近似來表示p(x)。因此，在濾波過程中粒子濾波可以處理任意形式的概率，而不像Kalman濾波那樣只能處理高斯分布的概率問題。粒子濾波首先根據(jù)x(t－1)和其概率分布生成大量的采樣，這些采樣就稱之為粒子。那么這些采樣在狀態(tài)空間中的分布實(shí)際上就是x(t－1)的概率分布了。依據(jù)狀態(tài)轉(zhuǎn)移方程加上控制量可以對每一粒子得到一個(gè)預(yù)測粒子。越是接近真實(shí)狀態(tài)的粒子，越有可能獲得觀測值y。于是，我們對所有的粒子進(jìn)行評價(jià)p(y|xi)，這個(gè)條件概率代表了假設(shè)真實(shí)狀態(tài)x(t)取第i個(gè)粒子xi時(shí)獲得觀測y的概率，令這個(gè)條件概率為第i個(gè)粒子的權(quán)重。因此，預(yù)測信息融合在粒子的分布中，觀測信息又融合在了每一粒子的權(quán)重中。然后采用重采樣算法，去除低權(quán)值的粒子，復(fù)制高權(quán)值的粒子。下一輪濾波，再將重采樣過后的粒子集輸入到狀態(tài)轉(zhuǎn)移方程中，直接就能夠獲得預(yù)測粒子了。

如圖5-25所示，t－1時(shí)刻的先驗(yàn)概率由帶有權(quán)值的粒子近似表示，經(jīng)過系統(tǒng)觀測后，重新計(jì)算權(quán)值，那些權(quán)值大的粒子可以分裂出若干新的粒子，而權(quán)值很小的將被丟棄，得到一組新的粒子。這些新的粒子加入隨機(jī)量，預(yù)測在t時(shí)刻的狀態(tài)，即系統(tǒng)狀態(tài)轉(zhuǎn)移過程。最后再次進(jìn)入系統(tǒng)觀測過程，預(yù)測下一時(shí)刻狀態(tài)。圖5-25粒子采樣過程示意圖

2.粒子濾波的單目標(biāo)跟蹤算法

(1)提取跟蹤目標(biāo)特征：指定跟蹤目標(biāo)，計(jì)算跟蹤目標(biāo)的特征，采用目標(biāo)的顏色特征，計(jì)算該區(qū)域色調(diào)(Hue)空間的直方圖，即為目標(biāo)的特征。所以目標(biāo)特征就是一個(gè)N×1的向量V。

(2)目標(biāo)搜索階段：根據(jù)目標(biāo)的特征產(chǎn)生一定數(shù)量的粒子，去搜索目標(biāo)對象。粒子有很多種初始化方式：

①均勻初始化，即在整個(gè)圖像平面均勻分布(uniformdistribution)的粒子；

②在上一幀得到的目標(biāo)附近按照高斯分布初始化，也就是靠近目標(biāo)的地方粒子較多，遠(yuǎn)離目標(biāo)的地方較少。粒子按照初始化階段得到的目標(biāo)特征(色調(diào)直方圖、向量V)計(jì)算它所在位置處圖像的顏色特征，得到一個(gè)色調(diào)直方圖和向量Vi，計(jì)算該直方圖與目標(biāo)直方圖的相似性。相似性有多種度量，最簡單的一種是計(jì)算sum(abs(Vi－V))。算出每個(gè)粒子的相似度后再進(jìn)行歸一化，使得所有粒子得到的相似度加起來等于1。

(3)決策階段。分布的粒子向我們發(fā)回報(bào)告，“一號粒子處圖像與目標(biāo)的相似度是0.3”，“二號粒子處圖像與目標(biāo)的相似度是0.02”，“三號粒子處圖像與目標(biāo)的相似度是0.0003”……“N號粒子處圖像與目標(biāo)的相似度是0.013”。我們通過加權(quán)平均計(jì)算目標(biāo)的位置。設(shè)N號粒子的圖像像素坐

標(biāo)是(Xn，Yn)，它報(bào)告的相似度是Wn，于是目標(biāo)最可能的像素坐標(biāo)為X=sum(Xn*Wn)，Y=sum(Yn*Wn)。

(4)重采樣階段(Resampling)。在目標(biāo)跟蹤過程中，目標(biāo)處在運(yùn)動過程。在新的一幀圖像里，目標(biāo)可能在哪里呢？我們通過粒子的分布進(jìn)行求解?；仡櫫Ｗ拥南嗨菩孕畔ⅲ骸耙惶柫Ｗ犹巿D像與目標(biāo)的相似度是0.3”，“二號粒子處圖像與目標(biāo)的相似度是0.02”，“三號粒子處圖像與目標(biāo)的相似度是0.0003”……“N號粒子圖像與目標(biāo)的相似度是0.013”。綜合所有粒子的報(bào)告，一號粒子處的相似度最高，三號粒子處的相似度最低，于是我們要重新分布粒子，在相似度最高的粒子附近初始化更多的粒子。這就是SamplingImportanceResampling(根據(jù)重要性重采樣)。(2)→(3)→(4)→(2)如此反復(fù)循環(huán)，即完成了目標(biāo)的動態(tài)跟蹤。圖5-26所示為重采樣流程圖。圖5-26重采樣流程圖

3.簡單多視覺跟蹤算法

對于多視覺目標(biāo)跟蹤，給定兩個(gè)假設(shè)：①視覺目標(biāo)觀測是標(biāo)記的，即視覺目標(biāo)觀測直接與其狀態(tài)關(guān)聯(lián)；②在運(yùn)動中，各視覺目標(biāo)不存在交互，是彼此獨(dú)立的。于是，在k時(shí)刻T個(gè)視覺目標(biāo)的聯(lián)合狀態(tài)Xk可表示為Xk={Xk，1，…，Xk，T}，視覺目標(biāo)觀測Zk可表示為Zk={Zk，1，…，Zk，T}。對于視覺目標(biāo)t，其狀態(tài)轉(zhuǎn)移概率和觀測概率可表示為(5-22)在粒子濾波理論框架下，該視覺目標(biāo)跟蹤問題可通過多目標(biāo)狀態(tài)獨(dú)立濾波實(shí)現(xiàn)。這樣一來，多視覺目標(biāo)跟蹤問題就簡化為多視覺目標(biāo)狀態(tài)獨(dú)立濾波問題，而且各個(gè)視覺目標(biāo)的獨(dú)立跟蹤可通過基于標(biāo)準(zhǔn)粒子濾波的視覺跟蹤算法實(shí)現(xiàn)。于是，該多視覺目標(biāo)跟蹤算法可表示如下：

(1)初始化。令k=0，對于多視覺目標(biāo)1，…，T，根據(jù)先驗(yàn)分布p(X0，t)建立初始狀態(tài)樣本集 。

(2)粒子狀態(tài)轉(zhuǎn)移。根據(jù)特定的狀態(tài)轉(zhuǎn)移模型和粒子

，計(jì)算粒子 。

(3)粒子的權(quán)值計(jì)算。根據(jù)選擇的視覺特征，計(jì)算觀測概率 ，進(jìn)而計(jì)算樣本 的權(quán)值

，并進(jìn)行歸一化，有 。

(4)視覺目標(biāo)狀態(tài)估計(jì)輸出。計(jì)算視覺目標(biāo)狀態(tài)估計(jì) 。

(5)重采樣。根據(jù)粒子的權(quán)

從粒子集

重新抽取N個(gè)粒子，形成新的粒子集

。

(6)令k=k+1，返回步驟(2)。跟蹤結(jié)果如圖5-27所示。圖5-27粒子濾波多目標(biāo)跟蹤結(jié)果

4.其他粒子濾波

正則粒子濾波(RegularizedParticleFilter，RPF)是為了解決由重采樣引入的新問題而提出的一種改進(jìn)的粒子濾波。當(dāng)通過序貫重要性采樣而引起粒子退化問題時(shí)，可以用重采樣的方法來減小退化的影響，但是引入重采樣策略的同時(shí)也引入了新的問題，即粒子匱乏問題。經(jīng)過若干次迭代之后，所有粒子都趨向于同一個(gè)粒子，導(dǎo)致粒子的多樣性喪失。這是因?yàn)樵谥夭蓸舆^程中，粒子是從離散分布中采樣取得的，而不是從連續(xù)分布中采樣得到的。

Pitt和Shephard在標(biāo)準(zhǔn)SIR濾波算法的基礎(chǔ)上提出了輔助粒子濾波(AuxiliaryParticleFilter，APF)。與標(biāo)準(zhǔn)序貫重要性重采樣(SIR)算法相比，APF也是以序貫重要性采樣(SIS)算法為基礎(chǔ)，只是選擇了不同的重要性密度函數(shù)。與SIR濾波算法相比，輔助粒子濾波算法的優(yōu)勢在于，它在k－1時(shí)刻的樣本集合上隨機(jī)抽取了一些點(diǎn)，抽取時(shí)以當(dāng)前的觀測數(shù)據(jù)為條件，這樣可以更加接近真實(shí)的狀態(tài)。

Jayesh和Petar提出，將高斯濾波和粒子濾波結(jié)合，這種方法稱為高斯粒子濾波(GaussianParticleFilter，GPF)。該方法的前提是用高斯分布來近似后驗(yàn)分布，它比其他高斯濾波方法的適用性更強(qiáng)，能處理更多非線性動態(tài)系統(tǒng)問題。而與一般的粒子濾波相比，因?yàn)镚PF用高斯分布近似后驗(yàn)分布，所以只要所用的高斯分布是正確的，就不會產(chǎn)生粒子退化問題，就不需要對粒子進(jìn)行重采樣，從而減小了算法的計(jì)算量，降低了復(fù)雜度。 5.3特征點(diǎn)跟蹤示例lkdemo.c略析

LK稀疏光流Demo可以在場景中自動找出關(guān)鍵點(diǎn)并自動跟蹤，也可以使用鼠標(biāo)在指定位置添加關(guān)鍵點(diǎn)，此程序是很好的學(xué)習(xí)光流的示例。光流法的目的是跟蹤目標(biāo)(featuretracking)，即由(x，y)確定的物體上的某點(diǎn)的運(yùn)動，即計(jì)算出這個(gè)特征點(diǎn)的運(yùn)動。

示例的完整程序請參照OPENCV的例程lkdemo.c。部分代碼如下：特征點(diǎn)提取與跟蹤結(jié)果如圖5-28所示。圖5-28特征點(diǎn)提取與跟蹤結(jié)果關(guān)鍵點(diǎn)分析：

(1)該程序運(yùn)行流程：從計(jì)算機(jī)攝像頭中獲取視頻，起初不作任何分析。按“r”后初始化，顯示所獲取的特征點(diǎn)。當(dāng)視頻顯示時(shí)，可以用鼠標(biāo)任意添加和去除特征點(diǎn)；當(dāng)視頻中的物體運(yùn)動時(shí)，特征點(diǎn)也會隨之運(yùn)動，即特征點(diǎn)的跟蹤。

(2)獲取特征點(diǎn)的過程：由兩個(gè)函數(shù)，即cvGoodFeaturesToTrack和cvFindCornerSubPix實(shí)現(xiàn)，前者實(shí)現(xiàn)的任務(wù)是，提取出圖像image中規(guī)定上限個(gè)數(shù)的特征點(diǎn)(在本例中，上限為500)，然后存放于數(shù)組points［1］中。后者實(shí)現(xiàn)的任務(wù)是，將points［1］中的點(diǎn)作精確處理。這兩個(gè)函數(shù)的參數(shù)含義將在(5)中給出。

(3)點(diǎn)是如何畫出來的呢？其實(shí)就是由畫圓函數(shù)cvCircle(image，cvPointFrom32f(points［1］［i］)，3，CV_RGB(0，255，0)，－1，8，0)實(shí)現(xiàn)的。

(4)有一個(gè)比較重要的函數(shù)，即cvCalcOpticalFlowPyrLK，正是這個(gè)函數(shù)實(shí)現(xiàn)了特征點(diǎn)的跟蹤。

其參數(shù)包括：(constCvArr*prev，constCvArr*curr，CvArr*prev_pyr，CvArr*curr_pyr，constCvPoint2D32f*prev_features，CvPoint2D32f*curr_features，intcount，CvSizewin_size，intlevel，char*status，float*track_error，CvTermCriteriacriteria，intflags)。

各參數(shù)的含義如下：

prev：前一幀;

curr：當(dāng)前幀;

prev_pyr：第一幀的金字塔緩存;

curr_pyr:當(dāng)前幀的金字塔緩存;

prev_features：需要發(fā)現(xiàn)光流的點(diǎn)集;

curr_features：包含新計(jì)算出來的位置的點(diǎn)集;

count：特征點(diǎn)的數(shù)目;

win_size：每個(gè)金字塔層的搜索窗口尺寸;

level：最大的金字塔層數(shù);

status：數(shù)組，如果對應(yīng)特征的光流被發(fā)現(xiàn)，數(shù)組中的每一個(gè)元素都被設(shè)置為1，否則設(shè)置為0;

error：雙精度數(shù)組，包含原始圖像碎片與移動點(diǎn)之間的差，為可選參數(shù)，可以是NULL;

criteria：準(zhǔn)則，指定在每個(gè)金字塔層，為某點(diǎn)尋找光流的迭代過程的終止條件;

flags：其他選項(xiàng)，包括

CV_LKFLOW_PYR_A_READY，在調(diào)用之前，第一幀的金字塔已經(jīng)準(zhǔn)備好;

CV_LKFLOW_PYR_B_READY，在調(diào)用之前，第二幀的金字塔已經(jīng)準(zhǔn)備好;

CV_LKFLOW_INITIAL_GUESSES，在調(diào)用之前，數(shù)組B包含特征的初始坐標(biāo)。

函數(shù)cvCalcOpticalFlowPyrLK實(shí)現(xiàn)了金字塔中Lucas-Kanade光流計(jì)算的稀疏迭代版本。它根據(jù)給出的前一幀特征點(diǎn)坐標(biāo)計(jì)算當(dāng)前視頻幀上的特征點(diǎn)坐標(biāo)。函數(shù)尋找具有子像素精度的坐標(biāo)值。兩個(gè)參數(shù)prev_pyr和curr_pyr都遵循下列規(guī)則：如

果圖像指針為0，則函數(shù)在內(nèi)部為其分配緩存空間，計(jì)算金字塔，然后再處理過后釋放緩存。否則，函數(shù)計(jì)算金字塔且將它存儲到緩存中，除非設(shè)置標(biāo)識CV_LKFLOW_PYR_A［B］_READY。圖像應(yīng)該足夠大以便能夠容納Gaussian金字塔數(shù)據(jù)。調(diào)用函數(shù)以后，計(jì)算金字塔，并設(shè)置相應(yīng)圖像的標(biāo)識，為下一次調(diào)用做好準(zhǔn)備(比如，對除第一個(gè)圖像外的所有圖像序列，設(shè)置標(biāo)識CV_LKFLOW_PYR_A_READY)。

(5)其他函數(shù)簡介。

①voidcvGoodFeaturesToTrack(constCvArr*image，CvArr*eig_image，CvArr*temp_image，CvPoint2D32f*c