基于2-d仿真的運(yùn)動(dòng)目標(biāo)跟蹤和判別系統(tǒng)

基于2-d仿真的運(yùn)動(dòng)目標(biāo)跟蹤和判別系統(tǒng)

視覺(jué)環(huán)境檢測(cè)不僅是一個(gè)非常挑戰(zhàn)的研究問(wèn)題，也是計(jì)算機(jī)視覺(jué)的重要應(yīng)用，因此引起了人們的關(guān)注。相關(guān)的技術(shù)問(wèn)題主要有兩點(diǎn):一是監(jiān)測(cè);二是對(duì)目標(biāo)進(jìn)行動(dòng)作分析(activeanalysis)以實(shí)現(xiàn)智能監(jiān)控(smartsurveillance)。在監(jiān)測(cè)方面,為實(shí)現(xiàn)大視場(chǎng),系統(tǒng)可使用多個(gè)攝像機(jī)或單個(gè)運(yùn)動(dòng)攝像機(jī)。前者的實(shí)現(xiàn)和安裝都很復(fù)雜,因而我們選擇簡(jiǎn)便可行的后者。此時(shí)為監(jiān)測(cè)運(yùn)動(dòng)目標(biāo),系統(tǒng)需要區(qū)分背景運(yùn)動(dòng)(靜止環(huán)境在運(yùn)動(dòng)攝像機(jī)中投影的運(yùn)動(dòng))和目標(biāo)自運(yùn)動(dòng),為此需要用某種運(yùn)動(dòng)模型擬合背景運(yùn)動(dòng),則自運(yùn)動(dòng)目標(biāo)可作為背景運(yùn)動(dòng)的出格點(diǎn)被檢測(cè)出來(lái)。背景運(yùn)動(dòng)模型估計(jì)時(shí)由于出格點(diǎn)的存在,必須使用魯棒的參數(shù)估計(jì)方法。在目標(biāo)(一般是人)的動(dòng)作分析方面,通常的方法需要分辨出人體的各部分或大致形狀,這樣計(jì)算復(fù)雜,而且對(duì)目標(biāo)檢測(cè)的要求很高;或是需要預(yù)先進(jìn)行訓(xùn)練,不能在安裝系統(tǒng)后馬上使用。本系統(tǒng)中由于目標(biāo)往往離攝像機(jī)很遠(yuǎn),其形狀難以精確檢測(cè),因此我們利用周期性度量只給出定性判別,即目標(biāo)是人,還是汽車(chē)、坦克類的機(jī)動(dòng)目標(biāo)。1目標(biāo)跟蹤跟蹤階段系統(tǒng)的處理流程如圖1所示。該系統(tǒng)有兩種工作狀態(tài):全景圖拼接和目標(biāo)跟蹤。在全景圖拼接階段,攝像機(jī)環(huán)拍一周后得到場(chǎng)景的兩幅全景圖,一幅鑲嵌有環(huán)拍過(guò)程中檢測(cè)到的運(yùn)動(dòng)目標(biāo),另一幅則濾去了運(yùn)動(dòng)目標(biāo);在目標(biāo)跟蹤階段,系統(tǒng)在檢測(cè)出運(yùn)動(dòng)目標(biāo)后能實(shí)現(xiàn)可靠跟蹤,并控制攝像機(jī)盯住該目標(biāo)。在兩種狀態(tài)下都可進(jìn)行目標(biāo)判別。2背景運(yùn)動(dòng)目標(biāo)的近自然實(shí)現(xiàn)在主運(yùn)動(dòng)分析的模型選擇方面,一般說(shuō)來(lái),模型簡(jiǎn)單,則計(jì)算簡(jiǎn)單且穩(wěn)定,但適用范圍受到限制;模型復(fù)雜,能夠適用于一般的環(huán)境中,但計(jì)算復(fù)雜,難以應(yīng)用于實(shí)時(shí)系統(tǒng);魯棒性也差,在短基線情況下的計(jì)算穩(wěn)定性難以保證。在本系統(tǒng)的工作環(huán)境下,目標(biāo)和背景都在遠(yuǎn)處,而攝像機(jī)又沒(méi)有平移,因此2-D運(yùn)動(dòng)模型是合適的選擇。文提出了2-D仿射運(yùn)動(dòng)模型。該模型計(jì)算簡(jiǎn)單,穩(wěn)定性好,不需要標(biāo)定攝像機(jī),雖然限制攝像機(jī)的運(yùn)動(dòng)方式為純旋轉(zhuǎn),但與本系統(tǒng)的實(shí)驗(yàn)環(huán)境相符合,選擇該模型來(lái)描述背景運(yùn)動(dòng):設(shè)(u,v)和(u′,v′)是相鄰兩幀上的一組對(duì)應(yīng)點(diǎn),由于幀間攝像機(jī)運(yùn)動(dòng)是小角度的旋轉(zhuǎn),有:{su′=u+αv-Τu?sv′=v-αu-Τv?(1)其中:s為一尺度因子,(Tu,Tv)是平移向量,α是旋轉(zhuǎn)角。我們的實(shí)際算法有下面一些特點(diǎn):1)利用SAD(sumofabsolutedifference)的塊匹配算法既避免了低層匹配特征提取中的不精確,又比相關(guān)運(yùn)算節(jié)省了計(jì)算時(shí)間,效果良好;2)灰度均衡化在一定程度上消除了光照變化的影響;3)采用多分辨率的塊匹配算法,使計(jì)算復(fù)雜度從O(n2)減少到O(k·lg(n));4)使用魯棒M-估計(jì)來(lái)計(jì)算模型參數(shù),在出格點(diǎn)較多的情況下仍能得到很好的結(jié)果。系統(tǒng)在環(huán)境監(jiān)控的同時(shí)能得到鑲嵌或?yàn)V去了運(yùn)動(dòng)目標(biāo)的全景圖,從而使用戶對(duì)整個(gè)環(huán)境有一個(gè)總體把握。拼接在完成主運(yùn)動(dòng)參數(shù)估計(jì)后,用逐步拼接豎條紋的方法累進(jìn)完成。這樣不需要保存采集的圖像,當(dāng)前幀到全景圖所在的柱面坐標(biāo)系的變換也可在要拼接的豎條內(nèi)進(jìn)行,大大節(jié)省了時(shí)間和空間。系統(tǒng)用中值濾波濾去運(yùn)動(dòng)目標(biāo),并為檢測(cè)到的目標(biāo)維護(hù)一緩沖區(qū)序列,最后將目標(biāo)鑲嵌到全景圖中。圖2是鑲嵌了運(yùn)動(dòng)目標(biāo)的全景圖。視頻數(shù)據(jù)是用手提攝像機(jī)在清華圖書(shū)館獲得,圖像分辨率384×288,景物的距離在10m以外。數(shù)據(jù)是由人旋轉(zhuǎn)一周取得,攝像機(jī)不能保持水平方向,因而得到的全景圖在對(duì)準(zhǔn)到第一幀的坐標(biāo)系統(tǒng)后不在柱面上。注意:鑲嵌的運(yùn)動(dòng)目標(biāo)在圖中用反相(即顏色值的分量取反)標(biāo)出。3目標(biāo)跟蹤和跟蹤補(bǔ)償了主運(yùn)動(dòng)后就可在殘差圖上聚類運(yùn)動(dòng)目標(biāo)。設(shè)相鄰兩幀圖像為f1(X),f2(X),幀間運(yùn)動(dòng)參數(shù)是s,α,Tu,Tv,則殘差圖D(X)可表示為:D(X)=|f′2(X)-f1(X)|?(2)其中:f′2(X)=f2(R-1(X/s-Τ))?(3)R=[1α-α1]?Τ=[-Τu-Τv].(4)f′2(X)是f2(X)相對(duì)于f1(X)補(bǔ)償了背景運(yùn)動(dòng)的圖像。用矩形表示得到的每個(gè)運(yùn)動(dòng)目標(biāo),矩形的參數(shù)按下面的方法獲得:得到殘差圖后先去除孤立的噪聲點(diǎn),然后根據(jù)同一目標(biāo)內(nèi)各點(diǎn)的間距小、不同目標(biāo)間間距大的原理,按最近鄰聚類的方法得到聚類結(jié)果。圖3是運(yùn)動(dòng)檢測(cè)的結(jié)果。為了可靠地檢測(cè)目標(biāo),去除可能的誤檢測(cè),補(bǔ)上漏檢測(cè),系統(tǒng)維護(hù)一個(gè)運(yùn)動(dòng)目標(biāo)的緩沖池來(lái)實(shí)現(xiàn)可靠跟蹤。原理是目標(biāo)運(yùn)動(dòng)的時(shí)空連續(xù)性。只有連續(xù)在類似位置上出現(xiàn)的目標(biāo)才認(rèn)為是可靠的檢測(cè),而偶爾出現(xiàn)的目標(biāo)被當(dāng)作誤檢測(cè)去除;類似地,某一目標(biāo)連續(xù)消失兩幀以上才認(rèn)為是目標(biāo)消失,否則系統(tǒng)就認(rèn)為是漏檢測(cè)而將它補(bǔ)上。在可靠地檢測(cè)出運(yùn)動(dòng)目標(biāo)后,系統(tǒng)通過(guò)限制目標(biāo)檢測(cè)的搜索區(qū)域來(lái)加快速度、實(shí)現(xiàn)跟蹤。如果局部搜索的效果不好(與緩沖池中的結(jié)果相差很遠(yuǎn)),系統(tǒng)會(huì)自動(dòng)改成全局搜索。這樣在減少檢測(cè)時(shí)間的同時(shí)又不降低系統(tǒng)性能。在目標(biāo)跟蹤階段,系統(tǒng)要根據(jù)檢測(cè)出的目標(biāo)方位調(diào)整攝像機(jī)朝向以實(shí)現(xiàn)主動(dòng)跟蹤。設(shè)當(dāng)前幀上運(yùn)動(dòng)目標(biāo)到圖像中心的偏移是(dx,dy),則要盯住運(yùn)動(dòng)目標(biāo),攝像機(jī)的水平旋轉(zhuǎn)調(diào)整量α和俯仰調(diào)整量β應(yīng)滿足tanα=dxf?tanβ=dyf,其中f是攝像機(jī)的焦距,系統(tǒng)對(duì)f的計(jì)算引入反饋機(jī)制,即根據(jù)上次對(duì)攝像機(jī)角度調(diào)整的結(jié)果修改f,從而使平臺(tái)的轉(zhuǎn)動(dòng)更平穩(wěn)。4f使用證信號(hào)出的目標(biāo)調(diào)度文對(duì)圖像序列中周期性的檢測(cè)和度量問(wèn)題進(jìn)行了研究。它依賴于多幀上對(duì)同一目標(biāo)的準(zhǔn)確定位和準(zhǔn)確大小估計(jì),得到該區(qū)域上的一個(gè)模板作為周期性評(píng)價(jià),模板中每一點(diǎn)的取值都是一個(gè)時(shí)域序列頻譜分析的結(jié)果。它利用時(shí)空?qǐng)D來(lái)定位目標(biāo),要求周期性運(yùn)動(dòng)的目標(biāo)不平移,或者背景不動(dòng),這并不適用于我們的具體環(huán)境;它得到的評(píng)價(jià)是定義在一個(gè)矩形區(qū)域上的模板,這樣對(duì)目標(biāo)檢測(cè)提出很高的要求,要求目標(biāo)能準(zhǔn)確定位、目標(biāo)的朝向不變、目標(biāo)能檢測(cè)出完整的形狀,這在目標(biāo)較遠(yuǎn)的情況下也是極為困難的。對(duì)一個(gè)目標(biāo)給出一個(gè)數(shù)值來(lái)量度周期性的強(qiáng)弱。實(shí)驗(yàn)顯示,該方法對(duì)目標(biāo)檢測(cè)中的不精確、不完整有較強(qiáng)的魯棒性。受文的啟發(fā),利用目標(biāo)的周期性完成判別工作。所謂周期性,是指空域紋理在時(shí)域上的周期性變化。Fourier頻譜分析是進(jìn)行周期性度量的有效工具。設(shè)f(t)為一時(shí)變序列,則其頻譜F(w)=|∫f(t)e-i2πwtdt|2能反映該序列的周期性性,F(w)的能量越集中于某幾個(gè)離散值(諧波)處,就表示f(t)的周期性越強(qiáng)。本系統(tǒng)使用基于頻譜的度量來(lái)完成周期性判別,即用諧波能量和總能量的比來(lái)量度時(shí)域上的周期性。為了對(duì)每一目標(biāo)給出單一的評(píng)價(jià)值,對(duì)每一幀上的運(yùn)動(dòng)目標(biāo)區(qū)域賦以單個(gè)評(píng)價(jià)值P,則最終評(píng)價(jià)可通過(guò)對(duì)一維數(shù)組Pi,i=1,…,N(N是考慮的總幀數(shù))進(jìn)行頻域分析得到。P的選擇必須滿足以下條件:1)該值的變化應(yīng)能正確反映目標(biāo)區(qū)域的周期性變化;2)該值的選擇應(yīng)對(duì)目標(biāo)區(qū)域大小、目標(biāo)的完整性、目標(biāo)運(yùn)動(dòng)時(shí)的背景以及目標(biāo)朝向的變化有好的魯棒性。據(jù)此確定P的步驟是:在將目標(biāo)區(qū)域二值化后,先進(jìn)行預(yù)處理以去除孤立噪聲點(diǎn),再計(jì)算區(qū)域中每行目標(biāo)點(diǎn)的方差Dk,令Ρk=Dk/n12k,其中nk是該行目標(biāo)點(diǎn)的數(shù)目,設(shè)該幀中Pk值大于0的行數(shù)為m,選擇Pk序列中從大到小第m/4個(gè)元素作為該幀的周期性度量P。實(shí)驗(yàn)顯示P的變化對(duì)應(yīng)于人走動(dòng)時(shí)上下肢的周期性擺動(dòng)。圖4、圖5是運(yùn)動(dòng)目標(biāo)判別的實(shí)驗(yàn)結(jié)果,分別對(duì)應(yīng)于人和車(chē)輛。其中圖4、圖5(a)是原始序列的一段,(b)是檢測(cè)出運(yùn)動(dòng)目標(biāo)后減去背景并二值化的結(jié)果,(c)是得到的序列Pi,(d)是其頻譜。系統(tǒng)根據(jù)頻譜圖中最大的幾個(gè)能量值之和與總能量的比值來(lái)進(jìn)行目標(biāo)判別。實(shí)驗(yàn)顯示,該方法對(duì)目標(biāo)檢測(cè)中的不精確、不完整有好的魯棒性。5實(shí)時(shí)圖像采集本系統(tǒng)采用了多種加速技術(shù)以達(dá)到實(shí)時(shí):1)利用MMX(multi-mediaextension)技術(shù)實(shí)現(xiàn)塊匹配;2)運(yùn)動(dòng)檢測(cè)時(shí)的二值化處理;3)限制搜索范圍進(jìn)行運(yùn)動(dòng)跟蹤;4)實(shí)時(shí)拼接。本系統(tǒng)既用磁盤(pán)數(shù)據(jù)(室外的圖書(shū)館序列)進(jìn)行了測(cè)試,也在旋轉(zhuǎn)平臺(tái)上(室內(nèi)環(huán)境)進(jìn)行了實(shí)時(shí)圖像采集。實(shí)驗(yàn)在PⅡ266的PC機(jī)上完成。磁盤(pán)數(shù)據(jù)的圖像分辨率為384×288,共235幀,每幀的主運(yùn)動(dòng)估計(jì)耗時(shí)50～60ms,運(yùn)動(dòng)檢測(cè)要40ms,而跟蹤只需40ms,全景圖的拼接時(shí)間不超過(guò)5ms,總時(shí)間(不包括磁盤(pán)數(shù)據(jù)的載入)在檢測(cè)時(shí)是105ms,跟蹤只需70ms;實(shí)時(shí)采集時(shí)的圖像分辨率為320×240,攝像機(jī)環(huán)拍一周共采圖110～120幀,每幀的主運(yùn)動(dòng)估計(jì)耗時(shí)40～50ms,運(yùn)動(dòng)檢測(cè)要35ms,而跟蹤只需5～10ms,全景圖的拼接時(shí)間不超過(guò)5ms,總時(shí)間(不包括圖像采集)在檢測(cè)時(shí)是95ms,跟蹤只需55ms,圖像采集要40～50ms,幀速為6.5幀/s,環(huán)拍一周并進(jìn)行全景圖拼接可在20s之內(nèi)完成。6幀間運(yùn)動(dòng)目標(biāo)的判別和動(dòng)態(tài)補(bǔ)償實(shí)現(xiàn)了一個(gè)自然環(huán)境中的運(yùn)動(dòng)目標(biāo)快速檢測(cè)、跟蹤和判別系統(tǒng)。用簡(jiǎn)單的2-D仿射模型來(lái)擬合主運(yùn)動(dòng);魯棒參數(shù)估計(jì)方法可在出格點(diǎn)存在的情況下正確求解幀間運(yùn)動(dòng)參數(shù);基于出格點(diǎn)聚類得到運(yùn)動(dòng)目標(biāo)區(qū)域;限制搜索范圍、維護(hù)運(yùn)動(dòng)目標(biāo)緩沖池以實(shí)現(xiàn)