基于光流方程和目標(biāo)匹配的視頻圖像目標(biāo)跟蹤方法

1、第35卷,增刊紅外與激光工程 2006年10月 基于光流方程和目標(biāo)匹配的視頻圖像目標(biāo)跟蹤方法叢楊1,一,唐延?xùn)|1(1沖國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所光電信息研究室,遼寧沈陽(yáng)110016;2.中國(guó)科學(xué)院研究生院,北京100049摘要:提出一種利用圖像差分、局部光流法和目標(biāo)匹配,實(shí)現(xiàn)視頻對(duì)象目標(biāo)提取和跟蹤的方法。首先, 對(duì)預(yù)處理后的圖像進(jìn)行差分;在差分的基礎(chǔ)上,運(yùn)用局部光流場(chǎng)對(duì)目標(biāo)進(jìn)行運(yùn)動(dòng)估計(jì);對(duì)估計(jì)結(jié)果依據(jù)相似 度進(jìn)行聚類(lèi)分析,消除小的非目標(biāo)區(qū)域;當(dāng)目標(biāo)未發(fā)生劇烈變化時(shí),更新目標(biāo)模板,否則,利用已有目標(biāo)模 板進(jìn)行匹配跟蹤。實(shí)驗(yàn)結(jié)果驗(yàn)證了該算法的有效性,并實(shí)現(xiàn)了目標(biāo)變形和部分遮擋時(shí)的穩(wěn)定跟蹤。關(guān)鍵詞:圖

2、像差分; 光流法; 目標(biāo)跟蹤; 聚類(lèi)分析中圈分類(lèi)號(hào):'391文l-I標(biāo)識(shí)碼:A 文章編號(hào):10072276(2006增D一0312一04ReseaIh on video object tracking method based on optical now and target matchingCONG Y甜191一,TANGlgdon91(1.sh朋yang hs咖te ofAut0嘲don,chinese Acad鋤y of sciences,sh衄y趾g 110016,China;2.Gfaduale Sch00l,o虹桃Acad鋤y of Scicns,B確ing 100039

3、,ChiImAbstmct:A memod on detection aIld trIacking of moving object is pr叩osed b鵲ed on me melod of iInage dif!f.erence,panial opticalnow aIld objectiVes matclling.As preprocessing,也e image difI-erence is calculated.By t|le optical flow coIIlputationof me difference image me moVing ta瑪et is腳tiVely est

4、imated to get a biIlary image. WitIl the clustering memod tlle small blocks in me binary image,wmch do not belong to ta唱et are eliIIlinated.If meshape of me detected ta略et doesnt change largely,tlle detected叫g(shù)et in me laSt鐋lIne is taken as atemplate.Thenme shape ta昭et is corrected by a IIlatcmng tec

5、llIlology.By it the disturb of吐le ta唱et blockin參defo珊ation or omer moving objects on tlle ta唱et caIl be eliIIlinated.The experiment results Validate tlle ef!f;ect of our metllod.Key words:hnage di虢rential;optical now; Objectacking; ClusteriIlg a11alysisO引 育視頻圖像運(yùn)動(dòng)目標(biāo)跟蹤作為計(jì)算機(jī)視覺(jué)研究領(lǐng)域的核心課題之一,融合了圖像處理、人工智能、模

6、式識(shí)別、 自動(dòng)控制以及計(jì)算機(jī)應(yīng)用等若干領(lǐng)域的先進(jìn)技術(shù),并在視頻監(jiān)控、軍事視覺(jué)制導(dǎo)、機(jī)器人視覺(jué)導(dǎo)航、安全檢測(cè)、收日期I 2006_08.19作謄介t叢楊(1981.,男,吉林吉林人,碩士,主要從事實(shí)時(shí)圖像處理和目標(biāo)識(shí)別方面的研究.增刊 叢楊等:基于光流方程和目標(biāo)匹配的視頻圖像目標(biāo)跟蹤方法 313交通流量監(jiān)測(cè)等方面都有廣泛的應(yīng)用【l2l。差分方法是在運(yùn)動(dòng)目標(biāo)檢測(cè)中使用最多的一類(lèi)算法。它的突出特點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單、運(yùn)算速度快,在大多數(shù)情況下檢測(cè)效果較好。光流法是運(yùn)動(dòng)目標(biāo)跟蹤的有效方法,我們將兩者相結(jié)合,對(duì)圖像序列進(jìn)行處理,并將該算法應(yīng)用到遠(yuǎn)程視頻監(jiān)控中pJ。針對(duì)視頻監(jiān)控中的具體問(wèn)題,首先對(duì)輸入的圖像序列進(jìn)

7、行去噪處理,采用圖像差分的方法求出運(yùn)動(dòng)目標(biāo)可能存在的矩形區(qū)域;然后求取這些矩形區(qū)域的局部光流;并對(duì)求得的光流場(chǎng)進(jìn)行聚類(lèi)操作,消除小的區(qū)域,得到待識(shí)別目標(biāo)區(qū)域;如果這個(gè)區(qū)域發(fā)生突變,則利用模板匹配的方法進(jìn)行識(shí)別,否則,保存目標(biāo)區(qū)域模板。算法流程圖見(jiàn)圖1。1圖像差分在對(duì)圖像進(jìn)行去噪等處理的基礎(chǔ)上,利用圖像差分的 方法求出目標(biāo)潛在區(qū)域。差分的基本原理是將前后兩幀圖圖1算法流程圖 Fig.1nowchaft of our algorilm像對(duì)應(yīng)像素點(diǎn)的灰度值相減,在環(huán)境亮度變化不大的情況下,如果對(duì)應(yīng)像素灰度相差很小,可以認(rèn)為此處景物是 靜止的,如果圖像區(qū)域某處的灰度變化很大,可以認(rèn)為這是由于圖像中運(yùn)動(dòng)

8、物體引起的,由此可以求出運(yùn)動(dòng)目標(biāo) 在圖像中的位置。它的突出特點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單、運(yùn)算速度快,在大多數(shù)情況下檢測(cè)效果較好。在f時(shí)刻,圖像O的素處得灰度值為,(x,歲,f;在件1時(shí)刻為J(工,f+1;則灰度f(wàn)+1時(shí)刻與f時(shí)刻灰 度差是:,(工,=l,(工,f+1一,(工,fI (1 對(duì)址(x,y進(jìn)行規(guī)一化,并計(jì)算直方圖,求出分割閾值死利用投影技術(shù),求出運(yùn)動(dòng)目標(biāo)可能存在的區(qū)域。 嘶=器 畿銎二; 2運(yùn)動(dòng)估計(jì)光流估計(jì)方法大致可以分為三類(lèi):基于區(qū)域的匹配法、基于特征點(diǎn)的方法和微分法6,71。這里我們采用 Hom和Schunck提出的微分法,對(duì)差分圖像進(jìn)行處理。盡管利用微分方程的方法需要多次迭代,并且存在運(yùn) 動(dòng)

9、場(chǎng)估計(jì)不穩(wěn)定等特點(diǎn),但與區(qū)域法和特征法相比,更適合于檢測(cè)整幅圖像的運(yùn)動(dòng)信息。由于對(duì)差分圖像進(jìn) 行處理,區(qū)域面積減小,因此速度可以滿(mǎn)足要求。光流計(jì)算的基本假設(shè)是:圖像模式中的點(diǎn)(工,在時(shí)刻f的亮 度為“石,D,當(dāng)模式運(yùn)動(dòng)時(shí),該點(diǎn)的亮度保持不變,即粵:o。于是得到差分方程:mml+vI,+lt=o (3314紅外與激光工程:光電信息處理技術(shù) 第35卷 式中:“=警,V=警與分別是圖像在工,f方向上的微分。 運(yùn)用變分法和遞歸算法,可以得到(u,V的遞歸解:求得的光流場(chǎng)如圖2所示。利用光流的能量信息對(duì)圖像規(guī)一化,利用自適應(yīng)閾值的算法對(duì)Energy圖像進(jìn)行分割。砌P例=(“2+(y2“2(5 3聚類(lèi)運(yùn)動(dòng)

10、區(qū)域 圖2目標(biāo)光流場(chǎng) Fig.2掣calnowofmc嘲烈為了減少聚類(lèi)區(qū)域的數(shù)目,采用形態(tài)學(xué)的方法對(duì)Energy圖像進(jìn)行處理,消除小的區(qū)域。然后對(duì)二值化的 Energy中的非零像素進(jìn)行聚類(lèi)操作,以確定運(yùn)動(dòng)目標(biāo)區(qū)域。采用的準(zhǔn)則是兩點(diǎn)間最小距離法。設(shè)兩點(diǎn)最大距離 閾值護(hù)l,運(yùn)動(dòng)區(qū)域包含最少像素汐2,逐行掃描Ene唱y中的非零像素。第一個(gè)非零像素,1記為Sl=厶為第一 類(lèi),1=1,且其聚類(lèi)中心記為cl腳1%Cl回ly。計(jì)算第2個(gè)非零像素如與Cl之間的距離d也,C1,如 果dl,則忍s1,并按如下遞推公式計(jì)算S1的新聚類(lèi)中心:Clz=Gz+(厶工一C:工【1/(+1】,。 c;y=cl,+(,Icjy

11、1/(+1】 一并令l=l+1,1為sl的像素?cái)?shù)日;否則,建立新類(lèi)&=無(wú),2=1。當(dāng)五歸入時(shí),已形成置類(lèi),記為 s1,昆.,&,對(duì)應(yīng)的聚類(lèi)中心記為cl,c2,Q。如果,d,a>口I,產(chǎn)1,2.,K,則將建立第五,+1類(lèi) S一1=五,憎1=1,否貝U五昌,其中:j=IIlinJI d(,C,<島,_=1,2,.K (71=1+1。依次重復(fù)上述過(guò)程,直到行掃描結(jié)束。再根據(jù)侯選類(lèi)f應(yīng)滿(mǎn)足f>口2,濾除一些像素集。4目標(biāo)匹配如果求得的運(yùn)動(dòng)目標(biāo)區(qū)域發(fā)生劇烈變化,說(shuō)明可能有其他運(yùn)動(dòng)目標(biāo)對(duì)其產(chǎn)生干擾或遮擋,這個(gè)時(shí)候采用 差分和光流的方法所提取的運(yùn)動(dòng)目標(biāo)將會(huì)失真,我們采用模板

12、匹配的算法對(duì)目標(biāo)進(jìn)行跟蹤,可以收到較好的 效果。否則,就用聚類(lèi)后的區(qū)域去更新模板。5實(shí)驗(yàn)結(jié)果為驗(yàn)證該算法有效性,在PC機(jī)匕對(duì)實(shí)際遠(yuǎn)程監(jiān)控系統(tǒng)采集到的多組視頻數(shù)據(jù)進(jìn)行處理,都取得滿(mǎn)意的效果。 實(shí)驗(yàn)一對(duì)單運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤的部分實(shí)驗(yàn)結(jié)果,此時(shí)可以看出我們跟蹤結(jié)果基本上是人的輪廓,如圖 3所示,圖中(a、(b、(c分別為第30、37、4l幀。蕓掣鐾w 器鬻 警甕萼譬增刊 叢楊等:基于光流方程和目標(biāo)匹配的視頻圖像目標(biāo)跟蹤方法 315 (a (b 圖3單運(yùn)動(dòng)目標(biāo)提取和跟蹤(cFig.3Signal object ex仃action and鋤cking實(shí)驗(yàn)二當(dāng)視場(chǎng)中運(yùn)動(dòng)目標(biāo)出現(xiàn)劇烈變化時(shí),如人在開(kāi)關(guān)門(mén)的時(shí)候

13、,人和門(mén)都將產(chǎn)生運(yùn)動(dòng)。人作為被跟 蹤目標(biāo),會(huì)出現(xiàn)局部靜止,變形,被門(mén)部分遮擋等情況,給跟蹤帶來(lái)了困難。這里比較了采用區(qū)域形狀約束 的目標(biāo)匹配和未采用該方法的實(shí)驗(yàn)解結(jié)果,從圖中可以看出采用該算法仍然能夠穩(wěn)定跟蹤目標(biāo),如圖4所示, (a為未采用目標(biāo)匹配的結(jié)果,(b為采用目標(biāo)匹配的結(jié)果: 圖4目標(biāo)劇烈變化實(shí)驗(yàn)結(jié)果比較Fig.4o咖pare me resun of target cllanging laFgely由以上實(shí)驗(yàn)結(jié)果可以看出,我們所采用的基于圖像差分,局部光流運(yùn)動(dòng)估計(jì)和形狀約束匹配的檢測(cè)算法, 可以穩(wěn)定檢測(cè)和跟蹤視場(chǎng)中的運(yùn)動(dòng)目標(biāo);對(duì)人等運(yùn)動(dòng)目標(biāo)運(yùn)動(dòng)發(fā)生劇烈變化、變形、被部分遮擋等情況,也 具

14、有魯棒性。參考文獻(xiàn):乃認(rèn)NG zexu,u Jinzong,u Nin-gllir罾Detcc石of moving object using a fIlsi衄melod b硒ed on鯽enta吐舳0fo砸cal Row蹦d觚d edgeex仃acted by Ca皿ys operator【J】.Act E1ecllical Sinica,2003,31(9:1299-1302。 RUSSO P,MARANDEY V,BUI T.0ptical flow tecllIliques or mov噸ta唱et detec60nC】/s腿,1990, 1383:6271. FAN J P,DAVID

15、 K Y,AHMED K E,ct a1.Automatic image segmentation by inte粵atiIlg color.edge ex臼戤:ti缸Id sdcdgigmwing【J】.I髓E Tr衄s.on Image Processing,2001,10(10:14541466.雍楊,王敬儒,張啟衡.復(fù)雜背景下運(yùn)動(dòng)目標(biāo)分割算法研究【J】.系統(tǒng)工程與電子技術(shù),2005,27(12:2014.2015.張?zhí)煨?成像自動(dòng)目標(biāo)識(shí)別【M】.湖北:湖北科學(xué)技術(shù)出版社,2005.HORNB K P,SCHUNCK B G.Deten【lining optical now【J】.Amf

16、icial Intemgence,1981,17(1:185203BARRoN J L,FI壓'T D J,BEAUCmMS S.Pe喲衄ance 0f 0ptical now techniques叨.UCV,1994,12(1:43-77. 四嘲剛阿聞忉 基于光流方程和目標(biāo)匹配的視頻圖像目標(biāo)跟蹤方法作者:叢楊 , 唐延?xùn)| , CONG Yang, TANG Yang-dong作者單位:叢楊,CONG Yang(中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所,光電信息研究室,遼寧,沈陽(yáng),110016;中國(guó)科學(xué)院研究生院,北京,100049 , 唐延?xùn)|,TANG Yang-dong(中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究

17、所,光電信息研究室,遼寧,沈陽(yáng),110016刊名:紅外與激光工程英文刊名:INFRARED AND LASER ENGINEERING 年,卷(期:2006,35(z4參考文獻(xiàn)(7條 1. ZHANG Ze-XU. LI Jin-zong. LI Nin-gning Detection of moving object using a fusion method based onsegmentation of optical Flow field and edge extracted by Canny's operator期刊論文-Acta ElectronicaSinica 2003(092. RUSSO P. MARANDEY V. BUI T Optical flow techniques or moving target detection 19903. FAN J P. DAVID K Y. AHMED K E Automatic image segmentation by integrating col