基于圖像特征的運動目標識別與伺服跟蹤

1、第29卷第3期2008年3月儀器儀表學報Chinese Journal of Scientific I nstru mentVol 129No 13Mar .2008收稿日期:2007204Received Date:20072043基金項目:國家高技術研究發(fā)展計劃(2006AA04Z207、教育部博士點基金(20060006018資助項目基于圖像特征的運動目標識別與伺服跟蹤3劉宏鼎,秦世引(北京航空航天大學自動化科學與電氣工程學院北京100083摘要:本文研究了一種在室內相對復雜背景下機器人的運動目標識別與跟蹤方法?；贗 ntel 的計算機視覺庫OpenCV 進行圖像處理與特征提取,采用圖

2、像的區(qū)域特征圖像矩作為特征信息,在有干擾的情況下,實現(xiàn)運動目標的形狀識別和基于特征的視覺伺服跟蹤控制。為提高系統(tǒng)性能,建立曲線擬合模型來預測運動目標的動態(tài)趨勢和特征。實驗結果表明,系統(tǒng)在不需要攝像機精確標定、背景有干擾的情況下,能夠實現(xiàn)對運動目標進行實時穩(wěn)定快速的識別和跟蹤。關鍵詞:運動目標識別與跟蹤;形狀特征;特征視覺伺服;加窗濾波預測中圖分類號:TP242文獻標識碼:A 國家標準學科分類代碼:510.40Recogn iti on and servo track i n g of m ov i n g t arget ba sed on image fea turesL iu Hongdi

3、ng,Q in Shiyin(School of A uto m ation Science and Electrical Engineering,B eihang U niversity,B eijing 100083,China Abstract:I n this paper,the research on the recogniti on and servo tracking of moving target f or a wheeled moving r o 2bot with a monocular ca mera is carried out in a relatively com

4、p lex backgr ound .A t first the computer visi on library fr om I ntel,Open CV,was e mp l oyed t o i m p le ment i m age p r ocessing and feature extracting,then the shape of moving target was recognized and the visual servo tracking was achieved based on l ocal features of i m age moments in noise

5、conditi on .I n order t o i m p r ove the syste m perf or mance,a curve 2fitting model was built t o p redict the dyna m ic trend and characteristics .Experi m ent results indicate that the syste m can stably recognize a fast moti onal target and track it in real 2ti m e under noisy backgr ound and

6、without p recise ca mera calibrati on .Key words:moving target recogniti on and tracking;shape feature;feature 2based visual serv o;windo w filter f orecasting1引言機器人視覺伺服控制是機器人與計算機視覺研究的重要結合點,也是智能機器人的重要研究領域之一。機器人視覺伺服跟蹤按照反饋信息的類型可以分為基于位置的視覺伺服跟蹤系統(tǒng)(position 2based 和基于圖像的視覺伺服系統(tǒng)(i m age 2based 122?；谖恢玫囊曈X伺服

7、方案的核心問題是根據(jù)目標在相平面中的投影,恢復目標相對于攝像機坐標系的位置和姿態(tài)223,即位姿估計。這種方法把視覺系統(tǒng)只作為位置和方位傳感器,可以將位姿估計和機器人控制問題分離開來。但是,這種方案依賴于成像設備的參數(shù),成像模型和圖像匹配的精度。基于圖像視覺的伺服控制的輸入定義在圖像特征空間,它直接使用視覺特征作為系統(tǒng)狀態(tài)和誤差信號,通常也被稱為基于特征的視覺伺服,其優(yōu)點是在圖像坐標系進行測量和控制1,不需要立體測量模型,可避免視覺重建。然而,這種基于圖像的視覺伺服將視覺反饋融合在控制回路中,從而構成本質非線性系統(tǒng)3,這就對圖像特征的選擇、控制算法的設計提出了更高的要求。基于圖像的直接伺服控制是

8、當前研究的熱點:第3期劉宏鼎等:基于圖像特征的運動目標識別與伺服跟蹤645 文獻4依據(jù)期望圖像與當前采集圖像之差進行實時伺服反饋,這就要求攝像機光軸與工作平面垂直、高度不變,而且該方法僅能保證實現(xiàn)局部收斂,因而限制了其應用。文獻5為解決大范圍偏差的控制問題,將期望圖像按一定的角度間隔旋轉,生成一序列子期望圖像,用當前圖像與期望序列進行比較,以實現(xiàn)基于圖像差的位置、方位伺服控制。本文充分考慮獲取的圖像所包含信息之多樣性,首先在圖像中將運動目標識別和提取出來,再用基于圖像特征差的方法實現(xiàn)伺服跟蹤。因為與圖像像素的灰度信息比較而言,其特征為高層信息,比直接圖像差簡練且便于伺服應用。所以,本文將識別、

9、視覺反饋、伺服控制三者融為一體,實現(xiàn)輪式移動機器人對室內相對復雜環(huán)境下運動目標的穩(wěn)定識別與跟蹤控制,并使其具有良好的實時性和魯棒性能。2視覺伺服系統(tǒng)2.1系統(tǒng)的組織結構系統(tǒng)的組織結構如圖1所示,伺服系統(tǒng)由圖像采集、視覺信息處理模塊和伺服控制模塊等組成。視覺信息處理模塊處在系統(tǒng)的反饋通路中,可從攝像機獲取的圖像中識別出目標(視覺標示,并計算出目標的特征向量,進而由當前目標的特征與期望特征進行比較所產生的誤差信號,用來驅動視覺控制器生成控制作用,以控制跟蹤機器人的速度,實現(xiàn)移動目標的伺服跟蹤。 圖1系統(tǒng)的組織結構Fig .1Syste m structure系統(tǒng)中的跟蹤機器人為輪式移動機器人,帶有

10、圖像采集設備,能夠獲取到其前方的場景圖像信息。為便于識別,在運動目標上設置了視覺標示。實現(xiàn)圖像采集的攝像機固接在機器人上,不能單獨控制。運動目標上的視覺標記是一灰度級幾乎等于255的白色有規(guī)則形狀的紙板。2.2視覺信息處理模塊如圖2所示,本模塊在獲取攝像機采集到的包含目標和環(huán)境在內的圖像后,通過閾值分割、濾波和孔洞填充,再選擇出待識別區(qū)域、提取特征,并與上一幀的目標特征進行匹配,辨識出目標,最后將目標區(qū)域的圖像特征反饋到前向控制通路。圖2視覺信息處理模塊Fig .2V isual inf or mati on p r ocessing module3圖像特征分析和提取圖像視覺伺服控制首先要選定

11、一個與任務相適配的視覺特征集,在此視覺特征集的基礎上進行分析和操作。常用的特征有點特征、區(qū)域特征、紋理特征等,可提取的如角點、周長面積比、灰度共生矩陣等。在本文所研究的系統(tǒng)中,由于運動目標與環(huán)境中的其他物體的粗糙度、緊致性等都沒有明顯的差別,因此不宜采用紋理特征進行識別。點特征是基本的圖像特征,但在有噪聲的圖像中很難實現(xiàn)基于點特征的高精度匹配,而且匹配算法運算量大5。圖像的區(qū)域特征一般具有很強的抗干擾能力,圖像矩是典型的區(qū)域特征,而且矩特征可以用來識別形狀。本文研究中的運動目標的視覺標示具有規(guī)則的形狀,另外從特征伺服控制角度考慮選用矩作為圖像特征也是適宜的6。3.1圖像矩特征考慮圖像上某區(qū)域,

12、其p +q 階規(guī)則矩為:m pq =(i,j i p j qf (i,j (1則圖像區(qū)域的低階規(guī)則矩集合可表示為m pq p +q 3,p 、q 0,本文選用低階規(guī)則矩集合的元素所構成的函數(shù)作為視覺伺服特征向量,以Hu 氏不變矩7作為識別特征向量,可以證明Hu 氏不變矩具有平移不變性、伸縮不變性、旋轉不變性,其在飛行器識別、船艦識別、文字識別等領域得到了廣泛的應用。3.2目標運動空間與特征空間變換圖像雅可比矩陣用于描述機器人運動空間與圖像特征空間的變換關系。當系統(tǒng)進入圖像雅可比矩陣奇異點時,系統(tǒng)只在目標位置附近的鄰域范圍內才收斂8。本文只建立目標在運動空間的位置與矩特征的變換關系,用目標在圖像

13、中坐標的變化來預測目標在圖像中的運動狀況。這樣可以避免圖像雅可比矩陣的非奇異性對系統(tǒng)的影響。二值圖像的矩m 00,m 10,m 01可以完全表征目標在三維運動空間的位置信息7,如圖3所示,當目標的運動平面與xoz 平行時,由于二值圖像m 00表示區(qū)域的面積,(m 10m 00,m 01m 00表示目標物體中心p 的像素坐標,則根據(jù)小646儀器儀表學報第29卷 圖3坐標空間轉換Fig .3Coordinate s pace conversi on孔成像原理,可推導出目標在攝像機坐標系下的位置與圖像矩特征的變換關系,如式(2所示,其中的變換系數(shù)k x ,k y ,k z 都是常量,(u 0,v 0

14、是圖像中心的像素坐標,(x,y,z 為物點p 在攝像機坐標系下的坐標。z =k z m 00x =k x (m 10/m 00-u 0y =k y (m 01/m 00-v 0(2利用坐標系旋轉可以證明當光軸與目標運動平面不平行時,變換系數(shù)仍為常數(shù)。根據(jù)上述分析結果,用于伺服控制的特征向量可構造為:F =f 1f 2f 3=m 00m 10m 00-u 0m 01m 00-v 0(34基于形狀特征相對匹配的目標識別4.1圖像預處理原始圖像經(jīng)過閾值分割得到二值圖像,再采用數(shù)學形態(tài)學的腐蝕運算進行濾波,消除點噪聲和分離連通域。為避免區(qū)域內部空洞對系統(tǒng)識別和伺服控制的影響,視覺信息處理模塊使用連通區(qū)

15、域標記和外邊緣跟蹤技術9210找到各個區(qū)域的外邊界,再填充連通區(qū)域內部,并保存區(qū)域標記信息。4.2形狀識別在完成預處理后,可以得到包含目標的多個連通區(qū)域在內的圖像,可以從中提取出待識別區(qū)域,計算形狀特征,完成匹配識別。4.2.1識別區(qū)域選擇 由于其他物體的干擾和光照的影響,在圖像中將存在多個白色連通區(qū)域,逐個分析這些區(qū)域將十分耗時,滿足不了伺服跟蹤的需要,必須縮小待識別區(qū)域的數(shù)目范圍。在跟蹤的過程中,目標在前后兩幀圖像上的位置變化不會太大,本文以上一幀的目標中心位置作為當前幀目標區(qū)域的搜索基準,其近鄰為優(yōu)先待識別區(qū)域。同時在伺服跟蹤中對目標中心進行在線預測,用于校正和指導搜索的范圍和方向。4.

16、2.2形狀特征提取與匹配按式(1計算待識別目標區(qū)域的p +q 3階規(guī)則矩,再由規(guī)則矩計算對應的Hu 氏不變矩7。由于本文的研究對象中光軸與地面有一夾角,不滿足矩不變性條件11,但考慮到前后兩幀間Hu 氏矩的變化不大,因此將前一幀識別出的目標的Hu 氏矩作為本次匹配的基準。用相對歐氏距離作為相似匹配度量函數(shù),如式(4所示,其中m 為Hu 氏特征矩的匹配函數(shù)值;Hu Tpr 為前次目標的Hu 氏矩;Hu ne w 為待識別區(qū)域的不變矩。m =Hu Tpr -Hu ne w Hu Tpr (4選定相似度閾值,當m 小于閾值時,認為該區(qū)域為所尋找的目標,否則計算并匹配鄰近的下一個待識別區(qū)域。在一幀圖像

17、中,待識別區(qū)域的個數(shù)可以根據(jù)實際實驗情況確定。5特征濾波預測及伺服控制5.1滑動窗口曲線擬合濾波常用的濾波估計算法有卡爾曼濾波12、濾波13、限定記憶最小均方濾波14。雖然這些方法都能夠在一定程度上實現(xiàn)所需的預測精度,但是卻要求事先確定目標運動模型、誤差統(tǒng)計模型等,而這些模型及其參數(shù)在實際應用中恰恰是難以確定的。本文采用移動加窗數(shù)據(jù)曲線擬合的方法來預測目標的運動,便于識別和跟蹤。采用曲線擬合的優(yōu)點在于可以利用最小二乘法對目標的位置進行估計,且不會用到誤差的模型,這種預測方法還可以克服目標被干擾物短暫阻塞和遮擋的情況15。經(jīng)過大量實際實驗,本文確定采用二次曲線f (t =a t 2+bt +c

18、作為擬合函數(shù)進行處理,t 為采樣時刻。在移動窗口里抽取最近4組特征向量F i (i =k -3,k -2,k ,把式(3改寫為式(5:F i =f i,1f i,2f i,3(5按圖4所示,根據(jù)最小二乘原理確定3組擬合曲線的參數(shù),并預測下一幀的特征向量。圖4曲線擬合預測處理流程Fig .4Pr ocessing fl ow of curve fitting forecasting第3期劉宏鼎等:基于圖像特征的運動目標識別與伺服跟蹤6475.2基于特征誤差的伺服跟蹤控制設圖1系統(tǒng)輸入期望特征為F 3,當前反饋或預測的特征為F ,則視覺伺服控制器的輸入為:E =F3-F =e f 1e f 2e

19、f 3T(6采用分立單獨控制的思想16,e f 1控制機器人跟蹤的速度,e f 2/e f 3決定機器人的旋轉角速度?？刂破髟O計采用如下規(guī)則:P I D 控制,|e |Bang 2Bang 控制,|e |>|u |=u max(7式中:e 為e f 1或e f 2/e f 3 ;為控制切換線,其值在速度與角速度控制器中各自具體選擇,u 為控制輸出量(跟蹤機器人的速度和角速度。6實驗結果運動目標上設置的視覺標示為白色三角形紙板,某次實驗的識別與跟蹤結果如下:6.1目標識別預處理與識別的結果如圖5所示:(a 為閾值分割后的含有目標和大量噪聲的二值圖像,(b 是經(jīng)過形態(tài)學濾波和連通區(qū)域內部孔洞

20、填充的結果,(c 中矩形框內是經(jīng)過形狀識別得到的目標區(qū)域。實際的識別實驗還證明對其他有規(guī)則形狀的物體,在變更相應的顏色分割閾值后,4.2節(jié)中的形狀識別算法都能產生相同的識別效果。6.2特征預測與目標跟蹤當目標以0.1走直線時,伺服控制的實際特征誤差、預測的特征值與期望特征值之差如圖6所示:可見絕大部分預測值與實際值幾乎處處重合,最小誤差為0,最大誤差26個像素;穩(wěn)定跟蹤后,特征實際誤差及期望值與預測值之差都趨于0;實際的跟蹤效果也表明本文采用的識別和預測跟蹤算法是有效的,整個系統(tǒng)可以實現(xiàn)目標的穩(wěn)定識別與伺服跟蹤。圖6特征預測與目標跟蹤的誤差曲線Fig .6Err or curves of fe

21、ature p redicti on and target tracking7結論 本文用矩作為圖像特征信息,用于運動目標識別和視覺伺服控制,采用移動加窗數(shù)據(jù)曲線擬合方法預測特征及目標在圖像上的運動,在目標運動隨機性不大和有背景干擾的情況下實現(xiàn)了基于圖像特征的運動目標識別與伺服跟蹤。實驗結果表明所采的識別和跟蹤方法都是有效的。參考文獻1金鐘明,徐剛,張海波.基于圖像的機器人視覺伺服系統(tǒng)仿真J .機床與液壓,2005,6:426.J I N Z H M ,XU G,ZHANG H B.Si m ulati on of i m age 2based r obotic visual servo sy

22、ste m J .Hydraulic M a 2chine,2005,6:426.2HUT CH I N SI O N S,HAGER G D,C ORKE P I .A tut orialon visual servo contr ol J .I EEE Transacti ons on Robot 2ics and Aut omati on,1996,12(3:6512671.3屈彥呈.機器人魯棒視覺伺服控制研究D .哈爾濱:哈爾濱工業(yè)大學,2002,11:327.QU Y CH.Study of r obust visual servo contr ol f or r obot D .H

23、arbin:Harbin I nstitute of Technol ogy,2002,11:327.4蔣平,胡鳳軒.機器人手眼協(xié)調的圖像直接反饋控制J .控制理論與應用,1997,14(5:6482653.J I A NG P,HU F X .I m age direct feedback theory for r o 2648儀器儀表學報第29卷botic hands and eyes cooperati onJ.Contr ol Theoryand App licati on.1997,14(5:6482653.5林靖,徐強華.基于圖像差的平面大范圍視覺伺服控制J.控制與決策,2002,

24、5(15:5812584.L I N J,XU Q H.I m age2err or2based p lanar gl obal visualservoingJ.Contr ol and Decisi on,2000,15(5:5812584.6林靖,陳輝堂.基于圖像矩的機器人視覺伺服J.同濟大學學報,2000,20(4:4382442.L I N J,CHE N H T.V isual servoing using i m age momentsJ.Journal of Tongji University,2000,28(4:4382442.7HU M K.V isual pattern r

25、ecogniti on by moment invari2ants.I RE transacti on on infor mati on theoryJ.App liedScience and Technol ogy,2006,33(6:1152117.8王麟琨,徐德,譚民.機器人視覺伺服研究進展J.機器人,2004,26(3:2772282.WANG L K,XU D,T AN M.survey of research on r o2botic visual servoingJ.Robot,2004,26(3:2772282.9王鐵生,施鵬飛.二值圖像的快速標記方法及其應用J.微型電腦應用,

26、2004,20(6:628.WANG T SH,SH I P F.Fast labeling of binary i m ageand its app licati onJ.M icr ocomputer App licati on,2004,20(6:628.10李云,鮑蘇蘇.二值圖像中物體區(qū)域的選定及外邊緣跟蹤技術J.華南師范大學學報:自然科學版,2000,3(3:27229.L I Y,BAO S S.The technol ogy object regi ons selecti onand exteri or edges ttracking in binary i m ageJ.Jou

27、rnalof South China Nor mal University:Nature Science Editi on2000,3(3:27229.11孫亦南.基于幾何不變量的圖像特征識別J.計算機應用與軟件,2004,12:124.S UN Y N.Recogniti on of i m age feature based on geome2try invariantsJ.Computer App licati on and Soft w are,2004,12:124.12鄧自立.卡爾曼濾波與維納濾波現(xiàn)代時間序列分析方法M.哈爾濱:哈爾濱工業(yè)大學出版社,2003,1:56.DE NG

28、Z L.Kal m an filter and the wiener filter:modernti m e series analysis methodM.Harbin:Press of Har2bin I nstitute of Technol ogy,2003,1:56.13馬佳光.復合控制及等效復合控制原理及應用J.光學工程,1988,15(5:1216.MA J G.Comp lex contr ol&equivalent compound contr oltheory and app licati onJ.Op tical Engineering,1988,15(5:121

29、6.14張洪鉞,胡干耀.系統(tǒng)辨識M.北京:北京航空航天大學出版社,1987.ZHANG H Y,HU G Y.Syste m identificati onM.Bei2jing:Bei Hang University Press,1988.15楊耿,和衛(wèi)星.運動目標圖像識別與跟蹤系統(tǒng)的研究J.計算機測量與控制.2005,13(3:2672269.Y ANG G,HE W X.Study of system on i m age recogni2ti on and tracking of moving objectJ.Computer M eas2ure ment&Contr ol,2005,13(3:2672269.16王仲民.非完整輪式移動機器人運動控制系統(tǒng)的設計與實現(xiàn)J.天津工程師范學院學報,2005,15(2:10212.WANG ZH M l