無標定視覺伺服在機器人跟蹤多特征點目標的應(yīng)用

1、最新資料推薦無標定視覺伺服在機器人跟蹤多特征點目標的應(yīng)用宋平康慶生 孟正大東南大學(xué)摘要：介紹了一種眼在手上的機器人3D視覺跟蹤多特征點目標的無標定視覺伺服。利用基于遞推最小 二乘法估計圖像雅可比矩陣偽逆的無標定視覺伺服，這種方法無需計算雅可比矩陣偽逆，避開了圖像雅可 比矩陣偽逆計算的奇異性問題。實驗結(jié)果驗證了這種方法的可行性，為機器人抓取目標打下了基礎(chǔ)。關(guān)鍵詞：眼在手上 多特征點 無標定視覺伺服3D視覺跟蹤Application of Un-calibrated Visual Servo in Tracking Multi-feature ObjectSong Ping Kang Qingsh

2、eng Meng ZhengdaAbstract: This paper presents an uncalibrated control method for robotic vision-guided targets 3D tracking using an eye-in-hand camera. The uncalibrated visual servoing is adopted to fulfill the online recursive eslimation of image Jacobian pseudo-inverse matrix. This method doesift

3、compute the moore-Penrose inverse of image Jacobian and avoid the singularity of image Jacobian. This experiamental results demonstrate the feasibility of this method and experiment lays the groundwork for grasping target.Keywords: eye-in-hand feature points uncalibraled visual servoing 3D visual tr

4、acking1引言近年來，越來越多的機器人被用于工業(yè)生 產(chǎn)，其領(lǐng)域主要有機器人焊接、工件裝配等。 這些任務(wù)需要機器人有視覺功能，并將視迸信 息加入到機器人控制中，其方法被稱為視迸伺 服。傳統(tǒng)的基于視迸的機器人控制，要求攝像 機內(nèi)部參數(shù)標定、機器人運動學(xué)標定、手眼關(guān) 系標定，但在實際情況中無法精確標定。為 了克服基于標定的方法的弊端，一種無標定方 法就越來越受到關(guān)注。它的核心是在手眼關(guān)系 及攝像機模型未知的條件下，在線估計圖像雅 可比矩陣，并利用視覺反饋誤差控制機器人運 動，進而完成視覺伺服。由于視覺傳感本身固有的特點只能反饋兩維 信息，于是就始終存在著對深度信息的估計問題， 如何實時而準確地獲

5、取深度信息是急需解決的關(guān) 鍵而困難的問題。目前獲取目標三維信息的主要有以下幾種 方法：1）立體視覺，其主要特點是能夠獲得景 深，但立體視覺要進行對應(yīng)點的匹配，耗費大 雖的機時，難以滿足實時性的要求；2 ）主動視 覺，它通過測距傳感器直接測出目標物體的距 離，但這就涉及到多傳感器的數(shù)據(jù)融合問題；3 ） 單目視覺，它是通過運動獲取深度和從散焦獲 取深度等同。本文主要用單目視覺來進行無標定視覺伺最新資料推薦服，根據(jù)目標多特征點在圖像平面成像的位置與 攝像機的相對位置相關(guān)間接反映目標深度信息， 由視覺伺服跟蹤目標。址新資料推薦2系貓磁吉構(gòu)如作原里實驗系統(tǒng)如圖1所示。圖1實臉系統(tǒng)實驗系統(tǒng)包括以下幾個部分

6、：PA10機器人手 臂及其控制設(shè)備、CCD攝像機、圖像采集卡、多 媒體計算機和火炬目標物。工作時，安裝在機 器人手臂的攝像機首先對環(huán)境進行攝取，通過圖 像采集卡采集圖像信息，利用圖像處理對目標物 體識別。如果目標不在攝像機視野范圍內(nèi)，則控 制機器人手臂左、右和上、下擺動來進行全方位 的搜索目標，直到目標出現(xiàn)在視野范圍內(nèi)。當目 標在攝像機視覺范圍內(nèi)，則進行無標定視覺伺服。為了實現(xiàn)機器人能在深度上的跟蹤，本文選 取了目標的兩個特征點。多特征點在圖像平面的 投影圖像間接的反映了目標的深度信息。在實時 的控制過程中，用實時視覺特征與圖像期望特征 構(gòu)成視覺反饋的差，在線估計圖像雅可比矩陣偽 逆，采用偽高

7、斯-牛頓算法，算出機器人關(guān)節(jié)變基于圖像的視覺伺服系統(tǒng)中，圖像處理是目標 識別和特征點提取的基礎(chǔ)。圖像處理的工作過程是 圖像輸入、預(yù)處理、圖像識別、特征提取等步驟。 圖像輸入是由攝像機和圖像采集卡共同完成；圖像 預(yù)處理包括：顏色模型轉(zhuǎn)換、圖像平滑、中值濾波； 圖像識別包括：邊緣提取、檢測平行線、檢測環(huán)； 特征提取。本文目標識別主要是：顏色識別、填充 空穴、去除噪聲、邊緣提取、檢測平行線、檢測環(huán) ，然后是目標特征點的提取。圖2是待處理的圖， 圖3是提取目標多特征點的圖?；浚龑?dǎo)機器人完成任務(wù)。4躺加臨備見覺伺服4.1無標定視覺伺服控制方法3圖像處理視覺伺服是以當前圖像特征與期望圖像特征 間的偏差

8、作為輸入信號，通過一定的控制算法得址新資料推薦到期望的關(guān)節(jié)角變化值，輸給機器人控制器，控 制機械手關(guān)節(jié)運動，直到當前的圖像特征與期望 特征誤差趨近于零。假設(shè)目標圖像的特征僅僅是時間t的函數(shù):n 個關(guān)節(jié)機械手末端執(zhí)行器的也個圖像特征點只是 機械手關(guān)節(jié)角q(l) W R"的函數(shù):gwR”， 設(shè)在圖像平面內(nèi)的跟蹤誤差為，它 是高度非線性的函數(shù)，且/(處)= /(§)-")( 1 )控制關(guān)節(jié)軌跡q(t)使機械手的末端執(zhí)行器 跟蹤目標，并使如下目標函數(shù)最?。? T(7,0 = - /(9,)/(§)(2 )我們采用偽高斯-牛頓算法：Qk -Qk- -J*-!)&q

9、uot;' Jk-1 (fk-1 + hjCt-k-i J：-i hj( 3 )其中川曠”對于固定目標時，圖像特征的速度誤差項為 零，即業(yè)L二o ,這時要實現(xiàn)跟蹤固定目標的視 dt覺伺服控制算法為(lk = Qk-X - J- fk-1)( 4 )A +式中，幾為圖像雅可比矩陣偽逆廠于£-1時 刻的估計值。為了保證開始時圖像雅可比矩陣偽逆收斂于 實際值，通常采用以下比例控制算法:A + a* J z (fi - A-2)( 5 )4.2在線估計圖像雅可比矩陣偽逆計算圖像雅可比矩陣進而得到偽逆的方法有 經(jīng)驗法、在線估計法和學(xué)習(xí)方法等。經(jīng)驗法可以 通過標定或先驗?zāi)Ｐ屯茖?dǎo)得到；在線

10、估計圖像雅 可比矩陣的方法，可以事先不進行標定，但存在 雅可比初值選擇問題；學(xué)習(xí)方法主要有離線示教 和神經(jīng)網(wǎng)絡(luò)方法等。本文采用文獻8中的在線遞推最小二乘法 直接估計圖像雅可比偽逆矩陣，避開了圖像雅可 比矩陣偽逆計算的奇異性。對于n個關(guān)節(jié)的機械手，2個特征點對應(yīng)的 圖像雅可比矩陣J為4x維矩陣，則存在唯一的 nx4維偽逆矩陣丿+ ,使得：q = J7上式中，對于丿+的R行可表示為.T么=(丿：)丁 ' f = f 'A 掃1，2 , n ( 7 )由式(12 )可見，圖像雅可比矩陣的&行與 圖像的變化率成線性關(guān)系。通過不斷的測雖機器 人關(guān)節(jié)的變化和對應(yīng)圖像的改變，可同時用

11、n組 遺忘因子遞推最小二乘算法在線估計出圖像雅可 比矩陣的偽逆，具體算法如下：J k+l = J k+ Kk+l X fk+l X 丿*( 8 )K卻話 X fM xA + fj' xPkx 加T(9)P=-U-KkxfJxPk (10)式中：為k次疊代對參數(shù)的估計；兄為 遺忘因子(0丸1 )0顯然，這里的估計算法無需任何標定，因不 需要計算圖像雅可比矩陣偽逆，可避免雅可比矩 陣的奇異性等特點。5實遂課5. 1試驗條件試驗用的是日本三菱重工生產(chǎn)的PA10系列 機械手PA10-6CE，它有6個自由度。本試驗只 用其中4個關(guān)節(jié)來實現(xiàn)三維運動，即第1( si ), 第2 ( s2 ),第3

12、( el )和第5關(guān)節(jié)(wl 攝像 機安裝在機械手的第6關(guān)節(jié)上，構(gòu)成眼在手上最新資料推薦結(jié)構(gòu)，內(nèi)外參數(shù)不作任何標定。目標為一個木 制的仿形火炬，為簡化圖像處理和目標識別， 在仿形火炬桿上涂有兩個顏色環(huán)，分別是：黑色和紫色環(huán)。本試驗以黑色和紫色環(huán)的中心點 作為目標特征點，利用無標定視覺伺服實現(xiàn)機 械手三維跟蹤目標。視覺伺服的目的是控制機到目標點，但收斂比較慢，要循環(huán)更多的次數(shù)才 能到達目標點。實驗中，控制比例系數(shù)©取為 (0. 15, 0. 15 ,0. 15 , 0. 15),如果圖像誤差(當前 特征點與期望特征點在圖像平面的差值)小于6 個pixel范圍內(nèi)，并且跟蹤上目標的次數(shù)大于

13、30 次視為完成視迸伺服。本文介紹兩組靜態(tài)目標的無標定跟蹤實驗。械手，使黑色和紫色的中心點的圖像最終位于指定的位置。在起動了機械手后，每個伺服循實驗1:目標特征點從起始位置到期望位置 的兩個特征點在圖像平面的距離值不變，目標在 圖像平面的起始位置為(69 , 103 ), ( 66 , 148 ), 期望位置為(101 , 97 ),( 98 , 142 b圖5是兩個 特征點的跟蹤軌跡圖，圖6是w軸跟蹤結(jié)果圖，圖7是y軸跟蹤結(jié)果圖，圖8是兩特征點圖像與期望圖像的總誤差值。環(huán)周期由圖像處理.參數(shù)估計、視覺伺服算法 運算和機械手關(guān)節(jié)運動等環(huán)節(jié)構(gòu)成。試驗過程中采用VC+編寫機器人視覺伺服卜兀丹事 C

14、CSbb|£x匸©?1控制系統(tǒng)，系統(tǒng)控制界面如圖4所示。04Br»012WW OVKW 0.M975?勺35皿*4.# fwuAiniT '¥宀k*廣gX%36570753&59O95KC1Q5X(tff)imica圖5實臉1的圖像平面的運動軌跡ccl 154«m3關(guān)U* 1- «.S?6<ai41?O2MM.q)-M.<3«2l.q4-140M)“MM twowomumHolkV M-4 <kf««AbU>C.ol vavuAx圖4系統(tǒng)控制界面5. 2實驗結(jié)果在無

15、標定跟蹤試驗中，當控制比例系數(shù)冬取 得過大時，關(guān)節(jié)變化雖也會比較大，容易使攝像 頭超出它的視覺范圍而無法到達目標點。©取得 小點，不容易超出攝像頭的視覺范圍，也可以達1OC9C6011>«11010203040®60T(fiO M)1051111圖6實臉1的Y軸跟蹤結(jié)果最新資料推薦(«») A&©560«301(0 W 130KfJtl60IMtlA=；4»U圖7實臉1的F軸跟蹤結(jié)果1331TOK604320°010» X 435060KfflSflffl)圖S實臉1的圖像誤差曲線

16、實驗2:目標特征點從起始位置到期望位置 的兩個特征點在圖像平面的距離值變大，目標在 圖像平面的起始位置為(51 , 103 ),( 47 , 145 ), 期望位置為(129 , 62 ), ( 123 , 138 b圖9是兩 個特征點的跟蹤軌跡圖，圖10是x軸跟蹤結(jié)果圖， 圖11是y軸跟蹤結(jié)果圖，圖12是兩特征點圖像 與期望圖像的總誤差值。溪菱妾化商撓(聿&) A圖9實驗2的圖像平面的運動勅速130120110100909070eo以復(fù)2的01020 X O eo 60T (伺KM»3)704330圖10實驗2的'軸跟蹤結(jié)果仏曲跟注軌述180604020006060

17、 al n n nJyig來減0.尹亡 出*“"<"了102)3040606070圖11實臉2的y軸跟蹤結(jié)果3)0150 tte)loo址新資料推薦逮伺服中的應(yīng)用|J機器人，2006,28(4) : 406-4098 Kang Qing-sheng , Hao Ting , Meng zheng-da. Pseudo-inverse Estimation of Image Jacobian Matrix in Uncalibrated Visual Servoing!Ac IEEE international conference on Mechalroni

18、cs and Automation!C. 2006 : 1515-15205010203043506070T (伺血期)圖12實撿2的圖像誤差曲線以上2個實驗表明本文采用的在線最小二乘法 估計圖像雅可比矩陣偽逆的視覺伺服均能很好地跟 蹤上目標，且跟蹤誤差都能穩(wěn)定在允許范圍之內(nèi)。6綺侖本文在手眼關(guān)系及攝像機模型完全未知的情 況下，針對眼在手上機器人，選取了目標的兩個特 征點，利用在線最4、二乘法估計圖像雅可比矩陣偽 逆的視覺伺服的方法實現(xiàn)三維視覺跟蹤多特征點 目標。實驗結(jié)果驗證了這種方法可行性，而且還可 以避開計算圖像雅可比矩陣偽逆的奇異性。參考文獻1 Sutanto H, Sharma R. Varma V . Image Based Auto Docking Without Calibration! A) . proc IEEE international conference on robotics and automation|C