基于圖像的視覺控制

1、4.2基于圖像的視覺控制基于圖像的視覺控制，直接利用圖像特征對機器人進行。控制器的給定是目標的圖像特征，利用視覺測量目標的當前圖像特征作為反饋，以圖像特征的偏差控制機器人的運動。如果根據(jù)圖像特征的偏差直接對機器人的關(guān)節(jié)運動速度進行控制，構(gòu)成的控制系統(tǒng)稱為基于圖像的視覺伺服控制，否則，構(gòu)成的控制系統(tǒng)稱為基于圖像的視覺控制。4.2.1基于下面以操作閥門為例，針對Eye-in-Hand結(jié)構(gòu)的視覺系統(tǒng)，說明基于圖像的視覺控制。圖4-9為機器人操作閥門示意圖。在閥門上，利用色標作為閥門標記和手柄標記。其中，用正方形紅色色標作為閥門標記，長方形綠色色標作為手柄標記。機械手末端裝有抓手，抓手具有閉合和松開兩

2、個位置。抓手與機械手末端之間裝有腕力傳感器和微型攝像機。腕力傳感器用于測量機械手腕部的力和力矩，微型攝像機用手引導(dǎo)機械手的抓手抓取閥門手柄。微型攝像機的坐標系建立在其光軸中心處，Z軸取沿光軸到景物的方向，X軸取圖像坐標水平增加的方向，Y軸取圖像坐標垂直增加的方向。在安裝攝像機時，通過調(diào)整攝像機的方向，使得抓手沿機械手末端坐標系的X軸平移時，在攝像機采集的目標圖像中只有水平圖像坐標變化，垂直圖像坐標保持不變；抓手沿機械手末端坐標系的Y軸平移時，在攝像機采集的目標圖像中只有垂直圖像坐標變化，水平圖像坐標保持不變。這樣，可以是攝像機坐標系與機械手的末端坐標系具有相同的姿態(tài)。由于手柄標記的尺寸較小，而

3、攝像機的鏡頭為廣角鏡頭，在攝像機與閥門的距離較遠時，手柄標記的圖像區(qū)域很小，不易分辨。因此，將抓手對閥門趨近作業(yè)分為兩個階段：第一個階段抓手距離閥門較遠，通過視覺利用閥門標記對機械手的運動進行控制；第二個階段抓手距閥門較近通過視覺利用手柄標記對機械手的運動進行控制。在基于圖像的視覺控制中，對于上述兩個階段分別給出期望的圖像特征。首先，利用手動控制將抓手移動到能夠抓取到手柄的位置，采集手柄標記圖像作為第二階段的期望圖像，提取手柄標記的圖像特征作為期望的圖像特征。圖4-10所示的手柄標記圖像就是在抓手能夠抓取到手柄時所采集的期望圖像。將抓手移離手柄一定高度，使閥門標記和兩個手柄標記均在攝像機視場中

4、，并且能夠較好地分辨出手柄標記。此時，采集閥門標記和手柄標記圖像作為第一階段的期望圖像，提取閥門標記的圖像特征作為期望的圖像特征。由于機器人具有6個自由度，所以選取的圖像特征至少為6個。在該任務(wù)中，選取的圖像特征分別為：1）色標的質(zhì)心坐標；2）色標的圖像區(qū)域面積；3）色標主方向；4）沿主方向的梯形畸變；5）垂直于主方向的梯形畸變。其中，色標的質(zhì)心坐標用于機械手沿X、Y軸方向的平移調(diào)整，色標的圖像區(qū)域面積用于機械手沿Z軸方向的平移調(diào)整，色標主方向用于機械手繞Z軸方向的旋轉(zhuǎn)調(diào)整，沿主方向的梯形畸變用于機械手繞X軸方向的旋轉(zhuǎn)調(diào)整，垂直于主方向的梯形畸變用于機械手繞Y軸方向的旋轉(zhuǎn)調(diào)整。在第一階段，以兩

5、個手柄標記的連線作為閥門標記色標的主方向。在第二階段，以手柄標記的長軸作為手柄標記色標的主方向。圖4-11為繞坐標軸旋轉(zhuǎn)所選取的圖像特征示意圖。在不同的攝像機姿態(tài)下，矩形成像后的圖像為不同的四邊形。例如，圖4-10中期望圖像的手柄標記是一個四邊形。首先，利用Hotlling變換提取四邊形的主特征向量。沿主特征向量方向，提取四邊形上下兩邊的長度l和1，以兩者之比作為繞X軸的旋轉(zhuǎn)特征，見圖4-ll(a)。沿垂直于主特征向量方向，提x1x2取四邊形左右兩邊的長度1和1，以兩者之比作為繞Y軸的旋轉(zhuǎn)特征，見圖4-11(b)。主特y1y2征向量與X軸的夾角，作為繞Z軸的旋轉(zhuǎn)特征，見圖4-11(c)。(a)

6、繞X軸旋轉(zhuǎn)特征(b)繞Y軸旋轉(zhuǎn)特征(c)繞Z軸旋轉(zhuǎn)特征圖4-11繞坐標軸的旋轉(zhuǎn)特征對于機器人末端的微分調(diào)整量d；d；d；5；5；5,可以利用如式(4-1)所示的對應(yīng)xyzxyz關(guān)系進行描述：duuxdd=v-vydd=1-JSTSJzd5=1-1/14-1)xxxd，5=11/1yyyd5=99zd式中：d、d、xyd為末端的微分平移量；5、z5、5為末端的微分旋轉(zhuǎn)量；(u，v)xyzdd為標記質(zhì)心的期望圖像坐標；u，v為標記質(zhì)心的實際圖像坐標；Sd為標記的期望圖像面積；s為標記的視覺圖像面積；/為標記沿主方向的期望梯形畸變；/為標記沿主方向的實xdx際梯形畸變；/”為標記垂直于主方向的期望梯

7、形畸變；/為標記垂直于主方向的實際梯形ydy畸變/為色標主方向與圖像水平軸之間的期望夾角；加色標主方向與圖像水平軸之間的a實際夾角。由式(4-1)可以發(fā)現(xiàn)，當實際圖像特征小于期望圖像特征時，微分調(diào)整量大于0；當實際圖像特征大于期望圖像特征時，微分調(diào)整量小于0；當實際圖像特征等于期望圖像特征時，微分調(diào)整量為0。這只是說明，按照上述方式選取的圖像特征能夠反映目標的位姿，建立的微分調(diào)整量與圖像特征的關(guān)系能夠表征機器人末端的運動趨勢。實際上，微分調(diào)整量與圖像特征增量之間關(guān)系是非線性的，而且耦合性強，要比式(4-1)復(fù)雜得多。因此，在實際應(yīng)用中，可以對式（4-1）中的6個微分調(diào)整量賦予不同的優(yōu)先級，通過

8、分布調(diào)整實現(xiàn)各個圖像特征之間的解耦。此外，微分增量d、d、d、6、6、6，不能直接用于控制機xyzxyz器人的末端運動，需要經(jīng)過適當?shù)目刂扑惴ㄐ纬赡┒诉\動控制量d、d、d、6、6、6，例如，PID算法就是一種較常采用的控制算法。xcyczcxcyczc由機器人末端的實際微分運動控制量d、d、d、6、6、6，得到末端的位姿xcyczcxcyczc調(diào)整量為-0-66dA=6zc0-6ycxcdzc6xcyc-60dycxczc00004-2)在第一階段，以預(yù)先采集的閥門標記作為期望圖像，利用閥門標記圖像的特征控制機械手的抓手向閥門運動。在第一階段的起始階段，由于閥門標記的當前圖像與期望圖像差距可能

9、較大，有可能在當前圖像中得不到6個圖像特征。在此情況下，可以利用閥門標記圖像的質(zhì)心位置中的兩個特征，先對機械手抓手的位置進行調(diào)整。待在當前圖像中有6個圖像特征后，再對抓手的位姿進行調(diào)整。當閥門標記的當前圖像特征與期望圖像特征差距較小，能夠較好地分辨出手柄標記時，第一階段結(jié)束，第二階段開始。在第二階段，以預(yù)先采集的手柄標記作為期望圖像，利用手柄標記圖像的特征控制機械手的抓手向閥門運動。當手柄標記的當前圖像特征與期望圖像特征差距足夠小時，第二階段結(jié)束。此時，抓手已經(jīng)按照期望的姿態(tài)到達手柄位置，閉合抓手，即能夠較好地抓取到手柄。圖4-12為一個階段的基于圖像的視覺控制框圖。它由3個閉環(huán)構(gòu)成，外環(huán)為圖

10、像特征閉環(huán)，內(nèi)環(huán)為關(guān)節(jié)位置環(huán)和速度環(huán)。圖4-12中的關(guān)節(jié)位置控制環(huán)節(jié)，由關(guān)節(jié)位置環(huán)和關(guān)節(jié)速度環(huán)構(gòu)成，參見圖4-1。視覺反饋為目標的當前圖像特征，由圖像采集和特征提取兩部分構(gòu)成。由給定的期望圖像特征與當前特征比較得到特征偏差，根據(jù)該偏差設(shè)計機器人末端微分運動調(diào)整策略，實現(xiàn)圖像空間偏差到笛卡兒空間偏差的轉(zhuǎn)換。圖像空間偏差到笛卡兒空間偏差的轉(zhuǎn)換矩陣，又稱為圖像空間到笛卡兒空間微分運動的雅可比矩陣。根據(jù)機器人的當前位姿，由機器人末端微分運動量得到的機器人末端在笛卡兒空間的位姿，利用機器人的逆運動學(xué)計算出關(guān)節(jié)空間的位置給定。由6路關(guān)節(jié)位置控制器，根據(jù)各個關(guān)節(jié)的期望位置，利用伺服放大器對機器人的運動進行控

11、制。通過機器人本體各個關(guān)節(jié)的運動，使得機器人的末端按照希望的位置和姿態(tài)運動。期望圖像特征0_4-機器人位姿調(diào)整策略計算末端位姿給定關(guān)節(jié)位置控制環(huán)節(jié)逆運動學(xué)求解機器人本佐八!；當前圖像特征特征提取圖像采集i6路關(guān).節(jié)位置控制器目標特征測量圖4-12基于圖像的視覺控制框圖在本節(jié)中閥門抓取中，從圖像空間偏差到笛卡兒空間偏差的轉(zhuǎn)換是一種定性的關(guān)系，未用到攝像機的參數(shù)。該任務(wù)不需要對攝像機進行標定，是基于圖像的視覺控制的一種特殊情況。一般地，基于圖像的視覺控制需要獲得從圖像空間偏差到笛卡兒空間偏差轉(zhuǎn)換的定量關(guān)系，即需要圖像空間到笛卡兒空間微分運動的雅可比矩陣。該矩陣是攝像機到目標距離以及圖像特征的函數(shù)。

12、因此，基于圖像的視覺控制需要顧及目標的深度信息，需要對攝像機進行標定。由于攝像機和機器人均包含在圖像閉環(huán)之內(nèi)，所以控制精度對攝像機參數(shù)誤差和機器人的模型誤差不敏感。4.2.2基于圖像的視覺伺服控制以工業(yè)機器人為例，十對Eye-in-hand結(jié)構(gòu)的視覺系統(tǒng)，兌明基于圖像的視覺伺服控制。如圖4-13所示，基于圖像的視覺伺服由兩個閉環(huán)構(gòu)成，外環(huán)為圖像特征閉環(huán)，內(nèi)環(huán)為關(guān)節(jié)速度環(huán)。視覺反饋為目標的當前圖像特征，由圖像采集和特征提取兩部分構(gòu)成。由給定的期望圖像特征與當前圖像特征比較得到特征偏差，根據(jù)該偏差設(shè)計機器人的運動調(diào)整策略，并以其輸出作為圖像雅可比矩陣的輸入從圖像空間到關(guān)節(jié)空間的雅可比矩陣稱為圖像雅

13、可比矩陣，由圖像空間到笛卡兒空間微分運動的雅可比矩陣和機器人的笛卡兒空間到關(guān)節(jié)空間的雅可比矩陣的乘積構(gòu)成。圖像雅可比矩陣的輸出為各個關(guān)節(jié)的期望速度。由6路關(guān)節(jié)速度控制器，根據(jù)各個關(guān)節(jié)的期望速度，利用伺服放大器對機器人的運動進行控制。通過機器人本體各個關(guān)節(jié)的運動，使得機器人的末端按照希望的位置和姿態(tài)運動。求解圖像雅可比矩陣是基于圖像視覺伺服的一個主要任務(wù)，主要3種方法，分別為直接估計方法、深度估計方法、常數(shù)近似方法。直接估計的方法不考慮圖像雅可比矩陣的解析形式，在攝像機運動過程中直接得到數(shù)值解。典型的直接估計方法是采用神經(jīng)元網(wǎng)絡(luò)和模糊邏輯逼近的方法。深度估計的方法需要求出圖像雅可比矩陣的解析式，

14、在每一個控制周期估計深度值，代入解析式求值這種方法實時在線調(diào)整雅可比矩陣的值，精度高，但計算量較大。常數(shù)近似方法是簡化的方法，圖像雅可比矩陣的值在整個視覺伺服過程中保持不變，通常取理想圖像特征下的圖像雅可比矩陣的值。常數(shù)近似的方法只能保證在目標位置的一個小鄰域內(nèi)收斂。直接估計的方法和常數(shù)近似的方法更容易導(dǎo)致目標離開視場。期望圖像特征機器人位姿調(diào)整策略圖像雅可比矩陣機器人本體末端位姿片iJSS|_!6路關(guān)節(jié)速度控制器圖4-13基于圖像的視覺伺服控制4.2.4基于圖像的視覺控制的特點（比較4.1.5）基于圖像的視覺控制具有下列特點：1）在圖像空間構(gòu)成閉環(huán)，對標定誤差和空間模型誤差不敏感，控制精度搞。這些特點是基于圖像視覺伺服的突出優(yōu)點。2）基于圖像視覺伺服直接在二位圖像空間計算誤差，不需要三維重建。但誤差信號和關(guān)節(jié)控制器的輸入信號都是圖像特征，沒有明確的