一種新的機(jī)器人視覺(jué)系統(tǒng)設(shè)計(jì)方法

一種新的機(jī)器人視覺(jué)系統(tǒng)設(shè)計(jì)方法

足球機(jī)器人主要由四個(gè)部分組成：機(jī)器人系統(tǒng)、視覺(jué)系統(tǒng)、無(wú)線(xiàn)通信系統(tǒng)和決策系統(tǒng)。4個(gè)子系統(tǒng)構(gòu)成一個(gè)閉環(huán)控制系統(tǒng)。決策系統(tǒng)是閉環(huán)系統(tǒng)的控制器,足球機(jī)器人是系統(tǒng)的執(zhí)行機(jī)構(gòu),視覺(jué)子系統(tǒng)是檢驗(yàn)環(huán)節(jié),無(wú)線(xiàn)通信子系統(tǒng)則是決策子系統(tǒng)和足球機(jī)器人之間的橋梁。在這種實(shí)時(shí)交互的多智能體合作系統(tǒng)中,視覺(jué)系統(tǒng)起非常重要的作用。整個(gè)機(jī)器人足球系統(tǒng)要解決的問(wèn)題有2個(gè):Where和How。視覺(jué)系統(tǒng)要解決的問(wèn)題是我在哪里?它們?cè)谀睦?(WhereamI?Wherearethey?)。就是要把目標(biāo)的位置和運(yùn)動(dòng)信息找出來(lái);至于如何踢(Howtokick),那是其它部分應(yīng)該解決的問(wèn)題。1實(shí)現(xiàn)信息傳遞和患者選擇決策系統(tǒng),進(jìn)行信息傳遞,進(jìn)行有效描述視覺(jué)子系統(tǒng)是整個(gè)足球機(jī)器人的眼睛,是系統(tǒng)獲取外界信息的通道,它不斷采集圖像,對(duì)圖像進(jìn)行分析處理,完成目標(biāo)識(shí)別和跟蹤,并把得到的目標(biāo)信息傳遞給決策系統(tǒng),決策系統(tǒng)得到的是一個(gè)圖像序列,決策系統(tǒng)必須根據(jù)這些圖像序列確定各個(gè)目標(biāo)的位置和運(yùn)動(dòng)信息,從而向小車(chē)系統(tǒng)發(fā)出命令。多目標(biāo)視覺(jué)跟蹤是多目標(biāo)跟蹤的理論和方法與計(jì)算機(jī)技術(shù)的結(jié)合,其目的是對(duì)圖像序列進(jìn)行分析,連續(xù)跟蹤圖像的運(yùn)動(dòng)目標(biāo)。1.1卡爾曼濾波器窗口跟蹤根據(jù)多目標(biāo)跟蹤數(shù)據(jù)關(guān)聯(lián)理論,以目標(biāo)當(dāng)前位置和運(yùn)動(dòng)信息,采用濾波器預(yù)測(cè)目標(biāo)下一幀圖像的位置,并采用動(dòng)態(tài)窗口跟蹤,縮小目標(biāo)搜索范圍,并用新的觀測(cè)值去修正預(yù)測(cè)結(jié)果。濾波器經(jīng)常采用傳統(tǒng)的卡爾曼濾波器,也有用其它濾波器,例如α-β-γ濾波器。利用卡爾曼濾波器對(duì)當(dāng)前已被跟蹤的目標(biāo)的下一步運(yùn)動(dòng)進(jìn)行預(yù)測(cè),以縮小目標(biāo)搜索匹配的范圍,加快目標(biāo)匹配的速度,實(shí)現(xiàn)目標(biāo)的連續(xù)跟蹤,這種方法已經(jīng)被應(yīng)用在機(jī)器人足球視覺(jué)子系統(tǒng),它只需在開(kāi)始時(shí)進(jìn)行一次全場(chǎng)搜索,而且效率較高。然而,這種窗口跟蹤方法有一個(gè)致命的缺點(diǎn):除第一場(chǎng)外,后面的每一場(chǎng)都依賴(lài)于它前面的一場(chǎng)。所以,一旦某一場(chǎng)圖像丟失或者某場(chǎng)圖像某一目標(biāo)的丟失,就會(huì)導(dǎo)致后面的所有或者某個(gè)目標(biāo)跟蹤無(wú)法正確進(jìn)行。1.2目標(biāo)圖像的正交投影這種方法的思想是識(shí)別圖像序列中目標(biāo)的特征,對(duì)多目標(biāo)進(jìn)行連續(xù)跟蹤。例如利用投影特征的形心跟蹤方法、實(shí)時(shí)標(biāo)記的多目標(biāo)測(cè)量跟蹤和加權(quán)修正模板的圖像相關(guān)跟蹤等。目標(biāo)圖像的正交投影是一種簡(jiǎn)單有效容易實(shí)現(xiàn)的特征提取方法。利用投影特征可以方便地計(jì)算目標(biāo)圖像的中心位置、姿態(tài)角和形狀特征,這種方法也被引用到機(jī)器人足球視覺(jué)子系統(tǒng)中。然而,它存在效率較低的缺點(diǎn),并且當(dāng)目標(biāo)較多,特征差異較小時(shí),同樣會(huì)出現(xiàn)識(shí)別困難,可見(jiàn),這種方法依然很難解決跟蹤錯(cuò)誤的問(wèn)題。2新型視覺(jué)系統(tǒng)的設(shè)計(jì)方法2.1解決轉(zhuǎn)換問(wèn)題機(jī)器人足球比賽的發(fā)展趨勢(shì)是逐步增加機(jī)器人的數(shù)目。隊(duì)員增加的直接后果就是色標(biāo)區(qū)別減小,區(qū)分難度增大,而且容易混淆。圖像分割閾值選取困難,尤其是在顏色漂移嚴(yán)重的情況下,顏色相近的物體RGB空間出現(xiàn)重疊,無(wú)法找到一個(gè)全局的最優(yōu)閾值。雖然,進(jìn)行顏色空間從RGB到HIS轉(zhuǎn)換原則上可以解決這個(gè)問(wèn)題,但是由于轉(zhuǎn)換的運(yùn)算量大,難于實(shí)時(shí)性實(shí)現(xiàn)而無(wú)法在當(dāng)前機(jī)器人足球系統(tǒng)中完全實(shí)現(xiàn)。減少顏色樣本,可以避免目標(biāo)顏色的相似性,減少了顏色漂移與重疊。劃分小車(chē)運(yùn)動(dòng)區(qū)域可以減少需用的顏色樣本。比如,在MiroSot5對(duì)5的比賽中,通常的機(jī)器人足球視覺(jué)系統(tǒng)要識(shí)別11個(gè)目標(biāo)。如果把球場(chǎng)劃為進(jìn)攻域和防守域,如圖1(a)所示,則可以把防守域和進(jìn)攻域分別安排兩個(gè)己方機(jī)器人,不同域的機(jī)器人當(dāng)然不會(huì)混淆,我們不用區(qū)分不同域的小車(chē)的隊(duì)員色標(biāo);如果把進(jìn)攻域和防守域再分為兩部分,如圖1(b)所示,在4個(gè)不同域里各安排一個(gè)機(jī)器人,則這4個(gè)機(jī)器人不用隊(duì)員色標(biāo)都可以區(qū)別。然而,這樣會(huì)造成雙攻雙守(二域化)或者單攻單守(四域化),因?yàn)榧悍角騿T被限制在各自的運(yùn)動(dòng)域,在敵方兵力比較集中的時(shí)候容易造成寡不敵眾。如果讓這些域隨著機(jī)器人運(yùn)動(dòng),也就成了下面改進(jìn)的動(dòng)態(tài)窗口跟蹤法,如圖1(c)所示。2.2改進(jìn)的窗口跟蹤方法2.2.1下一步的運(yùn)動(dòng)針對(duì)原有窗口跟蹤法容易產(chǎn)生跟蹤錯(cuò)誤,可以采用以下改進(jìn)的窗口跟蹤方法:如圖1(c),在5對(duì)5的機(jī)器人足球比賽中,小車(chē)的最大速度是2.1m/s,如果采用60場(chǎng)/min的圖像采集速度,相鄰兩幅圖像的對(duì)應(yīng)點(diǎn)最大位移是3.5cm;因此,可以把機(jī)器人假想成一個(gè)底面直徑為7.5+2nL(n為整數(shù),L為相鄰兩幅圖像對(duì)應(yīng)點(diǎn)的最大位移)的圓柱體,把這樣的一個(gè)運(yùn)動(dòng)的窗口看作小車(chē),同時(shí)考慮不讓它們碰撞,(只考慮己方小車(chē)),根據(jù)這個(gè)直徑為7.5+2nL的圓,由當(dāng)前小車(chē)的速度和方向來(lái)確定下一幅圖像小車(chē)可能出現(xiàn)的位置范圍,則在下一個(gè)跟蹤窗口的范圍內(nèi),只可能有一個(gè)己方小車(chē),這樣就避免了目標(biāo)跟蹤出錯(cuò),準(zhǔn)確地跟蹤己方的小車(chē)。在這種情況下,只要確定了己方小車(chē)的初始位置,就可以準(zhǔn)確跟蹤,辨認(rèn)出自己一方的小車(chē),就可以省去隊(duì)員色標(biāo)而僅使用隊(duì)標(biāo),從而省去了通過(guò)辨別顏色來(lái)識(shí)別己方隊(duì)員編號(hào)的復(fù)雜過(guò)程。這樣,要辨別的顏色目標(biāo)由7個(gè)減少為3個(gè)(即球,對(duì)方隊(duì)標(biāo),己方隊(duì)標(biāo))。這樣就大大減少圖像處理的運(yùn)算量,提高辨認(rèn)的準(zhǔn)確性與視覺(jué)系統(tǒng)的實(shí)時(shí)性。由于所用色標(biāo)少,顏色對(duì)比鮮明,一般不會(huì)丟失目標(biāo);萬(wàn)一本場(chǎng)圖像搜索失敗,下一場(chǎng)圖像以原來(lái)目標(biāo)中心點(diǎn)為中心的窗口進(jìn)行搜索,直到搜索到目標(biāo);如果再失敗,依然在原窗口內(nèi)進(jìn)行搜索。如果接連n場(chǎng)依然無(wú)法搜索到本方某個(gè)機(jī)器人,則強(qiáng)制其速度為0,使其處于原地,并使別的己方機(jī)器人避免碰撞該窗口。直至在此窗口能夠搜索到丟失的機(jī)器人,再使其繼續(xù)踢球。這樣可以把因丟失本方機(jī)器人而造成的損失降到最低限度。2.2.2確定步長(zhǎng)的依據(jù)對(duì)方小車(chē)和小球的初始位置可以用網(wǎng)格搜索法確定,網(wǎng)格搜索即對(duì)所捕獲的圖像自上而下,自左而右以一定的步長(zhǎng)(step)間隔掃描而不是全圖逐個(gè)像素搜索,從而縮短處理時(shí)間,加快處理速度。但是,網(wǎng)格搜索中必須合理選擇步長(zhǎng),如果步長(zhǎng)太小,則搜索的像素點(diǎn)增加,會(huì)增加搜索時(shí)間;反之,如果步長(zhǎng)太大,可能會(huì)漏掉目標(biāo)物體。為此,確定步長(zhǎng)的根據(jù)就是在最壞的情況下目標(biāo)也要被掃描到一個(gè)點(diǎn)。按照規(guī)定,小車(chē)隊(duì)標(biāo)設(shè)計(jì)的中心應(yīng)可以?xún)?nèi)嵌一個(gè)3.5cm的正方形。對(duì)于小車(chē),所能選擇的最大步長(zhǎng)是這個(gè)正方形的內(nèi)接圓的內(nèi)接正方形邊長(zhǎng);對(duì)圓形的球,所能選擇的最大步長(zhǎng)則是圓內(nèi)接正方形的邊長(zhǎng)。小球的直徑是4.27cm,如果按小球考慮,最大步長(zhǎng)應(yīng)為3.0cm;如果按隊(duì)標(biāo)考慮,所能選的最大步長(zhǎng)應(yīng)為2.8cm?？紤]到比賽時(shí)允許機(jī)器人吞掉小球的30%,如圖2所示。在這種情況下,可以取未被吞掉部分的內(nèi)接圓的內(nèi)接正方形的邊長(zhǎng)為步長(zhǎng),這個(gè)長(zhǎng)度大約是2.3cm。顯然,這個(gè)尺寸取得偏于保守,但是考慮到有時(shí)候小球會(huì)被機(jī)器人遮擋一部分,為了在網(wǎng)格里能同時(shí)搜索到小球和對(duì)方隊(duì)員,可以把步長(zhǎng)定為2.1cm。這個(gè)步長(zhǎng)大約是6個(gè)像素,考慮到經(jīng)常得到的是場(chǎng)圖像,應(yīng)該把豎向的步長(zhǎng)修改為3個(gè)像素點(diǎn)。僅此,要搜索的點(diǎn)一下子就變?yōu)樵瓉?lái)的1/18,大大減少了搜索目標(biāo)的時(shí)間。如果搜索失敗,則減小步長(zhǎng),重新搜索。2.2.3生成場(chǎng)球的位置由于小球的顏色是唯一的,因此不會(huì)與其他目標(biāo)混淆;同樣,因?yàn)橹豢紤]對(duì)方小車(chē)的隊(duì)標(biāo)而不區(qū)分隊(duì)員,所以在比賽過(guò)程中對(duì)它們的搜索可以使用一般的動(dòng)態(tài)搜索窗口,以它們前一場(chǎng)位置建立搜索窗口。如果在某一場(chǎng)圖像搜索失敗,對(duì)于小球,由于每一場(chǎng)都不能丟失,如果當(dāng)前場(chǎng)小球沒(méi)在窗口內(nèi),或者整個(gè)場(chǎng)上沒(méi)有小球,則檢查搜索窗口內(nèi)有無(wú)機(jī)器人(包括對(duì)方機(jī)器人),并按照下列步驟處理:步驟1如果窗口內(nèi)沒(méi)有任何機(jī)器人,則將認(rèn)為當(dāng)前場(chǎng)球的位置在前一場(chǎng)位置。步驟2如果搜索窗口內(nèi)有一個(gè)機(jī)器人,則認(rèn)為小球被機(jī)器人遮擋住了,一旦發(fā)現(xiàn)這種情況,把機(jī)器人的遮擋點(diǎn)視為球的位置,并且考慮機(jī)器人的遮擋點(diǎn)根據(jù)場(chǎng)地中的位置不同而變化。步驟3如果窗口范圍內(nèi)有多個(gè)機(jī)器人存在(包括對(duì)方機(jī)器人),并且其中兩個(gè)的距離小于10,則認(rèn)為小球夾在兩個(gè)機(jī)器人中間,一旦發(fā)現(xiàn)這種情況,將二者距離的中心位置設(shè)置成小球的位置。同時(shí)尋找并占領(lǐng)有利的傳球或射門(mén)地點(diǎn),一旦目標(biāo)出現(xiàn),迅速擊球。對(duì)于對(duì)方小車(chē),處理方法相對(duì)簡(jiǎn)單,如果當(dāng)前場(chǎng)在窗口丟失,則利用網(wǎng)格搜索法重新在全場(chǎng)中搜索。2.2.4篩選視角位置在這種視覺(jué)系統(tǒng)中,必須得到本方小車(chē)的初始位置。那么,如何確定己方小車(chē)的初始位置呢?可以通過(guò)“調(diào)兵遣將”的方法做到。在比賽開(kāi)始前,通過(guò)點(diǎn)擊預(yù)備按鈕,首先搜索小球位置,因?yàn)榍虻奈恢酶嬖V系統(tǒng)現(xiàn)在是開(kāi)球,點(diǎn)球,爭(zhēng)球,還是罰球。由主機(jī)根據(jù)小球的位置,按照預(yù)先設(shè)置好的陣形,把小車(chē)一個(gè)一個(gè)地安排到某個(gè)位置。這樣就得到每一個(gè)己方小車(chē)的初始位置。如圖3所示。2.2.5第1種色標(biāo)方案2種目前在足球機(jī)器人比賽(FIRAMiroSot)中,色標(biāo)設(shè)計(jì)有多種,常見(jiàn)的主要有如圖4所示的3種。色標(biāo)中淺色為隊(duì)標(biāo),一般為黃色和藍(lán)色。圖中用數(shù)字1表示;深色為隊(duì)員標(biāo)志,可以選擇隊(duì)標(biāo)和球以外的任何顏色,圖中用數(shù)字2表示。由于色標(biāo)顏色已知,飽和度高,一般通過(guò)顏色分割不難找到。第1種色標(biāo)方案靠識(shí)別三角形隊(duì)標(biāo)的中心來(lái)確定機(jī)器人質(zhì)心,通過(guò)三角形鈍角指向來(lái)確定機(jī)器人運(yùn)動(dòng)方向;第2種色標(biāo)方案幾何中心的計(jì)算方法是通過(guò)統(tǒng)計(jì)的方法求得的。對(duì)于角度的計(jì)算比較復(fù)雜,利用補(bǔ)償逼近的算法;第3種色標(biāo)方案中心的辨識(shí)是靠分別辨識(shí)隊(duì)標(biāo)和隊(duì)員標(biāo)志的中心,通過(guò)兩個(gè)重心來(lái)獲得機(jī)器人的質(zhì)心和角度,并且通過(guò)隊(duì)員標(biāo)志的特征顏色來(lái)確定車(chē)號(hào)。第1種色標(biāo)方案由于小車(chē)的質(zhì)心位于隊(duì)標(biāo)的中心,而且運(yùn)動(dòng)方向也可以由隊(duì)標(biāo)給出:首先搜索到三角形的3個(gè)頂點(diǎn),然后得到3邊的中點(diǎn),取各個(gè)頂點(diǎn)與對(duì)邊中點(diǎn)的連線(xiàn),任一連線(xiàn)從頂點(diǎn)到對(duì)邊中點(diǎn)的2/3處即為機(jī)器人中心,其中從中點(diǎn)到頂點(diǎn)的最短的連線(xiàn)決定機(jī)器人運(yùn)動(dòng)方向。這樣,完全由單一色標(biāo)來(lái)獲取辨識(shí)結(jié)果。這正是所需要的,因此可以選擇第1種色標(biāo)方案。3改進(jìn)視覺(jué)方法n值正確地選擇n值是關(guān)鍵,n值過(guò)小,有時(shí)候由于圖像系統(tǒng)的噪音以及場(chǎng)外變化光線(xiàn)的干擾而會(huì)丟失目標(biāo);但是,如果n值過(guò)大,小車(chē)的靈活性就會(huì)變差,就像道路交通擁擠,出現(xiàn)“堵塞”現(xiàn)象,并且圖像處理的運(yùn)算量也隨之加大。表1是以改進(jìn)視覺(jué)方法在n取不同值時(shí)與原方法進(jìn)行的21場(chǎng)比賽。表格內(nèi)是比分。實(shí)驗(yàn)表明:n值取3～5時(shí)效果較好。4在熱碼和初始位置區(qū)分爭(zhēng)議更進(jìn)一步,由于把要辨識(shí)的目標(biāo)分為3類(lèi):對(duì)方隊(duì)員,己方隊(duì)員和球。對(duì)于對(duì)方隊(duì)員,不需要考慮隊(duì)員號(hào);對(duì)于己方隊(duì)員,通過(guò)活動(dòng)窗口和初始位置區(qū)分隊(duì)員,所以,也只需要隊(duì)標(biāo)。這樣要識(shí)別的目標(biāo)就只有3個(gè)。由于要識(shí)別的目標(biāo)少,可以不用彩色信息,僅靠形狀進(jìn)行識(shí)別,直接在灰度圖像下進(jìn)行處理。由于在灰度圖像下所有對(duì)方隊(duì)員隊(duì)標(biāo)和隊(duì)員標(biāo)都是一樣的,因此在灰度圖像下就可以識(shí)別對(duì)方隊(duì)員;本方隊(duì)員則可以靠單一的色標(biāo)提供位置和方向信息。在這種灰度圖像下將大大提高圖像處理速度,從而提高整個(gè)系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性。5基于域劃分的動(dòng)態(tài)跟蹤本文提出了一種按假想尺寸避免碰撞的視覺(jué)設(shè)計(jì)方法,把視覺(jué)系統(tǒng)要辨別的顏色目標(biāo)減少到3個(gè),這種方法在7對(duì)7,11對(duì)11的多機(jī)器人比賽系統(tǒng)更能體現(xiàn)它的優(yōu)點(diǎn)。這種方法根據(jù)小球和機(jī)器人的不同特點(diǎn),對(duì)它們采用不同的搜索方法。針對(duì)小球顏色特殊,不易和其它目標(biāo)混淆,采