RoboCup中型組足球機(jī)器人視覺和決策系統(tǒng)的研究與設(shè)計(jì)

1、RoboCup中型組足球機(jī)器人視覺和決策系統(tǒng)的研究與設(shè)計(jì)指導(dǎo)教師：王明順副教授答辯學(xué)生：崔金柱碩士學(xué)位論文答辯看球吧 演講的結(jié)構(gòu)首先足球機(jī)器人比賽中型組足球機(jī)器人的系統(tǒng)結(jié)構(gòu)然后主要內(nèi)容：視覺子系統(tǒng)和決策子系統(tǒng)最后本文的工作進(jìn)行簡(jiǎn)要的總結(jié)足球機(jī)器人的背景1992年，加拿大不列顛哥倫比亞大學(xué)的Alan Mackworth教授 在國(guó)際上首次提出了足球機(jī)器人的概念。1996年，在日本名古屋正式成立了“機(jī)器人足球世界杯”(the Robot World Cup Soccer Games, RoboCup)。1997年6月，第二屆微型機(jī)器人足球比賽在韓國(guó)舉行，在此 期間，國(guó)際機(jī)器人足球聯(lián)盟(Federat

2、ion of International Robot- soccer Association, FIRA)宣告成立。RoboCup和FIRA兩個(gè)組織每年各舉辦一次國(guó)際性的足球機(jī)器 人大賽。RoboCup足球機(jī)器人仿真組Simulation League小型組Small Size Robot League中型組Middle Size Robot League四腿組Sony Legged Robot League類人組Humanoid LeagueRoboCup機(jī)器人比賽RoboCup中型組足球機(jī)器人的研究意義中型組足球機(jī)器人的系統(tǒng)組成中型組足球機(jī)器人機(jī)械結(jié)構(gòu)圖 中型組足球機(jī)器人的系統(tǒng)組成中型組足

3、球機(jī)器人控制系統(tǒng)圖主要內(nèi)容視覺子系統(tǒng)任務(wù)分析RoboCup中型組足球機(jī)器人比賽場(chǎng)地 視覺子系統(tǒng)任務(wù)分析主要內(nèi)容全向視覺傳感器全向視覺傳感器及其幾何模型 全向視覺傳感器常規(guī)曲面反射鏡優(yōu)缺點(diǎn)對(duì)照表 曲面優(yōu)點(diǎn)缺點(diǎn)球面加工容易，散光??；有一個(gè)焦點(diǎn)，不需要有大的焦距就可以獲得聚焦圖像；全向圖不能轉(zhuǎn)換成常規(guī)的透視圖像；全向圖的邊緣有畸變；錐面加工容易；可以多面鏡子構(gòu)成鏡面陣列；散光大，沒有焦點(diǎn)；全向圖不能轉(zhuǎn)換成常規(guī)透視圖像；需要有大焦距才能獲得聚焦圖像；雙曲面全向圖可以轉(zhuǎn)換成常規(guī)透視圖像；曲率小時(shí)散光不是很大；是最適宜于標(biāo)準(zhǔn)攝像機(jī)的光學(xué)系統(tǒng)；加工困難；雙曲線的焦點(diǎn)需要放置在攝像機(jī)的中心位姿，所以其設(shè)計(jì)不靈

4、活；拋物面全向圖可以轉(zhuǎn)換成常規(guī)透視圖像、圓柱圖像；拋物面鏡加遠(yuǎn)光鏡頭是最理想的光學(xué)系統(tǒng)；加工困難；遠(yuǎn)光透鏡價(jià)格昂貴；全向視覺傳感器垂直等比鏡面設(shè)計(jì)示意圖 水平等比鏡面設(shè)計(jì)示意圖 全向視覺傳感器全向反射鏡實(shí)物 F=.1846199497295e-7*t6-.2694321750479e-5*t5+.3826165631862e-3*t4-.4449458452667e-2*t3+.6843492494856e-1*t2+.1442388401384*t-.8978189490374e-1曲面函數(shù)F(t)主要內(nèi)容彩色圖像目標(biāo)識(shí)別常用的彩色圖像分割準(zhǔn)則： （1）RGB顏色空間分割 基于CLUT的顏色

5、空間分割 優(yōu)點(diǎn)：速度快，圖像二值化簡(jiǎn)單 缺點(diǎn)：對(duì)環(huán)境的適應(yīng)性差 （2）HSL顏色空間分割 基于閾值的顏色分割 優(yōu)點(diǎn)：便于閾值拓展，對(duì)環(huán)境的適應(yīng)性好 缺點(diǎn)：速度慢彩色圖像目標(biāo)識(shí)別RGB空間和HSL空間分割方法的綜合利用：（1）利用HSL顏色模型建立完備的RGB空間上的CLUT 建立CLUT時(shí)，先將顏色采樣數(shù)據(jù)從RGB空間轉(zhuǎn)換到HSL空間然后根據(jù)經(jīng)驗(yàn)進(jìn)行閾值拓展，求出合適的HSL空間上的閾值然后將該閾值區(qū)間上的所有點(diǎn)轉(zhuǎn)換到RGB空間并填充顏色查找表（2）顏色分割采用基于CLUT的RGB空間的分割方法 彩色圖像目標(biāo)識(shí)別基于CLUT的動(dòng)態(tài)窗格目標(biāo)搜索算法（1）搜索起點(diǎn)：上次目標(biāo)的中心位置或圖象中心；（

6、2）從起點(diǎn)起，上下左右各外擴(kuò)s得到起始搜索窗格Ak1 ；（3）搜索完成后若沒有發(fā)現(xiàn)目標(biāo)，外擴(kuò)一圈，依次搜索 Atop 、Aleft 、Aright、 Abottom ；（4）依次類推，直至搜索完整幅圖象。彩色圖像目標(biāo)識(shí)別基于CLUT的區(qū)域生長(zhǎng)算法（1）選取種子點(diǎn) ； （2）以 為中心，考慮4鄰域像素 ， ， ， ， 如果該點(diǎn)未被處理且符合生長(zhǎng)準(zhǔn)則，將該點(diǎn)與之 合并，同時(shí)將該點(diǎn)壓入堆棧；（3）如果堆棧不為空，從堆棧中彈出一個(gè)像素，把它 當(dāng)做 ； 回到步驟（2）；（4）區(qū)域生長(zhǎng)完畢。彩色圖像目標(biāo)識(shí)別基于CLUT的變步長(zhǎng)區(qū)域生長(zhǎng)算法如果我們?cè)趨^(qū)域生長(zhǎng)的時(shí)候，對(duì)每個(gè)種 子點(diǎn)處理的不是其4鄰接像素 ，而

7、是在 垂直或水平方向上與其隔一個(gè)象素的點(diǎn)， 我們稱生長(zhǎng)步長(zhǎng)為2。當(dāng)目標(biāo)面積較大，超過一定的閾值時(shí)， 則改用較大的步長(zhǎng)。彩色圖像目標(biāo)識(shí)別顏色面積顏色重心內(nèi)徑外徑經(jīng)度邊界1經(jīng)度邊界2主要內(nèi)容視覺子系統(tǒng)的軟件實(shí)現(xiàn)決策進(jìn)程進(jìn)程1進(jìn)程0視覺進(jìn)程系統(tǒng)初始化人系統(tǒng)設(shè)置坐標(biāo)變換數(shù)據(jù)發(fā)送仿真顯示圖像采集顏色分割目標(biāo)識(shí)別位置標(biāo)定線程1線程0Socket人機(jī)交互消息啟動(dòng)視覺子系統(tǒng)的軟件實(shí)現(xiàn)xd（x）（cm）xd（x）（cm）xd（x）（cm）1030731701283001950821901363202870912101443403790100230152360461101082501603805513011627

8、016840064150124290185500距離標(biāo)定實(shí)驗(yàn)數(shù)據(jù)和曲線 視覺子系統(tǒng)實(shí)際運(yùn)行效果原始圖像 區(qū)域生長(zhǎng)分割效果 視覺子系統(tǒng)實(shí)際運(yùn)行效果變步長(zhǎng)區(qū)域生長(zhǎng)分割效果 物體在機(jī)器人坐標(biāo)系下的坐標(biāo) 坐標(biāo)目標(biāo)實(shí)際坐標(biāo)定位坐標(biāo)極徑厘米角度度極徑厘米角度度球70906689黃門2509023991藍(lán)門300-67285-68機(jī)器人1709016288角柱1330135310135角柱234045未識(shí)別未識(shí)別主要內(nèi)容決策子系統(tǒng)任務(wù)分析機(jī)器人之間的交流與配合，實(shí)現(xiàn)合作與協(xié)調(diào)2機(jī)器人對(duì)于自己任務(wù)的承擔(dān)，轉(zhuǎn)化為具體的動(dòng)作1決策子系統(tǒng)任務(wù)分析主要內(nèi)容基于規(guī)劃的多智能體決策模型基于規(guī)劃的多智能體決策模型基于規(guī)劃的

9、多智能體決策模型基于規(guī)劃的多智能體決策模型足球機(jī)器人決策模型 主要內(nèi)容控制協(xié)調(diào)智能體的角色分配算法控制協(xié)調(diào)智能體的流程圖控制協(xié)調(diào)智能體的角色分配算法機(jī)器人之間的沖突 機(jī)器人與角色的集合 控制協(xié)調(diào)智能體的角色分配算法前鋒的估值函數(shù)控制協(xié)調(diào)智能體的角色分配算法 具體的分配算法設(shè)計(jì)如下：（1）：計(jì)算角色能力值 作為權(quán)值 ；（2）：構(gòu)造機(jī)器人集合 ，角色集合 ， 這兩個(gè)集合的元素沒有交集，滿足二分圖結(jié)點(diǎn)的條件；（3）：以第一步計(jì)算的權(quán)值作為邊的權(quán)值，以第二步構(gòu)造的 集合作為結(jié)點(diǎn)構(gòu)造完全二分圖 ，求解帶權(quán)二分 圖 的最優(yōu)匹配。主要內(nèi)容計(jì)劃執(zhí)行智能體的有限狀態(tài)自動(dòng)機(jī)模型計(jì)劃執(zhí)行智能體的有限狀態(tài)自動(dòng)機(jī)模型有

10、限狀態(tài)自動(dòng)機(jī)M是一個(gè)五元組：前鋒有限狀態(tài)自動(dòng)機(jī)模型計(jì)劃執(zhí)行智能體的有限狀態(tài)自動(dòng)機(jī)模型前鋒狀態(tài)轉(zhuǎn)移函數(shù) 的構(gòu)造如下：計(jì)劃執(zhí)行智能體的有限狀態(tài)自動(dòng)機(jī)模型前鋒狀態(tài)轉(zhuǎn)移圖 決策子系統(tǒng)實(shí)際運(yùn)行效果機(jī)器人的角色分配 決策子系統(tǒng)界面 整個(gè)系統(tǒng)實(shí)際運(yùn)行效果實(shí)際運(yùn)行情況總結(jié)全向視覺傳感器設(shè)計(jì)系統(tǒng)的軟件實(shí)現(xiàn)基于規(guī)劃的多智能體決策模型彩色圖像目標(biāo)識(shí)別控制協(xié)調(diào)智能體的角色分配算法計(jì)劃執(zhí)行智能體的有限狀態(tài)自動(dòng)機(jī)模型視覺子系統(tǒng)決策子系統(tǒng)展望系統(tǒng)的可靠性全向視覺的理論分析抗干擾性進(jìn)一步工作球場(chǎng)環(huán)境的重建碩士學(xué)位論文答辯謝謝！中型組足球機(jī)器人簡(jiǎn)介中型組足球機(jī)器人硬件結(jié)構(gòu) 求解參數(shù)全向鏡頂點(diǎn)高度 553mm攝像機(jī)凸透鏡高度 4

11、43mm焦距5.9mm全向鏡半徑32mmRGB to HSLHSL to RGB圖像分割的基本概念圖像分割的概念：將圖像劃分為與真實(shí)世界的物體或區(qū)域有 強(qiáng)相關(guān)性的組成部分。圖像分割的基礎(chǔ)是像素之間的相似性和跳變性。所謂“相似 性”是指某個(gè)區(qū)域內(nèi)像素具有某種相似的特性，如灰度、色 彩、反射率、紋理等。所謂“跳變性”是指像素特征變化的 不連續(xù)性，如灰度、色彩的突變等。圖像分割后圖像中的不同區(qū)域都對(duì)應(yīng)一定的實(shí)際物體。閾值化分割；基于邊緣的分割；基于區(qū)域的分割。RGB空間的分割基于CLUT的RGB顏色空間分割： 構(gòu)造一個(gè)四維CLUT，其下標(biāo)是R，G，B，T，其內(nèi)容是True或False。優(yōu)點(diǎn)： 1.離

12、線設(shè)置簡(jiǎn)單，以靜態(tài)數(shù)據(jù)保存顏色分類信息； 2.在線調(diào)用容易，不需要復(fù)雜的運(yùn)算，查找速度快； 3.彩色圖像二值化簡(jiǎn)單； 4.不容易受干擾；缺點(diǎn)： 1.對(duì)32位真彩色占用內(nèi)存空間大，存儲(chǔ)麻煩； 2.由于光照的原因，顏色相近的兩個(gè)物體的RGB空間有重疊部分， CLUT不能解決一對(duì)多的問題； 3.當(dāng)某顏色物體在RGB空間的分布不連續(xù)時(shí)，建立的CLUT不能覆 蓋封閉區(qū)域內(nèi)的所有點(diǎn)； 4.CLUT不適宜進(jìn)行顏色空間的拓展； 5.對(duì)光線、顏色的適應(yīng)性差；RGB空間的分割基于閾值的RGB顏色空間分割： 某顏色物體在RGB空間的分布是一個(gè)封閉區(qū)域，于是我們可以用RGB閾值來描述這個(gè)封閉區(qū)域。優(yōu)點(diǎn)： 1.不同物體

13、的RGB閾值允許存在重疊，解決了顏色物體一對(duì)多的問 題； 2.計(jì)算簡(jiǎn)單，信息存儲(chǔ)方便；缺點(diǎn)： 1.這種描述把封閉的不規(guī)則空間描述為封閉的立方體空間，包含了不 屬于該物體的顏色； 2.當(dāng)亮度、色度漂移時(shí)，R、G、B值變化劇烈，并且是非線性的，閾 值拓展的效果不好； 3.閾值區(qū)間大的時(shí)候，干擾嚴(yán)重；HSL空間的分割HSL顏色空間分割： 對(duì)RGB顏色空間而言，由于色度、亮度漂移時(shí)，R、G、B值波動(dòng)較大，而且變化是非線性的，因而顏色空間拓展的難度很大； 相比而言，HSL顏色模型更適宜于顏色空間的拓展。HSL顏色模型的三個(gè)變量是色度、飽和度和亮度，其中色度（Hue）反映目標(biāo)顏色的能力顯著增強(qiáng)，對(duì)同一顏色

14、的目標(biāo)往往具有較穩(wěn)定和較窄的數(shù)字變化范圍，受光照的影響比較小，因而人們往往把RGB空間模型轉(zhuǎn)換成HSL顏色模型進(jìn)行圖像處理與識(shí)別。HSL空間的分割基于閾值的HSL顏色空間分割：優(yōu)點(diǎn)： 1.不同物體的HSL閾值允許存在重疊，解決顏色物體一對(duì)多的問題； 2.信息存儲(chǔ)方便； 3.當(dāng)顏色、亮度漂移時(shí)，色度（Hue）和亮度（Luminosity）變化不大， 閾值拓展容易，效果較好；缺點(diǎn)： 1.從RGB空間到HSL空間的轉(zhuǎn)換運(yùn)算復(fù)雜，實(shí)時(shí)性差；顏色空間的選擇顏色空間的選擇顏色空間的選擇快速搜索的方法分析 目前，在足球機(jī)器人視覺系統(tǒng)中，廣泛采用的有兩種搜索算法。一種是網(wǎng)格搜索算法，另一種是動(dòng)態(tài)窗口搜索算法。

15、這兩種方法都是為了提高目標(biāo)的搜索效率來設(shè)計(jì)的。 網(wǎng)格搜索算法是一種全局搜索方法，但它不是對(duì)圖像中的每個(gè)像素進(jìn)行搜索，而是在一幅數(shù)字圖像中（640480）中，等間距地抽取一部分行和列圖像矩陣，這樣就形成一個(gè)網(wǎng)狀，然后在這個(gè)網(wǎng)的節(jié)點(diǎn)上進(jìn)行逐點(diǎn)搜索，從而判斷出目標(biāo)的大致位置，然后再在這個(gè)位置附近的一個(gè)范圍內(nèi)進(jìn)行搜索。 由于圖像采集時(shí)，可能存在各種噪聲，這樣在圖像中可能形成一些噪聲空洞，當(dāng)網(wǎng)格節(jié)點(diǎn)正好位于空洞時(shí)，可能造成目標(biāo)圖像的丟失；還有可能就是噪聲斑點(diǎn)中存在搜索目標(biāo)的像素，這樣當(dāng)網(wǎng)格節(jié)點(diǎn)位于噪聲斑點(diǎn)上時(shí)，就可能造成誤搜索。所以，如果利用這種方法，必須對(duì)上述缺點(diǎn)進(jìn)行克服?？焖偎阉鞯姆椒ǚ治?動(dòng)態(tài)網(wǎng)格

16、搜索法是根據(jù)圖像采集相鄰圖像序列的相關(guān)性來設(shè)計(jì)的。它是給每個(gè)搜索目標(biāo)分配一個(gè)動(dòng)態(tài)窗口，用這個(gè)窗口來跟蹤目標(biāo)，每次搜索時(shí)不是在整個(gè)圖像中搜索目標(biāo)，而是在所設(shè)定的遠(yuǎn)遠(yuǎn)小于整個(gè)圖像的窗口中進(jìn)行搜索。動(dòng)態(tài)窗口搜索方法主要是為了節(jié)省圖像處理的時(shí)間，滿足系統(tǒng)的實(shí)時(shí)性要求而提出的。它是根據(jù)機(jī)器人比賽中機(jī)器人本體的機(jī)械特性和小球在場(chǎng)地上運(yùn)動(dòng)的特點(diǎn)來設(shè)計(jì)的。 由機(jī)器人自身運(yùn)動(dòng)的特性和視覺采集系統(tǒng)的特點(diǎn)，可以看出，在大約33ms的時(shí)間內(nèi)，機(jī)器人運(yùn)動(dòng)的距離是有限制的，根據(jù)機(jī)器人的最大運(yùn)動(dòng)速度，那么在一個(gè)采樣周期內(nèi)，機(jī)器人運(yùn)動(dòng)的距離應(yīng)該滿足下式：D 2m /s 0.033 s =66mm D:一個(gè)采樣周期內(nèi)機(jī)器人移動(dòng)

17、的距離。距離標(biāo)定球門、角柱、機(jī)器人等目標(biāo)的母線都是垂直于球場(chǎng)平面的，這些直線在全向視覺看來是從圖像的主點(diǎn)發(fā)出的射線,因而這些目標(biāo)在圖像上的反映均為扇形或類似扇形的區(qū)域，這些區(qū)域與球場(chǎng)的交界反映在圖像上就是對(duì)應(yīng)顏色區(qū)域的內(nèi)徑(InnerR)，因而我們完全可以根據(jù)內(nèi)徑(InnerR)來標(biāo)定這些目標(biāo)的位置。 協(xié)作類型（1）完全協(xié)同型：系統(tǒng)中的智能體都圍繞一個(gè)共同的全局目標(biāo)，各智能體沒有自己的局部目標(biāo)，所有智能體全力以赴的協(xié)作。（2）協(xié)同型：系統(tǒng)中的智能體具有一個(gè)共同的全局目標(biāo)，同時(shí)各智能體還有與全局目標(biāo)一致的局部目標(biāo)。（3）自私型：系統(tǒng)中不存在共同的全局目標(biāo)，各智能體都為自己的局部目標(biāo)工作，而且目標(biāo)

18、之間可能存在沖突。（4）完全自私型：系統(tǒng)中不存在共同的全局目標(biāo)，各智能體都為自己的局部目標(biāo)工作，并且不考慮任何協(xié)作行為。（5）協(xié)同與自私共存型：系統(tǒng)中既存在一些共同的全局目標(biāo)，某些智能體也可能還具有與全局目標(biāo)無直接聯(lián)系的局部目標(biāo)。 再規(guī)劃的情況規(guī)劃一旦被分配就將會(huì)被執(zhí)行，直到出現(xiàn)意外情況被中斷。這種意外分為以下兩種情況：（1）計(jì)劃執(zhí)行智能體（即機(jī)器人）在執(zhí)行該計(jì)劃的同時(shí)，還將監(jiān)控該子計(jì)劃是否適合自己執(zhí)行，當(dāng)其發(fā)現(xiàn)不再適合擔(dān)當(dāng)由當(dāng)前規(guī)劃所分配的角色時(shí)，將向控制協(xié)調(diào)智能體提出請(qǐng)求，進(jìn)行再規(guī)劃，重新分配角色。（2）在計(jì)劃執(zhí)行的過程中，控制協(xié)調(diào)智能體將監(jiān)控計(jì)劃的執(zhí)行，當(dāng)發(fā)現(xiàn)當(dāng)前執(zhí)行的計(jì)劃同目前的環(huán)境輸

19、入狀態(tài)所要求的計(jì)劃差距比較大或者出現(xiàn)了某種意外情況時(shí)（如場(chǎng)上的形勢(shì)非常適合某種預(yù)先構(gòu)造好的配合射門程序，或者是球被雙方球員頂在一起而不能進(jìn)行正常的規(guī)劃時(shí)），它將重新進(jìn)行再規(guī)劃以適應(yīng)當(dāng)前的形勢(shì)。 二分圖二分圖的數(shù)學(xué)模型為： 一個(gè)無向圖 稱為一個(gè)二分圖。如果下列條件成立： (U、V為非空結(jié)點(diǎn)集合)，對(duì)于邊集合E中的任一條邊 ，結(jié)點(diǎn) ， 一個(gè)在U中，另一個(gè)在V中。如果將U中的結(jié)點(diǎn)布在一行，V中的結(jié)點(diǎn)布在下一行，則二分圖只允許不同行的結(jié)點(diǎn)間有邊相聯(lián)，同一行中的結(jié)點(diǎn)間不允許有邊相聯(lián)。如果對(duì)于U中每一個(gè)結(jié)點(diǎn) ，V中每一個(gè)結(jié)點(diǎn) ，E都含有邊 ，則記為完全二分圖，邊帶權(quán)成為帶權(quán)完全二分圖。K-M算法Kuhn-

20、Munkres算法：（1）初始一個(gè)可行頂標(biāo)1，確定 ，在 中找到任一個(gè)匹配M。（2）若X中頂點(diǎn)都被M匹配，停止，則M即為最佳匹配。否則， 取 中未被M匹配的頂點(diǎn) ， 。（3）若N(S)真包含T，轉(zhuǎn)4。若N(S)=T，令 ， ， ， ； ， ； ， 其它。（4）選 中一頂點(diǎn)y，若y已被M匹配，且 ， ， ，轉(zhuǎn)3，否則，取 中一個(gè)M的可增廣矩 ， 令 ，轉(zhuǎn)2 。有限狀態(tài)自動(dòng)機(jī)的定義有限狀態(tài)自動(dòng)機(jī)的定義：包含一組狀態(tài)集(States)、一個(gè)起始狀態(tài)(Startstate)、一組輸入符號(hào)集(Alphabet)、一個(gè)映射輸入符號(hào)和當(dāng)前狀態(tài)到下一狀態(tài)的轉(zhuǎn)換函數(shù)(Transition function)的計(jì)算模型。當(dāng)輸入符號(hào)串，模型隨即進(jìn)入起始狀態(tài)。自動(dòng)機(jī)中各分量的含義有限狀態(tài)自動(dòng)機(jī)M是一個(gè)五元組： 狀態(tài)的非空有窮集合。 ，q稱為M的一個(gè)狀態(tài)。 輸入字母表。輸入字符串都是 上的字符串。 狀態(tài)轉(zhuǎn)移函數(shù)，有時(shí)又叫作轉(zhuǎn)移函數(shù)， ， 對(duì) ，表示M在狀態(tài)q讀入字符a，將狀態(tài)變成 p，并將讀頭向移動(dòng)一個(gè)帶方格而指向輸入字符串的下 一個(gè)字符。 M的初始狀態(tài)，也可叫作初始狀態(tài)或者啟動(dòng)狀態(tài)。 M的終止?fàn)顟B(tài)集合，F(xiàn)包含于Q。 ，q稱為M的終止 狀態(tài)。狀態(tài)轉(zhuǎn)換條件 a 看見球，與球之間沒有障礙物，離球遠(yuǎn) b 發(fā)現(xiàn)前進(jìn)路線中有障礙物 c 球很近，無障礙物影響但有偏角 d 球很近且無障礙物無偏角，角度很