RoboCu中型組足球機器人視覺和決策系統(tǒng)的與設(shè)計

RoboCup中型組足球機器人

視覺和決策系統(tǒng)的研究與設(shè)計指導(dǎo)教師：王明順副教授答辯學(xué)生：崔金柱東北大學(xué)控制理論與導(dǎo)航技術(shù)研究所碩士學(xué)位論文答辯演講的結(jié)構(gòu)首先足球機器人比賽中型組足球機器人的系統(tǒng)結(jié)構(gòu)然后主要內(nèi)容：視覺子系統(tǒng)和決策子系統(tǒng)最后本文的工作進行簡要的總結(jié)足球機器人的背景1992年，加拿大不列顛哥倫比亞大學(xué)的AlanMackworth教授在國際上首次提出了足球機器人的概念。1996年，在日本名古屋正式成立了“機器人足球世界杯”(theRobotWorldCupSoccerGames,RoboCup)。1997年6月，第二屆微型機器人足球比賽在韓國舉行，在此期間，國際機器人足球聯(lián)盟(FederationofInternationalRobot-soccerAssociation,FIRA)宣告成立。RoboCup和FIRA兩個組織每年各舉辦一次國際性的足球機器人大賽。RoboCup足球機器人仿真組SimulationLeague小型組SmallSizeRobotLeague

中型組MiddleSizeRobotLeague 四腿組SonyLeggedRobotLeague

類人組HumanoidLeagueRoboCup機器人比賽RoboCup中型組足球機器人的研究意義中型組足球機器人的系統(tǒng)組成中型組足球機器人機械結(jié)構(gòu)圖

中型組足球機器人的系統(tǒng)組成中型組足球機器人控制系統(tǒng)圖主要內(nèi)容視覺子系統(tǒng)任務(wù)分析RoboCup中型組足球機器人比賽場地

視覺子系統(tǒng)任務(wù)分析畸變的二維圖像每秒數(shù)十幅圖像物體重疊移動的視場視覺子系統(tǒng)主要內(nèi)容全向視覺傳傳感器全向視覺傳傳感器及其其幾何模型型全向視覺傳傳感器常規(guī)曲面反反射鏡優(yōu)缺缺點對照表表曲面優(yōu)點缺點

球面加工容易，散光?。挥幸粋€焦點，不需要有大的焦距就可以獲得聚焦圖像；全向圖不能轉(zhuǎn)換成常規(guī)的透視圖像；全向圖的邊緣有畸變；錐面加工容易；可以多面鏡子構(gòu)成鏡面陣列；散光大，沒有焦點；全向圖不能轉(zhuǎn)換成常規(guī)透視圖像；需要有大焦距才能獲得聚焦圖像；雙曲面全向圖可以轉(zhuǎn)換成常規(guī)透視圖像；曲率小時散光不是很大；是最適宜于標準攝像機的光學(xué)系統(tǒng)；加工困難；雙曲線的焦點需要放置在攝像機的中心位姿，所以其設(shè)計不靈活；拋物面全向圖可以轉(zhuǎn)換成常規(guī)透視圖像、圓柱圖像；拋物面鏡加遠光鏡頭是最理想的光學(xué)系統(tǒng)；加工困難；遠光透鏡價格昂貴；全向視覺傳傳感器垂直等比鏡鏡面設(shè)計示示意圖水平等比鏡鏡面設(shè)計示示意圖全向視覺傳傳感器全向反射鏡鏡實物F=.184619949720554717236095e-7*t^6-.269431886051147321750479e-5*t^5+.155724546553826165631862e-3*t^4-.444945845266700619469180e-2*t^3+.684349249083256727654856e-1*t^2+.144231514843774888401384*t-.897810363982420589490374e-1曲面函數(shù)F(t)主要內(nèi)容彩色圖像目目標識別常用的彩色色圖像分割割準則：（1）RGB顏色空空間分割基于CLUT的顏色色空間分割割優(yōu)點：速度度快，圖像像二值化簡簡單缺點：對環(huán)環(huán)境的適應(yīng)應(yīng)性差（2）HSL顏色空空間分割基于閾值的的顏色分割割優(yōu)點：便于于閾值拓展展，對環(huán)境境的適應(yīng)性性好缺點：速度度慢彩色圖像目目標識別RGB空間間和HSL空間分割割方法的綜綜合利用：：（1）利用用HSL顏顏色模型建建立完備的的RGB空空間上的CLUT—建立CLUT時，，先將顏色色采樣數(shù)據(jù)據(jù)從RGB空間轉(zhuǎn)換換到HSL空間—然后根據(jù)據(jù)經(jīng)驗進行行閾值拓展展，求出合合適的HSL空間上上的閾值—然后將該該閾值區(qū)間間上的所有有點轉(zhuǎn)換到到RGB空空間并填充充顏色查找找表（2）顏色色分割采用用基于CLUT的RGB空間間的分割方方法彩色圖像目目標識別基于CLUT的動態(tài)窗格格目標搜索索算法（1）搜索索起點：上上次目標的的中心位置置或圖象中中心；（2）從起起點起，上上下左右各各外擴s得得到起始搜搜索窗格Ak－1；（3）搜索索完成后若若沒有發(fā)現(xiàn)現(xiàn)目標，外外擴一圈，，依次搜索索Atop、Aleft、Aright、Abottom；（4）依次次類推，直直至搜索完完整幅圖象象。彩色圖像目目標識別基于CLUT的區(qū)域生長長算法（1）選取取種子點；；（2）以為為中心心，考慮4鄰域像素素，，，，，，，，如果該點未未被處理且且符合生長長準則，將將該點與之之合并，同時時將該點壓壓入堆棧；；（3）如果果堆棧不為為空，從堆堆棧中彈出出一個像素素，把它當做；；回到步步驟（2））；（4）區(qū)域域生長完畢畢。彩色圖像目目標識別基于CLUT的變步長區(qū)區(qū)域生長算算法如果我們在在區(qū)域生長長的時候，，對每個種種子點處理的的不是其4鄰接像素素，而是是在垂直或水平平方向上與與其隔一個個象素的點點，我們稱生長長步長為2。當目標面積積較大，超超過一定的的閾值時，，則改用較大大的步長。。彩色圖像目目標識別顏色面積顏色重心內(nèi)徑外徑經(jīng)度邊界1經(jīng)度邊界2主要內(nèi)容視覺子系統(tǒng)統(tǒng)的軟件實實現(xiàn)決策進程進程1進程0視覺進程系統(tǒng)初始化人系統(tǒng)設(shè)置坐標變換數(shù)據(jù)發(fā)送仿真顯示圖像采集顏色分割目標識別位置標定線程1線程0Socket人機交互消息啟動視覺子系統(tǒng)統(tǒng)的軟件實實現(xiàn)xd（x）（cm）xd（x）（cm）xd（x）（cm）1030731701283001950821901363202870912101443403790100230152360461101082501603805513011627016840064150124290185500距離標定實實驗數(shù)據(jù)和和曲線視覺子系統(tǒng)統(tǒng)實際運行行效果原始圖像區(qū)域生長分分割效果視覺子系統(tǒng)統(tǒng)實際運行行效果變步長區(qū)域域生長分割割效果物體在機器器人坐標系系下的坐標標

坐標目標實際坐標定位坐標極徑厘米角度度極徑厘米角度度球70906689黃門2509023991藍門300-67285-68機器人1709016288角柱1330135310135角柱234045未識別未識別主要內(nèi)容決策子系統(tǒng)統(tǒng)任務(wù)分析析機器人之間的交流與配合，實現(xiàn)合作與協(xié)調(diào)2機器人對于自己任務(wù)的承擔，轉(zhuǎn)化為具體的動作1決策子系統(tǒng)統(tǒng)任務(wù)分析析形式時刻變化每個機器人是一個智能體群體對抗協(xié)作與協(xié)調(diào)目標一致多智能體模型主要內(nèi)容基于規(guī)劃的的多智能體體決策模型型智能體目的性自治性反應(yīng)性持續(xù)性多智能體協(xié)作完全協(xié)同型協(xié)同型自私型完全自私型協(xié)同與自私共存型基于規(guī)劃的的多智能體體決策模型型基于規(guī)劃的的多智能體體決策模型型規(guī)劃規(guī)劃規(guī)劃的方法規(guī)劃過程執(zhí)行過程分布計劃的集中規(guī)劃集中計劃的分布規(guī)劃分布計劃的分布規(guī)劃基于規(guī)劃的的多智能體體決策模型型足球機器人人決策模型型主要內(nèi)容控制協(xié)調(diào)智智能體的角角色分配算算法控制協(xié)調(diào)智智能體的流流程圖控制協(xié)調(diào)智智能體的角角色分配算算法機器人之間間的沖突機器人與角角色的集合合控制協(xié)調(diào)智智能體的角角色分配算算法前鋒的估值值函數(shù)控制協(xié)調(diào)智智能體的角角色分配算算法具體的分配配算法設(shè)計計如下：（1）：計計算角色能能力值作作為為權(quán)值；；（2）：構(gòu)構(gòu)造機器人人集合，，角色集合合，，這兩個集合合的元素沒沒有交集，，滿足二分分圖結(jié)點的的條件；（3）：以以第一步計計算的權(quán)值值作為邊的的權(quán)值，以以第二步構(gòu)構(gòu)造的集合作為結(jié)結(jié)點構(gòu)造完完全二分圖圖，，求解帶權(quán)權(quán)二分圖的的最優(yōu)優(yōu)匹配。主要內(nèi)容計劃執(zhí)行智智能體的有有限狀態(tài)自自動機模型型計劃執(zhí)行智智能體的有有限狀態(tài)自自動機模型型找球接近球避障射門正對球帶球狀態(tài)Q有限狀態(tài)自自動機M是一個五元元組：前鋒有限狀狀態(tài)自動機機模型ab

cdef條件計劃執(zhí)行智智能體的有有限狀態(tài)自自動機模型型前鋒狀態(tài)轉(zhuǎn)轉(zhuǎn)移函數(shù)的的構(gòu)造如下下：計劃執(zhí)行智智能體的有有限狀態(tài)自自動機模型型前鋒狀態(tài)轉(zhuǎn)轉(zhuǎn)移圖決策子系統(tǒng)統(tǒng)實際運行行效果機器人的角角色分配決策子系統(tǒng)統(tǒng)界面整個個系系統(tǒng)統(tǒng)實實際際運運行行效效果果實際際運運行行情情況況總結(jié)結(jié)全向向視視覺覺傳傳感感器器設(shè)設(shè)計計系統(tǒng)統(tǒng)的的軟軟件件實實現(xiàn)現(xiàn)基于于規(guī)規(guī)劃劃的的多多智智能能體體決決策策模模型型彩色色圖圖像像目目標標識識別別控制制協(xié)協(xié)調(diào)調(diào)智智能能體體的的角角色色分分配配算算法法計劃劃執(zhí)執(zhí)行行智智能能體體的的有有限限狀狀態(tài)態(tài)自自動動機機模模型型視覺覺子子系統(tǒng)統(tǒng)決策策子子系統(tǒng)統(tǒng)展望望系統(tǒng)統(tǒng)的的可可靠靠性性全向向視視覺覺的的理理論論分分析析抗干干擾擾性性進一一步步工作作球場場環(huán)環(huán)境境的的重重建建碩士士學(xué)學(xué)位位論論文文答答辯辯謝謝謝！！中型型組組足足球球機機器器人人簡簡介介中型型組組足足球球機機器器人人硬硬件件結(jié)結(jié)構(gòu)構(gòu)求解解參參數(shù)數(shù)全向向鏡鏡頂頂點點高高度度553mm攝像像機機凸凸透透鏡鏡高高度度443mm焦距距5.9mm全向向鏡鏡半半徑徑32mmRGBtoHSLHSLtoRGB圖像像分分割割的的基基本本概概念念圖像像分分割割的的概概念念：將將圖圖像像劃劃分分為為與與真真實實世世界界的的物物體體或或區(qū)區(qū)域域有有強相相關(guān)關(guān)性性的的組組成成部部分分。。圖像像分分割割的的基基礎(chǔ)礎(chǔ)是是像像素素之之間間的的相相似似性性和和跳跳變變性性。。所所謂謂““相相似似性””是是指指某某個個區(qū)區(qū)域域內(nèi)內(nèi)像像素素具具有有某某種種相相似似的的特特性性，，如如灰灰度度、、色色彩、、反反射射率率、、紋紋理理等等。。所所謂謂““跳跳變變性性””是是指指像像素素特特征征變變化化的的不連連續(xù)續(xù)性性，，如如灰灰度度、、色色彩彩的的突突變變等等。。圖像像分分割割后后圖圖像像中中的的不不同同區(qū)區(qū)域域都都對對應(yīng)應(yīng)一一定定的的實實際際物物體體。。閾值值化化分分割割；基基于于邊邊緣緣的的分分割割；；基基于于區(qū)區(qū)域域的的分分割割。。RGB空間間的的分分割割基于于CLUT的RGB顏色色空空間間分分割割：構(gòu)造造一一個個四四維維CLUT，其下下標標是是R，，G，，B，，T，其內(nèi)內(nèi)容容是是True或False。優(yōu)點點：1.離線線設(shè)設(shè)置置簡簡單單，，以以靜靜態(tài)態(tài)數(shù)數(shù)據(jù)據(jù)保保存存顏顏色色分分類類信信息息；；2.在在線線調(diào)調(diào)用用容容易易，，不不需需要要復(fù)復(fù)雜雜的的運運算算，，查查找找速速度度快快；；3.彩彩色色圖圖像像二二值值化化簡簡單單；；4.不不容容易易受受干干擾擾；缺點：1.對32位真彩色色占用內(nèi)存空空間大，存儲儲麻煩；2.由于光照的原原因，顏色相相近的兩個物物體的RGB空間有重疊部部分，CLUT不能解決一對對多的問題；3.當某顏色物體體在RGB空間的分布不不連續(xù)時，建建立的CLUT不能覆蓋封閉區(qū)域內(nèi)內(nèi)的所有點；；4.CLUT不適宜進行顏顏色空間的拓拓展；5.對光線、顏色色的適應(yīng)性差差；RGB空間的分割基于閾值的RGB顏色空間分割割：某顏色物體在在RGB空間的分布是是一個封閉區(qū)區(qū)域，于是我我們可以用RGB閾值來描述這個個封閉區(qū)域。優(yōu)點：1.不同物體體的RGB閾值允許存在在重疊，解決了顏色——物體一對多多的問題；2.計算簡單單，信息存儲儲方便；缺點：1.這種描述述把封閉的不不規(guī)則空間描描述為封閉的的立方體空間間，包含了不不屬于該物體的的顏色；2.當亮度、、色度漂移時時，R、G、B值變化劇烈，，并且是非線線性的，閾值拓展的效果果不好；3.閾值區(qū)間間大的時候，，干擾嚴重；；HSL空間的分割HSL顏色空間分割割：對RGB顏色空間而言言，由于色度度、亮度漂移移時，R、G、B值波動較大，，而且變化是是非線性的，，因而顏色空空間拓展的難難度很大；相比而言，HSL顏色模型更適適宜于顏色空空間的拓展。HSL顏色模型的三三個變量是色色度、飽和度度和亮度，其其中色度（Hue）反映目標顏色色的能力顯著著增強，對同同一顏色的目目標往往具有有較穩(wěn)定和較窄的的數(shù)字變化范范圍，受光照照的影響比較較小，因而人人們往往把RGB空間模型轉(zhuǎn)換換成HSL顏色模型進行行圖像處理與與識別。HSL空間的分割基于閾值的HSL顏色空間分割：優(yōu)點：1.不同物體體的HSL閾值允許存在在重疊，解決決顏色—物體一對對多的問題；；2.信息存儲儲方便；3.當顏色、、亮度漂移時時，色度（Hue）和亮度（Luminosity）變化不大，閾值拓展容易易，效果較好好；缺點：1.從RGB空間到HSL空間的轉(zhuǎn)換運運算復(fù)雜，實實時性差；顏色空間的選選擇顏色空間的選選擇顏色空間的選選擇快速搜索的方方法分析目前，在足球球機器人視覺覺系統(tǒng)中，廣廣泛采用的有有兩種搜索算算法。一種是是網(wǎng)格搜索算法法，另一種是是動態(tài)窗口搜搜索算法。這這兩種方法都都是為了提高高目標的搜索效率來來設(shè)計的。網(wǎng)格搜索算法法是一種全局局搜索方法，，但它不是對對圖像中的每每個像素進行行搜索，而是在在一幅數(shù)字圖圖像中（640×480）中，等間間距地抽取一一部分行和列列圖像矩陣，這這樣就形成一一個網(wǎng)狀，然然后在這個網(wǎng)網(wǎng)的節(jié)點上進進行逐點搜索索，從而判斷出目標標的大致位置置，然后再在在這個位置附附近的一個范范圍內(nèi)進行搜搜索。由于圖像采集集時，可能存存在各種噪聲聲，這樣在圖圖像中可能形形成一些噪聲聲空洞，當網(wǎng)格格節(jié)點正好位位于空洞時，，可能造成目目標圖像的丟丟失；還有可可能就是噪聲斑點中中存在搜索目目標的像素，，這樣當網(wǎng)格格節(jié)點位于噪噪聲斑點上時時，就可能造成誤搜搜索。所以，，如果利用這這種方法，必必須對上述缺缺點進行克服服?？焖偎阉鞯姆椒椒ǚ治鰟討B(tài)網(wǎng)格搜索索法是根據(jù)圖圖像采集相鄰鄰圖像序列的的相關(guān)性來設(shè)設(shè)計的。它是是給每個搜索目目標分配一個個動態(tài)窗口，，用這個窗口口來跟蹤目標標，每次搜索索時不是在整個圖像像中搜索目標標，而是在所所設(shè)定的遠遠遠小于整個圖圖像的窗口中中進行搜索。動態(tài)窗窗口搜索方法法主要是為了了節(jié)省圖像處處理的時間，，滿足系統(tǒng)的的實時性要求而提出出的。它是根根據(jù)機器人比比賽中機器人人本體的機械械特性和小球在場地上運運動的特點來來設(shè)計的。由機器人自身身運動的特性性和視覺采集集系統(tǒng)的特點點，可以看出出，在大約33ms的時時間內(nèi)，機器器人運動的距距離是有限制制的，根據(jù)機機器人的最大大運動速度，那么在一一個采樣周期期內(nèi)，機器人人運動的距離離應(yīng)該滿足下下式：D<2m/s×0.033s=66mmD:一個采樣樣周期內(nèi)機器器人移動的距距離。距離標定球門、角柱、、機器人等目目標的母線都是垂直于球球場平面的，，這些直線在全向視覺看看來是從圖像像的主點發(fā)出的射線,因而這些目標標在圖像上的的反映均為扇形形或類似扇形形的區(qū)域，這些區(qū)域與球球場的交界反反映在圖像上就是對應(yīng)顏顏色區(qū)域的內(nèi)內(nèi)徑(InnerR)，因而我們完全全可以根據(jù)內(nèi)內(nèi)徑(InnerR)來標定這些目目標的位置。。協(xié)作類型（1）完全協(xié)協(xié)同型：系統(tǒng)統(tǒng)中的智能體體都圍繞一個個共同的全局局目標，各智智能體沒有自自己的局部目目標，所有智智能體全力以以赴的協(xié)作。。（2）協(xié)同型型：系統(tǒng)中的的智能體具有有一個共同的的全局目標，，同時各智能能體還有與全全局目標一致致的局部目標標。（3）自私型型：系統(tǒng)中不不存在共同的的全局目標，，各智能體都都為自己的局局部目標工作作，而且目標標之間可能存存在沖突。（4）完全自自私型：系統(tǒng)統(tǒng)中不存在共共同的全局目目標，各智能能體都為自己己的局部目標標工作，并且且不考慮任何何協(xié)作行為。。（5）協(xié)同與與自私共存型型：系統(tǒng)中既既存在一些共共同的全局目目標，某些智智能體也可能能還具有與全全局目標無直直接聯(lián)系的局局部目標。再規(guī)劃的情況況規(guī)劃一旦被分分配就將會被被執(zhí)行，直到到出現(xiàn)意外情情況被中斷。。這種意外分為為以下兩種情情況：（1）計劃執(zhí)執(zhí)行智能體（（即機器人））在執(zhí)行該計計劃的同時，，還將監(jiān)控該該子計劃是否否適合自己執(zhí)執(zhí)行，當其發(fā)發(fā)現(xiàn)不再適合合擔當由當前前規(guī)劃所分配配的角色時，，將向控制協(xié)協(xié)調(diào)智能體提提出請求，進進行再規(guī)劃，，重新分配角角色。（2）在計劃劃執(zhí)行的過程程中，控制協(xié)協(xié)調(diào)智能體將將監(jiān)控計劃的的執(zhí)行，當發(fā)發(fā)現(xiàn)當前執(zhí)行行的計劃同目目前的環(huán)境輸輸入狀態(tài)所要要求的計劃差差距比較大或或者出現(xiàn)了某某種意外情況況時（如場上上的形勢非常常適合某種預(yù)預(yù)先構(gòu)造好的的配合射門程程序，或者是是球被雙方球球員頂在一起起而不能進行行正常的規(guī)劃劃時），它將將重新進行再再規(guī)劃以適應(yīng)應(yīng)當前的形勢勢。二分圖二分圖的數(shù)學(xué)學(xué)模型為：一個無向圖稱稱為一個二分分圖。如果下下列條件成立：(U、V為非空結(jié)點集集合)，對于于邊集合E中的任一條邊，，結(jié)結(jié)點，，一一個在U中，另一個在在V中。如果將U中的結(jié)點布在在一行，V中的結(jié)點布在在下一行，則則二分圖只允允許不同行的結(jié)點間間有邊相聯(lián)，，同一行中的的結(jié)點間不允允許有邊相聯(lián)聯(lián)。如果對于U中每一個結(jié)點點，，V中每一個結(jié)點點，，E都含有邊，，則記為完全二二分圖，邊帶帶權(quán)成為帶權(quán)權(quán)完全二分圖圖。K-M算法Kuhn-Munkres算法：（1）初始一一個可行頂標標1，確定，，在在中中找到任一一個匹配M。（2）若X中頂點都被M匹配，停止，，則M即為最佳匹配配。否則，取中中未被M匹配的頂點，，。。（3）若N(S)真包含T，轉(zhuǎn)4。若N(S)=T，令，，，，，；；，，；；，，其它。（4）選中中一頂點y，若y已被M匹配，且，，，，，轉(zhuǎn)3，否則則，取中中一個M的可增廣矩，，令，，轉(zhuǎn)2。。有限狀態(tài)自自動機的定定義有限狀態(tài)自自動機的定定義：包含一組狀狀態(tài)集(States)、一一個起始狀狀態(tài)(Startstate)、一組組輸入符號集(Alphabet)、一個映映射輸入符符號和當前前狀態(tài)到下下一狀態(tài)的的轉(zhuǎn)換函數(shù)(Transitionfunction)的計算模模型。當輸輸入符號串串，模型隨即進入起起始狀態(tài)。。自動機中各各分量的含含義有限狀態(tài)自自動機M是一個五元元組：—狀態(tài)的非非空有窮集集合。，，q稱為M的一個狀態(tài)態(tài)?！斎胱帜改副怼］斎肴胱址级际巧仙系淖址??！獱顟B(tài)轉(zhuǎn)移移函數(shù)，有有時又叫作作轉(zhuǎn)移函數(shù)數(shù)，，，對，，表示示M在狀態(tài)q讀入字符a，將狀態(tài)變變成p，并將讀頭頭向移動一一個帶方格格而指向輸輸入字符串串的下一個字符。。—M的初始狀態(tài)態(tài)，也可叫叫作初始狀狀態(tài)或者啟啟動狀態(tài)。。—M的終止狀態(tài)態(tài)集合，F(xiàn)包含于Q。，，q稱為M的終止狀態(tài)。狀態(tài)轉(zhuǎn)換條條件a看見球，與與球之間沒沒有障礙物物，離球遠遠b發(fā)現(xiàn)前進路路線中有障障礙物c球很近，無無障礙物影影響但有偏偏角d球很近且無無障礙物無無偏角，角角度很正e球丟了且視視覺中沒有有障礙物f無障礙物影影響，且符符合射門