基于視覺的機(jī)器人導(dǎo)航

1、北京交通大學(xué)碩士學(xué)位論文基于視覺的機(jī)器人導(dǎo)航姓名：程新宇申請學(xué)位級別：碩士專業(yè)：計算機(jī)科學(xué)與技術(shù)指導(dǎo)教師：王奇志20090601摘要機(jī)器人導(dǎo)航是機(jī)器人領(lǐng)域中的重要研究內(nèi)容，而視覺傳感器獲得信息量豐富、非接觸式采集等特點使得基于視覺的機(jī)器人導(dǎo)航系統(tǒng)的研究成為熱點。本文的工作內(nèi)容是對當(dāng)前基于視覺的機(jī)器人導(dǎo)航理論進(jìn)行研究，并針對目前機(jī)器人導(dǎo)航系統(tǒng)中的雙目測距系統(tǒng)的應(yīng)用局限，提出了基于雙目變焦攝像機(jī)的測距算法。該算法擺脫了傳統(tǒng)雙目測距算法中對攝像機(jī)焦距的依賴，而依據(jù)雙目攝像機(jī)轉(zhuǎn)動角度來對目標(biāo)物進(jìn)行測距，并以此為基礎(chǔ)，實現(xiàn)了雙目變焦攝像機(jī)測距系統(tǒng)。另外，我們針對實驗室機(jī)器人的具體應(yīng)用和具體實驗環(huán)境，設(shè)計

2、了專門應(yīng)用于穿越走廊的機(jī)器人視覺伺服系統(tǒng)，并結(jié)合該系統(tǒng)和實際走廊環(huán)境提出了基于狹窄走廊的改進(jìn)人工勢場路徑規(guī)劃算法，該算法不僅能夠解決傳統(tǒng)人工勢場法容易陷入力平衡陷阱的缺點，而且能夠顯著的減小機(jī)器人在走廊行走時的振蕩情況，并最終實現(xiàn)了走廊視覺導(dǎo)航系統(tǒng)。本文中完成的兩種系統(tǒng)在室內(nèi)定位目標(biāo)物和室內(nèi)走廊實驗中均取得了理想的效果。關(guān)鍵詞：視覺伺服系統(tǒng)；機(jī)器人導(dǎo)航；雙目測距系統(tǒng)；變焦；攝像機(jī)轉(zhuǎn)動角度：改進(jìn)人工勢場法分類號：匕塞變通厶堂亟堂位金塞娶墨！壁！，：；：圖目錄圖手眼視覺機(jī)械手圖蛇形機(jī)器人圖基于位置的視覺伺服結(jié)構(gòu)圖圖基于圖像的視覺伺服結(jié)構(gòu)圖圖視覺伺服結(jié)果圖圖環(huán)境特征提取。圖激光掃描儀成像圖圖雙目視差

3、原理圖圖雙目變焦攝像機(jī)測距系統(tǒng)圖雙目變焦攝像機(jī)測距系統(tǒng)軟件流程圖圖模型圖模型圖雙目成像示意圖圖中心成像示意圖圖目標(biāo)物識別過程一圖目標(biāo)物識別過程二。圖目標(biāo)物識別過程三圖系統(tǒng)實際運(yùn)行狀態(tài)圖不同距離目標(biāo)物圖像一圖不同距離目標(biāo)物圖像二圖絕對誤差曲線圖機(jī)器人圖機(jī)器人聲納分布圖。圖走廊視覺導(dǎo)航系統(tǒng)軟件流程圖圖機(jī)器人在走廊中受力圖一圖機(jī)器人在走廊中受力圖二圖機(jī)器人在走廊中受力圖三圖機(jī)器人在走廊中受力圖四圖機(jī)器人在走廊中受力圖五圖走廊圖像圖平滑處理結(jié)果圖邊緣檢測結(jié)果圖直線提取結(jié)果圖墻腳線識別結(jié)果圖重疊效果圖圖視覺偏移圖圖視覺偏移圖處理結(jié)果圖帶障礙物走廊圖圖障礙物處理結(jié)果圖路徑規(guī)劃仿真系統(tǒng)圖仿真結(jié)果圖一圖仿真結(jié)

4、果圖二圖起點偏離中線仿真結(jié)果圖一圖起點偏離中線仿真結(jié)果圖二獨(dú)創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作和取得的研究成果，除了文中特別加以標(biāo)注和致謝之處外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得北京交通大學(xué)或其他教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示了謝意。學(xué)位論文作者簽名：彳注斯字簽字日期：二口一年月工日學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解北京交通大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定。特授權(quán)北京交通大學(xué)可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，提供閱覽服務(wù)，并采用影

5、印、縮印或掃描等復(fù)制手段保存、匯編以供查閱和借閱。同意學(xué)校向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和磁盤。（保密的學(xué)位論文在解密后適用本授權(quán)說明）學(xué)位論文作者簽名：彳墨新寺導(dǎo)師簽名：、礦勘晾簽字日期：，口年月塒簽字日期：如年月砰致謝本論文的工作是在我的導(dǎo)師王奇志副研究員的悉心指導(dǎo)下完成的，王奇志副研究員嚴(yán)謹(jǐn)?shù)闹螌W(xué)態(tài)度和科學(xué)的工作方法給了我極大的幫助和影響。在此衷心感謝兩年來王奇志老師對我的關(guān)心和指導(dǎo)。王奇志老師不僅在學(xué)術(shù)上對我悉心教導(dǎo)，而且在生活中就像是一位家長，她不僅跟我討論人生的許多重要問題，而且在生活細(xì)節(jié)中也對我很關(guān)心，在此由衷的感謝王奇志老師對我所做的一切。瞿有利副教授對我的論文提出了許多

6、的寶貴意見，在此表示衷心的感謝。由衷感謝孫永奇老師在我導(dǎo)師出國階段對我的指導(dǎo)和幫助。在實驗室工作及撰寫論文期間，曹萌萌、王承啟、李書杰、陳思勇、邵進(jìn)智、孫興中等同學(xué)對我論文中的機(jī)器人導(dǎo)航系統(tǒng)的研究工作給予了熱情幫助，在此向他們表達(dá)我的感激之情。另外也感謝家人程林，董正琴，他們的理解和支持使我能夠在學(xué)校專心完成我的學(xué)業(yè)。序機(jī)器人導(dǎo)航的研究起源于二十世紀(jì)六十年代。導(dǎo)航的概念是機(jī)器人通過傳感器感知環(huán)境和自身狀態(tài)，運(yùn)用智能算法以實現(xiàn)機(jī)器人的各種功能。在機(jī)器人系統(tǒng)的眾多傳感器中，視覺傳感器由于其獲得信息量豐富、非接觸式采集等特點成為機(jī)器人系統(tǒng)中必不可缺少的一個設(shè)備。隨著機(jī)器人計算機(jī)硬件技術(shù)的飛速發(fā)展極大

7、的提高了圖像處理的速度，降低了視覺傳感器的價格。對于基于視覺伺服系統(tǒng)的機(jī)器人導(dǎo)航系統(tǒng)的研究也隨著視覺傳感器的廣泛應(yīng)用而飛速發(fā)展，并使其在工業(yè)農(nóng)業(yè)生產(chǎn)、國防、勘探等眾多領(lǐng)域成功應(yīng)用。引言機(jī)器人導(dǎo)航主要解決的問題有以下三個方面：、通過一定的檢測手段獲取機(jī)器人在空間中的位姿以及所處環(huán)境的信息，其中包括目標(biāo)點、障礙物以及自身與環(huán)境之間關(guān)系的信息。、通過一定的算法對機(jī)器人搜集到的自身以及環(huán)境信息建立環(huán)境模型。其環(huán)境模型可以是局部的也可以是全局的。、根據(jù)機(jī)器的任務(wù)，應(yīng)用不同的導(dǎo)航算法，對機(jī)器人進(jìn)行運(yùn)動控制。本文主要研究的內(nèi)容是基于視覺傳感器來獲取機(jī)器人自身位姿和環(huán)境信息從而完成機(jī)器人任務(wù)的導(dǎo)航系統(tǒng)。其中學(xué)

8、術(shù)界把這部分利用視覺信息對機(jī)器人進(jìn)行控制伺服的系統(tǒng)稱為視覺伺服系統(tǒng)。國內(nèi)外研究現(xiàn)狀目前，機(jī)器人視覺伺服系統(tǒng)已經(jīng)成功應(yīng)用于機(jī)器人的各個領(lǐng)域，單目視覺廣泛應(yīng)用于工業(yè)機(jī)器人、機(jī)器人足球、移動機(jī)器人、特種機(jī)器人等領(lǐng)域。其中由美國摩星公司開發(fā)的宙斯外科機(jī)器人就是一個很成功的應(yīng)用。其由外科醫(yī)生控制臺和條連接在手術(shù)臺上的手臂組成，其不僅可以進(jìn)行普通的手術(shù)操作，而且其中一條裝有內(nèi)窺鏡的手臂還可以進(jìn)行體內(nèi)手術(shù)。雙目視覺適用于需要三維信息的應(yīng)用領(lǐng)域，其在工業(yè)機(jī)器人、移動機(jī)器人、人形機(jī)器人中具有廣泛的應(yīng)用。其中最著名的是年日本公司推出的犬型機(jī)器人愛寶（），當(dāng)即銷售一空，目前已經(jīng)推出了第七代，該娛樂機(jī)器人不僅擁有可以

9、識別出主人的視覺伺服系統(tǒng)，而且還有能感覺到觸摸的仿真皮膚和識別主人指令的智能聲音系統(tǒng)。雖然當(dāng)今基于視覺的機(jī)器人導(dǎo)航系統(tǒng)已經(jīng)有了廣泛的應(yīng)用，但是視覺伺服系統(tǒng)與機(jī)器人其他部件的配合，如與機(jī)械手的配合遠(yuǎn)沒有人和手眼配合的那么默契。目前視覺伺服系統(tǒng)下在向著多個方向發(fā)展。視覺自學(xué)習(xí)與模糊測量的提出是針對目前機(jī)器人視覺系統(tǒng)采用的攝像機(jī)模型大部分是四參數(shù)或五參數(shù)的小孔模型，即攝像機(jī)內(nèi)參數(shù)固定從而導(dǎo)致的其無法使用變焦攝像機(jī)問題。自學(xué)習(xí)的思想是系統(tǒng)根據(jù)環(huán)境信息對攝像機(jī)內(nèi)參數(shù)不斷進(jìn)行自學(xué)習(xí)從而達(dá)到自修正效果。而模糊測量的思想是避開目標(biāo)物三維重建，即忽略目標(biāo)物深度信息，而采用目標(biāo)物其他信息對機(jī)器人進(jìn)行導(dǎo)航。仿人視覺

10、控制的提出是考慮人類手眼之、日的協(xié)調(diào)是個非常復(fù)雜、全局和自適應(yīng)的學(xué)習(xí)過程。目前模糊推理、神經(jīng)網(wǎng)絡(luò)及遺傳算法等各種智能計算方法分別都是對人類智能的過程、結(jié)構(gòu)和行為等方面的模擬。所以，現(xiàn)在也有學(xué)者提出模仿人類的視覺控制模式，構(gòu)造多輸入、多層次、多模型的視覺智能控制器。視覺信息融合一直是一個熱點研究方向，其主要考慮將機(jī)器人配備的多種傳感器所采集到的多種信息進(jìn)行綜合融合處理。其不僅可以利用各種傳感器的優(yōu)點，而且對機(jī)器人導(dǎo)航系統(tǒng)的可靠性也有著重要的作用。論文研究內(nèi)容本文共分為五章，除了本章其余各章的內(nèi)容安排如下：第二章，對基于視覺的導(dǎo)航系統(tǒng)進(jìn)行了介紹。其中我們對視覺伺服系統(tǒng)進(jìn)行了詳細(xì)的分類和介紹。并對基

11、于視覺伺服系統(tǒng)的導(dǎo)航系統(tǒng)進(jìn)行了原理性的闡述。第三章，整體介紹了雙目變焦攝像機(jī)測距系統(tǒng)的結(jié)構(gòu)，使用的圖像處理算法以及核心測距算法，并對該算法進(jìn)行了詳細(xì)的分析，最后對測距系統(tǒng)的實驗結(jié)果進(jìn)行了分析。第四章，整體介紹了走廊視覺導(dǎo)航系統(tǒng)的結(jié)構(gòu)，使用的相關(guān)核心算法，并對其中的兩個核心模塊，視覺伺服系統(tǒng)，路徑規(guī)劃系統(tǒng)進(jìn)行了闡述和分析，最后對實驗結(jié)果進(jìn)行了展示和分析。第五章，結(jié)束語。視覺導(dǎo)航系統(tǒng)概述視覺伺服系統(tǒng)綜述機(jī)器人視覺伺服系統(tǒng)【通常被定義為：利用圖像處理、模式識別等手段對一幅或多幅圖像進(jìn)行計算機(jī)分析，通過建模獲得三維世界的符號描述和解釋，最終對機(jī)器人提供伺服的系統(tǒng)。機(jī)器人視覺伺服系統(tǒng)以機(jī)器人的控制為目的

12、，自動獲取圖像并分析，圖像的分析結(jié)果參與機(jī)器人的控制決策。機(jī)器人視覺伺服系統(tǒng)最突出的特點是其對系統(tǒng)實時性的要求很高。根據(jù)攝像機(jī)數(shù)目分類根據(jù)攝像機(jī)的數(shù)目不同視覺伺服系統(tǒng)可以分為單目視覺伺服系統(tǒng)、雙目視覺伺服系統(tǒng)和多目視覺伺服系統(tǒng)。單目視覺伺服系統(tǒng)【】無法直接獲得目標(biāo)的三維坐標(biāo)，所以一般基于單目的視覺系統(tǒng)只是提取目標(biāo)物體的特征，只能得到目標(biāo)物體在二維平面內(nèi)的相對位置?，F(xiàn)在也有通過運(yùn)動補(bǔ)償來獲得深度信息。但是對連續(xù)運(yùn)動的攝像機(jī)拍攝的圖片提取出的物體深度信息很難保證其精確性。雙目視覺伺服系統(tǒng)的應(yīng)用主要在于其可以提取出目標(biāo)的三維坐標(biāo)，這些信息可以直接調(diào)整機(jī)器人導(dǎo)航中的運(yùn)動參數(shù)。但是傳統(tǒng)的三維提取需要首先

13、知道攝像機(jī)的準(zhǔn)確焦距信息，而且還需要針對該攝像頭的畸變參數(shù)進(jìn)行圖像矯正。隨后就是對左右攝像機(jī)分別采集到的圖像中的目標(biāo)特征點進(jìn)行匹配，最后利用其相互關(guān)系推算出目標(biāo)點的深度信息。首先系統(tǒng)的精確度依賴于攝像機(jī)焦距信息的獲得，而對于可變焦攝像機(jī)，其焦距信息隨時間不斷變化，故系統(tǒng)只能使用定焦攝像機(jī)。由于攝像機(jī)出廠時提供的焦距信息并不準(zhǔn)確，在實際應(yīng)用中，我們需要對攝像機(jī)進(jìn)行重新標(biāo)定以測出攝像機(jī)準(zhǔn)確的焦距?，F(xiàn)在被大家廣泛接受的攝像機(jī)標(biāo)定算法是的定標(biāo)算法和張正友【】的平面標(biāo)定法。提出的定標(biāo)算法的核心是利用徑向一致約束來求解除，（攝像機(jī)光軸方向的平移）外的其它攝像機(jī)外參數(shù)，然后再求解像機(jī)的其它參數(shù)?；诜椒ǖ淖?/p>

14、大好處是它所使用的大部分方程是線性方程，從而降低了參數(shù)求解的復(fù)雜性。其具體算法如下：世界坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的映射關(guān)系為公式小菩（）雕引億，設(shè)）為一個點的數(shù)字化坐標(biāo)，）為理想的數(shù)字化坐標(biāo)，（“。為畸變中心。則在圖像平面上，夏（均，），“共線，則有：等等（），一心，一、則由式和式可以到：（）“。，】，廠”等捌將其帶入式中可以得到式（）一堅，工一（）（）（）然后由輸入至少七組標(biāo)定點（實際中會采集至少組標(biāo)定點）以及解出式中的個變量。然后再根據(jù)秩為的特性來選擇合適的，。假設(shè)（），“力，）共線且斜率為（即假設(shè)攝像機(jī)只有徑向畸變）則有一。一。（）一心，一（）再將式和式代入式和式中可以得到一“（）廠（吩

15、）既我們可以對式和式進(jìn)行非線性優(yōu)化來估計出（）（）在張友的平面標(biāo)定法中也利用式作為基本的關(guān)系方程，其中設(shè)定模板平面在世界坐標(biāo)系的平面上，則式變形為；。岳吒，亨（，在張正友的定標(biāo)模型中采用了五參數(shù)模型“。（）【在該內(nèi)參數(shù)模型中表示攝像機(jī)鏡片沿軸方向上的焦距，表示鏡片沿軸方向上的焦距，），表示鏡片在兩個軸上的畸變。表示鏡片中心軸坐標(biāo)，表示鏡片中心軸坐標(biāo)。在式中設(shè)力爿仁【其中，表示模板點沿軸旋轉(zhuǎn)的旋轉(zhuǎn)矩陣，表示模板點沿軸旋轉(zhuǎn)的旋轉(zhuǎn)矩陣，表示模版點平移矩陣。則進(jìn)一步整理日可以得到：啊，：由于兩個旋轉(zhuǎn)矩陣的正交性則有廠如和，。代入可以得到，（）（）將式和式（）一一：一一（）對于式和式一共只有五參數(shù)模型中

16、的五個變量，可以用很多組模板點和對應(yīng)圖片點來估計出這五個變量。由于標(biāo)定本身就存在誤差再由于模式識別的精度影響，其實最終只依靠雙目視覺來精確定位物體位置的視覺系統(tǒng)并不常見。其次由于其大量的視覺模式識別匹配運(yùn)算，使得很難保證系統(tǒng)運(yùn)作的平滑性。最后是多視覺伺服系統(tǒng)，因為由多個攝像機(jī)組成，使其可以觀察到目標(biāo)的不同部分，可以得到目標(biāo)更多的信息。因此整個視覺控制器的設(shè)計就有了相當(dāng)大的靈活性和復(fù)雜性。而其最大的挑戰(zhàn)就是系統(tǒng)的穩(wěn)定性，以及適應(yīng)性。根據(jù)攝像機(jī)放置位置分類在機(jī)器人視覺伺服系統(tǒng)中，根據(jù)攝像機(jī)的放置位置不同，可以將其分為手眼視覺伺服系統(tǒng)和固定攝像機(jī)視覺伺服系統(tǒng)。瘩奎遵厶堂亟生拉監(jiān)奎丑覺昱越亟統(tǒng)攝蓬手眼

17、視覺伺服系統(tǒng)如圖，圖所示，其是將攝像機(jī)置于機(jī)器人的運(yùn)動器件末端（如手臂前端），手眼系統(tǒng)能夠得到目標(biāo)的精確位置，但是由于其置于機(jī)器人術(shù)端所以其視野很有限，能得到小工作空且場景而且其對機(jī)器人的位姿很敏感，所以相應(yīng)的對機(jī)器人的運(yùn)動學(xué)誤差和目標(biāo)的定位誤差也很敏感圖手服視覺機(jī)械手如￥蚓蛇形機(jī)器固定攝像機(jī)伺服系統(tǒng)是將攝像機(jī)置于機(jī)器人頂端，于機(jī)器人整體聯(lián)為一體，既其在機(jī)器人自身坐標(biāo)系中是固定的。由于該視覺伺服系統(tǒng)可以同時觀察到機(jī)器人的末端和目標(biāo)物，則相應(yīng)的減少了目標(biāo)與機(jī)器人位姿之間的敏感度。其次，由十固定攝像機(jī)伺服系統(tǒng)所得到的視野比較大，所以不會出現(xiàn)手眼視覺伺服系統(tǒng)常遇到的丟失目標(biāo)問題（目標(biāo)處于視野范圍之外

18、）。根據(jù)視覺伺服系統(tǒng)的控制模型分類第三種分類是把視覺伺服系統(tǒng)分為基于位置的視覺伺服系統(tǒng)和基于圖像的視覺伺服系統(tǒng)。基于位置的視覺伺服系統(tǒng)結(jié)構(gòu)罔細(xì)圖所示。，、一，女女自十目镕镕一酬基伊肖的視覺伺服結(jié)構(gòu)創(chuàng)”這種系統(tǒng)首先利用視覺傳感器提（出日標(biāo)的三維信息，井算出其，機(jī)器人蘸童位姿之間的關(guān)系。然后再直接利用關(guān)系信息和期望位姿之間在笛卡兒空間中的關(guān)系來控制機(jī)器人下一步的運(yùn)動。這種視覺伺服系統(tǒng)與基于圖像的視覺伺服系統(tǒng)最大的區(qū)別在于，基于位置的視覺伺服系統(tǒng)必須首先提取出目標(biāo)的位置信息，即三維重建。也由于其重點利用從圖像中獲得的目標(biāo)的位置信息與機(jī)器人的位姿關(guān)系，所以導(dǎo)致其對攝像機(jī)標(biāo)定誤差，目標(biāo)的定位誤差，機(jī)器人

19、的運(yùn)動學(xué)誤差都相當(dāng)敏感?；趫D像的伺服系統(tǒng)結(jié)構(gòu)剛】如圖所示。回怔匭困匾匝圓圓圖基于圖像的視覺伺服結(jié)構(gòu)圖基于圖像的視覺伺服系統(tǒng)將圖像的平面信息直接用于機(jī)器人的控制?？刂葡到y(tǒng)產(chǎn)生的誤差主要來自于平面圖像的特征信息，其不需要進(jìn)行目標(biāo)環(huán)境的三維重建其利用一種反映圖像信息和機(jī)器人位置變化關(guān)系的工具，雅克比矩陣【胴（最早由提出）來計算求解。，）（）僻阡瓠）瓠）劫。印。既）。城）印印。（）式中的廠”為圖像特征參數(shù)矢量集。廠為圖像特征在空間中相應(yīng)的變化速度量。為機(jī)器人末端執(zhí)行器或目標(biāo)物等目標(biāo)點在機(jī)器人坐標(biāo)系中的坐標(biāo)，其中為目標(biāo)點在機(jī)器人坐標(biāo)系中相應(yīng)的速度量。式反映了目標(biāo)點在機(jī)器人坐標(biāo)系中的運(yùn)動與特征點在攝像機(jī)

20、捕獲的圖片上的運(yùn)動的映射關(guān)系。其中，（）附“就為雅克比矩陣，也稱作特征敏感矩陣，其反映了機(jī)器人運(yùn)動空間與所選擇的圖像特征空問的微分映射關(guān)系?，F(xiàn)假設(shè)目標(biāo)點在機(jī)器人坐標(biāo)系中坐標(biāo)為】，由小孔成像原理可以得到“：（）其中九為攝像機(jī)的焦距。設(shè)。：】為目標(biāo)點沿三個軸的旋轉(zhuǎn)分量矩陣，仁【瓦乃嘲為平移運(yùn)動矩陣，則可以得到多：（）將代入式可以到三個微分方程二：一坦疋（）工一（。竿哆一：弓（）（）哆一（三；一）互（）了暇一：（將其代入式可得到二五等耋瓦一正一了竿曠（）；型；堅耋巧一詈互等一笙蛾“吐（）繹過罄理就可以得到等式臥害。一一了廣三一蘭型一九九（）則定義系統(tǒng)圖像特征為產(chǎn)【”川，而【瓦巧疋。：】。根據(jù)雅克比矩

21、陣的定義可以得到耋。一量一等半一九蘭一蘭塹善）”（）由式可以看出，圖像的雅可比矩陣不僅與攝像機(jī)的內(nèi)參數(shù)有關(guān)，而且與目標(biāo)點在機(jī)器人坐標(biāo)系中的深度信息以及目標(biāo)點在圖像中的初始位置有關(guān)。并且計算雅克比矩陣需要大量的時間，系統(tǒng)還可能陷入圖像雅克比矩陣的奇異點從而導(dǎo)致整個系統(tǒng)的不穩(wěn)定?；谖恢玫囊曈X伺服系統(tǒng)直接利用目標(biāo)點在機(jī)器人空問中的坐標(biāo)來控制機(jī)器人運(yùn)動，基于圖像的視覺伺服系統(tǒng)直接利用攝像機(jī)獲得的圖像信息來控制機(jī)器人吐，一”運(yùn)動，為了解決上述兩類視覺伺服系統(tǒng)的缺陷，提出了一種的視覺伺服方法，其結(jié)構(gòu)如圖烹曼獸厘叵圈固，亙塑恤型到怔叫世型蘭竺竺竺竺坌竺蘭堡竺竺竺蘭圖視覺伺服結(jié)構(gòu)圖其主要算法思想是在已知攝像

22、機(jī)內(nèi)參數(shù)的前提下，計算當(dāng)前圖像特征與理想圖像特征的單應(yīng)性矩陣，在幾何中，單應(yīng)性矩陣滿足如下式中的關(guān)系只（）其中層為目標(biāo)在當(dāng)前圖像中點集坐標(biāo)，為點集在理想圖像中的坐標(biāo)。為正系數(shù)。以上考慮的情況是所有的點都在系統(tǒng)的參考平面上（與攝像機(jī)水平的平面）。如果目標(biāo)點集不在系統(tǒng)的參考平面內(nèi)，則需要加入新的系數(shù)來調(diào)整式，既得到式乞（）其中表示第個點的系數(shù)，且當(dāng)該點屬于參考平面兀時，是一個正系數(shù)，其描述點在理想坐標(biāo)和現(xiàn)實坐標(biāo)中值的旋轉(zhuǎn)關(guān)系。其中】為當(dāng)前圖片中的系數(shù)。其中我們說伺服系統(tǒng)利用了基于位置的視覺伺服系統(tǒng)和基于圖像的視覺伺服系統(tǒng)，是指該系統(tǒng)模型（式）中的錯誤控制系統(tǒng)一部分是直接利用笛卡爾空間信息來獲得，一

23、部分是直接利用圖像空間來獲得。而單應(yīng)矩陣的計算則完全是利用了圖像空間。其中單應(yīng)矩陣為式，刀（）口其中和為當(dāng)前攝像機(jī)位姿與理想攝像機(jī)位姿之間的旋轉(zhuǎn)矩陣和平移矩陣。為單位矢量，其為理想平面在參考平面兀中的表示。表示理想平面與參考平面之間的距離。最后我們將式提出的信息交給圖所示的旋轉(zhuǎn)控制規(guī)則，將信息交給位置控制信息。從而完成了整個系統(tǒng)?；谝曈X伺服系統(tǒng)的機(jī)器人導(dǎo)航系統(tǒng)綜述機(jī)器人導(dǎo)航是一個及仿生學(xué)、機(jī)器人運(yùn)動學(xué)、模式識別等多學(xué)科交叉的應(yīng)用方向。這里我們主要介紹基于視覺伺服系統(tǒng)的機(jī)器人導(dǎo)航系統(tǒng)。基于視覺伺服系統(tǒng)的自主機(jī)器人導(dǎo)航可以細(xì)分為三種模式：基于地圖的機(jī)器人導(dǎo)航系統(tǒng)，基于光流的機(jī)器人導(dǎo)航系統(tǒng)和基于環(huán)

24、境的機(jī)器人導(dǎo)航系統(tǒng)。在基于地圖的機(jī)器人導(dǎo)航系統(tǒng)中，首先提供給機(jī)器人一張環(huán)境地圖，然后機(jī)器人根據(jù)地圖內(nèi)的特征信息來規(guī)劃路徑指導(dǎo)機(jī)器人自主導(dǎo)航。基于地圖的機(jī)器人導(dǎo)航系統(tǒng)又可以分為絕對定位導(dǎo)航系統(tǒng)和增量定位導(dǎo)航系統(tǒng)。絕對定位導(dǎo)航系統(tǒng)【】是在機(jī)器人運(yùn)動環(huán)境中預(yù)設(shè)地標(biāo)，而機(jī)器人在運(yùn)動過程中不斷檢測自己位姿與地標(biāo)之間的關(guān)系，再根據(jù)地圖信息來自主進(jìn)行導(dǎo)航。相對定位導(dǎo)航，增量定位主體思想與絕對定位相同，只是機(jī)器人不必實時檢測地標(biāo)而直到機(jī)器人處于某種矛盾狀態(tài)或達(dá)到時間閾值時才對地標(biāo)進(jìn)行檢測并重新調(diào)整機(jī)器人的位姿。因此對于基于地圖的機(jī)器人導(dǎo)航系統(tǒng)視覺伺服系統(tǒng)主要的任務(wù)是地標(biāo)的特征提取。光流場是基于光流的機(jī)器人導(dǎo)航

25、系統(tǒng)的核心概念，光流場最早是由和【】提出的。當(dāng)人眼觀察到運(yùn)動物體時物體的景象會在人眼的視網(wǎng)膜上形成一系列連續(xù)變化的圖像。這些相關(guān)的，連續(xù)變化的信息流就稱之為光流。光流記錄了目標(biāo)運(yùn)動變化的信息。而光流法的思想就是運(yùn)動的目標(biāo)物體所產(chǎn)成的光流場與背景所產(chǎn)成的光流場是不同的。假設(shè)在時刻時環(huán)境中的某一點在圖像上的坐標(biāo)為，），其灰度值為弘），在時刻斫時，這一點運(yùn)動到新的位置，其在下一幅圖像上的位置變?yōu)椋?，緲），其狄度值為，斫）?，F(xiàn)假設(shè)物體的狄度值在相鄰兩幀圖像中是不變的，則可以得到式（，）（，（）將（，斫）泰勒展開可以得到式（似）似擊詈。盎（）寺，高階項，曼缸蘇；、其中忽略式中的二次高階項可以得到式研研）

26、只）詈噦町（）咖。、一帶入式可以得到式孵緲以（）們、一同時對式中各項除以則得到光流場的基本約束方程式瓦瓦詈砉署一（）礬鞏厶。其也可以表示為常見的梯度形式勺）百（）優(yōu)、其中害霧“）（）西卜。誓爹億，缸西卜。在這里“）就為我們定義的光流場中某點的運(yùn)動變化量。由式可以看出，該約束方程一共有兩個變量“），但只有一個約束方程所以無法解出“）。要使方程有解必需加入另外的約束條件。國內(nèi)外學(xué)者對這個問題提出了很多約束模型。如傳統(tǒng)的約束模型【】為式（塞）（考）（塞）考）。，這里假設(shè)光流場中相鄰點具有連續(xù)性，即點在光流場中的運(yùn)動不會突變這也是我們常說平滑約束條件。但這個約束條件不總合理，在物體邊緣的點就不一定滿足

27、這個約束條件。也有學(xué)者從基本假設(shè)入手挖掘出新的約束條件。前面我們只是在狄度圖上進(jìn)行光流法的討論研究，而如果將光流法應(yīng)用在彩色圖像【】上則可以將式擴(kuò)展為如下三個算式勰一西陽西砂一西鈔一研塑砂箜砂缸一西蘇一西勰一知粥一鋤融兩、一一一百（）其中尺（礬衛(wèi)衛(wèi)）分別表示某點的紅，綠，藍(lán)三個顏色通道的值，而且中各式相互獨(dú)立，則此時我們就得到了三個約束方程但只有（“，）兩個變量，即得到一個超定方程組，這個問題我們可以用反轉(zhuǎn)求解法柬求解。但是后來一些學(xué)者發(fā)現(xiàn)，該方法在處理平行于投影平面的運(yùn)動時可以得到較為精確的結(jié)果，但處理轉(zhuǎn)動和與投影面有交角的運(yùn)動時，計算誤差很大?；诃h(huán)境的機(jī)器人導(dǎo)航系統(tǒng)主要通過對機(jī)器人運(yùn)動環(huán)

28、境的特征檢測來相對定位機(jī)器人。該導(dǎo)航系統(tǒng)最重要的工作就是對機(jī)器人環(huán)境和目標(biāo)進(jìn)行三維重建。簡單的三維重建只需要提取機(jī)器人運(yùn)動環(huán)境中相對穩(wěn)定的特征，如天花板，地腳線等。圖就是一個具體實例【”幽磚幽嶺幽凸叢臼幽臼幽削環(huán)境特征提取該組圖片是利用視覺對機(jī)器人走廊導(dǎo)航的環(huán)境特征進(jìn)行提取。而且這組圖片也反映了環(huán)境識別的大體算法流程。首先對于環(huán)境特征識別我們一般只考慮形狀特征。所首先進(jìn)擇扶度化，去掉圖片的顏色信息，這樣可以堿少信息量。其次，由于攝像機(jī)拍攝的圖片會受到環(huán)境本身的噪點和機(jī)械信號的噪點影響，這些離散的干擾點會影響最后的識別效果，所以一般在對圖像進(jìn)行模式識別之靜會進(jìn)行圖像平滑處理。然后就是我們環(huán)境識別

29、的核心算法，邊緣檢測算法。該實例中使用邊緣檢測算法求出所有圖像局部亮度變化最顯著的部分，既邊緣部分。然后再提取出邊緣圖像中的線段。最后在只有直線線段的圖上二值化處理，就可以得到一張可以直接用于導(dǎo)航的環(huán)境地圖信息。在這張圖中，我們可以通過雙日計算墻壁邊緣的深度信息，從而建立一個只有骨架的三維空間結(jié)構(gòu)，從而進(jìn)行機(jī)器人導(dǎo)航。但該方法對環(huán)境要求苛刻，復(fù)雜的三維重建可以利用激光掃描儀獲得更精確的數(shù)據(jù)，圖就是一幅激光掃描儀得到的成像圖。圖激光掃描儀成像圍甘從這幅圖中可以清楚地得到物體的詳細(xì)深度信息。但激光掃描儀價格昂貴，這也是其應(yīng)用的一個瓶頸。用于復(fù)雜三維重建的視覺伺服系統(tǒng)【目，其算法還是基于最原始的焦距

30、，深度信息的集臺關(guān)系。即首先計算出左右兩幅視覺圖中各點在攝像機(jī)坐標(biāo)下的三維坐標(biāo)，然后根據(jù)這些信息來組建一幅視差圖，由于整張視差圖中存在大量的離散點和冗余信息、噪音信息。而且實時構(gòu)建如此大數(shù)據(jù)量的視差圖，并對視差圖進(jìn)行去噪，修復(fù)處理就已經(jīng)花費(fèi)了相當(dāng)多時間。如果再利用這張具有很多信息的圖直接對機(jī)器人進(jìn)行導(dǎo)航，其對機(jī)器人的實時性的影響是很可怕的。所以必需對視差圖進(jìn)行處理，以減少所提供的信息量，最終經(jīng)過處理后就可以得到用于實際機(jī)器人導(dǎo)航的視覺導(dǎo)航圖。傳統(tǒng)的視差圖處理方法是對視差圖進(jìn)行分格顯示，即劃定某個閾值方形區(qū)域作為分格示圖的基本單位，一個小方形區(qū)域只有一個高度值。對于分格的規(guī)則沒有精確的數(shù)學(xué)模型，

31、一般只是基于大量環(huán)境試驗得到的經(jīng)驗。如對包含目標(biāo)物體（包括障礙物）的區(qū)域選取該區(qū)域內(nèi)的最高值作為潑區(qū)域的值，對于不包含障礙物的方形區(qū)域選擇高度的平均值作為改區(qū)域的值。如果區(qū)域內(nèi)包含了目標(biāo)物體的邊緣，則根據(jù)目標(biāo)物體落入點的數(shù)目確定該區(qū)域的值。除了以上的視覺導(dǎo)航算法目前也有許多學(xué)者把人工神經(jīng)網(wǎng)絡(luò)等機(jī)器自學(xué)習(xí)系統(tǒng)引入了基于視覺的機(jī)器人導(dǎo)航系紺并取得了很好的試驗效果。雙目變焦攝像機(jī)測距系統(tǒng)在機(jī)器人導(dǎo)航系統(tǒng)中，測距系統(tǒng)可以為機(jī)器人導(dǎo)航系統(tǒng)提供諸如目標(biāo)點深度，障礙物深度、尺寸等環(huán)境信息，其是機(jī)器人導(dǎo)航系統(tǒng)中的重要組成部分。而基于雙目視覺的立體測距系統(tǒng)不僅能夠從雙目視覺模型中得到物體的深度信息。而且其不受傳

32、感器距離的限制，并且能夠提供諸如目標(biāo)物顏色，尺寸，以及與環(huán)境關(guān)系等與導(dǎo)航系統(tǒng)決策至關(guān)重要的信息。本章中我們將介紹一個雙目變焦攝像機(jī)測距系統(tǒng)。該視覺伺服系統(tǒng)是采用我們自主研發(fā)的基于雙目變焦攝像機(jī)的測距算法，該算法擺脫了傳統(tǒng)測距算法中對攝像機(jī)焦距的依賴，而依賴雙目攝像機(jī)轉(zhuǎn)動角度來對目標(biāo)物體進(jìn)行測距。我們在實驗室內(nèi)對該系統(tǒng)進(jìn)行了大量的實驗，并得到了很好的實驗結(jié)果。背景介紹在機(jī)器人導(dǎo)航系統(tǒng)中，傳統(tǒng)的測距設(shè)備包括紅外傳感器，聲納傳感器，激光傳感器，等多種傳感器。其中激光傳感器是至今為止準(zhǔn)確度最高的測距傳感器，：目標(biāo)物：兩攝像機(jī)中心距離：右攝像機(jī)焦距：左攝像機(jī)焦距：目標(biāo)物體深度工：目標(biāo)在右視圖上的位移砣：

33、目標(biāo)在左視圖上的位移圖雙目視籌原理圖但它高昂的價格也使其使用受到了很大的限制。聲納傳感器和紅外傳感器只能提供物體大致方位無法為導(dǎo)航系統(tǒng)提供準(zhǔn)確的環(huán)境信息，而基于雙目視覺的立體測距系統(tǒng)可以彌補(bǔ)這樣缺陷。傳統(tǒng)的雙目測距系統(tǒng)是利用雙目視差原型刀，如圖所示，圖中目標(biāo)物在左右眼攝像機(jī)中分別成像，。則由主光軸和成像光軸可以組成兩組三角形。其中我們根據(jù)三角形相似原理可以得到詈（）石，主（）屯五，日這里，我們假設(shè)左右兩攝像機(jī)焦距相等都等于廠，式和式代入式整理可以得到。（）即石五。我們將（）西而、一一【拋（）名；霉，其中為比例常數(shù)，這里我們設(shè)置空間坐標(biāo)轉(zhuǎn)換矩陣行拍照，則可以得到且是固定不變的?！?，此時兩個攝像機(jī)

34、同時對一個目標(biāo)物進(jìn)：聊：（）此時由于目標(biāo)物位置相同，既有砭（）由于攝像機(jī)的內(nèi)參數(shù)和旋轉(zhuǎn)矩陣日已經(jīng)在攝像機(jī)標(biāo)定過程中確定，所以方程組中有五個未知數(shù)和六個方程組。則可以使用最小二乘法來進(jìn)行求解，但是實驗結(jié)果并不理想。于是有的學(xué)者提出用投影法來求解該問題【】。首先，我們將號攝像機(jī)的坐標(biāo)系設(shè)為世界坐標(biāo)系，則此時：與：的坐標(biāo)系相同，即，為單位矩陣，而為零矩陣，則此時式變形為聊，：，（）【聊一我們設(shè)陬砌（）卜口口（）口口吩其中，將式和式代入式并消去和可以得到式和式。卜：磐。，（一）兩個方程組中一共有四個方程，三個變量，則我們可以依次計算出目標(biāo)物體的深度信息。由本節(jié)描述的方法可以看出，現(xiàn)在傳統(tǒng)的雙目測距算法

35、都是在共軛立體圖像上對物體深度進(jìn)行測算，而且算法的準(zhǔn)確性很大程度上依賴于攝像機(jī)焦距的準(zhǔn)確性。由于算法對焦距的依賴就限定了立體視覺伺服系統(tǒng)只能應(yīng)用于定焦攝像機(jī)，這一點不僅影響了立體視覺伺服系統(tǒng)的發(fā)展而且也使采集來的圖像出現(xiàn)一定程度的模糊，從而對接下來的模式識別產(chǎn)生負(fù)面影響。系統(tǒng)結(jié)構(gòu)一一“甜弦孫弘“”一一皈涉涉如嘶一一皈島既一一拙噩強(qiáng)厶生殛：羔立監(jiān)毫塑目鸞簋盤鯉扭刮墅垂蘊(yùn)硬件結(jié)構(gòu)本視覺伺服系統(tǒng)是在機(jī)器人平臺上實現(xiàn)，機(jī)器人配置為，內(nèi)存，采用操作系統(tǒng)，雙目攝像機(jī)為彩色攝像機(jī)，兩臺攝像機(jī)之間的距離為厘米，攝像頭分辨率為。雙目變焦攝像機(jī)測距系統(tǒng)外觀如闊所示。邏輯結(jié)構(gòu)囝烈日變偉攝像機(jī)測距系統(tǒng)盯砌雙目變焦攝像

36、機(jī)測距系統(tǒng)有兩個部分組成：目標(biāo)物識別系統(tǒng)，目標(biāo)物測距系統(tǒng)。目標(biāo)物識別系統(tǒng)將物體從彩色空間中轉(zhuǎn)換到彩色空問中，并對物體進(jìn)行識別和定位。目標(biāo)物測距系統(tǒng)將識別系統(tǒng)得到的目標(biāo)物位置信息作為機(jī)器人雙目測距的控制依據(jù)，調(diào)整兩個攝像頭的轉(zhuǎn)動角度和位姿。并蛀終得到目標(biāo)物的深度信息。該系統(tǒng)的軟件流程圖為所示。當(dāng)錮幔系統(tǒng)啟動以后，系統(tǒng)首先檢查視覺采集設(shè)備是否啟動、連接成功。如果成功則開始進(jìn)行雙目視覺采集。當(dāng)雙目系統(tǒng)圖像采集成功后，我們將對采集柬的圖像進(jìn)行色彩宅日的轉(zhuǎn)換，并在彩色空玎中對目標(biāo)物進(jìn)行識別和定位。如果此時標(biāo)物被積目攝像機(jī)檢測到，則我們進(jìn)一步根據(jù)目標(biāo)物的定位信息和兩個攝像頭的轉(zhuǎn)動角度運(yùn)行測距算法。否則，我

37、們將驅(qū)動攝像機(jī)旋轉(zhuǎn)，掃描整個視覺窄尋找目標(biāo)物，如果仍然沒有找到標(biāo)物程序?qū)箦e退出。由于我們的測距系統(tǒng)需要將兩個攝像機(jī)調(diào)整到相似的角度，以盡量減小系統(tǒng)誤差，所以程序還會根據(jù)系統(tǒng)的當(dāng)前狀態(tài)不斷的調(diào)整攝像機(jī)的旋轉(zhuǎn)角度，甚至包括調(diào)整機(jī)器人的位姿，以使雙目測距系統(tǒng)的系統(tǒng)誤差降至最小，系統(tǒng)準(zhǔn)確度盡可能的提高。圖雙日變焦攝像機(jī)測距系統(tǒng)軟件流稃圖模式識別系統(tǒng)模式與模式一般我們接觸的圖片都是在（紅綠藍(lán)）彩色空間中描述的。該空間通過圖模硝紅，綠，藍(lán)三種基本顏色的色彩疊加方式輸出人眼所能看到的絕大多數(shù)顏色，其數(shù)學(xué)模型如圖所示。模型空間【】是一個正方體，原點對應(yīng)黑色點，以原點為頂點的三條邊分別表示三種顏色的矢量。一般

38、我們將正方體歸一化為單位立方體，這樣所有的，的值都在到之間。在正方體上，離原點最遠(yuǎn)的頂點對應(yīng)白色點，而正方體內(nèi)和表面上的其余點則對應(yīng)不同的顏色點。模型空間中兩點間的歐氏距離與顏色的距離不成線性比例，這樣光線的亮度變化就對物體顏色的變化產(chǎn)生很大的影響，從而導(dǎo)致單純利用模型進(jìn)行青圖模型彩色圖像分割效果不是很理想?；诖宋覀冃枰硪环N對物體亮度變化不敏感的彩色空間系統(tǒng)。在眾多顏色模式中，彩色空間的特性很符合我們的要求。彩色空間是從人的視覺系統(tǒng)出發(fā)，使用色調(diào)（），飽和度（）和亮度（）來描述彩色空間。模型空間如圖所示，一般我們將色調(diào)和飽和度統(tǒng)稱為色度，其用來描述顏色的種類和深淺程度，這種彩色模型使用三維

39、空間坐標(biāo)系統(tǒng)來表示，模型中各坐標(biāo)之間具有心理感知的獨(dú)立性，其可以獨(dú)立地感知顏色分量的變化，而且由于這種顏色具有線性伸縮性，所以其可感知的顏色差別是與顏色分量各值的歐幾罩得距離成比例的，故其可以較好的反映人對色彩的感知能力，因此模式適用于對光線不敏感的模式識別。模式與模式之間的轉(zhuǎn)換彩色模式中，三個維度為紅，綠和藍(lán)，且每種分量的取值范圍為到。彩色模式中，三個維度為色調(diào)，飽和度和亮度，其中（色調(diào)）的取值范圍為到，（飽和度）的取值范圍為到，（亮度）的取值范圍為到。兩種彩色模式之拘轉(zhuǎn)換關(guān)系【】為礦，塑幽蕓瓦面砑礦一，碉礦一，月瓦硐礦一（）（）：（）一般我們將模式中的分量乘以，即使其取值范圍在到之間，既為一個圓的一周，其可以組成一個顏色輪。在圖中分量正好就描述了這一特性。其中顏色輪的角度即為這種顏色的種類，而顏色輪的半徑就是這個顏色的飽和度，其反應(yīng)了顏色的深淺。當(dāng)顏色輪半徑越小時顏色也就越淺。目標(biāo)物識別這里我們首先將目標(biāo)物從彩色模式中轉(zhuǎn)換到彩色模式中，然后直接對物體在模式中的圖像進(jìn)行圖像平滑，邊緣檢測，由于我們實驗的目標(biāo)物是圓形的小球，所以最后我們對邊緣檢測后的圖像進(jìn)行圓形提取。從背景環(huán)境中提取出的圓形的中心點就是我們需要的目標(biāo)點信息。該信息