機(jī)器人學(xué)概論第十二講課件

機(jī)器人學(xué)概論徐德研究員2010年12月7日1上次課內(nèi)容提要攝像機(jī)模型視覺(jué)測(cè)量中的約束條件單目視覺(jué)位置測(cè)量立體視覺(jué)位置測(cè)量基于矩形目標(biāo)約束的位姿的測(cè)量基于PnP問(wèn)題的位姿測(cè)量基于消失點(diǎn)的視覺(jué)測(cè)量基于位置的視覺(jué)控制基于圖像的視覺(jué)控制混合視覺(jué)伺服控制直接視覺(jué)控制2小孔模型XZf14參數(shù)模型5參數(shù)模型攝像機(jī)的內(nèi)參數(shù)模型描述的是景物點(diǎn)與圖像點(diǎn)之間的關(guān)系。外參數(shù)模型攝像機(jī)的外參數(shù)模型，是景物坐標(biāo)系在攝像機(jī)坐標(biāo)中的描述。3立體視覺(jué)位置測(cè)量雙目視覺(jué)結(jié)構(gòu)光視覺(jué)空間點(diǎn)P在攝像機(jī)C1的光軸中心點(diǎn)與點(diǎn)P1c1構(gòu)成的直線上，也在攝像機(jī)C2的光軸中心點(diǎn)與點(diǎn)P1c2構(gòu)成的直線上。特征點(diǎn)在激光平面上，同時(shí)還在攝像機(jī)的光軸中心點(diǎn)與成像平面上的成像點(diǎn)之間的一條空間直線上。X1Y1Z1O1PX2Y2Z2O2雙目立體視覺(jué)示意圖C1C2c1Mc2CCD攝像機(jī)激光器平凸柱面鏡工件結(jié)構(gòu)光線結(jié)構(gòu)光測(cè)量原理示意圖5基于位置的視覺(jué)控制位置給定型機(jī)器人視覺(jué)控制位置反饋型機(jī)器人視覺(jué)控制Eye-to-Hand位置給定型機(jī)器人視覺(jué)控制，利用視覺(jué)測(cè)量的目標(biāo)位置對(duì)機(jī)器人進(jìn)行位置給定，使機(jī)器人的末端到達(dá)目標(biāo)位置。視覺(jué)位置給定由機(jī)器人位姿獲取、圖像采集、特征提取、笛卡兒空間三維坐標(biāo)求取、關(guān)節(jié)位置給定值確定等部分構(gòu)成。Eye-in-Hand位置給定型機(jī)器人視覺(jué)控制，雖然末端位姿引入位置給定部分，但僅參與三維坐標(biāo)的計(jì)算，并未構(gòu)成機(jī)器人末端位置的閉環(huán)控制?？刂葡到y(tǒng)由三個(gè)閉環(huán)構(gòu)成，外環(huán)為笛卡兒空間的位置環(huán)；各個(gè)關(guān)節(jié)采用位置閉環(huán)和速度閉環(huán)控制，其內(nèi)環(huán)為速度環(huán)，外環(huán)為位置環(huán)。6基于圖像的視覺(jué)控制基于圖像的視覺(jué)控制基于圖像的視覺(jué)控制圖像采集特征提取目標(biāo)特征測(cè)量期望圖像特征機(jī)器人位姿調(diào)整策略關(guān)節(jié)位置控制環(huán)節(jié)+末端位姿當(dāng)前圖像特征機(jī)器人本體+逆運(yùn)動(dòng)學(xué)求解6路關(guān)節(jié)位置控制器計(jì)算末端位姿給定7混合視覺(jué)伺服控制2.5D視覺(jué)伺服控制將單應(yīng)性矩陣進(jìn)行分解，分別得到旋轉(zhuǎn)分量和位置分量的圖像特征。位置分量的圖像特征與給定的位置分量的圖像特征相比較，作為位置控制律的輸入。旋轉(zhuǎn)分量的圖像特征與給定的姿態(tài)的圖像特征相比較，作為位置控制律和旋轉(zhuǎn)控制律的輸入。位置控制律采用基于圖像的視覺(jué)伺服方法，旋轉(zhuǎn)控制律采用基于位置的視覺(jué)伺服方法。2.5D視覺(jué)伺服的結(jié)構(gòu)框圖[5]位置控制律旋轉(zhuǎn)控制律關(guān)節(jié)控制器機(jī)器人對(duì)象攝像機(jī)獲得圖像特征單應(yīng)矩陣分解圖像特征位置給定姿態(tài)給定輸出圖像旋轉(zhuǎn)分量位置分量的圖像特征V9直接視覺(jué)控制直接視覺(jué)控制的結(jié)構(gòu)直接視覺(jué)控制一般采用Eye-to-Hand型視覺(jué)系統(tǒng)，攝像機(jī)位置固定，工作空間固定。圖像特征與關(guān)節(jié)位置的映射關(guān)系被稱(chēng)為visual-motor函數(shù)直接視覺(jué)伺服控制框圖圖像采集特征提取特征關(guān)節(jié)位置映射PID控制伺服放大執(zhí)行電機(jī)1/6S機(jī)器人本體++關(guān)節(jié)位置關(guān)節(jié)位置給定末端位姿6路關(guān)節(jié)位置控制器10第十章多機(jī)器人協(xié)調(diào)與控制本次課內(nèi)容提要多機(jī)器人系統(tǒng)簡(jiǎn)介多機(jī)器人系統(tǒng)的特點(diǎn)多機(jī)器人系統(tǒng)的主要研究?jī)?nèi)容典型多機(jī)器人系統(tǒng)多機(jī)器人系統(tǒng)的模型多機(jī)器人搜集多機(jī)器人隊(duì)形控制多機(jī)器人圍捕11多機(jī)器人系統(tǒng)簡(jiǎn)介多機(jī)器人系統(tǒng)的主要研究?jī)?nèi)容尋找一套分析、設(shè)計(jì)和控制多機(jī)器人系統(tǒng)的有效方法，使其安全、高質(zhì)、高效地完成給定任務(wù)。多機(jī)器人系統(tǒng)體系結(jié)構(gòu)：實(shí)現(xiàn)預(yù)定的行為如何把個(gè)體聯(lián)系到一起的一種形式?？煞譃閭€(gè)體、集中式、分層式和分布式。協(xié)調(diào)機(jī)制：多機(jī)器人系統(tǒng)與環(huán)境之間的協(xié)調(diào)：研究如何根據(jù)環(huán)境的變化調(diào)整系統(tǒng)的整體目標(biāo)和行為以及體系結(jié)構(gòu)，這是一種適應(yīng)性反饋機(jī)制；機(jī)器人之間的協(xié)調(diào)：由于完成任務(wù)的需要，機(jī)器人之間的競(jìng)爭(zhēng)、磋商、合作和聯(lián)盟不可避免，重點(diǎn)研究合作機(jī)制與聯(lián)盟形成等機(jī)制；復(fù)雜任務(wù)的分解分配算法個(gè)體機(jī)器人行為的監(jiān)督與約束機(jī)制13多機(jī)器人系統(tǒng)簡(jiǎn)介多機(jī)器人系統(tǒng)的主要研究?jī)?nèi)容沖突消解：任務(wù)沖突和資源沖突(路徑?jīng)_突和工具沖突)等。信息交互：按交互的方式來(lái)分，可分為通訊、感知和學(xué)習(xí)。發(fā)現(xiàn)沖突找出沖突類(lèi)別提出沖突解決策略制定沖突消解計(jì)劃執(zhí)行沖突消解計(jì)劃沖突類(lèi)別庫(kù)/解決策略庫(kù)14多機(jī)器人系統(tǒng)簡(jiǎn)介典型多機(jī)器人系統(tǒng)ACTRESS(ACTor-basedRobotandEquipmentsSyntheticSystem)：由分散的計(jì)算機(jī)、機(jī)器人以及其它專(zhuān)用設(shè)備(Robotor)構(gòu)成，通過(guò)設(shè)計(jì)一定的協(xié)議使得彼此實(shí)現(xiàn)信息交互。15多機(jī)器人系統(tǒng)簡(jiǎn)介典型多機(jī)器人系統(tǒng)CollectiveRobotics：對(duì)昆蟲(chóng)社會(huì)的一種人工模擬，是將許多簡(jiǎn)單的機(jī)器人組織成一個(gè)團(tuán)體來(lái)完成一些有意義的工作，機(jī)器人系統(tǒng)沒(méi)有全局的整體控制。是典型的群智能機(jī)器人系統(tǒng)。17多機(jī)器人系統(tǒng)簡(jiǎn)介典型多機(jī)器人系統(tǒng)TheNerdHerd：由20個(gè)機(jī)器人組成，機(jī)器人上裝有用于抓取、堆放物品的抓手，抓手上裝有紅外傳感器和接觸傳感器。SociallyMobile：由4個(gè)移動(dòng)機(jī)器人組成。18多機(jī)器人系統(tǒng)簡(jiǎn)介典型多機(jī)器人系統(tǒng)CESAR：CESAREmperor系統(tǒng)包括一個(gè)運(yùn)輸車(chē)、四個(gè)機(jī)器人，可用于戶(hù)外作業(yè)；CESARNomads系統(tǒng)包括四個(gè)機(jī)器人。19多機(jī)器人系統(tǒng)簡(jiǎn)介典型多機(jī)器人系統(tǒng)機(jī)器人手術(shù)系統(tǒng)：宙斯外科機(jī)器人由外科醫(yī)生控制臺(tái)和3條安在手術(shù)臺(tái)上的機(jī)器人手臂構(gòu)成，左右兩條機(jī)器人手臂重復(fù)外科醫(yī)生的雙臂的活動(dòng)，能分別操作兩件手術(shù)器械，第三條機(jī)器人手臂提供手術(shù)區(qū)域的視圖給外科醫(yī)生。第三條手臂裝有伊索內(nèi)窺鏡定位裝置，伊索裝置是世界上第一臺(tái)獲得美國(guó)食品及藥物管理局(FoodandDrugAdministration,FDA)批準(zhǔn)的外科機(jī)器人。

21多機(jī)器人系統(tǒng)的模型Alliance體系結(jié)構(gòu)采用動(dòng)機(jī)激活行為機(jī)器人之間進(jìn)行動(dòng)機(jī)抑制機(jī)器人之間利用通訊聯(lián)結(jié)輸出由傳感信息、機(jī)器人之間的通訊與相互制約關(guān)系、內(nèi)部動(dòng)機(jī)等確定22多機(jī)器人系統(tǒng)的模型分層式體系結(jié)構(gòu)系統(tǒng)監(jiān)控與任務(wù)規(guī)劃?rùn)C(jī)器人之間進(jìn)行協(xié)作規(guī)劃行為控制機(jī)器人之間利用通訊聯(lián)結(jié)由行為控制層綜合傳感信息、規(guī)劃結(jié)果、其他機(jī)器人狀態(tài)等給出輸出，由執(zhí)行模塊執(zhí)行環(huán)境其它機(jī)器人系統(tǒng)監(jiān)控層(SML)協(xié)作規(guī)劃層(CPL)行為控制層(BCL)傳感模塊執(zhí)行模塊23多機(jī)器人系統(tǒng)的模型基于環(huán)境預(yù)測(cè)和行為控制函數(shù)的控制結(jié)構(gòu)根據(jù)傳感信息產(chǎn)生行為控制函數(shù)根據(jù)傳感信息進(jìn)行環(huán)境預(yù)測(cè)根據(jù)傳感信息從行為庫(kù)中選擇行為機(jī)器人之間利用通訊聯(lián)結(jié)由行為控制層綜合傳感信息、規(guī)劃結(jié)果、其他機(jī)器人狀態(tài)等給出輸出，由執(zhí)行模塊執(zhí)行25多機(jī)器人搜集目標(biāo)描述涉及問(wèn)題將散落在未知(或部分未知)環(huán)境中的物體找到并運(yùn)送到指定區(qū)域搜索：機(jī)器人尋找空間中尚未被發(fā)現(xiàn)的待搜集物收集：機(jī)器人把已經(jīng)找到的物體運(yùn)送到指定區(qū)域任務(wù)分配集中式分配(Centralizedallocation):派定分配，直接為各個(gè)機(jī)器人指定任務(wù)；協(xié)議分配，按照不同機(jī)器人的供需要求，中介機(jī)器人集中實(shí)現(xiàn)任務(wù)分配協(xié)調(diào)分布式分配(Distributedallocation):機(jī)器人個(gè)體以某種方式提供或索取“服務(wù)”，如基于“熟人模型”的任務(wù)分配和基于合同網(wǎng)的分配。26多機(jī)器人搜集舉例：多機(jī)器人撿物品兩種機(jī)器人：鏟型機(jī)器人，夾型機(jī)器人鏟型機(jī)器人：帶有鏟形工具，傳感范圍較小，一次可以攜帶兩個(gè)物品，夾型機(jī)器人：裝有夾形工具，傳感距離相對(duì)較遠(yuǎn)，一次只能拿一個(gè)物品。對(duì)于系統(tǒng)中某個(gè)機(jī)器人來(lái)說(shuō)，它并不需要了解其它機(jī)器人在任意時(shí)刻的行為，如果其它機(jī)器人出現(xiàn)在它的傳感范圍之內(nèi)，則會(huì)被當(dāng)作移動(dòng)的障礙物處理。29多機(jī)器人搜集多機(jī)器人撿物品的任務(wù)分配狀態(tài)自由避障完畢選擇搜集目標(biāo)完畢遇到障礙物發(fā)現(xiàn)待搜集物抵達(dá)搜集目標(biāo)抓住搜集物失去搜集目標(biāo)到達(dá)投遞區(qū)方案一：同構(gòu)算法，搜集任務(wù)沒(méi)有被分解，每個(gè)機(jī)器人參加整個(gè)過(guò)程。行為漫游避障選擇搜集目標(biāo)向搜集目標(biāo)運(yùn)動(dòng)抓起搜集物向投遞區(qū)運(yùn)動(dòng)投遞漫游選搜集目標(biāo)向搜集目標(biāo)運(yùn)動(dòng)發(fā)現(xiàn)待搜集物選擇搜集目標(biāo)完畢失去搜集目標(biāo)避障向投遞區(qū)運(yùn)動(dòng)投遞抓起搜集物避障完畢避障完畢遇到障礙物遇到障礙物自由抵達(dá)搜集目標(biāo)遇到障礙物避障完畢抓住搜集物到達(dá)投遞區(qū)30多機(jī)器人搜集多機(jī)器人撿物品的任務(wù)分配方案二：異構(gòu)算法，搜集任務(wù)被分解為搜索和收集，每個(gè)機(jī)器人參加一個(gè)子任務(wù)。狀

態(tài)選擇完畢報(bào)告完畢預(yù)定失敗搜尋失敗*有待搜集物*無(wú)待搜集物行

為選擇預(yù)定報(bào)告*選擇子任務(wù)選擇子任務(wù)搜尋失敗沒(méi)有待搜集物漫游報(bào)告避障發(fā)現(xiàn)待搜集物自由避障完畢遇到障礙搜索算法有待搜集物向搜集目標(biāo)運(yùn)動(dòng)向投遞區(qū)運(yùn)動(dòng)抓起搜集物投遞選擇完畢預(yù)定完畢遇到障礙遇到障礙避障完畢避障完畢自由到達(dá)投遞區(qū)抓住搜集物抵達(dá)搜集目標(biāo)預(yù)定失敗收集算法選擇預(yù)定避障避障子任務(wù)切換算法31多機(jī)器人搜集多機(jī)器人撿物品仿真鏟型機(jī)器人待搜集物夾型機(jī)器人指定投遞區(qū)32多機(jī)器人搜集多機(jī)器人撿物品仿真鏟型機(jī)器人從事收集工作的概率夾型機(jī)器人從事收集工作的概率采用同構(gòu)算法的機(jī)器人效率較低。合理的分解分配任務(wù)有助于提高異構(gòu)多機(jī)器人系統(tǒng)的工作質(zhì)量?？紤]機(jī)器人自身的能力，有利于提高完成工作的效率。

33多機(jī)器人隊(duì)形控制目標(biāo)描述涉及問(wèn)題一組機(jī)器人按照規(guī)定的隊(duì)形從一個(gè)位置運(yùn)動(dòng)到另一個(gè)位置。可用于機(jī)器人協(xié)作搬運(yùn)。Leader：主機(jī)器人，運(yùn)動(dòng)路徑依其為參考進(jìn)行規(guī)劃Follower：從機(jī)器人，跟隨Leader按照隊(duì)形約束進(jìn)行規(guī)劃運(yùn)動(dòng)規(guī)劃問(wèn)題避障問(wèn)題通過(guò)狹窄空間問(wèn)題協(xié)調(diào)問(wèn)題34多機(jī)器人隊(duì)形控制基于行為的隊(duì)形保持采用奔向目標(biāo)、保持隊(duì)形、切線避碰、隨機(jī)擾動(dòng)

4種行為實(shí)現(xiàn)隊(duì)形保持，使一組機(jī)器人按照規(guī)定的隊(duì)形從一個(gè)位置運(yùn)動(dòng)到另一個(gè)位置。

奔向目標(biāo)：該行為使Leader奔向目標(biāo)

保持隊(duì)形：Follower跟隨Leader按照隊(duì)形約束進(jìn)行規(guī)劃曹志強(qiáng)，未知環(huán)境下多機(jī)器人協(xié)調(diào)與控制的隊(duì)形問(wèn)題研究，博士論文35多機(jī)器人隊(duì)形控制基于行為的隊(duì)形保持

切線避碰：沿與障礙物的內(nèi)切線方向運(yùn)動(dòng)，以便避障。

隨機(jī)擾動(dòng)：當(dāng)機(jī)器人連續(xù)幾步不能運(yùn)動(dòng)時(shí)，加入隨機(jī)擾動(dòng)以克服死鎖。可選運(yùn)動(dòng)方向36多機(jī)器人隊(duì)形控制基于行為的隊(duì)形保持

行為決策：C1:發(fā)生死鎖C2:無(wú)障礙C3:與障礙物間距離偏小C4:已繞過(guò)靜態(tài)障礙37多機(jī)器人隊(duì)形控制基于行為的隊(duì)形保持

協(xié)調(diào)策略：當(dāng)Leader沒(méi)有遇到障礙，但Follower遇到障礙時(shí)，F(xiàn)ollower不能獨(dú)立行動(dòng)。此時(shí)，如果隊(duì)形進(jìn)行適當(dāng)旋轉(zhuǎn)能夠通過(guò)障礙區(qū)域，則可以更換Leader。采用仲裁機(jī)制，從多個(gè)申