機(jī)器人伺服控制系統(tǒng)及應(yīng)用技術(shù)-課件 第十章 機(jī)器人視覺(jué)伺服技術(shù)

機(jī)器人伺服控制第十章機(jī)器人視覺(jué)伺服技術(shù)機(jī)器人視覺(jué)伺服技術(shù)艙外維修作業(yè)空間實(shí)驗(yàn)作業(yè)操作與監(jiān)視正常、可靠的視力是成功執(zhí)行各類(lèi)任務(wù)的重要保障條件視覺(jué)的功能與意義機(jī)器人視覺(jué)伺服技術(shù)人眼視覺(jué)≠

人眼只有視，沒(méi)有覺(jué)

人眼工作依賴(lài)于它獨(dú)特的生理學(xué)結(jié)構(gòu)、運(yùn)動(dòng)機(jī)理以及神經(jīng)控制眼外肌及周邊解剖機(jī)構(gòu)眼內(nèi)解剖結(jié)構(gòu)

眼球(Eyeball)3自由度轉(zhuǎn)動(dòng)(3DOFduction)

瞳孔縮放(PupilContraction)

調(diào)節(jié)(Accommodation)

雙眼運(yùn)動(dòng)(BinocularMovements)

掃視Saccadic

平滑追蹤Smoothpursuit

收斂Convergence

前庭動(dòng)反射VOR機(jī)器人視覺(jué)伺服技術(shù)仿人眼(BionicEye)

MACEYE-II,2011MACEYE,2006機(jī)器人視覺(jué)伺服技術(shù)視覺(jué)調(diào)節(jié)(Accommodation)

機(jī)器人視覺(jué)伺服技術(shù)視覺(jué)調(diào)節(jié)(Accommodation)

晶狀體(Crystalinelens)—人眼球內(nèi)的雙凸面柔性透明體，用于將光線(xiàn)屈光成像于視網(wǎng)膜上角膜(Cornea)—位于眼球前端，用于固定瞳孔、虹膜以及前端流體腔的透明體；其剛度較高，屈光度遠(yuǎn)大于晶狀體；懸韌帶(zonule)—眼球內(nèi)環(huán)晶狀體分布的連接其與睫狀肌的一縷縷纖維睫狀肌(CiliaryMuscle)—眼球的的環(huán)形滑肌組織，人眼調(diào)節(jié)的主要驅(qū)動(dòng)力主要內(nèi)容contents10.2視覺(jué)伺服分類(lèi)10.3視覺(jué)伺服控制需求10.1概述機(jī)器人視覺(jué)伺服技術(shù)10.5視覺(jué)伺服發(fā)展方向10.6實(shí)例分析10.4視覺(jué)伺服面臨的問(wèn)題10.1概述機(jī)器人視覺(jué)伺服系統(tǒng)是機(jī)器視覺(jué)和機(jī)器人控制的有機(jī)結(jié)合，是一個(gè)非線(xiàn)性、強(qiáng)耦合的復(fù)雜系統(tǒng)，其內(nèi)容涉及圖象處理、機(jī)器人運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)、控制理論等研究領(lǐng)域隨著攝像設(shè)備性能價(jià)格比和計(jì)算機(jī)信息處理速度的提高，以及有關(guān)理論的日益完善，視覺(jué)伺服已具備實(shí)際應(yīng)用的技術(shù)條件，相關(guān)的技術(shù)問(wèn)題也成為當(dāng)前研究的熱點(diǎn)10.1概述上個(gè)世紀(jì)60年代，由于機(jī)器人和計(jì)算機(jī)技術(shù)的發(fā)展，人們開(kāi)始研究具有視覺(jué)功能的機(jī)器人。但在這些研究中，機(jī)器人的視覺(jué)與機(jī)器人的動(dòng)作，嚴(yán)格上講是開(kāi)環(huán)的。機(jī)器人的視覺(jué)系統(tǒng)通過(guò)圖像處理，得到目標(biāo)位姿，然后根據(jù)目標(biāo)位姿，計(jì)算出機(jī)器運(yùn)動(dòng)的位姿，在整個(gè)過(guò)程中，視覺(jué)系統(tǒng)一次性地“提供”信息，然后就不參與過(guò)程了1973年，有人將視覺(jué)系統(tǒng)應(yīng)用于機(jī)器人控制系統(tǒng)，在這一時(shí)期把這一過(guò)程稱(chēng)作視覺(jué)反饋(visualfeedback)1979年，Hill和Park提出了“視覺(jué)伺服”(visualservo)概念10.1概述很明顯，視覺(jué)反饋的含義只是從視覺(jué)信息中提取反饋信號(hào)，而視覺(jué)伺服則是包括從視覺(jué)信號(hào)處理，到機(jī)器人控制的全過(guò)程，所以視覺(jué)伺服比視覺(jué)反饋能更全面地反映機(jī)器人視覺(jué)和控制的有關(guān)研究?jī)?nèi)容上個(gè)世紀(jì)80年以來(lái)，隨著計(jì)算機(jī)技術(shù)和攝像設(shè)備的發(fā)展，機(jī)器人視覺(jué)伺服系統(tǒng)的技術(shù)問(wèn)題吸引了眾多研究人員的注意到了90年代，隨著計(jì)算機(jī)能力的增強(qiáng)和價(jià)格下降，以及圖像處理硬件和CCD攝像機(jī)的快速發(fā)展，機(jī)器視覺(jué)系統(tǒng)吸引了眾多研究人員的注意10.1概述例，在PackBot軍用智能機(jī)器人上，配有各類(lèi)偵察探測(cè)模塊，可根據(jù)GPS導(dǎo)航數(shù)據(jù)和實(shí)拍周?chē)鷪?chǎng)景生成地圖。日本科學(xué)家研究的蛇形救災(zāi)機(jī)器人頭部裝有針孔攝像機(jī)，可傳送回實(shí)時(shí)圖像數(shù)據(jù)，并成功參與了美國(guó)佛羅里達(dá)一次停車(chē)場(chǎng)崩塌救援行動(dòng)PackBot軍用智能機(jī)器人日本的蛇形救災(zāi)機(jī)器人10.1概述最早基于視覺(jué)的機(jī)器人系統(tǒng)，采用靜態(tài)lookandmove形式。即先由視覺(jué)系統(tǒng)采集圖像并進(jìn)行相應(yīng)處理，然后通過(guò)計(jì)算估計(jì)目標(biāo)的位置來(lái)控制機(jī)器人運(yùn)動(dòng)。這種操作精度直接與視覺(jué)傳感器、機(jī)械手及控制器的性能有關(guān)，這使得機(jī)器人很難跟蹤運(yùn)動(dòng)物體到80年代，計(jì)算機(jī)及圖像處理硬件得到發(fā)展，使得視覺(jué)信息可用于連續(xù)反饋，于是提出了基于視覺(jué)的伺服(visualservoing)控制形式。這種方式可以克服模型(包括機(jī)器人、視覺(jué)系統(tǒng)、環(huán)境)中存在的不確定性，提高視覺(jué)定位或跟蹤的精度10.1概述直到上世紀(jì)末，哈工大、浙江大學(xué)、國(guó)防科技大學(xué)等研究單位才開(kāi)始著手研究機(jī)器人的視覺(jué)伺服技術(shù)?！笆晃濉逼陂g，在視覺(jué)伺服技術(shù)方面取得突破性地進(jìn)展，研制了“蛟龍?zhí)査聶C(jī)器人”、“ALVLAB“、“CITAVT-IV“、“THMR-V“等智能機(jī)器人目前我國(guó)在機(jī)器人的自主導(dǎo)航方面都還落后于發(fā)達(dá)國(guó)家，因此我國(guó)對(duì)智能機(jī)器人的相關(guān)問(wèn)題還需要進(jìn)一步深入研究10.1概述機(jī)器人視覺(jué)伺服系統(tǒng)(VisualServo)機(jī)器人運(yùn)動(dòng)控制(MotionControl)機(jī)器視覺(jué)(MachinVision)“機(jī)器視覺(jué)是通過(guò)光學(xué)的裝置和非接觸的傳感器自動(dòng)地接收和處理一個(gè)真實(shí)物體的圖像，以獲得所需信息、用于控制機(jī)器人運(yùn)動(dòng)的裝置?！盇SME定義計(jì)算機(jī)視覺(jué)(ComputerVision)X理解圖像信息10.1概述10.1概述10.1概述10.1概述10.1概述工業(yè)機(jī)器人Robot操作對(duì)象Object控制系統(tǒng)ControlUnit機(jī)器人視覺(jué)伺服系統(tǒng)組成典型工業(yè)機(jī)器人系統(tǒng)10.1概述機(jī)器人視覺(jué)伺服系統(tǒng)組成工業(yè)機(jī)器人Robot視覺(jué)系統(tǒng)VisionSensor操作對(duì)象Object控制系統(tǒng)ControlUnit視覺(jué)伺服控制系統(tǒng)10.1概述為什么需要視覺(jué)伺服控制？10.1概述機(jī)器人視覺(jué)伺服控制實(shí)現(xiàn)10.2視覺(jué)伺服分類(lèi)按照攝像機(jī)的數(shù)目的不同單目視覺(jué)伺服系統(tǒng)、雙目視覺(jué)伺服系統(tǒng)以及多目視覺(jué)伺服系統(tǒng)按照機(jī)器人的空間位置或圖像特征基于位置的視覺(jué)伺服系統(tǒng)和基于圖像的視覺(jué)伺服系統(tǒng)基于位置特征和圖像特征的混合視覺(jué)伺服（2.5D）系統(tǒng)按照攝像機(jī)放置位置的不同手眼系統(tǒng)(eyeinhand)和固定攝像機(jī)系統(tǒng)(eyetohand)按照采用閉環(huán)關(guān)節(jié)控制器的機(jī)器人，動(dòng)態(tài)觀(guān)察-移動(dòng)系統(tǒng)和直接視覺(jué)伺服10.2視覺(jué)伺服分類(lèi)基于位置的視覺(jué)伺服系統(tǒng)(Position-BasedVisualServoing)利用相機(jī)的參數(shù)建立圖像信號(hào)與機(jī)器人的位置/姿態(tài)之間的映射關(guān)系，在伺服過(guò)程中，借助圖像信號(hào)提取機(jī)器人的位置/姿態(tài)信息，并將它們與目標(biāo)位置/姿態(tài)比較，形成閉環(huán)反饋控制10.2視覺(jué)伺服分類(lèi)基于圖像的視覺(jué)伺服系統(tǒng)(Image-BasedVisualServoing)將實(shí)時(shí)測(cè)量到的圖像信號(hào)與目標(biāo)位置/姿態(tài)的圖像信號(hào)直接進(jìn)行比較，利用所獲得的圖像誤差進(jìn)行閉環(huán)反饋控制。根據(jù)不同的相機(jī)安裝方式，IBVS也有兩種不同的類(lèi)型，(以電容插入PCB為例)，object(電容針腳)與target(孔洞)在圖中的位置變化與否也不一樣10.2視覺(jué)伺服分類(lèi)手眼系統(tǒng)(eyeinhand)相機(jī)安裝在機(jī)械手上，與機(jī)械手位置相對(duì)固定；object電容綁定在tool上，相對(duì)于相機(jī)位置不變；target孔洞是圖像視野中要去的目標(biāo)位置，隨著機(jī)械手移動(dòng)而改變固定攝像機(jī)系統(tǒng)(eyetohand)相機(jī)安裝在機(jī)械手外的固定位置object電容綁定在tool上，在相機(jī)所拍的圖片中位置是變化的terget孔洞是已經(jīng)確定了的目標(biāo)位置，因?yàn)橄鄼C(jī)位置固定，所以位置不變10.2視覺(jué)伺服分類(lèi)手眼系統(tǒng)(eyeinhand)10.2視覺(jué)伺服分類(lèi)固定攝像機(jī)系統(tǒng)(eyetohand)10.2視覺(jué)伺服分類(lèi)基于位置特征和圖像特征的混合視覺(jué)伺服（2.5D）系統(tǒng)首先建立一張參照物圖像，通過(guò)圖像處理技術(shù)得到期望圖像特征的像素坐標(biāo)值，在視覺(jué)伺服系統(tǒng)的運(yùn)行過(guò)程中，不斷從攝像機(jī)采集圖像進(jìn)行分析，得到實(shí)時(shí)圖像特征，然后將實(shí)時(shí)圖像特征與期望圖像特征進(jìn)行比對(duì)，得到兩視點(diǎn)間的單應(yīng)矩陣。將該矩陣分解，可以得到視覺(jué)傳感器的旋轉(zhuǎn)誤差和位置誤差，并通過(guò)控制器生成相應(yīng)的控制量，完成對(duì)機(jī)器人末端的平移和旋轉(zhuǎn)控制10.3視覺(jué)伺服控制需求第一層次第二層次第三層次機(jī)器人根據(jù)視覺(jué)系統(tǒng)反饋的0/1信息執(zhí)行固定動(dòng)作機(jī)器人根據(jù)視覺(jué)系統(tǒng)反饋信息生成機(jī)器人運(yùn)動(dòng)軌跡機(jī)器人根據(jù)視覺(jué)系統(tǒng)的反饋信息動(dòng)態(tài)生成機(jī)器人運(yùn)動(dòng)軌跡10.3視覺(jué)伺服控制需求第一層次機(jī)器人根據(jù)視覺(jué)系統(tǒng)反饋的0/1信息執(zhí)行固定動(dòng)作10.3視覺(jué)伺服控制需求第一層次機(jī)器人根據(jù)視覺(jué)系統(tǒng)反饋的0/1信息執(zhí)行固定動(dòng)作10.3視覺(jué)伺服控制需求第一層次機(jī)器人根據(jù)視覺(jué)系統(tǒng)反饋的0/1信息執(zhí)行固定動(dòng)作10.3視覺(jué)伺服控制需求第一層次機(jī)器人根據(jù)視覺(jué)系統(tǒng)反饋的0/1信息執(zhí)行固定動(dòng)作10.3視覺(jué)伺服控制需求第二層次機(jī)器人根據(jù)視覺(jué)系統(tǒng)反饋信息生成機(jī)器人運(yùn)動(dòng)軌跡10.3視覺(jué)伺服控制需求第二層次機(jī)器人根據(jù)視覺(jué)系統(tǒng)反饋信息生成機(jī)器人運(yùn)動(dòng)軌跡10.3視覺(jué)伺服控制需求第三層次機(jī)器人根據(jù)視覺(jué)系統(tǒng)的反饋信息動(dòng)態(tài)生成機(jī)器人運(yùn)動(dòng)軌跡焊縫跟蹤系統(tǒng)(SeamTracking)10.3視覺(jué)伺服控制需求圖像采集1相機(jī)鏡頭照明接口原理與選型圖像處理2視覺(jué)基礎(chǔ)理論理論知識(shí)、工程實(shí)踐圖像數(shù)據(jù)目標(biāo)檢測(cè)與定位幾何信息機(jī)器人控制3軌跡生成/插補(bǔ)運(yùn)動(dòng)學(xué)正解/逆解動(dòng)力學(xué)正解/逆解關(guān)節(jié)控制4關(guān)節(jié)控制電機(jī)驅(qū)動(dòng)技術(shù)10.4視覺(jué)伺服面臨的問(wèn)題視覺(jué)伺服的研究到目前已有近20年的歷史，但是由于視覺(jué)伺服所涉及的學(xué)科眾多，所以其發(fā)展有賴(lài)于這些學(xué)科的發(fā)展，目前在視覺(jué)伺服的研究中仍然有很多問(wèn)題沒(méi)有很好地解決圖像處理的方法在理論和實(shí)際計(jì)算處理速度上都是圖像伺服最大的難點(diǎn)在圖像處理完成后，圖像特征與機(jī)器人關(guān)節(jié)運(yùn)動(dòng)之間模型的建立是圖像伺服的另一難點(diǎn)；目前的許多控制方法都不能保證系統(tǒng)在工作時(shí)是大范圍穩(wěn)定的，所以對(duì)有關(guān)控制方法的研究也是必要的10.5發(fā)展方向圖像特征的選擇問(wèn)題視覺(jué)伺服的性能密切依賴(lài)于所用的圖像特征，特征的選擇不僅要考慮識(shí)別的指標(biāo)，還要考慮控制指標(biāo)從控制觀(guān)點(diǎn)看，用冗余特征可抑制噪聲的影響，提高視覺(jué)伺服的性能，但又會(huì)給圖像處理增加難度。因此如何選擇性能最優(yōu)的特征，如何處理特征以及如何評(píng)價(jià)特征，都是需要進(jìn)一步研究的問(wèn)題針對(duì)任務(wù)有時(shí)可能需要從一套特征切換到另一套，可以考慮把全局特征與局部特征結(jié)合起來(lái)10.5發(fā)展方向建立機(jī)器人視覺(jué)系統(tǒng)的專(zhuān)用軟件庫(kù)在視覺(jué)伺服中，需要進(jìn)行圖像采集、圖像處理、特征抽取及由二維信息重構(gòu)三維信息等，要處理的數(shù)據(jù)量較大，算法復(fù)雜多樣。如果有這樣的軟件平臺(tái)，在進(jìn)行視覺(jué)伺服任務(wù)時(shí)，就可以少走彎路加強(qiáng)系統(tǒng)的動(dòng)態(tài)性能研究研究多集中于根據(jù)圖像信息確定期望的機(jī)器人運(yùn)動(dòng)這一環(huán)節(jié)上，而對(duì)整個(gè)視覺(jué)伺服系統(tǒng)的動(dòng)態(tài)性能缺乏研究多傳感器融合視覺(jué)傳感器有一定使用范圍,如能有效地結(jié)合其它傳感器，利用性能互補(bǔ)的優(yōu)勢(shì)，可消除不確定性，取得更加可靠、準(zhǔn)確的結(jié)果10.5發(fā)展方向利用智能技術(shù)的成果雖然神經(jīng)網(wǎng)絡(luò)在機(jī)器人視覺(jué)伺服中已得到應(yīng)用，但多數(shù)都是針對(duì)具體物體的具體特征，或只進(jìn)行了仿真實(shí)驗(yàn)，還有待于進(jìn)一步的研究考慮到人類(lèi)看到并拿起某個(gè)物體時(shí)，事先并沒(méi)有在數(shù)字上準(zhǔn)確計(jì)算物體的位置，而是通過(guò)不斷地觀(guān)察、判斷和推理，其中包含學(xué)習(xí)和模糊推理的內(nèi)容，由此可以考慮用模糊神經(jīng)技術(shù)解決機(jī)器人視覺(jué)伺服問(wèn)題利用主動(dòng)視覺(jué)的成果