《智能機(jī)器人學(xué)》課件-第7章 機(jī)器人感知與信息處理

第七章機(jī)器人感知技術(shù)與信息處理主要內(nèi)容機(jī)器人感知技術(shù)視覺系統(tǒng)觸覺系統(tǒng)本章小結(jié)機(jī)器人感知技術(shù)大數(shù)據(jù)時代，描述事物的數(shù)據(jù)樣本不斷增加。數(shù)據(jù)樣本結(jié)合不同的目標(biāo)、場景、視角，得出不同的感知結(jié)論。了解客觀事物的需求，可以整合上述感知渠道，在多特征融合的基礎(chǔ)上豐富數(shù)據(jù)融合模型。7.1.1機(jī)器人感知技術(shù)邏輯

感知模塊是機(jī)器人系統(tǒng)穩(wěn)定運(yùn)行、高效控制的重要工具，然而工程系統(tǒng)內(nèi)傳感器僅針對單一數(shù)據(jù)信息進(jìn)行識別處理，使機(jī)器人感知范圍變窄，缺乏邏輯性，阻滯機(jī)器人感知技術(shù)發(fā)展。為多渠道整合數(shù)據(jù)信息，使機(jī)器人對客觀事物有精準(zhǔn)判斷，需從嗅覺、觸覺、視覺、聽覺、味覺等角度出發(fā)配置傳感器。7.1.2機(jī)器人感知技術(shù)特點(diǎn)技術(shù)存在“污染”特性。基于機(jī)器人對客觀事物的感受，以數(shù)據(jù)為依托，為適應(yīng)復(fù)雜的環(huán)境感知技術(shù)需搜集豐富的數(shù)據(jù)信息資源，在數(shù)據(jù)采集過程中不乏野點(diǎn)、冗余內(nèi)容、噪聲，徒增機(jī)器人感知信息綜合處理壓力。技術(shù)存在“動態(tài)”特性。受機(jī)器人所處環(huán)境影響，感知技術(shù)需不斷搜集、整合、存儲、應(yīng)用新數(shù)據(jù)，在調(diào)整機(jī)器人綜合服務(wù)方式同時使其喪失穩(wěn)定性，對服務(wù)辨別能力產(chǎn)生影響。技術(shù)存在“失配”特性。機(jī)器人對傳感器使用周期、工作頻帶有不同要求，使數(shù)據(jù)信息與感知功能很難匹配成功，降低機(jī)器人服務(wù)質(zhì)量。7.1.2機(jī)器人感知技術(shù)特點(diǎn)

基于機(jī)器人感知技術(shù)在獲悉海量數(shù)據(jù)提供服務(wù)同時，容易受數(shù)據(jù)所累，為此感知技術(shù)需具備信息篩查能力，具體可從以下幾個方面進(jìn)行分析：

其一，在關(guān)注機(jī)器人感知技術(shù)系統(tǒng)基礎(chǔ)上更加關(guān)注其實用性，面向特定領(lǐng)域輸出機(jī)器人并配置傳感器，以元件質(zhì)量檢測為例，技術(shù)人員通過掃描、參數(shù)錄入、語音操控等方式，面向機(jī)器人感知系統(tǒng)輸出數(shù)據(jù)，使其對元件質(zhì)量深入理解，在此基礎(chǔ)上通過稱量、掃描、試驗等方式完成元件質(zhì)量檢測任務(wù)。7.1.2機(jī)器人感知技術(shù)特點(diǎn)

其二，做好技術(shù)升級工作。為保障機(jī)器人感知技術(shù)與時俱進(jìn)，可在機(jī)器人系統(tǒng)內(nèi)裝配感知技術(shù)自主升級程序，在聯(lián)網(wǎng)狀態(tài)下機(jī)器人可自動調(diào)試感知技術(shù)，并將該技術(shù)升級阻力以信息的形式傳輸至技術(shù)人員移動設(shè)備中，調(diào)配傳感器，清空存儲數(shù)據(jù)，為技術(shù)人員升級配套軟件提供依據(jù)，確保機(jī)器人感知技術(shù)更加先進(jìn)。7.1機(jī)器人感知融合

感知模塊是機(jī)器人系統(tǒng)穩(wěn)定運(yùn)行和高效控制的重要工具，機(jī)器人的傳感器分為內(nèi)部傳感器和外部傳感器，如圖7-1所示。圖7-1機(jī)器人的傳感器

7.1機(jī)器人感知融合

例如，“觸覺+視覺融合技術(shù)”的發(fā)展，使機(jī)器人在看到客觀事物時，能夠?qū)ζ漭喞?、大小、位置等有一定的了解，進(jìn)而對其質(zhì)地、質(zhì)量、柔軟度做出更正確的判斷。通過觸摸和硬度，確保機(jī)器人更多地了解空間環(huán)境的特征，并為提供匹配服務(wù)提供依據(jù)。7.1機(jī)器人感知融合

在現(xiàn)階段，僅依靠機(jī)器人感知技術(shù)還無法得出完整的人工機(jī)理分析結(jié)論。為此，需要增加數(shù)據(jù)驅(qū)動方法的應(yīng)用，建立結(jié)構(gòu)化稀疏編碼架構(gòu)，實現(xiàn)多模態(tài)機(jī)器人感知技術(shù)和計算機(jī)系統(tǒng)。觸覺陣列耦合、聽覺情感計算、觸摸-視覺-聽-聽等模態(tài)融合識別解決了機(jī)器人感知技術(shù)的發(fā)展難題，為機(jī)器人在現(xiàn)實生活中的有效應(yīng)用奠定了技術(shù)基礎(chǔ)。7.2.1概述

根據(jù)應(yīng)用背景的不同，自主移動機(jī)器人視覺系統(tǒng)在設(shè)計上也有很大不同。機(jī)器人視覺系統(tǒng)按照視覺傳感器的數(shù)量和特性可以分為單目視覺、雙目立體視覺、多目視覺和全景視覺等。7.2.1概述單目視覺。單目視覺系統(tǒng)只使用一個視覺傳感器。這種視覺系統(tǒng)對于環(huán)境的表達(dá)完全體現(xiàn)在二維圖像的明暗度、紋理、表面輪廓線、陰影和運(yùn)動等因素之中。缺點(diǎn)：單目視覺系統(tǒng)在成像過程中丟失了成像點(diǎn)的深度信息，這是該類視覺系統(tǒng)的一大缺點(diǎn)。另外，一般情況下，單目視覺系統(tǒng)的感知范圍是有限的，擴(kuò)大其感知視野往往需要付出圖像失真的代價。7.2.1概述優(yōu)點(diǎn)：由于單目視覺系統(tǒng)結(jié)構(gòu)簡單，算法成熟，計算量小，在自主移動機(jī)器人中也得到了廣泛的應(yīng)用，如基于平面假設(shè)的目標(biāo)跟蹤、自運(yùn)動估計和障礙物檢測以及單眼視覺基于項目特點(diǎn)的室內(nèi)定位導(dǎo)航。更重要的是，單目視覺是雙目立體視覺、多眼視覺、結(jié)構(gòu)光主動視覺、主動控制視覺等其他類型視覺系統(tǒng)的基礎(chǔ)。7.2.1概述雙目立體視覺。雙目立體視覺采用兩個視覺傳感器，主要目的是根據(jù)空間某點(diǎn)在兩幅圖像中的位置信息以及兩個圖像傳感器之間的相對位置關(guān)系計算出該點(diǎn)的深度，以便恢復(fù)場景的三維信息。優(yōu)點(diǎn)：由于立體視覺系統(tǒng)能夠更準(zhǔn)確地還原視覺場景的三維信息，因此已被應(yīng)用于移動機(jī)器人定位導(dǎo)航、避障、地圖構(gòu)建等領(lǐng)域。立體視覺系統(tǒng)的難點(diǎn)在于對應(yīng)點(diǎn)匹配問題。這一問題的解決很大程度上制約了立體視覺在機(jī)器人領(lǐng)域的應(yīng)用前景。7.2.1概述雙目立體視覺。雙目立體視覺采用兩個視覺傳感器，主要目的是根據(jù)空間某點(diǎn)在兩幅圖像中的位置信息以及兩個圖像傳感器之間的相對位置關(guān)系計算出該點(diǎn)的深度，以便恢復(fù)場景的三維信息。缺點(diǎn)：立體視覺還存在視場窄、計算量大等缺點(diǎn)。7.2概述多目視覺。多目視覺系統(tǒng)采用多個視覺傳感器，每個視覺傳感器可以根據(jù)任務(wù)需要靈活地配置在機(jī)器人本體的不同位置，而且每路視覺可以根據(jù)需要采用不同的算法。

多通道視覺系統(tǒng)沒有固定模式，通常是根據(jù)自主移動機(jī)器人要執(zhí)行的任務(wù)專門設(shè)計的。仿人機(jī)器人視覺系統(tǒng)由左右兩個“眼睛”組成，每個“眼睛”包含兩個視覺傳感器，一個是用于凝視的窄角傳感器，另一個是廣角傳感器擴(kuò)大視野的傳感器形成兩組立體視覺系統(tǒng)。7.2概述

一種應(yīng)用于無人直升機(jī)的四眼視覺系統(tǒng)，其中兩個圖像傳感器面向前方形成立體視覺系統(tǒng)，用于避障作業(yè)。配備魚眼鏡頭的另外兩個圖像傳感器面向兩側(cè)。計算光流場并估計無人機(jī)當(dāng)前的運(yùn)動模式。通過在機(jī)器人身上合理配置圖像傳感器來實現(xiàn)立體視覺系統(tǒng)，通過互信息融合和證據(jù)增強(qiáng)來提高系統(tǒng)對三維環(huán)境感知的準(zhǔn)確性和魯棒性。7.2概述

有研究利用8個圖像傳感器均勻分布在身體上，實現(xiàn)了具有立體功能的偽全景視覺系統(tǒng)，并將其應(yīng)用于自主移動機(jī)器人的同步定位和地圖構(gòu)建問題。多眼視覺系統(tǒng)是由普通單眼視覺以相應(yīng)方式組合而成。主要目的是拓寬機(jī)器人的感知視野，提高對三維環(huán)境的感知精度，豐富視覺功能。7.2概述缺點(diǎn)：這種視覺系統(tǒng)的主要缺點(diǎn)是視覺傳感器數(shù)量的增加會導(dǎo)致需要處理的信息量增加，從而導(dǎo)致上位機(jī)計算負(fù)擔(dān)過重。因此，通常需要使用硬件來加速圖像處理過程。7.2概述全景視覺。為了擴(kuò)大機(jī)器人的視野，全景視覺系統(tǒng)已經(jīng)應(yīng)用于移動機(jī)器人領(lǐng)域。全景視覺系統(tǒng)最大的特點(diǎn)是視野開闊，可以在一張圖像中提供周圍環(huán)境的全局鳥瞰圖。它不需要機(jī)器人通過旋轉(zhuǎn)身體或視覺傳感器來尋找目標(biāo)，從而提高了機(jī)器人的響應(yīng)速度。

目前多采用反射式全景視覺系統(tǒng)。該系統(tǒng)由一個CCD（ChargeCoupledDevice）視覺傳感器和一個面向視覺傳感器的鏡子組成。鏡子通常有拋物面鏡和雙曲面鏡兩種。7.2概述

目前多采用反射式全景視覺系統(tǒng)。該系統(tǒng)由一個CCD（ChargeCoupledDevice）視覺傳感器和一個面向視覺傳感器的鏡子組成。鏡子通常有拋物面鏡和雙曲面鏡兩種。7.2概述缺點(diǎn)：全景視覺系統(tǒng)本質(zhì)上是單目視覺系統(tǒng)，無法直接獲得場景的深度信息。另一個缺點(diǎn)是獲取的圖像分辨率低，圖像畸變大，會影響圖像處理的穩(wěn)定性和準(zhǔn)確性。7.2概述

在進(jìn)行圖像處理時，首先需要根據(jù)成像模型對畸變的圖像進(jìn)行校正。這種校正過程不僅會影響視覺系統(tǒng)的實時性，還會造成信息的丟失。另外，這種視覺系統(tǒng)對全景鏡的加工精度要求非常高。如果雙曲鏡面的精度達(dá)不到要求，使用理想模型進(jìn)行圖像校正就會出現(xiàn)較大的偏差。7.2概述

目前，使用全景視覺最成功的典型例子是RoboCup中型足球比賽機(jī)器人。國內(nèi)外一些科研人員也對利用兩個全向視覺構(gòu)建立體視覺系統(tǒng)的相關(guān)技術(shù)和方法進(jìn)行了研究。7.2.2圖像傳感器圖像傳感器的主要功能是將環(huán)境信息轉(zhuǎn)化為計算機(jī)可以處理的數(shù)字信息。常用的圖像傳感器主要有CCD和CMOS兩種攝像頭，如圖7-2所示。圖7-2CCD和CMOS相機(jī)7.2.2圖像傳感器

CMOS視圖像傳感器的優(yōu)點(diǎn)是響應(yīng)性更好、電路簡單、集成度更高、功耗更低和系統(tǒng)尺寸更小，但缺點(diǎn)是圖像質(zhì)量和系統(tǒng)靈活性差。CCD圖像傳感器的優(yōu)點(diǎn)是動態(tài)范圍更廣，一致性更好，可以提供更好的圖像質(zhì)量和系統(tǒng)靈活性，但缺點(diǎn)是通過這種方式實現(xiàn)的傳感單元往往尺寸較大。7.2.2圖像傳感器CCD傳感器。CCD圖像傳感器是一種新型的半導(dǎo)體器件——電荷耦合器件，MOS集成電路。CCD攝像頭的內(nèi)部結(jié)構(gòu)如圖7-3所示。作為一種新型光電轉(zhuǎn)換傳感器，它不僅具有體積小、重量輕、功耗低、工作電壓低、抗燒壞等優(yōu)點(diǎn)，而且在分辨率、動態(tài)范圍、靈敏度、實時傳輸?shù)确矫嬉簿哂袃?yōu)勢。其優(yōu)越性是其他成像設(shè)備無法比擬的。7.2.2圖像傳感器圖7-3CCD鏡頭內(nèi)部結(jié)構(gòu)7.2.2圖像傳感器

一個完整的CCD器件由感光單元、傳輸門、移位寄存器和一些輔助輸入輸出電路組成。CCD是一種MOS集成器件，最早由W.S.博伊爾和G.E.美國貝爾實驗室的史密斯于1970年3月在電氣和電子工程師協(xié)會(TEEE)國際會議上提出。其基本功能是電荷轉(zhuǎn)移和電荷存儲。CCD技術(shù)不僅可以制造大容量存儲器，還可以將模擬延遲和攝像技術(shù)集成到半導(dǎo)體電子軌道中。7.2.2圖像傳感器應(yīng)用：主要應(yīng)用于三大技術(shù)領(lǐng)域：相機(jī)、模擬延遲和海量存儲。CCD像素小、表征精度高、噪聲低、結(jié)構(gòu)簡單等特點(diǎn)使CCD成功應(yīng)用于工業(yè)、科研等領(lǐng)域，并在固態(tài)成像領(lǐng)域占據(jù)主導(dǎo)地位30年。CCD技術(shù)在1970年代和1980年代發(fā)展迅速，其量子效率、填充率、暗電流、電荷轉(zhuǎn)移效率、讀出率、讀出噪聲電荷動態(tài)范圍等性能參數(shù)得到了顯著優(yōu)化，已廣泛應(yīng)用于各種領(lǐng)域。7.2.2圖像傳感器CMOS傳感器。CMOS是一種互補(bǔ)金屬氧化物半導(dǎo)體。它是計算機(jī)系統(tǒng)中的重要芯片，它保存著系統(tǒng)引導(dǎo)最基本的信息。它主要采用硅和鍺制成的半導(dǎo)體，使其與CMOS上的N（帶電）和P（帶電+帶電）級共存。在半導(dǎo)體中，這兩種互補(bǔ)效應(yīng)產(chǎn)生的電流可以被處理芯片記錄并解釋為圖像。后來發(fā)現(xiàn)CMOS經(jīng)過處理也可以作為數(shù)碼攝影中的圖像傳感器。CMOS傳感器還可以細(xì)分為無源像素傳感器和有源像素傳感器。7.2.2圖像傳感器應(yīng)用：CMOS圖像轉(zhuǎn)換技術(shù)不僅服務(wù)于“傳統(tǒng)”的工業(yè)圖像處理，而且由于其卓越的性能和靈活性，也被越來越廣泛的新型消費(fèi)應(yīng)用所接受。此外，它可以確保駕駛汽車時的高度安全性和舒適性。最初，CMOS圖像傳感器用于工業(yè)圖像處理；在那些旨在提高生產(chǎn)力、質(zhì)量和生產(chǎn)過程經(jīng)濟(jì)性的全新自動化解決方案中，時至今日它仍然是至關(guān)重要的一部分。7.2.3機(jī)器人視覺識別機(jī)器視覺識別是通過攝像頭等圖像采集設(shè)備將現(xiàn)實空間中的三維物體圖像轉(zhuǎn)換成機(jī)器語言，并通過圖像處理、圖像分析、圖像識別的過程。預(yù)處理圖7-4機(jī)器人視覺作用過程

色域空間轉(zhuǎn)換語義分割形態(tài)學(xué)處理實體（立體）二維圖像景象描述傳感器圖像處理7.2.3機(jī)器人視覺識別1、圖像預(yù)處理

圖像濾波是圖像預(yù)處理的重要步驟，解決由于由于環(huán)境、設(shè)備等原因帶來的噪聲，即在盡量保留圖像細(xì)節(jié)特征的條件下對目標(biāo)圖像的噪聲進(jìn)行抑制。通過圖像濾波抑制噪聲，可以得到干凈清晰的圖像，但會使得邊緣模糊。7.2.3機(jī)器人視覺識別

一幅數(shù)字圖像可以看成一個二維函數(shù)f（x，y），濾波過程就是將事先選定的濾波器在圖像中（x，y）逐點(diǎn)移動，使濾波器中心與點(diǎn)（x，y）重合。在每一點(diǎn)（x，y）處，濾波器在該點(diǎn)的響應(yīng)是根據(jù)濾波器的具體內(nèi)容并通過預(yù)先定義的關(guān)系來計算，若想實現(xiàn)不同的功能，可以通過選擇不同的濾波器來實現(xiàn)。圖7.1給出了使用3*3濾波器進(jìn)行濾波的過程。7.2.3機(jī)器人視覺識別圖7-5：圖像濾波示意圖7.2.3機(jī)器人視覺識別2.色域空間轉(zhuǎn)換

RGB（Red，Green，Blue）顏色空間是工業(yè)界的一種顏色標(biāo)準(zhǔn)，利用了物理學(xué)中的三原色疊加從而產(chǎn)生各種不同顏色的原理。在RGB顏色空間中，R、G、B三個分量的屬性是獨(dú)立的，三個分量中數(shù)值越小的亮度越低，數(shù)值越大的亮度越高，如（0，0，0）表示黑色，（255，255，255）表示白色。

7.2.3機(jī)器人視覺識別HSV(Hue,Saturation,Value)是根據(jù)顏色的直觀特性由A.R.Smith在1978年創(chuàng)建的一種顏色空間,也稱六角錐體模型(HexconeModel)。這個模型中顏色的參數(shù)分別是：色調(diào)（H），飽和度（S），明度（V）。由于人類視覺對亮度比對顏色密度更敏感，為了便于色彩處理和識別，人類視覺系統(tǒng)常使用HSV色彩空間，比RGB色彩空間更符合人類視覺特征。7.2.3機(jī)器人視覺識別

圖像處理和計算機(jī)視覺中的大量算法可以方便地用于HSV顏色空間。它們可以單獨(dú)處理并且相互獨(dú)立。因此，HSV色彩空間可以大大簡化圖像分析處理的工作量。HSV顏色空間和RGB顏色空間只是同一個物理量的不同表示，因此它們之間存在轉(zhuǎn)換關(guān)系。7.2.3機(jī)器人視覺識別圖7-6色域空間轉(zhuǎn)換，RGB轉(zhuǎn)HSV

7.2.3機(jī)器人視覺識別7.2.3機(jī)器人視覺識別3.形態(tài)學(xué)處理

形態(tài)學(xué)或數(shù)學(xué)形態(tài)學(xué)是圖像處理中使用最廣泛的技術(shù)之一，包括腐蝕、膨脹和開閉運(yùn)算。形態(tài)學(xué)的是利用具有一定形狀的結(jié)構(gòu)元素從圖像中提取相應(yīng)的形狀，以便后續(xù)的識別工作能夠捕捉到目標(biāo)最可區(qū)分的形狀特征。7.2.3機(jī)器人視覺識別1）腐蝕

二元形態(tài)學(xué)中的操作對象是一個集合。通常，A是圖像集合，B是結(jié)構(gòu)元素。用B腐蝕A，如圖7-6所示。在平面上移動，當(dāng)B的原點(diǎn)移動，且B可以完全包含在A中，那么這一切原點(diǎn)的集合，即E的集合是B腐蝕A的結(jié)果。

腐蝕結(jié)果E的定義：

7.2.3機(jī)器人視覺識別圖7-7腐蝕運(yùn)算示意圖7.2.3機(jī)器人視覺識別

圖7-8腐蝕效果圖7.2.3機(jī)器人視覺識別腐蝕的作用：腐蝕可以燒蝕物體的邊界。具體的腐蝕結(jié)果取決于結(jié)構(gòu)元素B的選擇及其來源。如果物體整體上比結(jié)構(gòu)元素大，腐蝕的結(jié)構(gòu)會使物體“變薄”一個圓圈，這個圓圈有多大是由結(jié)構(gòu)元素決定的；如果物體本身小于結(jié)構(gòu)元件，則腐蝕的物體將處于精細(xì)連接中打破并分成兩部分。7.2.3機(jī)器人視覺識別2）膨脹

集合上的膨脹和腐蝕操作是對偶的，類似于腐蝕操作。設(shè)A為待處理圖像集，B為結(jié)構(gòu)元素。圖像被結(jié)構(gòu)元素B展開，讓原位于圖像原點(diǎn)的結(jié)構(gòu)元素B在整個平面上移動，當(dāng)它自己的原點(diǎn)平移時，B的圖像相對于它的原點(diǎn)和A有一個共同的交點(diǎn)，那么所有這樣的點(diǎn)構(gòu)成一個集合（E）是B對A的展開結(jié)果，膨脹運(yùn)算示意圖如圖7-9所示。7.2.3機(jī)器人視覺識別圖7-9：膨脹運(yùn)算示意圖7.2.3機(jī)器人視覺識別

3）開閉運(yùn)算

打開操作和關(guān)閉操作都因腐蝕和膨脹而復(fù)雜化。先腐蝕后膨脹的過程稱為開運(yùn)算，先膨脹后腐蝕的過程稱為閉運(yùn)算。封閉操作可以融合狹窄的不連續(xù)性并填充對象中的小孔。它可用于連接相鄰對象并填充輪廓中的間隙以平滑圖像的輪廓。開操作可以平滑圖像的輪廓，弱化狹窄的部分，去除細(xì)小的突起。它可用于消除背景中的小物體并在細(xì)微處分離物體。7.2.3機(jī)器人視覺識別3.機(jī)器人視覺定位圖7-11：雙目立體視覺定位原理圖

任意放置的雙目立體視覺模型見圖7.8。圖中，OL、OR分別為左右兩個攝像頭坐標(biāo)系的坐標(biāo)原點(diǎn),P1、P2分別為左右兩個攝像機(jī)的成像平面。7.2.3機(jī)器人視覺識別假設(shè)已經(jīng)通過前面的攝像頭標(biāo)定和立體匹配確定了空間點(diǎn)P在左右兩個攝像機(jī)成像平面上的圖像坐標(biāo)為p1、p2，那么，根據(jù)攝像機(jī)成像模型，可得：7.2.3機(jī)器人視覺識別

當(dāng)選取左相機(jī)的攝像頭坐標(biāo)系作為世界坐標(biāo)系時，R1=1，T1=0，Rr，Tr分別對應(yīng)著右相機(jī)相對于左相機(jī)的旋轉(zhuǎn)矩陣以及平移矩陣。

對上式消去Z1、Zr得：7.2.3機(jī)器人視覺識別化成矩陣形式：AP=b,其中：基于最小二乘法解得，點(diǎn)P的坐標(biāo)為：7.2.5機(jī)器人視覺伺服圖7-12視覺伺服控制系統(tǒng)結(jié)構(gòu)

機(jī)器人伺服系統(tǒng)根據(jù)攝像頭的放置位置可分為全局?jǐn)z像頭系統(tǒng)和手眼系統(tǒng)。其視覺伺服控制系統(tǒng)結(jié)構(gòu)如下圖所示。7.2.5機(jī)器人視覺伺服1.機(jī)器人視覺伺服系統(tǒng)

視覺伺服利用視覺傳感器獲得的圖像作為反饋信息，構(gòu)建機(jī)器人位置的閉環(huán)反饋。與一般意義上的機(jī)器視覺不同，視覺伺服是以控制機(jī)器人為目的實現(xiàn)圖像的自動采集和分析，從圖像反饋信息中快速進(jìn)行圖像處理，并在最短的時間內(nèi)給出反饋信息。其參與控制決策的產(chǎn)生，并形成機(jī)器人位置的閉環(huán)控制系統(tǒng)。7.2.5機(jī)器人視覺伺服2.機(jī)器人伺服系統(tǒng)的主要分類機(jī)器人伺服系統(tǒng)根據(jù)攝像頭的放置位置可分為全局?jǐn)z像頭系統(tǒng)和手眼系統(tǒng)。1）手眼系統(tǒng)手眼系統(tǒng)可以獲得目標(biāo)的精確位置，可以實現(xiàn)精準(zhǔn)控制，但手眼系統(tǒng)只能觀察目標(biāo)，無法觀察機(jī)器人末端。因此，需要通過已知的機(jī)器人運(yùn)動學(xué)模型來求解目標(biāo)與機(jī)器人末端的位置關(guān)系。手眼系統(tǒng)對校準(zhǔn)誤差和運(yùn)動學(xué)誤差敏感。7.2.5機(jī)器人視覺伺服圖7-13手眼伺服系統(tǒng)簡圖7.2.5機(jī)器人視覺伺服2）全局?jǐn)z像機(jī)系統(tǒng)全局?jǐn)z像機(jī)系統(tǒng)中，相機(jī)安裝位置相對于目標(biāo)與機(jī)器人基座的位姿是固定的。其能夠得到大工作場景圖像，但機(jī)器人在運(yùn)動過程中容易對目標(biāo)造成遮擋，從而影響目標(biāo)的識別定位。圖7-14全局伺服系統(tǒng)簡圖7.3觸覺系統(tǒng)機(jī)器人的觸覺應(yīng)具有五種基本功能：接觸覺、接近覺、壓覺、滑覺和力覺。圖7-15

機(jī)器人觸覺示意圖滑覺壓覺力覺接觸覺接近覺7.3觸覺系統(tǒng)接觸覺：接觸覺檢測手爪與對象物之間有無接觸。根據(jù)手爪觸感點(diǎn)的輸出，機(jī)器人可以感受、搜索對象物，感受手爪與對象物之間的相對位置或姿態(tài)，并修正手爪的操作狀態(tài)。在觸感點(diǎn)足夠密的情況下，機(jī)器人還可通過接觸覺判斷對象物的形狀、大小。7.3觸覺系統(tǒng)壓覺：壓覺檢測手爪與對象物之間接觸面上的法向力。根據(jù)手爪上壓感點(diǎn)陣的輸出，機(jī)器人可以對對象物采取不同的握取方式：硬握取——用最大的力夾緊對象物，以確保握牢；軟握取——用適當(dāng)?shù)牧A住對象物，以免對象損壞；零握取是一種臨界握取方式，不用力夾對象物，目的只是確定對象物的存在或形狀和大小。7.3觸覺系統(tǒng)

滑覺：滑覺檢測手爪與對象物之間接觸面上的切向力，以感受對象物在手爪中的滑移?；茩z測一般是間接進(jìn)行的，或者檢測手爪與對象物之間由于滑移發(fā)生的振動，或者檢測手爪與對象物之間相對滑移的位置變化。

7.3觸覺系統(tǒng)力覺：力覺是指機(jī)器人動作時各自由度的力（力矩）感覺。機(jī)器人的基本動作是手爪的移動，而在移動過程中，手爪往往受到各種約束。例如手爪抓住對象物在某一面上移動時要受到這個面的約束，手爪的移動軌跡也可能受到對象物的約束。機(jī)器人通過安裝在關(guān)節(jié)上的力覺感受器，就可以檢測外界對象物施加于手爪和臂的這類約束力（力矩），產(chǎn)生滿足約束的柔性動作。7.3觸覺系統(tǒng)

觸覺傳感器的輸出信號基本上是兩者接觸引起的力和位置偏移的函數(shù)。隨后，輸出信號被解釋為接觸界面的性質(zhì)、目標(biāo)對象的特性和接觸狀態(tài)。這些信息主要包括：（1）目標(biāo)物體的存在與否，（2）目標(biāo)物體的形狀、位置和姿態(tài)，（3）接觸面上的壓力及分布，（4）力的大小、方向和作用點(diǎn)，（5）力矩的大小、方向和作用面，此外，還可以包括靜態(tài)和動態(tài)信息，以及目標(biāo)物體的柔順性、粘彈性等組合信息。7.3觸覺系統(tǒng)觸覺傳感器主要由三個部分組成（圖7-16）：接觸界面由多個按一定方式排列的敏感單元組成，直接接觸目標(biāo)物體。