《機(jī)器人學(xué)及其應(yīng)用-導(dǎo)論》課件 第四章 機(jī)器人傳感器與視覺(jué)

《機(jī)器人學(xué)及其應(yīng)用—導(dǎo)論》第四章機(jī)器人傳感器與視覺(jué)提綱124機(jī)器人傳感器信息融合

機(jī)器人視覺(jué)及圖像處理

機(jī)器人傳感器3

機(jī)器人視覺(jué)核心技術(shù)2一、機(jī)器人傳感器機(jī)器人傳感器概述定義：傳感器是借助檢測(cè)元件將一種形式的信息轉(zhuǎn)換成另一種信息的裝置。傳感器轉(zhuǎn)換后的信號(hào)大多為電信號(hào)。因而從狹義上講，傳感器是把外界輸入的非電信號(hào)轉(zhuǎn)換成電信號(hào)的裝置。敏感器件的作用是感受被測(cè)物理量，并對(duì)信號(hào)進(jìn)行轉(zhuǎn)換輸出。輔助器件則是對(duì)敏感器件輸出的電信號(hào)進(jìn)行放大、阻抗匹配，以便于后續(xù)儀表接入。一、機(jī)器人傳感器4一、機(jī)器人傳感器內(nèi)部傳感器速度、角速度傳感器加速度傳感器位置、角度傳感器力/力矩傳感器其他光電開(kāi)關(guān)霍爾傳感器電位計(jì)光電碼盤磁柵傳感器旋轉(zhuǎn)變壓器加速度計(jì)其他增量編碼器脈沖發(fā)電機(jī)測(cè)速發(fā)電機(jī)角加速度計(jì)其他彈性梁應(yīng)變片其他姿態(tài)傳感器慣性傳感器其他限位開(kāi)關(guān)內(nèi)部傳感器：以其自己的坐標(biāo)系統(tǒng)確定其位置，是安裝在機(jī)器人自身中用來(lái)感知它自己的狀態(tài)，以調(diào)整并控制機(jī)器人的行動(dòng)。5一、機(jī)器人傳感器外部傳感器外部傳感器：檢測(cè)機(jī)器人所處環(huán)境及目標(biāo)狀況，如是什么物體，離物體的距離有多遠(yuǎn)，抓取的物體是否滑落等。從而使得機(jī)器人能夠與環(huán)境發(fā)生交互作用并對(duì)環(huán)境具有自我校正和適應(yīng)能力。機(jī)器人外部傳感器就是具有人類五官的感知能力的傳感器。外部傳感器視覺(jué)傳感器力覺(jué)傳感器觸覺(jué)傳感器測(cè)距傳感器其它6一、機(jī)器人傳感器外部傳感器7一、機(jī)器人傳感器外部傳感器舉例：歐姆龍視覺(jué)傳感器FZ3通過(guò)攝像頭捕捉圖像信息，檢測(cè)拍攝對(duì)象的數(shù)量、位置關(guān)系、形狀等特點(diǎn)，用于判斷產(chǎn)品是否合格或?qū)z驗(yàn)數(shù)據(jù)傳送給機(jī)器人等其它生產(chǎn)設(shè)備。提綱124機(jī)器人傳感器信息融合

機(jī)器人視覺(jué)及圖像處理

機(jī)器人傳感器3

機(jī)器人視覺(jué)核心技術(shù)二、機(jī)器人視覺(jué)及圖像處理WhyVision？視覺(jué)是人類最重要的感覺(jué)，人類認(rèn)識(shí)外界信息80%來(lái)自視覺(jué)計(jì)算機(jī)視覺(jué)的概念利用各種成像系統(tǒng)代替人類的視覺(jué)器官作為輸入手段，由計(jì)算機(jī)來(lái)代替大腦完成處理和解釋計(jì)算機(jī)視覺(jué)的最終目標(biāo)使計(jì)算機(jī)像人那樣，通過(guò)視覺(jué)觀察和理解世界，具有自主適應(yīng)環(huán)境的能力計(jì)算機(jī)視覺(jué)當(dāng)前的研究目標(biāo)使計(jì)算機(jī)具有通過(guò)二維圖像認(rèn)知三維環(huán)境的能力：感知三維環(huán)境中物體的幾何信息，包括形狀、位置、姿態(tài)、運(yùn)動(dòng)等對(duì)它們進(jìn)行描述、存儲(chǔ)、識(shí)別與理解FANUC工業(yè)機(jī)器人視覺(jué)裝配圖像處理是信號(hào)處理的一種形式。這里,輸入信號(hào)是一個(gè)圖像(諸如照片或視頻);輸出或是圖像,或是與圖像關(guān)聯(lián)的一組參數(shù)。大多數(shù)圖像處理技術(shù),將圖像處理為一個(gè)二維信號(hào)I（x,y）。此處，x與y是空間的圖像坐標(biāo)。在任意坐標(biāo)對(duì)（x,y）的I幅度,稱作該點(diǎn)圖像的強(qiáng)度或灰度圖像處理是一個(gè)很大的領(lǐng)域,且在許多其他操作中,典型的是:濾波、圖像增強(qiáng)、邊緣檢測(cè)。圖像恢復(fù)與重構(gòu)小波與多分辨率處理。圖像壓縮(例如,JPEG)。歐幾里德幾何變換,諸如放大、縮小與旋轉(zhuǎn)。顏色校正，諸如亮度與對(duì)比度調(diào)整、定量化?；蝾伾儞Q到一個(gè)不同的色彩空間圖像配準(zhǔn)（兩幅或多幅圖像的排列）圖像對(duì)準(zhǔn)(二個(gè)或二個(gè)以上圖像的對(duì)準(zhǔn))圖像識(shí)別(例如,使用某些人臉識(shí)別算法從圖像中抽取人臉)。圖像分割(根據(jù)顏色、邊緣或其它特征,將圖像劃分成特征區(qū))。二、機(jī)器人視覺(jué)及圖像處理12二、機(jī)器人視覺(jué)及圖像處理圖像處理--圖像濾波圖像濾波是圖像處理中的主要工具之一。傳送低頻的濾波器為低通濾波器。低通濾波器所產(chǎn)生的效應(yīng)是模糊(平滑)一個(gè)圖像,它有減少圖像噪聲的主效應(yīng)。反之,傳送高頻的濾波器稱為高通濾波器,它典型地用作邊緣檢測(cè)。圖像濾波器既可以在頻率域?qū)嵤┮部稍诳臻g域?qū)嵤?3二、機(jī)器人視覺(jué)及圖像處理圖像處理---邊緣檢測(cè)邊緣的定義：圖像中像素灰度有階躍變化或屋頂變化的那些像素的集合邊緣檢測(cè)算子基本思想：計(jì)算局部微分算子

幾種常用的邊緣檢測(cè)算子：梯度算子Roberts算子Prewitt算子Sobel算子Kirsch算子Laplacian算子Marr算子14二、機(jī)器人視覺(jué)及圖像處理計(jì)算機(jī)視覺(jué)---立體視覺(jué)一個(gè)相機(jī)提供的二維圖像無(wú)法給出清楚的深度信息，深度信息即被觀測(cè)目標(biāo)到相機(jī)的距離。假如目標(biāo)的幾何模型是已知的,深度信息可以根據(jù)該幾何模型間接獲得。當(dāng)同一場(chǎng)景可以從不同視角獲得兩幅圖像時(shí),點(diǎn)的深度信息可以直接計(jì)算得到。這兩幅圖像可用兩個(gè)照相機(jī)拍攝,或用一個(gè)移動(dòng)相機(jī)次序拍攝。這種情況稱作立體視覺(jué)。雙目視覺(jué)第二個(gè)像機(jī)可解決單目存在的深度歧義可通過(guò)三角測(cè)量獲得深度15二、機(jī)器人視覺(jué)及圖像處理計(jì)算機(jī)視覺(jué)---運(yùn)動(dòng)場(chǎng)與光流運(yùn)動(dòng)場(chǎng)的定義：攝影機(jī)和空間環(huán)境存在相對(duì)運(yùn)動(dòng)；圖像中的每一個(gè)點(diǎn)都對(duì)應(yīng)于一個(gè)空間點(diǎn)；每一個(gè)空間點(diǎn)相對(duì)于攝影機(jī)的速度向量都可以投影為像平面上一個(gè)點(diǎn)上的二維速度向量，圖像上每個(gè)像素的二維速度向量就構(gòu)成運(yùn)動(dòng)場(chǎng)。當(dāng)攝影機(jī)和被攝影物體之間存在相對(duì)運(yùn)動(dòng)時(shí)，在物體所成的圖像序列中，可以觀測(cè)到的亮度模式的明顯變化稱為光流。16二、機(jī)器人視覺(jué)及圖像處理計(jì)算機(jī)視覺(jué)---運(yùn)動(dòng)場(chǎng)與光流運(yùn)動(dòng)場(chǎng)不為0，光流為0！運(yùn)動(dòng)場(chǎng)為0，光流不為0！17二、機(jī)器人視覺(jué)及圖像處理計(jì)算機(jī)視覺(jué)---運(yùn)動(dòng)場(chǎng)與光流提綱124機(jī)器人傳感器信息融合

機(jī)器人視覺(jué)及圖像處理

機(jī)器人傳感器3

機(jī)器人視覺(jué)核心技術(shù)19三、機(jī)器人視覺(jué)核心技術(shù)人類視覺(jué)機(jī)器視覺(jué)適應(yīng)性適應(yīng)性強(qiáng)，可在復(fù)雜及變化的環(huán)境中識(shí)別目標(biāo)適應(yīng)性差，容易受復(fù)雜背景及環(huán)境變化的影響智能具有高級(jí)智能，可運(yùn)用邏輯分析及推理能力識(shí)別變化的目標(biāo)，并能總結(jié)規(guī)律雖然可利用人工智能及神經(jīng)網(wǎng)絡(luò)技術(shù)，但智能性差，不能很好地識(shí)別變化的目標(biāo)彩色識(shí)別能力對(duì)色彩的分辨能力強(qiáng)，但容易受人的心理影響，不能量化受硬件條件的制約，目前一般的圖像采集系統(tǒng)對(duì)色彩的分辨能力較差，但具有可量化的優(yōu)點(diǎn)灰度分辨力差，一般只能分辨64個(gè)灰度級(jí)強(qiáng)，目前一般使用256灰度級(jí)，采集系統(tǒng)可具有10bit、12bit、16bit等灰度級(jí)標(biāo)定算法研究1966年B.Hallert首先考慮畸變，引入最小二乘法，對(duì)結(jié)果進(jìn)行優(yōu)化。1975年W.Fig建立復(fù)雜的成像模型，并用非線性優(yōu)化求解。1986年，R.Y.Tsai建立經(jīng)典的Tsai攝像機(jī)模型，提出兩部標(biāo)定法1999年張正友提出了基于移動(dòng)模板的攝像機(jī)標(biāo)定法，張正友標(biāo)定法21三、機(jī)器人視覺(jué)核心技術(shù)機(jī)器人手眼標(biāo)定攝像機(jī)標(biāo)定分類序號(hào)分類方式標(biāo)定方法1是否要標(biāo)定參照物傳統(tǒng)的攝像機(jī)標(biāo)定、攝像機(jī)自標(biāo)定2所用模型不同線性（小孔模型）和非線性3攝像機(jī)個(gè)數(shù)單攝像機(jī)、多攝像機(jī)4求解參數(shù)的結(jié)果顯式（設(shè)置具有物理意義參數(shù)）、隱式（轉(zhuǎn)換矩陣元素為定標(biāo)參數(shù)）5解題方法解析法、神經(jīng)網(wǎng)絡(luò)、遺傳算法6標(biāo)定塊的不同立體、平面7定標(biāo)步驟兩步法、三步法、四步法8內(nèi)部參數(shù)是否可變可變內(nèi)部參數(shù)的標(biāo)定、不可變內(nèi)部參數(shù)的標(biāo)定9攝像機(jī)運(yùn)動(dòng)方式非限定運(yùn)動(dòng)方式攝像機(jī)標(biāo)定、限定運(yùn)動(dòng)方式攝像機(jī)標(biāo)定22三、機(jī)器人視覺(jué)核心技術(shù)機(jī)器人手眼標(biāo)定張正友標(biāo)定法，要求攝像機(jī)在可兩個(gè)以上不同的方位拍攝一個(gè)平面靶標(biāo)，攝像機(jī)和2D平面靶標(biāo)都以自由移動(dòng)。通過(guò)線性模型分析就可計(jì)算出攝像機(jī)參數(shù)的優(yōu)化解，然后用基干最大似然法進(jìn)行非線性求精。在這個(gè)過(guò)程中得出考慮鏡頭畸變的目標(biāo)函數(shù)后就可求出所需的攝像機(jī)內(nèi)、外部參數(shù)23三、機(jī)器人視覺(jué)核心技術(shù)位姿估計(jì)場(chǎng)景鏡頭光源攝像機(jī)圖像存儲(chǔ)體計(jì)算機(jī)輸出鏡頭攝像機(jī)鏡頭攝像機(jī)控制電纜視覺(jué)系統(tǒng)流程圖單目視覺(jué)：一個(gè)攝像組件（鏡頭+攝像機(jī)）多目視覺(jué)：多個(gè)攝像組件（鏡頭+攝像機(jī)）24三、機(jī)器人視覺(jué)核心技術(shù)位姿估計(jì)---雙目立體視覺(jué)測(cè)量原理25三、機(jī)器人視覺(jué)核心技術(shù)位姿估計(jì)雙目立體視覺(jué)測(cè)量原理——鍛件測(cè)量26三、機(jī)器人視覺(jué)核心技術(shù)機(jī)器人視覺(jué)伺服系統(tǒng)控制視覺(jué)伺服：把視覺(jué)傳感信號(hào)嵌入到機(jī)器人的伺服循環(huán)中，通過(guò)對(duì)視覺(jué)特征的控制，實(shí)現(xiàn)對(duì)機(jī)器人的定位閉環(huán)控制。優(yōu)越性：簡(jiǎn)化了機(jī)器人控制系統(tǒng)的設(shè)計(jì)，伺服任務(wù)可靈活定義，控制器形式多樣，更能滿足不同場(chǎng)合需求。

視覺(jué)伺服控制系統(tǒng)之間映射關(guān)系27三、機(jī)器人視覺(jué)核心技術(shù)機(jī)器人視覺(jué)伺服系統(tǒng)控制基于位置的視覺(jué)伺服（PBVS）

視覺(jué)反饋控制信號(hào)直接在3D任務(wù)空間中以笛卡爾坐標(biāo)形式定義基本原理：結(jié)合已知的目標(biāo)幾何模型及攝像機(jī)模型，在三維笛卡爾坐標(biāo)系中對(duì)目標(biāo)位姿進(jìn)行估計(jì)，然后控制系統(tǒng)根據(jù)機(jī)械手當(dāng)前位姿與估計(jì)出的目標(biāo)位姿之間的差分信息，進(jìn)行軌跡規(guī)劃并計(jì)算出控制量。28三、機(jī)器人視覺(jué)核心技術(shù)機(jī)器人視覺(jué)伺服系統(tǒng)控制基于圖像的視覺(jué)伺服(IBVS)誤差信號(hào)直接用圖像特征定義，無(wú)需對(duì)目標(biāo)進(jìn)行位姿估計(jì)，而是直接利用圖像特征進(jìn)行視覺(jué)信息反饋控制?；驹?由圖像誤差信號(hào)計(jì)算控制量，再將此控制量變換到機(jī)器人運(yùn)動(dòng)空間，從而驅(qū)動(dòng)機(jī)械手向目標(biāo)運(yùn)動(dòng)。提綱124機(jī)器人傳感器信息融合

機(jī)器人視覺(jué)及圖像處理

機(jī)器人傳感器3

機(jī)器人視覺(jué)核心技術(shù)30四、機(jī)器人傳感器信息融合多傳感器信息融合技術(shù)是通過(guò)對(duì)這些傳感器及其觀測(cè)信息合理支配和使用，把多個(gè)傳感器在時(shí)間和空間上的冗余或互補(bǔ)信息依據(jù)某種準(zhǔn)則進(jìn)行組合，以獲取被觀測(cè)對(duì)象的一致性解釋或描述。31四、機(jī)器人傳感器信息融合32四、機(jī)器人傳感器信息融合機(jī)器人傳感器信息融合多傳感器融合常用的方法有：加權(quán)平均法、貝葉斯估計(jì)、卡爾曼濾波、DS證據(jù)推理、模糊邏輯、產(chǎn)生式規(guī)則、人工神經(jīng)網(wǎng)絡(luò)等信息融合過(guò)程：首先將被測(cè)對(duì)象它們轉(zhuǎn)換為電信號(hào)，然后經(jīng)過(guò)A/D變換將它們轉(zhuǎn)換為數(shù)字量。數(shù)字化后電信號(hào)需經(jīng)過(guò)預(yù)處理，以濾除數(shù)據(jù)采集過(guò)程中的干擾和噪聲。對(duì)經(jīng)處理后的有用信號(hào)作特征抽取，再進(jìn)行數(shù)據(jù)融合；或者直接對(duì)信號(hào)進(jìn)行數(shù)據(jù)融合。最后，輸出融合的結(jié)果。33四、機(jī)器人傳感器信息融合機(jī)器人傳感器信息融合三種結(jié)構(gòu)形式：串