基于機(jī)器視覺的工件智能抓取技術(shù)研究報(bào)告

1、. 基于機(jī)器視覺的工業(yè)機(jī)器人工件搬運(yùn)技術(shù)研究1.1研究背景自 19 世紀(jì) 60 年代問世以來，工業(yè)機(jī)器人不斷開展和完善，現(xiàn)已得到廣泛應(yīng)用，機(jī)器人產(chǎn)業(yè)也逐漸成熟。目前，全世界已擁有 100 多萬臺(tái)工業(yè)機(jī)器人廣泛應(yīng)用在焊接、搬運(yùn)、裝配、噴涂、修邊、拾料、包裝、堆垛和上下料等單調(diào)或復(fù)雜的作業(yè)中，為企業(yè)節(jié)約了大量的勞動(dòng)本錢，大大提高了勞動(dòng)生產(chǎn)率。工業(yè)機(jī)器人是面向工業(yè)領(lǐng)域的多關(guān)節(jié)機(jī)械手或多自由度的機(jī)器人，它在穩(wěn)定產(chǎn)品品質(zhì)、提高生產(chǎn)效率和改善勞動(dòng)條件等方面有著十分重要的作用，它的應(yīng)用能夠使企業(yè)大大縮短新產(chǎn)品的換產(chǎn)周期和節(jié)約勞動(dòng)本錢，從而提高了產(chǎn)品的市場競爭力。隨著當(dāng)代工業(yè)革命深入開展，工業(yè)生產(chǎn)日益趨向自動(dòng)

2、化，工業(yè)機(jī)器人技術(shù)也正朝著智能、柔性的方向開展。許多興旺國家對于智能工業(yè)機(jī)器人的研究都較為重視，我國也早已將其納入國家高科技開展規(guī)劃。國家層面的重視也必將給工業(yè)機(jī)器人技術(shù)帶來新的跨越式開展，機(jī)器人的開展也必將對社會(huì)經(jīng)濟(jì)和生產(chǎn)力的發(fā)產(chǎn)生更加深遠(yuǎn)的影響1.2 研究目的和意義對于工作在自動(dòng)化生產(chǎn)線上或柔性制造系統(tǒng)中的工業(yè)機(jī)器人來說，其完成最多的一類操作是抓取放置動(dòng)作，比方流水線上的工件搬運(yùn)、裝配以及各工位之間的工件轉(zhuǎn)移和上下料。機(jī)器人要完成這類操作是經(jīng)過復(fù)雜計(jì)算的：首先，機(jī)器人必須知道怎么抓，其次機(jī)器人應(yīng)該知道怎么放；同時(shí)在這個(gè)過程還要伴隨著機(jī)器人運(yùn)動(dòng)學(xué)分析的過程。傳統(tǒng)的工業(yè)機(jī)器人完成這類操作，必須

3、經(jīng)過準(zhǔn)確的逐點(diǎn)示教后，才能一步一步的按照固定程序執(zhí)行。在這個(gè)過程中，工件相對于機(jī)器人的初始位姿位置和姿態(tài)和終止位姿是事先規(guī)定的，但很多情況下，特別是流水線場合，工件的位姿常常是不固定的。這就導(dǎo)致實(shí)際目標(biāo)工件的位姿與理想工件位姿總是有偏差的，這種偏差哪怕很小都會(huì)導(dǎo)致機(jī)器人操作任務(wù)的失敗。這種由于環(huán)境的變化而導(dǎo)致機(jī)器人不能很好地完成任務(wù)的情況極限制了機(jī)器人的實(shí)際應(yīng)用。這就要求工業(yè)機(jī)器人具備一定的環(huán)境適應(yīng)能力，即工業(yè)機(jī)器人智能化。智能工業(yè)機(jī)器人的智能特征在于它具有與外部世界、對象、環(huán)境和人相互協(xié)調(diào)的工作機(jī)能，具體表現(xiàn)在機(jī)器視覺、接近覺、觸覺和力覺等方面。機(jī)器視覺是用機(jī)器代替人眼來做測量和判斷的，其本

4、質(zhì)是使計(jì)算機(jī)具有認(rèn)知周圍環(huán)境信息的能力。這種能力不僅使機(jī)器能感知周圍物體的形狀、位置、姿態(tài)、運(yùn)動(dòng)等等信息，而且能相應(yīng)地對這些信息進(jìn)展描述、理解和識(shí)別。將機(jī)器視覺與機(jī)器人結(jié)合到一起，也就產(chǎn)生了機(jī)器人視覺。機(jī)器人視覺技術(shù)是用來模擬人類視覺，使機(jī)器人通過獲取視覺信息從而對操作環(huán)境進(jìn)展判別，給機(jī)器人賦予更強(qiáng)大的應(yīng)對能力，大大增強(qiáng)了機(jī)器人的柔性。因而基于視覺引導(dǎo)的機(jī)器人擁有著廣闊的開展空間，具有重要的科研和應(yīng)用價(jià)值。1.3 國外現(xiàn)狀目前，機(jī)器視覺技術(shù)已經(jīng)從最初的實(shí)驗(yàn)室階段逐漸走向成熟，并且在工業(yè)生產(chǎn)線上已經(jīng)有實(shí)際應(yīng)用。德國、日本、美國和國處在智能工業(yè)機(jī)器人領(lǐng)域應(yīng)用研究的前沿。日本從最初的模仿到現(xiàn)在的獨(dú)創(chuàng)

5、，找到了自己的技術(shù)創(chuàng)新之路。德國西門子公司也緊跟著時(shí)代的步伐，將機(jī)器視覺滲透到各個(gè)領(lǐng)域，應(yīng)用到汽車發(fā)動(dòng)機(jī)裝配，生產(chǎn)線工件分揀等領(lǐng)域。美國更是機(jī)器人技術(shù)的創(chuàng)新發(fā)源地，其機(jī)器視覺廣泛應(yīng)用在工業(yè)和軍事上，機(jī)械手經(jīng)銷商，包括 Fanuc 公司，Motman 公司和 Staubli 公司都推出了揀選系統(tǒng)。如圖 1.1 所示，日本川崎設(shè)計(jì)的工業(yè)機(jī)器人主要應(yīng)用在基于視覺系統(tǒng)的大型物品裝卸、樹脂成形機(jī)械抓取和汽車車門的邊角打磨工程等領(lǐng)域。這種機(jī)器人可以結(jié)合具體的實(shí)際應(yīng)用和目標(biāo)方法，配置不同的選裝件和相關(guān)參數(shù)，能夠適應(yīng)各種應(yīng)用場合。通過使用機(jī)器人部搭載標(biāo)準(zhǔn)的機(jī)器人語言，它還可以實(shí)現(xiàn)高性能的動(dòng)作控制和時(shí)序控制。圖

6、 1.1基于視覺系統(tǒng)的大型物品裝卸圖 1.2所示的是美國普渡大學(xué)研究的一種基于視覺控制的 Bin-picking 系統(tǒng)，該系統(tǒng)可以從多種零件中分揀出圓形零件，它是通過簡單的圓弧邊界特征來識(shí)別圓形零件的。圖 1.3 所示的是瑞典 ABB 公司最新推出的第二代拾取機(jī)器人 Fle*Picker IRB360，該機(jī)器人擁有有效載荷大、操作速度快、簡單有效等優(yōu)點(diǎn)，能夠在 2D 視覺的幫助下，以高達(dá) 2 次/秒的速度撿取傳送帶上的物品?？偟膩碚f，美國、日本、歐洲一些興旺國家在機(jī)器人視覺技術(shù)有著豐富的經(jīng)歷，已經(jīng)開發(fā)出多款成熟產(chǎn)品，廣泛應(yīng)用在微裝配、空間和軍事領(lǐng)域。圖1.2 Bin-Picking機(jī)器人 圖1

7、.3 ABB Fle*-Picker機(jī)器人我國對工業(yè)機(jī)器人的研究起步較晚，從 90 年代初期起，我國在工業(yè)機(jī)器人領(lǐng)域才取得一定的進(jìn)展。隨著近幾年科技的進(jìn)步，我國在這方面開展迅速，取得了不少科研成果，機(jī)器人的構(gòu)造和控制理論不斷得到創(chuàng)新，生產(chǎn)制造工藝也逐漸成熟，不斷有自主知識(shí)產(chǎn)權(quán)的機(jī)器人產(chǎn)品相繼問世，此外還相繼建立了 20 多個(gè)機(jī)器人產(chǎn)業(yè)化基地，實(shí)施了 100 多項(xiàng)機(jī)器人應(yīng)用工程，機(jī)器人產(chǎn)業(yè)不斷壯大和開展。 新松機(jī)器人自動(dòng)化股份研制機(jī)器人是擁有自主知識(shí)產(chǎn)權(quán)和核心技術(shù)的工業(yè)搬運(yùn)機(jī)器人，它可用于鍛造生產(chǎn)和鑄件落砂等工作條件惡劣的場合，降低工人的勞動(dòng)強(qiáng)度。航空航天大學(xué)于 1994 年成功研制了七自由度機(jī)

8、器人操作臂，并且研制出一系列改良型的冗余自由度機(jī)器人實(shí)驗(yàn)樣機(jī)。方躍提出了采用靈活角來度量操作器靈活程度，將機(jī)器人的工作空間根據(jù)靈活程度的不同劃分為相應(yīng)的有限靈活工作空間，高同以梯度投影法為根底，采用線性加權(quán)法，研究冗余度機(jī)器人的多指標(biāo)融合優(yōu)化問題。冗余自由度機(jī)器人另一個(gè)研究重點(diǎn)是運(yùn)動(dòng)學(xué)逆解，如圖 1.5所示，為眾為興技術(shù)股份生產(chǎn)的四自由度分揀機(jī)器人。該機(jī)器人在分類分揀的應(yīng)用中具有視覺導(dǎo)引功能，重點(diǎn)介紹了眾為興 SCARA 機(jī)器人及視覺系統(tǒng)，并在現(xiàn)場用實(shí)物生動(dòng)展示了具有視覺功能的眾為興機(jī)器人在分類分揀的應(yīng)用。眾為興公司開發(fā)研制的 SCARA 機(jī)器人，可應(yīng)用在搬運(yùn)、分揀一些較小的規(guī)則工件。圖1.5

9、眾為興展出的SCARA機(jī)器人1.4 本課題的研究容本文是針對基于視覺引導(dǎo)的工業(yè)機(jī)器人工件搬運(yùn)技術(shù)進(jìn)展的研究，簡單的講，就是在一臺(tái) 6 軸的工業(yè)機(jī)器人的根底上引入機(jī)器視覺，利用機(jī)器人對視覺的理解，完成工業(yè)生產(chǎn)中工件的抓取和放置操作。在這個(gè)操作過程中，工件識(shí)別與定位和機(jī)器人運(yùn)動(dòng)學(xué)反解是兩個(gè)關(guān)鍵環(huán)節(jié)。工件識(shí)別與定位是為機(jī)器人提供操作和如何操作的信息，而機(jī)器人運(yùn)動(dòng)學(xué)反解的準(zhǔn)確性直接影響到操作能否完成和相應(yīng)的操作精度。整個(gè)工件搬運(yùn)的具體流程是：在機(jī)器人工作之前，先通過上方攝像機(jī)實(shí)時(shí)地采集工件圖像，并送到圖像處理系統(tǒng)，以便確定所感興趣的工件以及該工件相對于機(jī)器人的位姿，最后將位姿信息反解成工業(yè)機(jī)器人熟悉的

10、關(guān)節(jié)角度和角度控制信息，從而實(shí)現(xiàn)利用視覺引導(dǎo)機(jī)器人準(zhǔn)確地抓取工件。同時(shí)根據(jù)已抓取工件的放置要求，進(jìn)一步引導(dǎo)機(jī)器人完成工件的定點(diǎn)放置，從而實(shí)現(xiàn)機(jī)器人搬運(yùn)操作。本課題的研究容圍繞物體識(shí)別這個(gè)中心展開，主要包括以下幾個(gè)方面：如何獲取圖像 獲取圖像是進(jìn)展本課題研究的前提，順利的通過攝像頭設(shè)備獲取到原始圖像是一切研究的根本如何對圖像進(jìn)展預(yù)處理視覺系統(tǒng)中直接使用的圖像，必須在進(jìn)展灰度校正、噪聲過濾等圖像預(yù)處理。將圖像中感興趣的特征有選擇地突出，衰減其不需要的特征，預(yù)處理后的輸出圖像并不需要去逼近原圖像。如何對預(yù)處理以后的圖像進(jìn)展特征識(shí)別和特征提取已經(jīng)把待測目標(biāo)工件進(jìn)展過圖像預(yù)處理，接下來要針對靜態(tài)工件的特

11、征提取，最后要根據(jù)已經(jīng)提取的目標(biāo)工件的特征進(jìn)展分類。特征提取的意義于要區(qū)分不同種類的工件就要把它們之間不同的信息提取出來，作為識(shí)別的前提條件。一般來說，提取普通特征包括周長、邊緣、面積、曲率、角度和物體質(zhì)心等如何根據(jù)提取的特征對目標(biāo)進(jìn)展分類和目標(biāo)定位目標(biāo)分類是指對得到的不同目標(biāo)進(jìn)展區(qū)分并將其歸為*一類的過程。對于圖像目標(biāo)來說通常利用圖像特征來對目標(biāo)進(jìn)展描述，然后對其分類。通過模版匹配計(jì)算目標(biāo)上空間點(diǎn)和像素點(diǎn)之間的對應(yīng)關(guān)系。然后創(chuàng)立模版，對后續(xù)的圖像進(jìn)展目標(biāo)定位。如何跟蹤目標(biāo)對于運(yùn)動(dòng)的目標(biāo)，通過跟蹤能夠得到目標(biāo)的速度和加速度，并可以對將來目標(biāo)出現(xiàn)的位置進(jìn)展預(yù)測6.如何將目標(biāo)在圖像中的位置轉(zhuǎn)化到機(jī)

12、器人基坐標(biāo)系中并進(jìn)展機(jī)器人運(yùn)動(dòng)學(xué)反解通過相機(jī)標(biāo)定得到圖像坐標(biāo)與機(jī)器人基坐標(biāo)之間的轉(zhuǎn)換關(guān)系，將目標(biāo)在圖像中的位置信息轉(zhuǎn)化為機(jī)器人基坐標(biāo)系中的具體坐標(biāo)，并通過該坐標(biāo)進(jìn)展機(jī)器人運(yùn)動(dòng)學(xué)逆解，得到關(guān)節(jié)運(yùn)動(dòng)信息如何規(guī)劃路徑并控制機(jī)器人進(jìn)展目標(biāo)抓取通過前面得到的運(yùn)動(dòng)學(xué)逆解，合理的設(shè)置機(jī)器人抓取運(yùn)動(dòng)規(guī)劃，包括路徑規(guī)劃和手部抓取規(guī)劃，路徑規(guī)劃是研究按照何種路徑，將機(jī)器人手部坐標(biāo)系的原點(diǎn)和目標(biāo)抓取坐標(biāo)系的原點(diǎn)重合的問題，抓取點(diǎn)規(guī)劃是針對不同形狀的物體，如何選擇適宜夾持點(diǎn)位置的問題。1.5本課題的研究方法1.5.1獲取圖像1)硬件介紹一個(gè)穩(wěn)定的視覺系統(tǒng)的構(gòu)建需要根據(jù)任務(wù)的特點(diǎn)和現(xiàn)場環(huán)境的特點(diǎn)進(jìn)展，例如精度，目標(biāo)尺寸

13、，檢測速度，安裝空間大小等要求，都將影響系統(tǒng)硬、軟件的選擇。典型的視覺系統(tǒng)包括的硬件很多，但最重要的最根本的三件設(shè)備是：光源、鏡頭和相機(jī)。本節(jié)主要給出本系統(tǒng)所用硬件的參數(shù)并對其進(jìn)展簡單介紹1.光源由于所有非發(fā)光物體都是通過反射光才能在傳感器上留下影像，所以光源的正確選擇是保證視覺系統(tǒng)正常工作的根底。在選擇視覺系統(tǒng)光源時(shí)要注意，使用的光源要把感興趣目標(biāo)和背景區(qū)分開來，削減非關(guān)心目標(biāo)或噪聲的干擾，并且光源本身不會(huì)帶來額外的干擾，鏡頭鏡頭與人眼的晶狀體具有類似的功能，如果沒有安裝鏡頭進(jìn)展拍攝，得到的圖像將是花白色，不包含任何場景信息。所以鏡頭的作用是會(huì)聚目標(biāo)反射回的光，在感光原件上產(chǎn)生細(xì)節(jié)豐富，銳利

14、的圖像。鏡頭的參數(shù)選擇一般是根據(jù)配用的攝像機(jī)感光原件的大小來進(jìn)展的，如果二者的參數(shù)不適宜，將出現(xiàn)圖像記錄不完整，視場角不符合要求或者畫面在焦點(diǎn)外的問題本文選擇的是UPTAR公司的M0814-MP2型號(hào)的鏡頭，參數(shù)如表所示：性能指標(biāo)參數(shù)靶面尺寸2/3焦距8最大成像尺寸8.8*6.6控制光圈手動(dòng)聚焦手動(dòng)變焦手動(dòng)接口C-接口尺寸33.5*28.2攝像機(jī)本系統(tǒng)使用的是Basler公司的acA2500-14gm型號(hào)的工業(yè)相機(jī)，如下圖，該相機(jī)的性能指標(biāo)和參數(shù)如表所示：圖3 Basler acA2500-14gm型號(hào)工業(yè)相機(jī)性能指標(biāo)參數(shù)傳感器類型Aptina MT9P CMOS, rolling shutt

15、er有效圖像元素2592*1944像素尺寸2.2 * 2.2數(shù)據(jù)位數(shù)12鏡頭接口C-mount, CS-mount傳輸方式Gigabit Ethernet幀率14供電要求Via Power over Ethernet (802.3af) or + 12VDC ( 10%) via the cameras 6-pin Hirose connector外形尺寸42 * 29 * 29表1 Basler acA2500-14gm型號(hào)工業(yè)相機(jī)參數(shù)拍攝參數(shù)設(shè)定為了提高圖像處理速度并兼顧分辨率，選擇的拍攝參數(shù)如下表：圖像尺寸待定色彩待定ISO速度待定幀頻待定記錄頻率待定2軟件介紹OpenCV的全稱是：Op

16、en Source puter Vision Library。OpenCV是一個(gè)基于開源發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺庫，可以運(yùn)行在Linu*、Windows和Mac OS操作系統(tǒng)上。它輕量級(jí)而且高效由一系列 C 函數(shù)和少量 C+ 類構(gòu)成，同時(shí)提供了Python、Ruby、MATLAB等語言的接口，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺方面的很多通用算法，它可以完成以下工作：1.圖像數(shù)據(jù)操作存分配與釋放，圖像復(fù)制、設(shè)定和轉(zhuǎn)換2.圖像/視頻的輸入輸出支持文件或攝像頭的輸入，圖像/視頻文件的輸出3.矩陣/向量數(shù)據(jù)操作及線性代數(shù)運(yùn)算矩陣乘積、矩陣方程求解、特征值、奇異值分解支持多種動(dòng)態(tài)數(shù)據(jù)構(gòu)造鏈表、隊(duì)列、數(shù)據(jù)集、樹、圖

17、4.根本圖像處理去噪、邊緣檢測、角點(diǎn)檢測、采樣與插值、色彩變換、形態(tài)學(xué)處理、直方圖、圖像金字塔構(gòu)造5.構(gòu)造分析連通域/分支、輪廓處理、距離轉(zhuǎn)換、圖像矩、模板匹配、霍夫變換、多項(xiàng)式逼近、曲線擬合、橢圓擬合、狄勞尼三角化6.攝像頭定標(biāo)尋找和跟蹤定標(biāo)模式、參數(shù)定標(biāo)、根本矩陣估計(jì)、單應(yīng)矩陣估計(jì)、立體視覺匹配7.運(yùn)動(dòng)分析光流、動(dòng)作分割、目標(biāo)跟蹤8.目標(biāo)識(shí)別特征方法、HMM模型HALCON軟件介紹HALCON是一款來自德國慕尼黑的世界頂級(jí)機(jī)器視覺編程環(huán)境，該軟件以面向問題為根底，涉及工業(yè)領(lǐng)域中光學(xué)工程、精細(xì)制造、包裝、半導(dǎo)體、印刷、機(jī)械等行業(yè)。使用它可以迅速構(gòu)建一個(gè)準(zhǔn)確、穩(wěn)定、高效率的視覺解決方案。該軟件

18、具有強(qiáng)大的函數(shù)庫，能導(dǎo)出C+、C、VB等語言，縮短了代碼編寫時(shí)間，為構(gòu)建獨(dú)立的視覺系統(tǒng)提供了方便。利用HALCON軟件構(gòu)建一個(gè)獨(dú)立視覺系統(tǒng)分為三個(gè)步驟：該軟件最大特點(diǎn)是?；湍K化，所有的算子都具有同一的輸入輸出格式，下面是一個(gè)典型的算子構(gòu)造：Operator(iconic input:iconic output:control input:control output)HALCON語言的數(shù)據(jù)有兩種：一種是控制參數(shù)，包含數(shù)字、數(shù)組，字符串等；另一種是圖形參數(shù)，包含圖像，區(qū)域和邊緣數(shù)據(jù)等。從典型算子構(gòu)造可以看出，圖形參數(shù)首先輸入的參數(shù)，然后是控制參數(shù)，并且順序是輸入數(shù)據(jù)和輸出數(shù)據(jù)相間隔，也即是：

19、Operator(輸入圖形參數(shù)：輸出圖形參數(shù)：輸入控制參數(shù)：輸出控制參數(shù)。1.5.2圖像預(yù)處理圖像灰度化將RGB彩色圖像轉(zhuǎn)化為單通道圖像，灰度圍為0-255，可以很大程度上提高運(yùn)算的速度Image cam_gray=cam.Convert();Cam是攝像機(jī)采集的彩色圖像直方圖均衡化對于工件和背景灰度相差不大的情況，可以通過直方圖均衡化增加圖像的比照度，使工件在背景中更突出cvEqualizeHist函數(shù)可以增大圖像灰度的動(dòng)態(tài)圍，從而增加比照度圖像濾波消除噪聲信息對于環(huán)境中的各種干擾，相機(jī)的成像噪聲，可以通過預(yù)處理階段消除或者削弱噪聲的影響，具體可以使用各種濾波算子，如中值濾波，高斯平滑濾波，

20、均值濾波，在OpenCV中都有對應(yīng)的函數(shù)可以調(diào)用1.5.3圖像識(shí)別模式識(shí)別應(yīng)用與圖像信號(hào)處理領(lǐng)域就成為了圖像識(shí)別，它是一種利用計(jì)算機(jī)對圖像進(jìn)展描述和分類的技術(shù)，在機(jī)器視覺中具有廣泛的應(yīng)用，涉及文字，條碼，車牌識(shí)別，目標(biāo)分類等應(yīng)用場合，識(shí)別的過程其實(shí)是一個(gè)分類的過程，將滿足判斷條件的對象歸為一類，而不滿足條件的劃分為其他類，首先對目標(biāo)圖像進(jìn)展特征提取，然后將它和的模式向量進(jìn)展比擬，比擬的過程是函數(shù)計(jì)算的過程，通過計(jì)算得到相似程度值，根據(jù)該值判斷目標(biāo)是否與庫中的目標(biāo)相似，從而得到相應(yīng)的識(shí)別或者不識(shí)別信號(hào)，根據(jù)分類標(biāo)準(zhǔn)選擇的不同，可以將識(shí)別方法分為：基于概率統(tǒng)計(jì)方法的識(shí)別，基于模版匹配方法的識(shí)別，基

21、于多傳感器信息融合方法的識(shí)別等。通常，圖像識(shí)別有以下三步，如下圖圖3 圖像識(shí)別的步驟主要有三個(gè)任務(wù)：圖像分割、目標(biāo)分類、圖像匹配圖像分割要將圖像分割為區(qū)域，就要有分割的標(biāo)準(zhǔn)，這個(gè)標(biāo)準(zhǔn)就叫做閾值，獲取適宜閾值的方法很多，通?？梢苑譃槭謩?dòng)獲取和自動(dòng)獲取，當(dāng)進(jìn)展手動(dòng)獲取時(shí)，通常借鑒圖像灰度直方圖的分布來幫助選擇，最簡單的自動(dòng)全局閾值的方法是：首先選擇一個(gè)初始閾值估計(jì)值然后利用該閾值對圖像進(jìn)展初始分割得到G1和G2區(qū)域。對G1和G2區(qū)域中所有像素計(jì)算灰度平均值，計(jì)算得到的新閾值為T=，利用新閾值對圖像進(jìn)展重新分割，然后重復(fù)前面兩步，直至前后兩次T值之差小于設(shè)定值時(shí)停頓。然后利用最終得到的最正確閾值將區(qū)

22、域分割為兩局部，從而得到二值圖像：對于本系統(tǒng)，由于拍攝到的目標(biāo)圖像和背景灰度差異較大，可以直接確定閾值圍，此方法進(jìn)展分割的結(jié)果如下圖，從圖中可以看出，目標(biāo)區(qū)域和背景區(qū)域分割的較好，但是有許多非目標(biāo)的區(qū)域也被劃分為一類主要是傳送帶的邊緣，所以還需要后續(xù)的區(qū)域標(biāo)記方法，利用區(qū)域的連通性將這些目標(biāo)區(qū)域和非目標(biāo)區(qū)域給分開來區(qū)域聯(lián)通標(biāo)記是建立在像素點(diǎn)鄰接性的根底之上的，鄰接性是一種相似性的度量方法，常用的類型有4-鄰接、8-鄰接、和對角鄰接*P*4-鄰接 *P* *8-鄰接*P* *對角鄰接提取連通成分的過程實(shí)際上也是標(biāo)記連通成分的過程，通常的做法是給圖像中的每個(gè)連通區(qū)域分配一個(gè)唯一的，這樣的圖像成為標(biāo)

23、注圖像。得到各個(gè)區(qū)域，就能計(jì)算區(qū)域的面積，中重心，圓度，外接/切圓半徑等特征參數(shù)，以供所需區(qū)域的選擇，本例采用面積特征進(jìn)展選擇，得到目標(biāo)模幅員像目標(biāo)分類目標(biāo)分類是對得到的不同目標(biāo)進(jìn)展區(qū)分并將其歸為*一類的過程。對于圖像目標(biāo)來說通常利用圖像特征來對目標(biāo)進(jìn)展描述，然后再對其分類，目標(biāo)分類是目標(biāo)識(shí)別過程中的重要步驟目前已經(jīng)廣泛應(yīng)用于圖像分割，目標(biāo)識(shí)別，變化檢測，字符識(shí)別等場合。根據(jù)待分類目標(biāo)的外形，可將分類任務(wù)分為兩類。第一類是針對搜索目標(biāo)外形固定，并且不同類型目標(biāo)的特征區(qū)域明顯，這種情況可以采用模版匹配的方法對其進(jìn)展分類，第二類是針對目標(biāo)外形不是特別明顯，人工無法選擇出適宜的分類方法對其進(jìn)展分類，

24、這種情況下就需要利用類型信息的目標(biāo)圖像對分類器進(jìn)展訓(xùn)練，讓分類器對后續(xù)的圖像進(jìn)展分類。常用的分類器有三種，分別是基于多層感知分類器MLP，基于支持向量機(jī)分類器SVM，基于高斯混合模型分類器GMM，本文采用MLP分類器，具體步驟為：圖* 目標(biāo)分類的一般步驟首先創(chuàng)立*一類型的分類器，然后對一直目標(biāo)進(jìn)展分析，得到描述該類型目標(biāo)的特征向量，然后利用特征向量對分類器進(jìn)展訓(xùn)練，得到判別函數(shù)，這時(shí)分類器就獲得了分類的原則，然后對后續(xù)的未知目標(biāo)進(jìn)展分類，同樣也需要對目標(biāo)進(jìn)展特征提取得到特征向量，然后利用分類器對向量進(jìn)展計(jì)算，得到分類結(jié)果。這里使用的是OpenCV或者Halcon中提供的分類器3圖像匹配 用創(chuàng)立

25、模幅員像的方法可以用于檢測圖像來確定目標(biāo)的位置，但是通過圖像分割的方法來得到一個(gè)穩(wěn)定的目標(biāo)識(shí)別系統(tǒng)是非常困難的。例如背景發(fā)生拜年話，目標(biāo)被局部遮擋，目標(biāo)與攝像機(jī)間距離變化，多個(gè)目標(biāo)出現(xiàn)等都導(dǎo)致分割的困難，而圖像匹配可以解決這些問題。圖像匹配是指利用的目標(biāo)模式，對不同時(shí)刻或視角下拍攝的兩幅圖像間尋找一樣或相近的目標(biāo)模式，使期望的目標(biāo)建立起對應(yīng)關(guān)系的過程，圖像匹配算法按照特征選擇層次的不同分為兩大類，基于灰度值相關(guān)的匹配是利用圖像的直接灰度值特征，其計(jì)算過程為：移動(dòng)模版至待匹配圖像的各個(gè)位置，計(jì)算每個(gè)位置時(shí)模版本身與所覆蓋區(qū)域的相似性計(jì)算值，將得到的一系列計(jì)算值進(jìn)展比擬，極值處便是目標(biāo)所在的位置。

26、這種方法計(jì)算量大，達(dá)不到實(shí)時(shí)性要求，并且不能適應(yīng)光照條件變化、尺度變化，遮擋等情況，為了解決實(shí)時(shí)性要求，采用基于圖像特征的匹配方法，這種匹配方法有很好的魯棒性，基于特征的匹配是指，對模幅員像和匹配圖像分別進(jìn)展特征提取，用相似性度量函數(shù)計(jì)算對應(yīng)特征之間的相似程度的匹配方法，特征的選擇有很多，一般來說灰度變化大的地方是信息量最豐富的地方，比方，角點(diǎn)，輪廓，邊緣，直線，紋理等。本文采用的是基于形狀匹配的方法，該方法是多種技術(shù)的綜合，既用到了金字塔匹配模型，也用到了圖像的輪廓特征，該方法的一般流程如圖，匹配后得到目標(biāo)在圖像中的位置坐標(biāo)如下表：序號(hào)目標(biāo)個(gè)數(shù)坐標(biāo)角度準(zhǔn)確度11289.042，311.058

27、-0.0005298.36521145.325，178.6986.3254199.452.圖*.基于形狀匹配的步驟目標(biāo)跟蹤目標(biāo)跟蹤是一個(gè)對運(yùn)動(dòng)目標(biāo)或者運(yùn)動(dòng)相機(jī)采集到的圖像序列進(jìn)展連續(xù)確定目標(biāo)位置的過程，目標(biāo)定位是目標(biāo)跟蹤的根底，通過跟蹤能夠得到目標(biāo)的運(yùn)動(dòng)軌跡從而可以對將來目標(biāo)出現(xiàn)的位置進(jìn)展預(yù)測，通過軌跡能夠得到目標(biāo)的速度和加速度，從而可以為運(yùn)動(dòng)學(xué)研究提供一種測量手段。此外，通過目標(biāo)跟蹤可以對預(yù)先設(shè)定好出現(xiàn)圍和形狀的目標(biāo)進(jìn)展監(jiān)視，如果其出現(xiàn)圍或者形狀發(fā)生變化時(shí)，便發(fā)出相應(yīng)的報(bào)警信號(hào)。目標(biāo)跟蹤可以分為兩大方法：第一類是基于邊緣特征的方法;第二類是基于目標(biāo)部投影點(diǎn)信息的方法，如光流法，模版匹配法。本

28、位采用第二類中的模版匹配方法，由于匹配計(jì)算量較大，可采用以下途徑減少運(yùn)算量：首先計(jì)算第一副圖像中目標(biāo)的位姿，由于目標(biāo)運(yùn)動(dòng)的連續(xù)性，對得到的位姿進(jìn)展限制，定義一個(gè)跟蹤圍圓下一個(gè)目標(biāo)可能出現(xiàn)的區(qū)域，然后在指定圍對后續(xù)圖像進(jìn)展目標(biāo)匹配。由于本文采用的傳送帶運(yùn)動(dòng)狀態(tài)為勻速直線運(yùn)動(dòng)，因此只要計(jì)算出目標(biāo)的速度和位置便能寫出軌跡方程來。定義參考坐標(biāo)系：在傳送帶上定義參考坐標(biāo)系的目的，是為了將目標(biāo)位姿與機(jī)器人基坐標(biāo)系聯(lián)系起來。參考坐標(biāo)系的*軸與傳送帶中線重合，方向指向目標(biāo)運(yùn)動(dòng)方向，y軸指向機(jī)器人一側(cè)，Z軸垂直于傳送帶平面向上。左側(cè)方框區(qū)域代表相機(jī)的視野圍，右側(cè)外圓區(qū)域?yàn)闄C(jī)器人工作空間圍，圓區(qū)域代表機(jī)器人工作空

29、間與傳送帶在平面相交區(qū)域。工件從左側(cè)進(jìn)入，在計(jì)時(shí)起點(diǎn)處開場計(jì)時(shí)。相機(jī)對經(jīng)過計(jì)時(shí)起點(diǎn)的目標(biāo)進(jìn)展連續(xù)拍照，估算出目標(biāo)重心在參考坐標(biāo)系中的坐標(biāo)和速度。在進(jìn)展實(shí)驗(yàn)之前通過離線測量的方法，得到參考坐標(biāo)系與機(jī)器人基座之間的相對位姿，同樣可以計(jì)算出參考坐標(biāo)系在攝像機(jī)坐標(biāo)系下的位姿由離線測量得到的位姿關(guān)系和，可以計(jì)算出機(jī)器人基座于攝像機(jī)之間的位姿矩陣。然后通過目標(biāo)定位得到目標(biāo)的位姿，再計(jì)算出目標(biāo)重心相對于參考坐標(biāo)系的位姿，由可以得到目標(biāo)重心的坐標(biāo)，過重心點(diǎn)做一條平行于參考坐標(biāo)系*軸的直線，與機(jī)器人工作空間區(qū)域相交與兩點(diǎn)：，。這兩點(diǎn)便是目標(biāo)進(jìn)出工作空間的坐標(biāo)點(diǎn)。由這兩點(diǎn)結(jié)合運(yùn)動(dòng)速度就可以計(jì)算出目標(biāo)何時(shí)進(jìn)入和離開

30、機(jī)器人的工作空間圍，在這個(gè)時(shí)間段中選擇任一時(shí)刻即可對目標(biāo)進(jìn)展抓取。目標(biāo)速度V的計(jì)算，可以在攝像機(jī)視野，取間隔10的兩幅圖像，計(jì)算目標(biāo)中心在運(yùn)動(dòng)方向的位移，除以拍攝這10圖像所經(jīng)歷的時(shí)間，即可得到目標(biāo)的速度。1.5.6IRB120型機(jī)器人控制工業(yè)機(jī)器人的控制方法分類：分類依據(jù)類型特點(diǎn)根據(jù)控制量所處空間關(guān)節(jié)空間運(yùn)動(dòng)規(guī)劃和控制對象為各個(gè)關(guān)節(jié)角，是其他控制方法的根底笛卡爾空間在關(guān)節(jié)空間控制的根底上實(shí)現(xiàn)通過給定路徑上各點(diǎn)出的位姿，來保證運(yùn)動(dòng)確實(shí)定性根據(jù)控制量位置以末端執(zhí)行器的位置為被控對象，在三維空間或者關(guān)節(jié)空間對機(jī)器人進(jìn)展控制速度使任務(wù)動(dòng)作以指定的速度進(jìn)展，例如目標(biāo)跟蹤過程加速度考慮到機(jī)器人的慣性負(fù)載，對加速段和減速段之間的過度進(jìn)展規(guī)劃，使之運(yùn)行平穩(wěn)力力矩考慮到目標(biāo)抓取時(shí)的握緊力或者使用工具時(shí)的力矩等因素根據(jù)控制算法PID控制由比例、積分和微分單元構(gòu)成，理論成熟自適應(yīng)控制系統(tǒng)的舒服發(fā)生變化或者收到干擾時(shí)，系統(tǒng)通過改變自身參數(shù)來自我調(diào)節(jié)，使輸出仍滿足性能要求神經(jīng)網(wǎng)絡(luò)控制屬于黑箱控制，具有較好的學(xué)習(xí)能力本研究所完成的容屬于較為簡單的抓取任務(wù)，所以使用位置控制方法就能滿足要求機(jī)器人抓取運(yùn)動(dòng)規(guī)劃 機(jī)器人抓取運(yùn)動(dòng)規(guī)劃包括路徑規(guī)劃和手部抓取