基于機器視覺的工件智能抓取技術研究報告

1、. 基于機器視覺的工業(yè)機器人工件搬運技術研究1.1研究背景自 19 世紀 60 年代問世以來，工業(yè)機器人不斷開展和完善，現(xiàn)已得到廣泛應用，機器人產業(yè)也逐漸成熟。目前，全世界已擁有 100 多萬臺工業(yè)機器人廣泛應用在焊接、搬運、裝配、噴涂、修邊、拾料、包裝、堆垛和上下料等單調或復雜的作業(yè)中，為企業(yè)節(jié)約了大量的勞動本錢，大大提高了勞動生產率。工業(yè)機器人是面向工業(yè)領域的多關節(jié)機械手或多自由度的機器人，它在穩(wěn)定產品品質、提高生產效率和改善勞動條件等方面有著十分重要的作用，它的應用能夠使企業(yè)大大縮短新產品的換產周期和節(jié)約勞動本錢，從而提高了產品的市場競爭力。隨著當代工業(yè)革命深入開展，工業(yè)生產日益趨向自動

2、化，工業(yè)機器人技術也正朝著智能、柔性的方向開展。許多興旺國家對于智能工業(yè)機器人的研究都較為重視，我國也早已將其納入國家高科技開展規(guī)劃。國家層面的重視也必將給工業(yè)機器人技術帶來新的跨越式開展，機器人的開展也必將對社會經濟和生產力的發(fā)產生更加深遠的影響1.2 研究目的和意義對于工作在自動化生產線上或柔性制造系統(tǒng)中的工業(yè)機器人來說，其完成最多的一類操作是抓取放置動作，比方流水線上的工件搬運、裝配以及各工位之間的工件轉移和上下料。機器人要完成這類操作是經過復雜計算的：首先，機器人必須知道怎么抓，其次機器人應該知道怎么放；同時在這個過程還要伴隨著機器人運動學分析的過程。傳統(tǒng)的工業(yè)機器人完成這類操作，必須

3、經過準確的逐點示教后，才能一步一步的按照固定程序執(zhí)行。在這個過程中，工件相對于機器人的初始位姿位置和姿態(tài)和終止位姿是事先規(guī)定的，但很多情況下，特別是流水線場合，工件的位姿常常是不固定的。這就導致實際目標工件的位姿與理想工件位姿總是有偏差的，這種偏差哪怕很小都會導致機器人操作任務的失敗。這種由于環(huán)境的變化而導致機器人不能很好地完成任務的情況極限制了機器人的實際應用。這就要求工業(yè)機器人具備一定的環(huán)境適應能力，即工業(yè)機器人智能化。智能工業(yè)機器人的智能特征在于它具有與外部世界、對象、環(huán)境和人相互協(xié)調的工作機能，具體表現(xiàn)在機器視覺、接近覺、觸覺和力覺等方面。機器視覺是用機器代替人眼來做測量和判斷的，其本

4、質是使計算機具有認知周圍環(huán)境信息的能力。這種能力不僅使機器能感知周圍物體的形狀、位置、姿態(tài)、運動等等信息，而且能相應地對這些信息進展描述、理解和識別。將機器視覺與機器人結合到一起，也就產生了機器人視覺。機器人視覺技術是用來模擬人類視覺，使機器人通過獲取視覺信息從而對操作環(huán)境進展判別，給機器人賦予更強大的應對能力，大大增強了機器人的柔性。因而基于視覺引導的機器人擁有著廣闊的開展空間，具有重要的科研和應用價值。1.3 國外現(xiàn)狀目前，機器視覺技術已經從最初的實驗室階段逐漸走向成熟，并且在工業(yè)生產線上已經有實際應用。德國、日本、美國和國處在智能工業(yè)機器人領域應用研究的前沿。日本從最初的模仿到現(xiàn)在的獨創(chuàng)

5、，找到了自己的技術創(chuàng)新之路。德國西門子公司也緊跟著時代的步伐，將機器視覺滲透到各個領域，應用到汽車發(fā)動機裝配，生產線工件分揀等領域。美國更是機器人技術的創(chuàng)新發(fā)源地，其機器視覺廣泛應用在工業(yè)和軍事上，機械手經銷商，包括 Fanuc 公司，Motman 公司和 Staubli 公司都推出了揀選系統(tǒng)。如圖 1.1 所示，日本川崎設計的工業(yè)機器人主要應用在基于視覺系統(tǒng)的大型物品裝卸、樹脂成形機械抓取和汽車車門的邊角打磨工程等領域。這種機器人可以結合具體的實際應用和目標方法，配置不同的選裝件和相關參數(shù)，能夠適應各種應用場合。通過使用機器人部搭載標準的機器人語言，它還可以實現(xiàn)高性能的動作控制和時序控制。圖

6、 1.1基于視覺系統(tǒng)的大型物品裝卸圖 1.2所示的是美國普渡大學研究的一種基于視覺控制的 Bin-picking 系統(tǒng)，該系統(tǒng)可以從多種零件中分揀出圓形零件，它是通過簡單的圓弧邊界特征來識別圓形零件的。圖 1.3 所示的是瑞典 ABB 公司最新推出的第二代拾取機器人 Fle*Picker IRB360，該機器人擁有有效載荷大、操作速度快、簡單有效等優(yōu)點，能夠在 2D 視覺的幫助下，以高達 2 次/秒的速度撿取傳送帶上的物品?？偟膩碚f，美國、日本、歐洲一些興旺國家在機器人視覺技術有著豐富的經歷，已經開發(fā)出多款成熟產品，廣泛應用在微裝配、空間和軍事領域。圖1.2 Bin-Picking機器人 圖1

7、.3 ABB Fle*-Picker機器人我國對工業(yè)機器人的研究起步較晚，從 90 年代初期起，我國在工業(yè)機器人領域才取得一定的進展。隨著近幾年科技的進步，我國在這方面開展迅速，取得了不少科研成果，機器人的構造和控制理論不斷得到創(chuàng)新，生產制造工藝也逐漸成熟，不斷有自主知識產權的機器人產品相繼問世，此外還相繼建立了 20 多個機器人產業(yè)化基地，實施了 100 多項機器人應用工程，機器人產業(yè)不斷壯大和開展。 新松機器人自動化股份研制機器人是擁有自主知識產權和核心技術的工業(yè)搬運機器人，它可用于鍛造生產和鑄件落砂等工作條件惡劣的場合，降低工人的勞動強度。航空航天大學于 1994 年成功研制了七自由度機

8、器人操作臂，并且研制出一系列改良型的冗余自由度機器人實驗樣機。方躍提出了采用靈活角來度量操作器靈活程度，將機器人的工作空間根據(jù)靈活程度的不同劃分為相應的有限靈活工作空間，高同以梯度投影法為根底，采用線性加權法，研究冗余度機器人的多指標融合優(yōu)化問題。冗余自由度機器人另一個研究重點是運動學逆解，如圖 1.5所示，為眾為興技術股份生產的四自由度分揀機器人。該機器人在分類分揀的應用中具有視覺導引功能，重點介紹了眾為興 SCARA 機器人及視覺系統(tǒng)，并在現(xiàn)場用實物生動展示了具有視覺功能的眾為興機器人在分類分揀的應用。眾為興公司開發(fā)研制的 SCARA 機器人，可應用在搬運、分揀一些較小的規(guī)則工件。圖1.5

9、眾為興展出的SCARA機器人1.4 本課題的研究容本文是針對基于視覺引導的工業(yè)機器人工件搬運技術進展的研究，簡單的講，就是在一臺 6 軸的工業(yè)機器人的根底上引入機器視覺，利用機器人對視覺的理解，完成工業(yè)生產中工件的抓取和放置操作。在這個操作過程中，工件識別與定位和機器人運動學反解是兩個關鍵環(huán)節(jié)。工件識別與定位是為機器人提供操作和如何操作的信息，而機器人運動學反解的準確性直接影響到操作能否完成和相應的操作精度。整個工件搬運的具體流程是：在機器人工作之前，先通過上方攝像機實時地采集工件圖像，并送到圖像處理系統(tǒng)，以便確定所感興趣的工件以及該工件相對于機器人的位姿，最后將位姿信息反解成工業(yè)機器人熟悉的

10、關節(jié)角度和角度控制信息，從而實現(xiàn)利用視覺引導機器人準確地抓取工件。同時根據(jù)已抓取工件的放置要求，進一步引導機器人完成工件的定點放置，從而實現(xiàn)機器人搬運操作。本課題的研究容圍繞物體識別這個中心展開，主要包括以下幾個方面：如何獲取圖像 獲取圖像是進展本課題研究的前提，順利的通過攝像頭設備獲取到原始圖像是一切研究的根本如何對圖像進展預處理視覺系統(tǒng)中直接使用的圖像，必須在進展灰度校正、噪聲過濾等圖像預處理。將圖像中感興趣的特征有選擇地突出，衰減其不需要的特征，預處理后的輸出圖像并不需要去逼近原圖像。如何對預處理以后的圖像進展特征識別和特征提取已經把待測目標工件進展過圖像預處理，接下來要針對靜態(tài)工件的特

11、征提取，最后要根據(jù)已經提取的目標工件的特征進展分類。特征提取的意義于要區(qū)分不同種類的工件就要把它們之間不同的信息提取出來，作為識別的前提條件。一般來說，提取普通特征包括周長、邊緣、面積、曲率、角度和物體質心等如何根據(jù)提取的特征對目標進展分類和目標定位目標分類是指對得到的不同目標進展區(qū)分并將其歸為*一類的過程。對于圖像目標來說通常利用圖像特征來對目標進展描述，然后對其分類。通過模版匹配計算目標上空間點和像素點之間的對應關系。然后創(chuàng)立模版，對后續(xù)的圖像進展目標定位。如何跟蹤目標對于運動的目標，通過跟蹤能夠得到目標的速度和加速度，并可以對將來目標出現(xiàn)的位置進展預測6.如何將目標在圖像中的位置轉化到機

12、器人基坐標系中并進展機器人運動學反解通過相機標定得到圖像坐標與機器人基坐標之間的轉換關系，將目標在圖像中的位置信息轉化為機器人基坐標系中的具體坐標，并通過該坐標進展機器人運動學逆解，得到關節(jié)運動信息如何規(guī)劃路徑并控制機器人進展目標抓取通過前面得到的運動學逆解，合理的設置機器人抓取運動規(guī)劃，包括路徑規(guī)劃和手部抓取規(guī)劃，路徑規(guī)劃是研究按照何種路徑，將機器人手部坐標系的原點和目標抓取坐標系的原點重合的問題，抓取點規(guī)劃是針對不同形狀的物體，如何選擇適宜夾持點位置的問題。1.5本課題的研究方法1.5.1獲取圖像1)硬件介紹一個穩(wěn)定的視覺系統(tǒng)的構建需要根據(jù)任務的特點和現(xiàn)場環(huán)境的特點進展，例如精度，目標尺寸

13、，檢測速度，安裝空間大小等要求，都將影響系統(tǒng)硬、軟件的選擇。典型的視覺系統(tǒng)包括的硬件很多，但最重要的最根本的三件設備是：光源、鏡頭和相機。本節(jié)主要給出本系統(tǒng)所用硬件的參數(shù)并對其進展簡單介紹1.光源由于所有非發(fā)光物體都是通過反射光才能在傳感器上留下影像，所以光源的正確選擇是保證視覺系統(tǒng)正常工作的根底。在選擇視覺系統(tǒng)光源時要注意，使用的光源要把感興趣目標和背景區(qū)分開來，削減非關心目標或噪聲的干擾，并且光源本身不會帶來額外的干擾，鏡頭鏡頭與人眼的晶狀體具有類似的功能，如果沒有安裝鏡頭進展拍攝，得到的圖像將是花白色，不包含任何場景信息。所以鏡頭的作用是會聚目標反射回的光，在感光原件上產生細節(jié)豐富，銳利

14、的圖像。鏡頭的參數(shù)選擇一般是根據(jù)配用的攝像機感光原件的大小來進展的，如果二者的參數(shù)不適宜，將出現(xiàn)圖像記錄不完整，視場角不符合要求或者畫面在焦點外的問題本文選擇的是UPTAR公司的M0814-MP2型號的鏡頭，參數(shù)如表所示：性能指標參數(shù)靶面尺寸2/3焦距8最大成像尺寸8.8*6.6控制光圈手動聚焦手動變焦手動接口C-接口尺寸33.5*28.2攝像機本系統(tǒng)使用的是Basler公司的acA2500-14gm型號的工業(yè)相機，如下圖，該相機的性能指標和參數(shù)如表所示：圖3 Basler acA2500-14gm型號工業(yè)相機性能指標參數(shù)傳感器類型Aptina MT9P CMOS, rolling shutt

15、er有效圖像元素2592*1944像素尺寸2.2 * 2.2數(shù)據(jù)位數(shù)12鏡頭接口C-mount, CS-mount傳輸方式Gigabit Ethernet幀率14供電要求Via Power over Ethernet (802.3af) or + 12VDC ( 10%) via the cameras 6-pin Hirose connector外形尺寸42 * 29 * 29表1 Basler acA2500-14gm型號工業(yè)相機參數(shù)拍攝參數(shù)設定為了提高圖像處理速度并兼顧分辨率，選擇的拍攝參數(shù)如下表：圖像尺寸待定色彩待定ISO速度待定幀頻待定記錄頻率待定2軟件介紹OpenCV的全稱是：Op

16、en Source puter Vision Library。OpenCV是一個基于開源發(fā)行的跨平臺計算機視覺庫，可以運行在Linu*、Windows和Mac OS操作系統(tǒng)上。它輕量級而且高效由一系列 C 函數(shù)和少量 C+ 類構成，同時提供了Python、Ruby、MATLAB等語言的接口，實現(xiàn)了圖像處理和計算機視覺方面的很多通用算法，它可以完成以下工作：1.圖像數(shù)據(jù)操作存分配與釋放，圖像復制、設定和轉換2.圖像/視頻的輸入輸出支持文件或攝像頭的輸入，圖像/視頻文件的輸出3.矩陣/向量數(shù)據(jù)操作及線性代數(shù)運算矩陣乘積、矩陣方程求解、特征值、奇異值分解支持多種動態(tài)數(shù)據(jù)構造鏈表、隊列、數(shù)據(jù)集、樹、圖

17、4.根本圖像處理去噪、邊緣檢測、角點檢測、采樣與插值、色彩變換、形態(tài)學處理、直方圖、圖像金字塔構造5.構造分析連通域/分支、輪廓處理、距離轉換、圖像矩、模板匹配、霍夫變換、多項式逼近、曲線擬合、橢圓擬合、狄勞尼三角化6.攝像頭定標尋找和跟蹤定標模式、參數(shù)定標、根本矩陣估計、單應矩陣估計、立體視覺匹配7.運動分析光流、動作分割、目標跟蹤8.目標識別特征方法、HMM模型HALCON軟件介紹HALCON是一款來自德國慕尼黑的世界頂級機器視覺編程環(huán)境，該軟件以面向問題為根底，涉及工業(yè)領域中光學工程、精細制造、包裝、半導體、印刷、機械等行業(yè)。使用它可以迅速構建一個準確、穩(wěn)定、高效率的視覺解決方案。該軟件

18、具有強大的函數(shù)庫，能導出C+、C、VB等語言，縮短了代碼編寫時間，為構建獨立的視覺系統(tǒng)提供了方便。利用HALCON軟件構建一個獨立視覺系統(tǒng)分為三個步驟：該軟件最大特點是?；湍K化，所有的算子都具有同一的輸入輸出格式，下面是一個典型的算子構造：Operator(iconic input:iconic output:control input:control output)HALCON語言的數(shù)據(jù)有兩種：一種是控制參數(shù)，包含數(shù)字、數(shù)組，字符串等；另一種是圖形參數(shù)，包含圖像，區(qū)域和邊緣數(shù)據(jù)等。從典型算子構造可以看出，圖形參數(shù)首先輸入的參數(shù)，然后是控制參數(shù)，并且順序是輸入數(shù)據(jù)和輸出數(shù)據(jù)相間隔，也即是：

19、Operator(輸入圖形參數(shù)：輸出圖形參數(shù)：輸入控制參數(shù)：輸出控制參數(shù)。1.5.2圖像預處理圖像灰度化將RGB彩色圖像轉化為單通道圖像，灰度圍為0-255，可以很大程度上提高運算的速度Image cam_gray=cam.Convert();Cam是攝像機采集的彩色圖像直方圖均衡化對于工件和背景灰度相差不大的情況，可以通過直方圖均衡化增加圖像的比照度，使工件在背景中更突出cvEqualizeHist函數(shù)可以增大圖像灰度的動態(tài)圍，從而增加比照度圖像濾波消除噪聲信息對于環(huán)境中的各種干擾，相機的成像噪聲，可以通過預處理階段消除或者削弱噪聲的影響，具體可以使用各種濾波算子，如中值濾波，高斯平滑濾波，

20、均值濾波，在OpenCV中都有對應的函數(shù)可以調用1.5.3圖像識別模式識別應用與圖像信號處理領域就成為了圖像識別，它是一種利用計算機對圖像進展描述和分類的技術，在機器視覺中具有廣泛的應用，涉及文字，條碼，車牌識別，目標分類等應用場合，識別的過程其實是一個分類的過程，將滿足判斷條件的對象歸為一類，而不滿足條件的劃分為其他類，首先對目標圖像進展特征提取，然后將它和的模式向量進展比擬，比擬的過程是函數(shù)計算的過程，通過計算得到相似程度值，根據(jù)該值判斷目標是否與庫中的目標相似，從而得到相應的識別或者不識別信號，根據(jù)分類標準選擇的不同，可以將識別方法分為：基于概率統(tǒng)計方法的識別，基于模版匹配方法的識別，基

21、于多傳感器信息融合方法的識別等。通常，圖像識別有以下三步，如下圖圖3 圖像識別的步驟主要有三個任務：圖像分割、目標分類、圖像匹配圖像分割要將圖像分割為區(qū)域，就要有分割的標準，這個標準就叫做閾值，獲取適宜閾值的方法很多，通?？梢苑譃槭謩荧@取和自動獲取，當進展手動獲取時，通常借鑒圖像灰度直方圖的分布來幫助選擇，最簡單的自動全局閾值的方法是：首先選擇一個初始閾值估計值然后利用該閾值對圖像進展初始分割得到G1和G2區(qū)域。對G1和G2區(qū)域中所有像素計算灰度平均值，計算得到的新閾值為T=，利用新閾值對圖像進展重新分割，然后重復前面兩步，直至前后兩次T值之差小于設定值時停頓。然后利用最終得到的最正確閾值將區(qū)

22、域分割為兩局部，從而得到二值圖像：對于本系統(tǒng)，由于拍攝到的目標圖像和背景灰度差異較大，可以直接確定閾值圍，此方法進展分割的結果如下圖，從圖中可以看出，目標區(qū)域和背景區(qū)域分割的較好，但是有許多非目標的區(qū)域也被劃分為一類主要是傳送帶的邊緣，所以還需要后續(xù)的區(qū)域標記方法，利用區(qū)域的連通性將這些目標區(qū)域和非目標區(qū)域給分開來區(qū)域聯(lián)通標記是建立在像素點鄰接性的根底之上的，鄰接性是一種相似性的度量方法，常用的類型有4-鄰接、8-鄰接、和對角鄰接*P*4-鄰接 *P* *8-鄰接*P* *對角鄰接提取連通成分的過程實際上也是標記連通成分的過程，通常的做法是給圖像中的每個連通區(qū)域分配一個唯一的，這樣的圖像成為標

23、注圖像。得到各個區(qū)域，就能計算區(qū)域的面積，中重心，圓度，外接/切圓半徑等特征參數(shù)，以供所需區(qū)域的選擇，本例采用面積特征進展選擇，得到目標模幅員像目標分類目標分類是對得到的不同目標進展區(qū)分并將其歸為*一類的過程。對于圖像目標來說通常利用圖像特征來對目標進展描述，然后再對其分類，目標分類是目標識別過程中的重要步驟目前已經廣泛應用于圖像分割，目標識別，變化檢測，字符識別等場合。根據(jù)待分類目標的外形，可將分類任務分為兩類。第一類是針對搜索目標外形固定，并且不同類型目標的特征區(qū)域明顯，這種情況可以采用模版匹配的方法對其進展分類，第二類是針對目標外形不是特別明顯，人工無法選擇出適宜的分類方法對其進展分類，

24、這種情況下就需要利用類型信息的目標圖像對分類器進展訓練，讓分類器對后續(xù)的圖像進展分類。常用的分類器有三種，分別是基于多層感知分類器MLP，基于支持向量機分類器SVM，基于高斯混合模型分類器GMM，本文采用MLP分類器，具體步驟為：圖* 目標分類的一般步驟首先創(chuàng)立*一類型的分類器，然后對一直目標進展分析，得到描述該類型目標的特征向量，然后利用特征向量對分類器進展訓練，得到判別函數(shù)，這時分類器就獲得了分類的原則，然后對后續(xù)的未知目標進展分類，同樣也需要對目標進展特征提取得到特征向量，然后利用分類器對向量進展計算，得到分類結果。這里使用的是OpenCV或者Halcon中提供的分類器3圖像匹配 用創(chuàng)立

25、模幅員像的方法可以用于檢測圖像來確定目標的位置，但是通過圖像分割的方法來得到一個穩(wěn)定的目標識別系統(tǒng)是非常困難的。例如背景發(fā)生拜年話，目標被局部遮擋，目標與攝像機間距離變化，多個目標出現(xiàn)等都導致分割的困難，而圖像匹配可以解決這些問題。圖像匹配是指利用的目標模式，對不同時刻或視角下拍攝的兩幅圖像間尋找一樣或相近的目標模式，使期望的目標建立起對應關系的過程，圖像匹配算法按照特征選擇層次的不同分為兩大類，基于灰度值相關的匹配是利用圖像的直接灰度值特征，其計算過程為：移動模版至待匹配圖像的各個位置，計算每個位置時模版本身與所覆蓋區(qū)域的相似性計算值，將得到的一系列計算值進展比擬，極值處便是目標所在的位置。

26、這種方法計算量大，達不到實時性要求，并且不能適應光照條件變化、尺度變化，遮擋等情況，為了解決實時性要求，采用基于圖像特征的匹配方法，這種匹配方法有很好的魯棒性，基于特征的匹配是指，對模幅員像和匹配圖像分別進展特征提取，用相似性度量函數(shù)計算對應特征之間的相似程度的匹配方法，特征的選擇有很多，一般來說灰度變化大的地方是信息量最豐富的地方，比方，角點，輪廓，邊緣，直線，紋理等。本文采用的是基于形狀匹配的方法，該方法是多種技術的綜合，既用到了金字塔匹配模型，也用到了圖像的輪廓特征，該方法的一般流程如圖，匹配后得到目標在圖像中的位置坐標如下表：序號目標個數(shù)坐標角度準確度11289.042，311.058

27、-0.0005298.36521145.325，178.6986.3254199.452.圖*.基于形狀匹配的步驟目標跟蹤目標跟蹤是一個對運動目標或者運動相機采集到的圖像序列進展連續(xù)確定目標位置的過程，目標定位是目標跟蹤的根底，通過跟蹤能夠得到目標的運動軌跡從而可以對將來目標出現(xiàn)的位置進展預測，通過軌跡能夠得到目標的速度和加速度，從而可以為運動學研究提供一種測量手段。此外，通過目標跟蹤可以對預先設定好出現(xiàn)圍和形狀的目標進展監(jiān)視，如果其出現(xiàn)圍或者形狀發(fā)生變化時，便發(fā)出相應的報警信號。目標跟蹤可以分為兩大方法：第一類是基于邊緣特征的方法;第二類是基于目標部投影點信息的方法，如光流法，模版匹配法。本

28、位采用第二類中的模版匹配方法，由于匹配計算量較大，可采用以下途徑減少運算量：首先計算第一副圖像中目標的位姿，由于目標運動的連續(xù)性，對得到的位姿進展限制，定義一個跟蹤圍圓下一個目標可能出現(xiàn)的區(qū)域，然后在指定圍對后續(xù)圖像進展目標匹配。由于本文采用的傳送帶運動狀態(tài)為勻速直線運動，因此只要計算出目標的速度和位置便能寫出軌跡方程來。定義參考坐標系：在傳送帶上定義參考坐標系的目的，是為了將目標位姿與機器人基坐標系聯(lián)系起來。參考坐標系的*軸與傳送帶中線重合，方向指向目標運動方向，y軸指向機器人一側，Z軸垂直于傳送帶平面向上。左側方框區(qū)域代表相機的視野圍，右側外圓區(qū)域為機器人工作空間圍，圓區(qū)域代表機器人工作空

29、間與傳送帶在平面相交區(qū)域。工件從左側進入，在計時起點處開場計時。相機對經過計時起點的目標進展連續(xù)拍照，估算出目標重心在參考坐標系中的坐標和速度。在進展實驗之前通過離線測量的方法，得到參考坐標系與機器人基座之間的相對位姿，同樣可以計算出參考坐標系在攝像機坐標系下的位姿由離線測量得到的位姿關系和，可以計算出機器人基座于攝像機之間的位姿矩陣。然后通過目標定位得到目標的位姿，再計算出目標重心相對于參考坐標系的位姿，由可以得到目標重心的坐標，過重心點做一條平行于參考坐標系*軸的直線，與機器人工作空間區(qū)域相交與兩點：，。這兩點便是目標進出工作空間的坐標點。由這兩點結合運動速度就可以計算出目標何時進入和離開

30、機器人的工作空間圍，在這個時間段中選擇任一時刻即可對目標進展抓取。目標速度V的計算，可以在攝像機視野，取間隔10的兩幅圖像，計算目標中心在運動方向的位移，除以拍攝這10圖像所經歷的時間，即可得到目標的速度。1.5.6IRB120型機器人控制工業(yè)機器人的控制方法分類：分類依據(jù)類型特點根據(jù)控制量所處空間關節(jié)空間運動規(guī)劃和控制對象為各個關節(jié)角，是其他控制方法的根底笛卡爾空間在關節(jié)空間控制的根底上實現(xiàn)通過給定路徑上各點出的位姿，來保證運動確實定性根據(jù)控制量位置以末端執(zhí)行器的位置為被控對象，在三維空間或者關節(jié)空間對機器人進展控制速度使任務動作以指定的速度進展，例如目標跟蹤過程加速度考慮到機器人的慣性負載，對加速段和減速段之間的過度進展規(guī)劃，使之運行平穩(wěn)力力矩考慮到目標抓取時的握緊力或者使用工具時的力矩等因素根據(jù)控制算法PID控制由比例、積分和微分單元構成，理論成熟自適應控制系統(tǒng)的舒服發(fā)生變化或者收到干擾時，系統(tǒng)通過改變自身參數(shù)來自我調節(jié)，使輸出仍滿足性能要求神經網(wǎng)絡控制屬于黑箱控制，具有較好的學習能力本研究所完成的容屬于較為簡單的抓取任務，所以使用位置控制方法就能滿足要求機器人抓取運動規(guī)劃 機器人抓取運動規(guī)劃包括路徑規(guī)劃和手部抓取