工業(yè)機(jī)器人應(yīng)用編程（KUKA中高級） 課件 項(xiàng)目三 工業(yè)機(jī)器人視覺分揀與定位

項(xiàng)目三工業(yè)機(jī)器人視覺分揀與定位公司簡介匯博工業(yè)CATALOGUE一學(xué)習(xí)目標(biāo)公司簡介CATALOGUE目錄四知識(shí)拓展二工作任務(wù)五評價(jià)反饋三實(shí)踐操作六練習(xí)與思考題1.了解視覺系統(tǒng)的組成，主要參數(shù)及典型應(yīng)用。2.掌握固定視覺相機(jī)的標(biāo)定方式。3.掌握MVP視覺軟件的使用方式。4.掌握找圓、模板匹配、裁剪、彩色轉(zhuǎn)灰度、顏色提取和報(bào)文發(fā)送等算子的用法。5.能夠通過PLC編程軟件進(jìn)行工件顏色、角度信息的轉(zhuǎn)化，并將信息顯示在HMI上。6.能夠使用PLC、機(jī)器人示教器和MVP視覺軟件綜合編程，完成工件視覺檢測及分揀等綜合作業(yè)。一、學(xué)習(xí)目標(biāo)一、工作任務(wù)背景機(jī)器人視覺系統(tǒng)就是用機(jī)器代替人眼來做測量和判斷，通過對目標(biāo)進(jìn)行攝像拍照獲取圖像信號(hào)，傳送給圖像處理系統(tǒng)，轉(zhuǎn)換為數(shù)字化信號(hào)，圖像處理系統(tǒng)根據(jù)數(shù)字化信號(hào)進(jìn)行運(yùn)算以獲取目標(biāo)的特征，根據(jù)邏輯判斷的結(jié)果來控制現(xiàn)場機(jī)器設(shè)備的動(dòng)作，進(jìn)行各種裝配或者檢測、報(bào)警有缺陷的產(chǎn)品，如圖3-1所示。視覺系統(tǒng)一般分為五個(gè)部分：照明、鏡頭、相機(jī)、圖像采集卡和視覺處理器。隨著拍照、攝像設(shè)備、圖像傳感器、視頻信號(hào)數(shù)字化設(shè)備及視頻信號(hào)處理器等在應(yīng)用上不斷推陳出新，技術(shù)上從2D到3D不斷進(jìn)步。視覺系統(tǒng)按功能劃分，主要可分為檢測、測量、定位、跟蹤和引導(dǎo)；在實(shí)際工廠應(yīng)用中，又可以分為檢查防錯(cuò)、測量分析、視覺跟蹤、引導(dǎo)抓取件和精確裝配等。要實(shí)現(xiàn)視覺系統(tǒng)工裝，必須明確測量和定位的定義，并在系統(tǒng)中構(gòu)建測量和定位的設(shè)備。二、工作任務(wù)（1）測量：針對特征點(diǎn)而言，測量結(jié)果為特征點(diǎn)在測量坐標(biāo)系下的坐標(biāo)（x，y，z）；在實(shí)際應(yīng)用中，測量包含2D測量（只測量特征點(diǎn)的x，y坐標(biāo)）和3D測量（測量特征點(diǎn)的x，y，z坐標(biāo)），通過拍照獲取目標(biāo)物體特征點(diǎn)的坐標(biāo)值，并在坐標(biāo)系上確認(rèn)。（2）定位：針對目標(biāo)物體而言，定位結(jié)果為目標(biāo)物體相對于參考坐標(biāo)系的姿態(tài)（x，y，z，Ra，Rb，Rc）。定位包含2D定位（定位目標(biāo)物體在參考坐標(biāo)系x，y方向上的移動(dòng)和繞z方向的旋轉(zhuǎn)）、2.5D定位（定位目標(biāo)物體在參考坐標(biāo)系x，y，z方向上的移動(dòng)和繞z方向的旋轉(zhuǎn)），3D定位（定位目標(biāo)物體在參考坐標(biāo)系x，y，z方向上的移動(dòng)和旋轉(zhuǎn)）。工位上目標(biāo)物體的姿態(tài)定位是基于物體上特征點(diǎn)的坐標(biāo)測量結(jié)果計(jì)算得到的。圖3-1視覺產(chǎn)品檢測二、工作任務(wù)二、所需要的設(shè)備工業(yè)機(jī)器人產(chǎn)品出入庫系統(tǒng)涉及的主要設(shè)備包括：工業(yè)機(jī)器人應(yīng)用領(lǐng)域一體化教學(xué)創(chuàng)新平臺(tái)（BN-R116-KR4）、KR4型工業(yè)機(jī)器人本體、電源、控制器、示教器、氣泵、相機(jī)系統(tǒng)、視覺軟件、吸盤工具、中間法蘭、輸出法蘭，電源

控制器

示教器

機(jī)器人本體

氣泵

相機(jī)系統(tǒng)

視覺軟件

吸盤工具

中間法蘭

輸出法蘭二、工作任務(wù)三、任務(wù)描述這里以諧波減速器的中間法蘭、輸出法蘭的顏色、角度視覺識(shí)別為典型案例，工業(yè)機(jī)器人自動(dòng)將吸盤工具裝配到機(jī)械臂上。任務(wù)一：工件角度識(shí)別與定位。用相機(jī)檢測輸出法蘭的角度，將角度信息顯示在HMI上，通過找圓確定圓心，進(jìn)行工件定位，使用工業(yè)機(jī)器人進(jìn)行準(zhǔn)確搬運(yùn)。任務(wù)二：工件顏色識(shí)別。相機(jī)檢測中間法蘭的顏色，檢測后將工件搬運(yùn)走，并將顏色信息顯示在HMI上。任務(wù)三：中間法蘭和輸出法蘭視覺定位和分揀。用相機(jī)進(jìn)行中間法蘭和輸出法蘭的視覺識(shí)別，然后使用工業(yè)機(jī)器人進(jìn)行分揀。二、工作任務(wù)三、實(shí)踐操作1.固定視覺在圖像測量過程及機(jī)器視覺應(yīng)用中，為確定空間物體表面某點(diǎn)的三維幾何位置及其在圖像中對應(yīng)點(diǎn)之間的相互關(guān)系，必須建立相機(jī)成像的幾何模型，這些幾何模型參數(shù)就是相機(jī)參數(shù)。在大多數(shù)條件下這些參數(shù)必須通過實(shí)驗(yàn)與計(jì)算才能得到，這個(gè)求解參數(shù)的過程就稱之為相機(jī)標(biāo)定（或攝像機(jī)標(biāo)定）。無論是在圖像測量還是機(jī)器視覺應(yīng)用中，相機(jī)參數(shù)的標(biāo)定都是非常關(guān)鍵的環(huán)節(jié)，其標(biāo)定結(jié)果的精度及算法的穩(wěn)定性將直接影響相機(jī)工作產(chǎn)生結(jié)果的準(zhǔn)確性。因此，做好相機(jī)標(biāo)定是做好后續(xù)工作的前提。一、知識(shí)儲(chǔ)備1）坐標(biāo)系基礎(chǔ)。理解坐標(biāo)系是進(jìn)行相機(jī)標(biāo)定的基礎(chǔ)，坐標(biāo)系包括圖像像素坐標(biāo)系、圖像物理坐標(biāo)系、相機(jī)坐標(biāo)系和世界坐標(biāo)系。①圖像像素坐標(biāo)系。圖像像素坐標(biāo)系是一個(gè)二維直角坐標(biāo)系，反映了電荷耦合器件（CCD）相機(jī)芯片中像素的排列情況。其原點(diǎn)O位于圖像的左上角，u、v坐標(biāo)軸分別與圖像的兩條邊重合。像素坐標(biāo)為離散值（0，1，2，…），以像素（pixel）為單位。②圖像物理坐標(biāo)系：為了將圖像與物理空間相關(guān)聯(lián)，需要將圖像轉(zhuǎn)換到物理坐標(biāo)系下。原點(diǎn)O1位于圖像中心（理想狀態(tài)下），是相機(jī)光軸與像平面的交點(diǎn)（稱為主點(diǎn)）。X、Y坐標(biāo)軸分別與u、v軸平行，如圖3-3所示。兩坐標(biāo)系實(shí)為平移關(guān)系，平移量為(u0,v0)。假設(shè)相機(jī)感光器件中單個(gè)像素的物理尺寸為dx×dy有：圖3-3圖像物理坐標(biāo)系圖像物理坐標(biāo)系到圖像像素坐標(biāo)系的轉(zhuǎn)換如下：三、實(shí)踐操作③相機(jī)坐標(biāo)系。相機(jī)坐標(biāo)系（CameraCoordinateSystem）（Xc，Yc，Zc），也是一個(gè)三維直角坐標(biāo)系，如圖3-4所示。原點(diǎn)Oc位于鏡頭光心處，Xc，Yc軸分別與像面的兩邊平行，Zc軸為鏡頭光軸，與像平面垂直。圖3-4相機(jī)坐標(biāo)系點(diǎn)p（Xc，Yc，Zc）為空間中任意一點(diǎn)，其通過投影中心的光線投影到圖像平面上，在圖像物理空間的投影點(diǎn)為p(x,y)，擴(kuò)展到相機(jī)坐標(biāo)系下其坐標(biāo)為(x,y,f)。根據(jù)相似三角形原理，轉(zhuǎn)為齊次形式為式（3-3）完成了相機(jī)坐標(biāo)系到圖像物理坐標(biāo)系的轉(zhuǎn)換。三、實(shí)踐操作④世界坐標(biāo)系（WorldCoordinateSystem）。世界坐標(biāo)系（Xw，Yw，Zw）也稱為測量坐標(biāo)系、參考坐標(biāo)系，是一個(gè)三維直角坐標(biāo)系，以其為基準(zhǔn)可以描述相機(jī)和待測物體的空間位置。世界坐標(biāo)系的位置可以根據(jù)實(shí)際情況自由確定，如圖3-5所示。圖3-5世界坐標(biāo)系三、實(shí)踐操作世界坐標(biāo)系到相機(jī)坐標(biāo)系的變換，實(shí)際上就是一個(gè)剛體變換，可以由旋轉(zhuǎn)矩陣R和平移矢量t來表示，（Xw，Yw，Zw）T表示世界坐標(biāo)系中的點(diǎn)，（Xc，Yc，Zc）T表示相機(jī)坐標(biāo)系中的點(diǎn)，則它們之間的轉(zhuǎn)換可表示為：即公式（3-5）完成了世界坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換。綜合式（3-2）、式（3-3）和式（3-5），可以得到世界坐標(biāo)系與像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系：三、實(shí)踐操作2）手眼標(biāo)定（eye-to-hand）。眼在手外，即相機(jī)固定在機(jī)器人外的固定底座上。這種情況下，需要將標(biāo)定板固定在機(jī)器人末端，求解的量為相機(jī)坐標(biāo)系和機(jī)器人坐標(biāo)系之間的位姿關(guān)系，如圖3-6所示。圖3-6手眼標(biāo)定三、實(shí)踐操作一般的攝像機(jī)標(biāo)定方法都需要用到標(biāo)定參照物，就是標(biāo)定時(shí)在攝像機(jī)前放一個(gè)已知形狀與尺寸的物體。常見的有基于圓形特征標(biāo)定物、棋盤標(biāo)定物和立方體標(biāo)定物等。標(biāo)定時(shí)，首先要選取一個(gè)工件坐標(biāo)系來描述工件的位姿信息，選取方法為:畫出標(biāo)定板的兩條中心對稱線，其貫穿中心線所經(jīng)過的一系列圓的圓心，并且兩條中心線的重合點(diǎn)為標(biāo)定板的中心。再將標(biāo)定板放在工作臺(tái)上，調(diào)整到攝像機(jī)的視場之中，在計(jì)算機(jī)視覺軟件中打開視頻圖像窗口的圖像坐標(biāo)系顯示線，調(diào)整標(biāo)定板的兩條中心線與視頻窗口中的圖像坐標(biāo)系顯示線中心重合。需要測量幾組固定點(diǎn)P在機(jī)器人基座坐標(biāo)系和相機(jī)坐標(biāo)系下的坐標(biāo)Bp和Cp。通過視覺算法可以準(zhǔn)確地識(shí)別棋盤格的角點(diǎn)。識(shí)別棋盤格可以得到棋盤格角點(diǎn)在圖像坐標(biāo)系中的二維坐標(biāo)Ip，通過相機(jī)內(nèi)參和物體的深度信息可以計(jì)算出Cp。棋盤格標(biāo)定板如圖3-7所示。圖3-7棋盤格標(biāo)定板三、實(shí)踐操作在eye-to-hand的情況下，將標(biāo)定板固定在機(jī)器人未端，便得到以下坐標(biāo)系:{C}:相機(jī)坐標(biāo)系{B}:機(jī)器人基坐標(biāo)系{E}:機(jī)器人末端坐標(biāo)系{K}:標(biāo)定板坐標(biāo)系

坐標(biāo)系之間的轉(zhuǎn)換關(guān)系是：A為機(jī)器人末端坐標(biāo)系到機(jī)器人基坐標(biāo)系的轉(zhuǎn)換矩陣，機(jī)器人運(yùn)動(dòng)學(xué)正解可知變量。B為標(biāo)定板坐標(biāo)系到機(jī)器人末端坐標(biāo)系的轉(zhuǎn)換矩陣，標(biāo)定板是固定安裝在機(jī)器人末端的，所以固定不變，未知變量。C為相機(jī)坐標(biāo)系到標(biāo)定板坐標(biāo)系的轉(zhuǎn)換矩陣，可知變量。D為相機(jī)坐標(biāo)系到機(jī)器人基坐標(biāo)系的轉(zhuǎn)換矩陣，待求解變量。三、實(shí)踐操作因?yàn)椋骸ぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぁぃ?-7）······················································（3-8）所以：······················································（3-9）D和B都未知，但是固定不變的量。A和C則隨機(jī)器人的末端位姿變化而變化。讓機(jī)器人走兩個(gè)位置，于是有：······················································（3-10）經(jīng)變換可得：······················································（3-11）三、實(shí)踐操作三、實(shí)踐操作一、知識(shí)儲(chǔ)備2.MVP視覺軟件（1）軟件功能介紹軟件界面包含標(biāo)題欄、工具區(qū)、流程編輯區(qū)、圖像顯示區(qū)、配置結(jié)果區(qū)、狀態(tài)欄、多屏設(shè)置等區(qū)域，如圖3-8所示。圖3-8軟件界面三、實(shí)踐操作1）標(biāo)題欄：包含菜單欄及快捷工具條。2）工具區(qū)：視覺方案搭建所需要的算子區(qū)域，包含常用算子、圖像采集、定位、圖像處理、標(biāo)定、生成工具、測量、識(shí)別、深度學(xué)習(xí)、邏輯控制、通信、輔助工具和機(jī)器臂工具這幾類功能。常用算子：可以根據(jù)使用習(xí)慣自定義常用算子到此類中。圖像采集：分為相機(jī)和仿真器，相機(jī)是從工業(yè)相機(jī)獲取圖像，仿真器則是從本地獲取圖像。定位：類算子主要是根據(jù)不同的算法配置定位到圖像中的特征并標(biāo)識(shí)。圖像處理：含圖像基本處理類算子，一般作用于圖像預(yù)處理或形態(tài)學(xué)處理。標(biāo)定：包含棋盤格標(biāo)定、N點(diǎn)標(biāo)定及讀取坐標(biāo)文件算子，作用于不同坐標(biāo)系之間的轉(zhuǎn)換。圖3-8軟件界面一、知識(shí)儲(chǔ)備生成工具：包含生成點(diǎn)（生成點(diǎn)算子從輸入或者配置接受X、Y坐標(biāo)參數(shù)，根據(jù)X、Y的值輸出一個(gè)點(diǎn)類型的輸出參數(shù)）、生成直線（生成直線算子從輸入或者配置接受相應(yīng)的參數(shù)，生成一條直線）、生成園（生成園算子從輸入或者配置接受相應(yīng)的參數(shù)，生成一個(gè)園）、生成矩形（生成矩形算子從輸入或者配置接收基準(zhǔn)點(diǎn)、矩形的寬高、矩形的角度來生成一個(gè)矩形）。測量：類算子主要完成測量距離、夾角等基本測量功能。識(shí)別：包含一維碼、二維碼及字符識(shí)別算子。深度學(xué)習(xí)：使用深度學(xué)習(xí)方法訓(xùn)練模型完成識(shí)別功能，包含深度學(xué)習(xí)字符識(shí)別、深度學(xué)習(xí)檢測、深度學(xué)習(xí)分類和深度學(xué)習(xí)像素分類算子。圖3-8軟件界面三、實(shí)踐操作一、知識(shí)儲(chǔ)備邏輯控制：用于視覺解決方案中數(shù)據(jù)的邏輯處理。通信：含業(yè)界常用的工業(yè)通信協(xié)議，支持TCP/IP和串口兩種通信方式。輔助工具：包含保存圖像、循環(huán)次數(shù)控制等常用算子。圖3-8軟件界面三、實(shí)踐操作一、知識(shí)儲(chǔ)備3）流程編輯區(qū)：編輯視覺方案流程的區(qū)域。4）圖像顯示區(qū)：顯示圖像的區(qū)域。5）配置結(jié)果區(qū)：通過下方標(biāo)簽切換，對選中的算子進(jìn)行參數(shù)配置或查看算子運(yùn)行后的結(jié)果信息。6）狀態(tài)欄：狀態(tài)顯示區(qū)，顯示所選算子的運(yùn)行耗時(shí)及整個(gè)視覺解決方案的運(yùn)行耗時(shí)。7）多屏設(shè)置：包括一分屏、二分屏和四分屏三種設(shè)置，可以將流程編輯區(qū)的任意一個(gè)子流程的輸出拉到任意一屏幕進(jìn)行綁定，即可顯示對應(yīng)子流程的圖像信息，并且支持在連續(xù)運(yùn)行過程中進(jìn)行切換、綁定。圖3-8軟件界面三、實(shí)踐操作一、知識(shí)儲(chǔ)備（2）視覺算子介紹1）找圓算子。找圓算子在圖像中放置一系列卡尺工具，根據(jù)卡尺工具得到的邊緣點(diǎn)集結(jié)果擬合出圓，用于圓的定位與測量。找圓算子效果如圖3-9所示。圖3-9找圓算子效果進(jìn)入配置界面配置卡尺個(gè)數(shù)、搜索長度、投影長度、忽略點(diǎn)數(shù)及搜索方向；并設(shè)置卡尺參數(shù)，通過比度閾值、高斯半徑和排序模式等來調(diào)整找邊卡尺工具，使找圓結(jié)果更加精準(zhǔn)、理想。2）模板匹配。模板匹配工具是在模板圖像中選擇一個(gè)特征區(qū)域，并以特征區(qū)域的邊緣特征作為模板，在檢測圖像中根據(jù)訓(xùn)練的模板邊緣特征進(jìn)行匹配，定位模板圖像在檢測圖像中的位置。模板匹配可以配合其他工具使用，以模板匹配的結(jié)果作為其他工具的輸入?yún)?shù)，引導(dǎo)其他工具跟隨產(chǎn)品實(shí)時(shí)調(diào)整位置和角度。三、實(shí)踐操作一、知識(shí)儲(chǔ)備關(guān)聯(lián)模板：配置已訓(xùn)練好的模板文件或者訓(xùn)練新的模板、訓(xùn)練新的XLD（矩形、三角形、圓、十字星的中心橫坐標(biāo)、縱坐標(biāo)）。角度范圍：匹配角度范圍為-180°~180°。尺寸范圍：匹配尺度范圍為0.50~2.00。最小分?jǐn)?shù)：匹配最小分?jǐn)?shù)指特征模板與搜索圖像中目標(biāo)的相似程度，即相似度閾值，搜索到的目標(biāo)在相似度達(dá)到該閾值時(shí)才會(huì)被搜索到，最大是1，表示完全契合。最大匹配個(gè)數(shù)：允許查找的最大目標(biāo)個(gè)數(shù)，范圍為0~50。模板匹配效果如圖3-10所示。圖3-10模板匹配效果三、實(shí)踐操作一、知識(shí)儲(chǔ)備3）裁剪。裁剪工具可以截取指定的原灰度矩形ROI區(qū)域，并生成ROI大小的新的灰度圖像。裁剪效果圖如圖3-11所示。a)裁剪前b)裁剪后4）彩色轉(zhuǎn)灰度。彩色轉(zhuǎn)灰度工具可將三通道的彩色圖像轉(zhuǎn)換為單通道的灰度圖像，如圖3-12所示。

圖3-12彩色轉(zhuǎn)灰度圖三、實(shí)踐操作一、知識(shí)儲(chǔ)備配置參數(shù):通道模式下彩色轉(zhuǎn)灰度的轉(zhuǎn)換公式為：灰度=0.299r+0.587g+0.114b。式中，r為紅色（R）通道灰度值，g為綠色（G）通道灰度值，b為藍(lán)色（B）通道灰度值，見表3-1。

參數(shù)名稱數(shù)據(jù)類型取值范圍默認(rèn)值說明通道選擇（ChannelSelect）單選按鈕三通道/紅色通道/綠色通道/藍(lán)色通道三通道可選擇R、G、B中的某一單獨(dú)通道，也可選擇三通道（即通過三通道權(quán)重混合后的灰度圖像）5）顏色提取。顏色提取算子首先提取框選區(qū)域的顏色，訓(xùn)練出對應(yīng)顏色模板，可訓(xùn)練多種顏色，然后輸入當(dāng)前顏色，計(jì)算當(dāng)前顏色與顏色模板的相似度，用于顏色匹配及顏色識(shí)別的項(xiàng)目。例如：識(shí)別蔬菜，如圖3-13所示，雖蔬菜皆為綠色，但不同蔬菜色度不同，可用該算子區(qū)分，首先訓(xùn)練各個(gè)蔬菜的顏色模板，當(dāng)前訓(xùn)練模板圖像是上海青時(shí)，算法會(huì)判斷出當(dāng)前圖像與各個(gè)模板的匹配分?jǐn)?shù)，選擇最大匹配分?jǐn)?shù)即為所識(shí)別的當(dāng)前蔬菜。顏色提取最大支持32張訓(xùn)練圖片。三、實(shí)踐操作一、知識(shí)儲(chǔ)備6）報(bào)文發(fā)送（參數(shù)可配）。報(bào)文發(fā)送通過預(yù)先定義的協(xié)議格式發(fā)送數(shù)據(jù)到外部設(shè)備或外部軟件。①正常添加網(wǎng)絡(luò)配置或串口配置和報(bào)文發(fā)送（參數(shù)可配）算子，并將outHandle連接到inHandle。報(bào)文發(fā)送（參數(shù)可配）配置界面如圖3-14所示。

圖3-14報(bào)文發(fā)送（參數(shù)可調(diào)）配置界面三、實(shí)踐操作一、知識(shí)儲(chǔ)備②單擊配置發(fā)送數(shù)據(jù)，在新對話框中添加輸出參數(shù)，并配置其類型名稱后單機(jī)“確定”，如圖3-15所示。

圖3-15添加數(shù)據(jù)③添加需要輸出參數(shù)的算子，并將輸出的參數(shù)對應(yīng)到發(fā)送算子的輸入上，如圖3-16所示。完成設(shè)置后，算子會(huì)將數(shù)據(jù)利用發(fā)送算子配置的格式按照用戶在步驟②中設(shè)定的順序組成一條報(bào)文發(fā)送給其他設(shè)備或軟件。圖3-16線路連接三、實(shí)踐操作一、知識(shí)儲(chǔ)備3.PLC指令

CONV(轉(zhuǎn)換值)指令將讀取參數(shù)“IN”的內(nèi)容，并根據(jù)指令框中選擇的數(shù)據(jù)類型對其進(jìn)行轉(zhuǎn)換。轉(zhuǎn)換值將在OUT輸出處輸出，如圖3-17所示。如果滿足下列條件之一，則使能輸出ENO的信號(hào)狀態(tài)為“0”：1）使能輸入EN的信號(hào)狀態(tài)為“0”。2）執(zhí)行過程中發(fā)生溢出之類的錯(cuò)誤。圖3-17“CONV”轉(zhuǎn)換指令

位字符串的轉(zhuǎn)換方式。在指令功能框中，不能選擇位字符串BYTE和WORD。但如果輸入和輸出操作數(shù)的長度匹配，則可以在該指令的參數(shù)處指定DWORD或LWORD數(shù)據(jù)類型的操作數(shù)。然后此操作數(shù)將被位字符串的數(shù)據(jù)類型根據(jù)輸入或輸出參數(shù)的數(shù)據(jù)類型來解釋，并被隱式轉(zhuǎn)換。例如DWORD將解釋為DINT/UDINT，而LWORD將解釋為LINT/ULINT。啟用IEC檢查(IECcheck)時(shí)，也可使用這些轉(zhuǎn)換方式。一、知識(shí)儲(chǔ)備三、實(shí)踐操作4.庫卡機(jī)器人示教器設(shè)置

（1）庫卡機(jī)器人IP地址與端口號(hào)設(shè)置庫卡機(jī)器人的IP地址要與視覺軟件上“網(wǎng)絡(luò)配置1”的IP地址要保持一致，庫卡機(jī)器人可通過示教器進(jìn)行IP地址的設(shè)置，首先打開示教器，登錄用戶以“專家”進(jìn)入，在文件夾中尋找以下路徑c:\KRC\ROBOTER\Config\user\common\EthernetKRL，即可打開如圖3-18所示的界面，打開“binarystream”文件即可進(jìn)入IP地址與端口號(hào)設(shè)置界面，如圖3-19所示。進(jìn)入設(shè)置界面后即可手動(dòng)更改機(jī)器人服務(wù)器IP地址和端口號(hào)。圖3-18kuka機(jī)器人IP地址與端口號(hào)所在文件

圖3-19IP地址與端口號(hào)設(shè)置界面一、知識(shí)儲(chǔ)備三、實(shí)踐操作（2）視覺定位中偏差數(shù)據(jù)獲取與偏差消除1）偏差數(shù)據(jù)獲取。在視覺檢測中需要制作一個(gè)模板，此時(shí)吸盤吸取工件的圓心位置是一定的，即為模板中工件圓心點(diǎn)，當(dāng)模板制作完畢，設(shè)備正常運(yùn)行后，每次工件到達(dá)的位置存在一定偏差，偏差數(shù)據(jù)通過在連續(xù)運(yùn)行下，拖拽分析腳本的“inX”“inY”和模板匹配的“ra”至右側(cè)顯示區(qū)（切換為結(jié)果界面），即可顯示此時(shí)的工件圓心的x、y數(shù)據(jù)和此時(shí)工件的角度信息，如圖3-20所示。圖3-20偏差數(shù)據(jù)獲取一、知識(shí)儲(chǔ)備三、實(shí)踐操作2）偏差消除。假如此時(shí)通過視覺軟件獲取了偏差數(shù)據(jù)（x=a，y=b），那么通過機(jī)器人程序改變吸盤吸取位點(diǎn)，數(shù)值與pick.x、pick.y數(shù)值進(jìn)行“±”算數(shù)運(yùn)算（對正值進(jìn)行減運(yùn)算，對負(fù)值進(jìn)行加運(yùn)算），可將偏差消除，吸取點(diǎn)為此刻相機(jī)下工件的圓心定位點(diǎn)，如圖3-21所示。圖3-21偏差數(shù)據(jù)修改位置一、知識(shí)儲(chǔ)備三、實(shí)踐操作二、任務(wù)實(shí)施1.任務(wù)實(shí)施準(zhǔn)備（1）硬件連線在進(jìn)行任務(wù)前需要將相機(jī)的電源線、輸入輸出線、接地線、光源控制線和通信線等連接到對應(yīng)的硬件上，如圖3-23~圖3-25所示，相機(jī)線號(hào)定義見表3-2。線號(hào)名稱線號(hào)名稱藍(lán)色線相機(jī)電源線（24V）棕色線相機(jī)電源接地線/GPIO地線紅色線光耦隔離輸入線（L1）黑色線光耦隔離輸出（L0）灰色線光耦隔離輸入/輸出線（L2）綠色線光耦隔離信號(hào)地線（I/O地線）圖3-24光源控制器接線

圖3-25相機(jī)通信連接三、實(shí)踐操作（1）PLC編程針對相機(jī)的應(yīng)用，PLC編程具體步驟見表3-3，PLC具體程序如圖3-26所示。三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作圖3-26PLC具體程序三、實(shí)踐操作（3）機(jī)器人自動(dòng)取、放吸盤工具程序

具體程序見表3-4~表3-6。表3-4機(jī)器人自動(dòng)取、放吸盤工具程序變量點(diǎn)說明三、實(shí)踐操作（3）機(jī)器人自動(dòng)取、放吸盤工具程序

具體程序見表3-4~表3-6。表3-5自動(dòng)取吸盤工具程序三、實(shí)踐操作（3）機(jī)器人自動(dòng)取、放吸盤工具程序

具體程序見表3-4~表3-6。表3-6自動(dòng)放吸盤工具程序三、實(shí)踐操作三、實(shí)踐操作（4）HMI相機(jī)檢測信息顯示在PLC數(shù)據(jù)塊中建立觸摸屏變量，將PLC程序中的“相機(jī)數(shù)據(jù)工件角度信息”，“相機(jī)數(shù)據(jù)工件顏色”或“相機(jī)數(shù)據(jù)工件坐標(biāo)x”,“相機(jī)數(shù)據(jù)工件坐標(biāo)y”拖入該數(shù)據(jù)塊中，寫入顯示塊名稱“相機(jī)檢測信息”，如圖3-27所示。圖3-27觸摸屏信息三、實(shí)踐操作在“詳細(xì)視圖”中找到“相機(jī)數(shù)據(jù)工件角度信息”，“相機(jī)數(shù)據(jù)工件顏色”，根據(jù)任務(wù)書的要求，拖入相關(guān)變量，如圖3-28所示。圖3-28添加相機(jī)檢測信息三、實(shí)踐操作將相機(jī)檢測信息所在界面命名為“畫面1”，將“畫面1”拖入起始界面，調(diào)整按鈕的大小，最后將HMI進(jìn)行下載，即可在觸摸屏起始畫面中進(jìn)入到相機(jī)檢測信息顯示界面，如圖3-29所示。圖3-29畫面1添加至主畫面三、實(shí)踐操作（5）視覺定位中偏差數(shù)據(jù)獲取在視覺檢測中需要制作一個(gè)模板，此時(shí)吸盤吸取工件的圓心位置是一定的，即為模板中工件圓心點(diǎn)，當(dāng)模板制作完畢，設(shè)備正常運(yùn)行后，每次工件到達(dá)的位置存在一定偏差，偏差數(shù)據(jù)通過在連續(xù)運(yùn)行下，拖拽分析腳本的“inX”“inY”和模板匹配的“ra”至右側(cè)顯示區(qū)（切換為“結(jié)果”界面），即可顯示此時(shí)的工件圓心的x、y數(shù)據(jù)和此時(shí)工件的角度信息，如圖3-30所示。圖3-30偏差獲取三、實(shí)踐操作2.任務(wù)一：工件角度識(shí)別與定位（1）任務(wù)規(guī)劃工件角度識(shí)別與定位任務(wù)規(guī)劃

流程如圖3-31所示。圖3-31工件角度識(shí)別與定位任務(wù)規(guī)劃流程三、實(shí)踐操作（2）工件角度識(shí)別與定位視覺程序設(shè)置三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作（3）工件角度識(shí)別與定位工業(yè)機(jī)器人編程三、實(shí)踐操作3.任務(wù)二：工業(yè)機(jī)器人工件顏色識(shí)別（1）任務(wù)規(guī)劃工件顏色識(shí)別任務(wù)規(guī)劃流程

如圖3-32所示。圖3-32工件顏色識(shí)別任務(wù)規(guī)劃流程三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作（3）工件顏色識(shí)別程序（表3-10）三、實(shí)踐操作4.任務(wù)三：中間法蘭和輸出法蘭定位和分揀（1）任務(wù)規(guī)劃中間法蘭和輸出法蘭定位和分揀

任務(wù)規(guī)劃流程如圖3-33所示。圖3-33任務(wù)規(guī)劃三、實(shí)踐操作（2）工件角度識(shí)別與定位視覺程序(表3-11)三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作三、實(shí)踐操作（3）工件角度識(shí)別與定位程序（表3-12）三、實(shí)踐操作三、調(diào)試?yán)镁焦┝夏K、帶輸送模塊將輸出法蘭或者中轉(zhuǎn)法蘭放置在視覺檢測模塊下，將編寫的視覺程序設(shè)置為連續(xù)運(yùn)行，打開PLC，設(shè)置為監(jiān)控狀態(tài)，測試工業(yè)相機(jī)否每次都能清晰識(shí)別出法蘭及法蘭的角度，如果有故障，則應(yīng)按照前面的程序繼續(xù)調(diào)試。機(jī)器視覺在工業(yè)中的應(yīng)用由于“工業(yè)4.0”時(shí)代的到來，機(jī)器視覺在智能制造業(yè)領(lǐng)域的作用越來越重要，人們對于機(jī)器視覺的認(rèn)識(shí)也愈加深刻，機(jī)器視覺系統(tǒng)提高了生產(chǎn)的自動(dòng)化程度，大大提高了生產(chǎn)率和產(chǎn)品精度。機(jī)器視覺系統(tǒng)可以通過機(jī)器視覺設(shè)備（即圖像攝取裝置），將被攝取目標(biāo)轉(zhuǎn)換成圖像信號(hào)，并傳送給專用的圖像處理系統(tǒng)，得到被攝取目標(biāo)的形態(tài)信息，將像素分布和亮度、顏色等信息轉(zhuǎn)變成數(shù)字化信號(hào)，然后圖像系統(tǒng)對這些信號(hào)進(jìn)行各種運(yùn)算來抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動(dòng)作。1.圖像識(shí)別應(yīng)用利用機(jī)器視覺對圖像進(jìn)行處理、分析和理解，以識(shí)別各種不同模式的目標(biāo)和對象。圖像識(shí)別在機(jī)器視覺領(lǐng)域中最典型的應(yīng)用就是二維碼的識(shí)別了，二維碼是常見的條形碼中最為普遍的一種。將大量的數(shù)據(jù)信息存儲(chǔ)在這小小的二維碼中，通過條碼對產(chǎn)品進(jìn)行跟蹤管理。通過機(jī)器視覺系統(tǒng)可以方便地對各種材質(zhì)表面的條碼進(jìn)行識(shí)別讀取，大大提高了現(xiàn)代化生產(chǎn)的效率。四、知識(shí)拓展2.圖像檢測應(yīng)用檢測是機(jī)器視覺主要的應(yīng)用之一，幾乎所有產(chǎn)品都需要檢測，而人工檢測存在著較多的弊端