工業(yè)機器人視覺與傳感技術(shù) 課件 ch10 視覺技術(shù)及視覺軟件Halcon基礎(chǔ)

高等院校公共課系列精品教材工業(yè)機器人視覺與傳感技術(shù)第十章視覺技術(shù)及視覺軟件Halcon基礎(chǔ)內(nèi)容摘要基本概念圖像及其相關(guān)概念反選圖像通過視覺系統(tǒng)處理后可以得到該冬像某一點的坐標(biāo)和像數(shù)。區(qū)域(Region):在視覺處理中，區(qū)域中某一點的坐標(biāo)是可以通過計算得到的，且區(qū)域是閉合的。XLD（eXtendedLineDescriptions)：亞像素輪廓。ROI(Regionoflnterest)：感興趣區(qū)域。MLP(Multilayerperceptron)：多層感知機。OCR（OpticalCharacterRecognition)：光學(xué)字符識別。取反在計算機中是最常用的一種計算方法，類似地，在圖像處理中，反選用得也比較多。反選的實現(xiàn)過程為：打開Halcon軟件，在程序編輯器窗口中輸入算子得dev_open_window（0，0，512，512，'black,WindowHandIe)圖像采集（1）先安裝好相機，再安裝相機對應(yīng)的驅(qū)動程序。單擊Halcon菜單欄中的“助手(A)”菜單，選擇“ImageAcquisition01''命令，即會出現(xiàn)如圖10-1所示的圖像獲取窗口。相機采集圖像采集（2）單擊選中“圖像獲取接口(I)"單選按鈕，再單擊其下的“自動檢測接口(t)"按鈕。則在“自動檢測接口(t)"按鈕的右邊列表框中會出現(xiàn)己安裝驅(qū)動程序的相機名稱。（3)單擊圖像獲取窗口菜單欄中的“采集(q)"菜單，選擇“實時(V)"命令。這樣在Halcon的圖形窗口中能看到相機實時采集到的圖像了。(4)單擊冬像獲取窗口菜單欄中的“代碼生成（G）”菜單，選擇“插入代碼（I)“命令就會出現(xiàn)如圖10-2所示的代碼。相機采集圖像采集這里以計算瓶蓋的面積并確定瓶蓋中心的位置為例，介紹工件的識別與定位。工件的識別流程如圖10-3所示。工件的識別與定位圖像采集（1）打開圖片打開圖片的詳細(xì)過程可參考前文介紹的讀取圖像。工件的識別與定位圖像采集（2）轉(zhuǎn)成灰度圖像轉(zhuǎn)成灰度圖像的詳細(xì)過程也可參考前文的內(nèi)容。工件的識別與定位圖像采集（3）閾值具體是如何實現(xiàn)閾值算子功能，請讀者參考前文的內(nèi)容：閾值設(shè)置的主要目的是選取整幅圖像中有用的部分，篩掉沒用的部分。這是一個相互關(guān)聯(lián)的步驟，閾值設(shè)置后的結(jié)果如圖10-6所示。工件的識別與定位圖像采集（4）連通域具體是如何實現(xiàn)連通域算子的功能，請讀者參考前文的內(nèi)容。連通域的主要功能是在閾值的基礎(chǔ)上，將屬于同一類型的不同區(qū)域處理成為一個整體的區(qū)域。處理后的圖像與前面閾值設(shè)置后的圖像的區(qū)別在于圖像變量的不同，如圖10-7所示。工件的識別與定位圖像采集（5）填補區(qū)域的孔洞輸入算子行fill-up（ConnectedRegions,RegionFillUp)。算子的名稱為：填補區(qū)域的孔洞。工件的識別與定位圖像采集（6）形狀選擇具體是如何實現(xiàn)連通域算子的功能，請讀者參考前文的內(nèi)容。如圖10-9所示為形狀選擇的結(jié)果，與填補區(qū)域的孔洞的主要區(qū)別在于圖像變量窗口的不同。工件的識別與定位圖像采集（7）計算面積及中心坐標(biāo)輸入算子areacenter（SelectedRegions,Area,Row,Column)。算子的名稱為：計算區(qū)域的面積和中心坐標(biāo)。

（8）顯示數(shù)值具體是如何實現(xiàn)顯示數(shù)值算子的功能，請讀者參考前文的內(nèi)容。本例中的顯示算子共有3個參數(shù)，為了區(qū)分這3個參數(shù)，分別在這3個參數(shù)前注釋了中文名稱，如圖10-10所示。工件的識別與定位圖像形態(tài)學(xué)膨脹就是對邊界點進行擴充，填充空洞，使邊界向外部擴張的過程。膨脹是一個算法，根據(jù)需要可以定義膨脹及膨脹的程度。圖10-11中的一個方格代表一個像素，現(xiàn)在要膨脹黑色部分。如圖10-12所示為結(jié)構(gòu)圖形，將結(jié)構(gòu)圖形在膨脹前的圖像中水平和垂直移動，只要結(jié)構(gòu)圖形的白色部分與膨脹前的黑色部分相重合，那么，結(jié)構(gòu)圖形中的黑色部分就要添加到膨脹前圖像的白色方格中。膨脹圖像形態(tài)學(xué)膨脹后的圖像如圖10-13所示。以示區(qū)別，膨脹后的像素使用其他顏色顯示。注意，新增加的紅色不能按照上面的方式膨脹，如果要把紅色計算在內(nèi)，就必須再進行一次膨脹。膨脹圖像形態(tài)學(xué)腐蝕就是消除物體的邊界點，使邊界向內(nèi)部收縮的過程，即把小于結(jié)構(gòu)元素的物體去掉。讓結(jié)構(gòu)圖形在膨脹后的圖像中移動，當(dāng)結(jié)構(gòu)圖形與膨脹后的冬像相交時，只有結(jié)構(gòu)圖形的三個元素與膨脹后的圖像都重合時，結(jié)構(gòu)冬形中的黑色部分才保留；否則，結(jié)構(gòu)圖形中黑色部分下面像素的顏色要去掉，如圖10-14所示。腐蝕圖像形態(tài)學(xué)開運算閉運算開運算就是先腐蝕后膨脹的過程。其作用是去除孤立的小點、手刺，消除小物體、平滑較大物體的邊界，同時不改變其面積。閉運算就是先膨脹后腐蝕的過程。其作用是填充物體內(nèi)細(xì)小的空洞，連接臨近物體、平滑邊界，同時不改變其面積。數(shù)字圖像的色彩彩色模型RGB模型彩色模型也稱為彩色空間或彩色系統(tǒng)，其目的是基于某些標(biāo)準(zhǔn)以通?？梢越邮艿姆绞綄ι始右哉f明。本質(zhì)上，彩色模型是坐標(biāo)系統(tǒng)和子空間的說明。其中，位于系統(tǒng)中的每種顏色都由單個點來表示。在RGB模型中，每種顏色會出現(xiàn)在紅、綠、藍(lán)的元色譜分量中，該模型是基于笛卡兒坐標(biāo)系的。圖10-15所示是RGB模型的顏色空間。數(shù)字圖像的色彩HSB(H表示色相；s表示飽和度；B表示明亮度）是根據(jù)人體視覺原理而開發(fā)的一套色彩模式，是最接近人類大腦對色彩辨認(rèn)的模式，是許多從事傳統(tǒng)技術(shù)工作的畫家或設(shè)計者習(xí)慣使用的模式。HSB模型機器視覺的相關(guān)知識工件定位檢測器探測到工件己經(jīng)運動至接近攝像系統(tǒng)的視野中心，向圖像采集部分發(fā)送觸發(fā)脈沖。圖像采集部分按照事先設(shè)定的程序和延時，分別向攝像機和照明系統(tǒng)發(fā)出啟動脈沖。攝像機停止目前的掃描，重新開始新一幀的掃描，或者攝像機在啟動脈沖到來之前處于等待狀態(tài)，啟動脈沖到來后啟動一幀掃描。攝像機開始新一幀的掃描之前需打開曝光機構(gòu)，事先設(shè)定曝光時間。另一個啟動脈沖打開燈光進行照明，燈光的開啟時間應(yīng)該與攝像機的曝光時間相匹配。攝像機曝光后，正式開始一幀冬像的掃描和輸出。圖像采集部分接收模擬視頻信號后通過A/D轉(zhuǎn)換電路將其數(shù)字化，或者是直接接收攝像機數(shù)字化后的數(shù)字視頻信號。圖像采集部分將數(shù)字圖像存放在處理器或計算機的內(nèi)存中。處理器對圖像進行處理、分析、識別，獲得測量結(jié)果或邏輯控制值。處理結(jié)果控制流水線的動作，例如進行定位、糾正運動的誤差等。一個完整的機器視覺系統(tǒng)的主要工作過程機器視覺的相關(guān)知識機器視覺的優(yōu)點機器人視覺與計算機視覺是非接觸測量，對于觀測者與被觀測者都不會產(chǎn)生任何損傷，從而提高系統(tǒng)的可具有較寬的光譜響應(yīng)范圍。例如使用人眼看不見的紅外線進行測量，擴展了人眼的視覺范圍。可長時間穩(wěn)定地工作。人類難以長時間對同一對象進行觀測，而機器視覺則可以長時間地處理測量、分析和識別任務(wù)。機器人視覺廣義上稱為機器視覺，其基本原理與計算機視覺類似。機器人視覺可以通過視覺傳感器獲取環(huán)境的二維圖像，并通過視覺處理器進行分析和解釋，進而轉(zhuǎn)換為符號，讓機器人能夠辨識物體，并確定其位置。HDeveIop筒介HDevelop是處理視覺算法的一個工具，類似于VB、VC、Delphi等編譯環(huán)境。在這種交互式環(huán)境中，可以編譯和測試視覺算法，可以顯示處理結(jié)果，可以導(dǎo)出算法代碼，可以開發(fā)算子、研宄算子、進行教學(xué)演示等。HDevelop能夠直接連接采集卡或相機，能夠從采集卡、相機或者文件中載入圖像，并從載入的圖像中檢查圖像數(shù)據(jù)，進行可行性研宄。HDevelop支持所有的Halcon算子，因此可以方便查看可視數(shù)據(jù)，方便選擇、調(diào)試和編輯參數(shù)。此外，在HDeveIop中可以編寫完整的程序，也可以導(dǎo)入c、C++、C#、VB、VB.net等程序。常用文檔14253ExtensionPackageProgrammer'sManual該文檔介紹了如何將自行設(shè)計的程序并加入Halcon中。HalconInstallationGuide該文檔說明了幾種不同的安裝授權(quán)方式、升級和卸載方法。

HDeveIopUser'sManual該文檔介紹了HDeveIop的設(shè)計環(huán)境、圖形喬面、編寫程序使用的語法，以及輸出其他語言等內(nèi)容。

HalconProgrammersGuide如果讀者想要在C++或VB等環(huán)境中使用