機器視覺技術基礎PPT完整全套教學課件

機器視覺技術基礎匯報人：陳西PPT工作室第1章機器視覺概述第2章數(shù)字圖像基礎第3章了解和熟悉HALCON第4章圖像預處理第5章圖像分割第6章特征提取第7章圖像的形態(tài)學處理第8章圖像模板匹配第9章3D立體視覺第10章HALCON相關實例和算法第一章機器視覺概述匯報人：陳西PPT工作室目錄機器視覺初認識機器視覺硬件選型機器視覺的應用及展望機器視覺硬件構成機器視覺介紹以及工作原理PART1機器視覺初認識

機器視覺，是指使用智能機器代替人類視覺進行物體和環(huán)境識別，通過相機采集圖像,并使用軟件算法進行分析和理解，最終使機器具有和生物視覺系統(tǒng)類似的場景感知能力。機器視覺硬件構成PART2工作原理機器視覺系統(tǒng)組成模塊：光源、鏡頭、相機、圖像采集模塊、圖像處理模塊、交互界面等。工作原理機器視覺系統(tǒng)的工作流程圖機器視覺硬件選型PART3機器視覺組成模塊光源：是使被測物的重要特征顯現(xiàn)，而抑制不需要的特征。面上常見的有LED光源、紅外光源、激光光源等。機器視覺組成模塊相機：相機是一種將現(xiàn)場的影像轉化成數(shù)字信號或模擬信號的工具。相機的選型組要關注以下參數(shù)：①分辨率②像素尺寸③幀率④像素深度⑤數(shù)字接口機器視覺組成模塊鏡頭：鏡頭是與相機配套使用的一種成像設備，機器視覺項目選型要關注的鏡頭參數(shù)主要包括以下幾種：①接口②最大靶面尺寸③物距與焦距④光圈⑤分辨率與成像質量⑥鏡頭倍率與視場范圍機器視覺組成模塊圖像采集卡：

將來自相機的模擬信號或數(shù)字信號轉化為所需的圖像數(shù)據(jù)流并發(fā)送到計算機端，是相機和計算機之間的重要連接組件。機器視覺應用及展望PART4機器視覺系統(tǒng)的工作流程機器視覺應用及展望缺陷檢測一維碼識別醫(yī)藥檢測劃痕檢測小結在工業(yè)領域在醫(yī)學領域在交通領域在農業(yè)領域

機器視覺光源鏡頭相機圖像采集模塊圖像處理模塊交互界面①接口②最大靶面尺寸③物距與焦距④光圈⑤分辨率與成像質量⑥鏡頭倍率與視場范圍①分辨率②像素尺寸③幀率④像素深度⑤數(shù)字接口組成應用謝謝聆聽第二章數(shù)字圖像基礎匯報人：陳西PPT工作室目錄圖像和數(shù)字圖像圖像像素間的關系圖像灰度直方圖圖像的數(shù)字化圖像和數(shù)字圖像第一部分圖像

圖像是客觀對象的一種相似性的、生動性的描述或寫真，是人類社會活動中最常用的信息載體?；蛘哒f圖像是客觀對象的一種表示，它包含了被描述對象的有關信息。圖像分類數(shù)字圖像

數(shù)字圖像，即將圖像轉化為數(shù)字的形式。我們平時所見到的圖像，在計算機中都是一組數(shù)字，當通過相機捕獲現(xiàn)實世界的景物時，相機會捕獲現(xiàn)實世界的光源信號，并轉化為數(shù)字信號保存到存儲器上。數(shù)字圖像擴展了人類獲取信息的渠道，可以幫人們更加客觀、準確、快速地了解世界和認識世界。數(shù)字圖像分類二值圖像（BinaryImage)灰度圖像(GrayScaleImage)三維圖像(3DImage)偽彩色圖像（false-color）彩色圖像(ColorImage)圖像的數(shù)字化第二部分

自然界的圖像信息是連續(xù)的模擬信號。一般的模擬圖像是不能直接用數(shù)字計算機來處理的。必須將各類圖像轉化為數(shù)字圖像然后再用計算機進行分析處理。圖像的數(shù)字化過程主要分采樣、量化與編碼三個步驟。什么是圖像的數(shù)字化？數(shù)字圖像的表示一幅的m×n數(shù)字圖像可用矩陣表示為：采樣、量化參數(shù)與數(shù)字化圖像間的關系

數(shù)字化方式可分為均勻采樣、量化和非均勻采樣、量化。所謂“均勻”，指的是采樣、量化為等間隔。圖像數(shù)字化一般采用均勻采樣和均勻量化方式。采用非均勻采樣與量化，會使問題復雜化，因此很少采用。

一般來說，采樣間隔越大，所得圖像像素數(shù)越少，圖像空間分辨率低，質量差。采樣間隔越小，所得圖像像素數(shù)越多，圖像空間分辨率高，質量好，但數(shù)據(jù)量大。如右圖所示，圖（a）至（f）是采樣間距遞增獲得的圖像，像素數(shù)從256×256遞減至8×8。

量化等級越多，所得圖像層次越豐富，灰度分辨率越高，質量越好，但數(shù)據(jù)量大；量化等級越少，圖像層次欠豐富，灰度分辨率低，質量變差，會出現(xiàn)假輪廓現(xiàn)象，但數(shù)據(jù)量小。如右圖所示，圖2.7（a）至（f）是在采樣間距相同時灰度級數(shù)從256逐次減少為64、16、8、4、2所得到的圖像。圖像像素間的關系第三部分圖像像素間的關系

像素間的關系主要對像素與像素之間的關聯(lián)進行描述，理解像素間的關系是學習圖像處理的必要準備，這主要包括相鄰像素，鄰接性、連通性，區(qū)域、邊界的概念，以及今后要用到的一些常見距離度量方法。

鄰域關系用于描述相鄰像素之間的相鄰關系，包括4鄰域、8鄰域、D鄰域等類型。假定位于坐標的一個像素p有4個水平和垂直的相鄰像素，如下圖所示。

相鄰像素四鄰域

定義V是用于定義鄰接性的灰度值集合，它是一種相似性的度量，用于確定所需判斷鄰接性的像素之間的相似程度。這里考慮三種類型的鄰接性：（1）4鄰接（2）8鄰接（3）m鄰接（混合鄰接鄰接性像素鄰接示意圖

從具有坐標的像素p到具有坐標的像素q的通路（或曲線）是特定的像素序列，其坐標為：連通性

其中并且像素和(對于)是鄰接的。在這種情況下，n是通路的長度。如果，則通路是閉合通路。

區(qū)域和邊界

區(qū)域的定義是建立在連通集的基礎上的，令R是圖像中的像素子集。如果R是連通集，則稱R為一個區(qū)域。如果R是整幅圖像（我們設這幅圖像是像素的方形集合），則邊界由圖像首行、首列、末行和末列定義。注意：邊界和邊緣是不同的。邊界是和區(qū)域有關的全局概念，而邊緣表示圖像函數(shù)的局部性質。

對于像素p、q和z，其坐標分別為、和，如果函數(shù)D滿足距離三要素，即：（1）非負性，；（2）對稱性，；（3）三角不等式，。則稱函數(shù)D為有效距離函數(shù)或度量，常用的像素間距離度量包括歐式距離、距離（城市距離）及距離（棋盤距離）。像素之間的距離圖像灰度直方圖第四部分圖像灰度直方圖

對一幅圖像，若對應于每一個灰度值，統(tǒng)計出具有該灰度值的像素數(shù)，并描繪出像素數(shù)一灰度值圖形，則該圖形稱為該圖像的灰度直方圖，簡稱直方圖。如右圖所示。不同的圖像具有相同的直方圖直方圖的性質

灰度直方圖只能反映圖像的灰度分布情況，而不能反映圖像像素的位置。如圖1所示。1

一幅圖像各子區(qū)的直方圖之和就等于該圖全圖的直方。如圖2所示。2圖1不同的圖像具有相同的直方圖圖2子區(qū)直方圖與全面直方圖的關系直方圖的運用

1.用于判斷圖像量化是否恰當，直方圖的快速檢查可以使數(shù)字化中產(chǎn)生的問題及早暴露出來，以免浪費大量時間。2.用于確定圖像二值化的閾值假定一幅圖像如下圖所示，背景是黑色，物體為灰色。容易得知直方圖上的左峰由背景中的黑色像素產(chǎn)生，而右峰由物體中各灰度級產(chǎn)生。選擇谷對應的灰度作為閾值T,利用下式對圖像二值化，得到一幅二值圖像。

直方圖的運用

本章介紹了圖像與數(shù)字圖像相關的基礎知識、像素鄰域的處理技術，即像素間的基本關系。值得一提的是，圖像灰度直方圖也是數(shù)字圖像處理的常用手段之一，對圖像灰度直方圖的學習能為后續(xù)圖像運算內容的學習提供重要鋪墊。本章小結2.1什么是數(shù)字圖像？為什么要對圖像進行數(shù)字化處理？2.2圖像數(shù)字化包括哪兩個過程？每個過程對數(shù)字化圖像質量有何影響？2.3為什么要對圖像進行壓縮編碼處理？壓縮編碼有什么作用？2.4圖像像素間一般有哪些關系？2.5什么是灰度直方圖，有哪些應用？2.6從灰度直方圖你能獲得哪些信息？習題謝謝聆聽第三章了解和熟悉HALCON匯報人：陳西PPT工作室走進HALCONHDevelop組件介紹圖像采集數(shù)據(jù)結構目錄第一部分第二部分第三部分第四部分走進HALCON第一部分什么是HALCON？

HALCON是廣泛使用的機器視覺軟件，用戶可以利用其開放式結構快速開發(fā)圖像處理和機器視覺軟件。HALCON包含了各類濾波，色彩以及幾何，數(shù)學轉換，形態(tài)學計算分析，校正，分類辨識，形狀搜尋等等基本的幾何以及影像計算功能。HALCON主要有以下三個優(yōu)點：（1）HALCON包含了一套交互式的程序設計界面HDevelop，讓使用者能在最短的時間里開發(fā)出視覺系統(tǒng)。（2）HALCON不限制取像設備，可以自行挑選合適的設備。（3）使用HALCON，在設計人機接口時沒有特別的限制，也不必特別的可視化組件，可以完全使用開發(fā)環(huán)境下的程序語言，例如visualstudio、NET、Mono等等。走進HALCONHDevelop圖形組件第二部分

HALCON安裝完成后，雙擊它的執(zhí)行程序HDevelop.exe,便進入開發(fā)環(huán)境界面，整個界面分為標題欄、菜單欄、工具欄、狀態(tài)欄和四個活動界面窗口,一般情況下有四個活動界面窗口分別是圖形窗口、算子窗口、變量窗口和程序窗口,如左圖所示。注意：如果窗口排列不整齊,則可以點擊菜單欄中的“窗口”→“排列窗口”,重新排列窗口。HALCON主界面HDevelop預覽

圖形窗口主要顯示圖像，可以顯示處理前的原始圖像，也可以顯示處理后的region等，如左圖所示。圖形窗口圖形窗口

算子窗口顯示的是算子的重要數(shù)據(jù)，包含了所有的參數(shù)、各個變量的型態(tài)以及參數(shù)數(shù)值，如左圖所示。這里會顯示參數(shù)的默認值以及可以選用的數(shù)值。在圖形窗口中，只要鍵入部分字符串甚至開頭的字母，即可顯示所有符合名稱的算子供選用。算子窗口算子窗口

變量窗口顯示了程序在執(zhí)行時產(chǎn)生的各種變量，包括圖像變量和控制變量，在變量上用鼠標雙擊，即可顯示變量值，如左圖所示。變量窗口變量窗口

程序窗口用來顯示一個HDevelop程序。它可以顯示整個程序或是某個運算符。窗口左側是一些控制程序執(zhí)行的指示符號。HDevelop剛啟動時，可以看到一個綠色箭頭的程序計數(shù)器（ProgramCounter,PC)、一個插入符號，還可以設置一個斷點（breakingpoint),窗口右側顯示程序代碼，如左圖所示。程序窗口程序窗口軟件圖像采集第三部分軟件圖像采集

熟悉了HALCON界面之后，接下來就要考慮怎么樣進行采集圖像。圖像采集是圖像處理的基礎，采集圖像的速度和質量會直接影響后續(xù)圖像處理的效率?，F(xiàn)在我們來介紹如何獲取輸入圖像。1、讀取單張圖像，利用read_image算子進行讀取程序如下：read_image(Image,'D:/patras.png')獲取非實時圖像讀取整個文件夾的圖像，則可以利用for循環(huán)來實現(xiàn)。

2、利用快捷鍵按住CTRL+R打開讀取圖像對話窗口，在文件名稱一欄中選擇圖像所在的文件路徑，在語句插入位置點擊確定，即可獲得圖像，如下圖所示。使用快捷鍵獲取圖像獲取非實時圖像3、利用采集助手批量讀取文件夾下所有圖像點擊菜單欄中的“助手”→“打開新的ImageAcquisition”，點擊“資源”選項卡下的“選擇路徑”，如圖1所示。點擊“代碼生成”選項卡下的“插入代碼”，如圖2所示。

圖1文件選擇路徑圖圖2插入代碼獲取非實時圖像實時圖像的HALCON實時圖像采集可分為以下三步，如下圖所示：HALCON實時采集圖像流程圖獲取實時圖像在HALCON中，獲取實時圖像主要有兩種方式：①通過HALCON自帶的采集接口獲??；②通過相機配套的SDK獲取。數(shù)據(jù)結構第四部分數(shù)據(jù)結構

在研究機器視覺算法之前，我們必須分析機器視覺應用中涉及到的基本數(shù)據(jù)結構。因此，本節(jié)中我們先介紹一下圖像，區(qū)域、亞像素輪廓、句柄以及數(shù)組數(shù)據(jù)結構。在HALCON中查看圖像變量

在HALCON中，把鼠標移動到HALCON變量窗口中的圖像變量上會顯示圖像變量的類型、通道及尺寸，如下圖所示。

圖像通道實例*讀取圖像read_image(Image,'D:/picture/ship.png')*計算圖像通道count_channels(Image,Num)*循環(huán)讀取每個通道的圖像forIndex:=1toNumby1*獲取多通道指定圖像access_channel(Image,channel1,Num)endfor*分解通道decompose3(Image,RedImage,GreenImage,BlueImage)*合并通道compose2(RedImage,GreenImage,MultiChannelImage)*向圖像附加通道append_channel(MultiChannelImage,BlueImage,ImageExtended)程序執(zhí)行結果如下圖所示。Region指圖像中的一塊區(qū)域，在HALCON中可以通過點擊工具欄中的“特征檢測”，如圖1示。在彈出的對話框中選擇region，可以看到region的不同特征屬性及相對應的數(shù)值，如圖2所示。

（b）圖1圖2Region在HALCON中，將Image圖像轉換成Region區(qū)域有以下兩種方法：（1）可以利用閾值分割threshold算子進行轉化。threshold(Image:Region:MinGray,MaxGray:)（2）使用灰度直方圖進行轉化，步驟如下：在工具欄中點擊“打開灰度直方圖”，如下圖所示。接著打開使能輸出按鈕，最后拖動圖3.18中的紅色豎線與綠色豎線，點擊插入代碼即可。Region（a）灰度直方圖圖標（b）灰度直方圖界面閾值分割算子獲得區(qū)域實例（a）原圖（b）閾值分割圖*閾值分割圖像獲得區(qū)域threshold(Aegypt1,Regions,23,160)dev_display(Regions)程序執(zhí)行結果如下圖所示：程序如下：*關閉窗口dev_close_window()*獲得圖像read_image(Aegypt1,'egypt1')*獲得圖像尺寸get_image_size(Aegypt1,Width,Height)*打開窗口dev_open_window(0,0,Width,Height,'black',WindowHandle)dev_display(Aegypt1)

XLD，亞像素精度輪廓，指圖像中某一塊區(qū)域的輪廓，在HALCON中查看XLD的特征步驟與查看Region特征的步驟相似。點擊工具欄中的“特征檢測”→“選擇XLD”,在圖形窗口選擇要查看的XLD特征，可看到XLD的特征屬性及其相對應的數(shù)值，如下圖所示。XLDXLD特征檢測*關閉窗口dev_close_window()*獲取圖像read_image(Image,'fabrik')*打開適應圖像大小的窗口dev_open_window_fit_image(Image,0,0,-1,-1,WindowHandle)*提取圖像得到亞像素邊緣edges_sub_pix(Image,Edges,'canny',2,12,22)*顯示邊緣dev_display(Edges)圖像轉XLD實例程序執(zhí)行結果如下圖所示：（a）圖像（b）XLD

Handle句柄標識符，是拿來標識對象或者項目的。從數(shù)據(jù)類型上來看，它只是一個32位（或64位）的無符號整數(shù)。Handle、TupleTuple可以理解為C語言中的數(shù)組，數(shù)組是編程語言中最常見的一種數(shù)據(jù)結構，可用于存儲多個數(shù)據(jù)，每個數(shù)組元素存放一個數(shù)據(jù)，通常可通過數(shù)組元素的索引來訪問數(shù)組元素，包括為數(shù)組元素賦值和取出數(shù)組元素的值。C語言中數(shù)組的操作大都可以在Tuple中找到對應的操作。

本章簡要介紹了HALCON的功能特點及其交互式的編程環(huán)境HDevelop的開發(fā)環(huán)境。并概述了利用HALCON進行實時采集和離線采集的圖像采集過程。此外，介紹了圖像處理過程中的五種常用數(shù)據(jù)結構，分別是圖形Image、Region、XLD、Handle和Tuple，HALCON數(shù)據(jù)結構是HALCON學習的基礎，本章節(jié)對后續(xù)HALCON編程的學習具有重要意義。本章小結3.1熟悉HALCON的編程環(huán)境，并概述HALCON在圖像處理應用上的特點。3.2使用HALCON采集助手讀取某一文件夾下的圖像。3.3將一張RGB圖像轉化為灰度圖像。3.4求Val_mean的值。Tuple:=[1,2,10]Tuple[3]=10T:=Tuple[1,3]Val_mean:=mean(T)習題謝謝聆聽第四章圖像預處理匯報人：陳西PPT工作室感興趣區(qū)域（ROI）圖像的變換與校正圖像增強小結目錄第一部分第二部分第三部分第四部分感興趣區(qū)域（ROI）第一部分ROI

感興趣區(qū)域，即ROI。在Halcon中，ROI是常用的一個算子，ROI就是從被處理的圖像以方框、圓、橢圓、不規(guī)則多邊形等方式勾勒出需要處理的區(qū)域，這個區(qū)域是你的圖像分析所關注的重點。使用ROI可以減少計算量，加快圖像處理速度，提高效率。步驟一：選擇關注區(qū)域在采集到原始圖像后，即可通過圖像處理得出特定區(qū)域，常規(guī)的有矩形、圓形以及橢圓。此時，選擇的區(qū)域還不能稱為ROI,它還只是形狀或者說是像素范圍。步驟二：裁剪區(qū)域如果要將這選擇的區(qū)域變成獨立的圖像，還需要將其從原圖上裁剪出來。在Halcon中可以通過reduce_domain算子將其截取出來成為單獨的一幅圖片。

選擇ROI的步驟*關閉窗口dev_close_window()*讀取圖像read_image(Clip,'clip')*把一個圖像縮放到指定比例大小zoom_image_factor(Clip,ImageZoomed,0.5,0.5,'constant')*獲得圖像尺寸get_image_size(ImageZoomed,Width,Height)*新建顯示窗口，適應圖像尺寸dev_open_window(0,0,Width,Height,'black',WindowID)dev_display(ImageZoomed)*輸入矩形長軸針對水平方向的角度phi:=1.91*輸入矩形中心點的y值坐標、x值坐標創(chuàng)建RIO實例（a）（b）Row:=134Column:=118*選擇ROIgen_rectangle2(Rectangle,Row,Column,phi,19,55)*從原圖中分割出ROIreduce_domain(ImageZoomed,Rectangle,ImageReduced)*顯示分割后的ROI圖像dev_display(ImageReduced)程序執(zhí)行結果如圖所示：圖像的變換與校正第二部分

圖像的變換與校正

由于多種因素的影響，應用中實際獲得的畫面可能會與想象中有所差異，因此需要進行調整、把畫面復原。圖像的變換與校正是指用數(shù)學建模方法來描述圖像位置、大小、形狀等已知條件，利用這些條件進行確定模型參數(shù)，根據(jù)模型對圖像進行幾何校正。

在Halcon中，用hom_mat2d_translate算子表示平移。

hom_mat2d_translate（::HomMat2D,Tx,Ty:HomMat2DTranslate）圖像的平移、旋轉和縮放１、圖像的平移

圖像的平移變換就是將圖像中的所有像素點按照要求的偏移量進行垂直、水平移動。平移變換只是改變了原有目標在畫面上的位置，而圖像的內容則不發(fā)生變化。

將一個點移動

個向量，相當于在

坐標的左邊乘以一個平移矩陣T。設平移后的點為

，如下面公式所示：

在Halcon中用hom_mat2d_rotate算子表示平移。hom_mat2d_rotate（::HomMat2D,Phi,Px,Py:HomMat2DRotate）圖像的平移、旋轉和縮放2、圖像的旋轉

圖像的旋轉是指以圖像中的某一點為原點以逆時針或順時針方向旋轉一定的角度，通常是以圖像的中心為原點，將圖像上的所有像素都旋轉一個相同的角度。旋轉后，圖像的大小一般會改變。如果將一個一個點在二維平面上繞坐標原點旋轉角度

，相當于在坐標

的左邊乘以一個旋轉矩陣R。設旋轉后的點為

，如下面公式所示：

在Halcon中用hom_mat2d_scale算子表示旋轉。hom_mat2d_scale（::HomMat2D,Sx,Sy,Px,Py:HomMat2DScale）圖像的平移、旋轉和縮放３、圖像的縮放

假設一個點在二維平面上，沿x軸方向放大

倍，沿y軸方向放大

倍，那么變化后該點的坐標記為

，如下面公式所示：

把平移、旋轉和縮放結合起來，可以在Halcon中使用仿射變換的相關算子。在仿射變換前，需要先確定仿射變換矩陣，步驟如下：（1）創(chuàng)建一個仿射變換單位矩陣，可以用hom_mat2d_identity算子。hom_mat2d_identity（:::HomMat2DIdentity）（2）設置變換的參數(shù)，可以設置平移、縮放以及旋轉參數(shù)。（3）進行仿射變換，可以用affine_trans_image算子。affine_trans_image(Image:ImageAffinTrans:HomMat2D,Interpolation,AdaptlmageSize:)圖像的仿射變換

*關閉窗口，讀取圖像

dev_close_window()read_image(Image,'D:triangle.png')*獲得圖像尺寸，打開窗口，讀取圖片

get_image_size(Image,Width1,Height1)dev_open_window(0,0,Width1,Height1,'black',WindowID)dev_display(Image）*轉灰度圖像

rgb1_to_gray(Image,GrayImage)*圖像二值化

threshold(GrayImage,Regions,0,212)*獲取圖像面積，中心點坐標

area_center(Regions,Area1,Row1,Column1)圖像的仿射變換實例*定義仿射變換矩陣hom_mat2d_identity(HomMat2DIdentity)*設置平移矩陣至中心點坐標hom_mat2d_translate(HomMat2DIdentity,-Row1,-Column1,HomMat2DTranslate)hom_mat2d_translate(HomMat2DTranslate,Height1/2,Width1/2,HomMat2DTranslate1)*通過仿射變換將三角形移至中心點位置并顯示圖像affine_trans_image(GrayImage,ImageAffinTrans,HomMat2DTranslate1,'constant','false')dev_display(ImageAffinTrans)

*設置旋轉矩陣,3.14/2表示旋轉角度，正值代表逆時針旋轉，（Height1/2,Width1/2）為基準點

hom_mat2d_rotate(HomMat2DIdentity,3.14/2,Height1/2,Width1/2,HomMat2DRotate)*通過仿射變換將三角形旋轉90°并顯示圖片

affine_trans_image(ImageAffinTrans,ImageAffinTrans1,HomMat2DRotate,'constant','false')dev_display(ImageAffinTrans1)*設置縮放矩陣，縮放倍數(shù)為1.5倍hom_mat2d_scale(HomMat2DIdentity,1.5,1.5,Height1/2,Width1/2,HomMat2DScale)圖像的仿射變換實例程序執(zhí)行結果如圖所示：（a）（b）（c）（d）*通過仿射變換將三角形放大1.5倍并顯示affine_trans_image(ImageAffinTrans1,ImageAffinTrans2,HomMat2DScale,'constant','false')dev_display(ImageAffinTrans2)仿射變換幾乎能校正物體所有可能發(fā)生的與位姿相關的變化，但并不能應付所有情況。投影變換包括的情況很多，如對邊不再平行，或者發(fā)生了透視畸變等，這時可以使用投影變換使其恢復原狀。其步驟與仿射變換類似，首先計算投影變換矩陣，然后計算投影變換參數(shù)，最后將投影變換矩陣映射到對象上。圖像的投影變換投影變換可以用hom_vector_to_proj_hom_mat2d算子進行。hom_vector_to_proj_hom_mat2d(::Px,Py,Pw,Qx,Qy,Qw,Method:HomMat2D)

*更新、關閉窗口dev_update_off()dev_close_window()*獲得圖像、打開適合圖片的窗口read_image(Image_slanted.datacode/ecc200/ecc200_to_preprocess_001')dev_open_window_fit_image(Image_slanted,0,0,-1,-1,WindowHandle)*設置設置輸出顏色為'白色'dev_set_color('white')定義輸出線寬為3dev_set_line_width(3)stop()圖像的投影變換實例*定義坐標變量XCoordCorners:=[130,225,290,63]YCoordCorners:=[101,96,289,269]*為每個輸入點生成十字形狀的XLD輪廓，6代表組成十字橫線的長度，0.78代表角度gen_cross_contour_xld(Crosses,XCoordCorners,YCoordCorners,6,0.78)dev_display(Image_slanted)dev_display(Crosses)stop()*生成投影變換需要的變換矩陣，這里是齊次變換矩陣

hom_vector_to_proj_hom_mat2d(XCoordCorners,YCoordCorners,[1,1,1.1],[70,270,270,70],[100,100,300,300],[1,1,1,1],'normalized_dlt',HomMat2D)*在待處理的圖像上應用投影變換矩陣，并將結果輸出到Image_rectified中projective_trans_image(Image_slanted,lmage_rectified,HomMat2D,'bilinear','false','false')*為上述2D數(shù)據(jù)代碼創(chuàng)建模型，DataCodeHandle為數(shù)據(jù)代碼模型create_data_code_2d_model('DataMatrixECC200’,[],[],DataCodeHandle)*檢測輸入圖像中的2D數(shù)據(jù)模型代碼，并讀取編碼圖像的投影變換實例數(shù)據(jù)，SymbolXLDs是成功解碼后的符號生成的XLD輪廓find_data_code_2d(Image_rectified,SymbolXLDs,DataCodeHandle,[],[],ResultHandles,DecodedDataStrings)*顯示dev_display(Image_slanted)dev_display(Image_rectified)devdisplay(SymbolXLDs)*在圖形窗口編輯并顯示文本disp_message(WindowHandle,'Decodingsuccessful','window',12,12,'black','true')*設置當前窗口的字體屬性圖像的投影變換實例程序執(zhí)行結果如圖所示：（a）（b）set_display_font(WindowHandle,12,'mono','true','false')*在圖形窗口編輯并顯示文本disp_message(WindowHandle,DecodedDataStrings,'window',350,70,'forestgreen','true')*創(chuàng)建二維碼模型clear_data_code_2d_model(DataCodeHandle)

圖像增強第三部分圖像增強

圖像增強是有目的地強調圖像的整體或局部特性，將原來不清晰的圖像變得清晰或強調某些感興趣的特征，擴大圖像中不同物體特征之間的差別，抑制不感興趣的特征，改善圖像質量、豐富信息量，加強圖像判讀和識別效果，滿足某些特殊分析的需要。像增強技術基本可以分為兩大類，一類是空間域處理法，一類是頻域處理法?？臻g域處理法是指在空間域中，直接對圖像的像素灰度值進行增強處理。頻域處理法的基礎是卷積定理，它采用修改圖像傅立葉變換的方法實現(xiàn)對信號的增強。常用的方法包括低通濾波、髙通濾波以及同態(tài)濾波等。圖像增強所包含的主要內容右圖所示圖像增強的基本分類在圖像處理中，點運算是圖像數(shù)字化軟件和圖像顯示軟件的重要組成部分。對于一幅輸入圖像，經(jīng)過點運算將產(chǎn)生一幅每個像素的灰度值僅取決于輸入圖像中相對應像素灰度值的輸出圖像。圖像增強的點運算這種運算具有兩個特點：①根據(jù)某種預先設置的規(guī)則，將輸入圖像各個像素本身的灰度（和該像素鄰域內其他像素的灰度無關）逐一轉換成輸出圖像對應像素的灰度值；②點運算不會改變像素的空間位置?；叶茸儞Q（有時又被稱為圖像的對比度增強或對比度拉伸），是指根據(jù)某種目標條件按一定變換關系逐點改變源圖像中每一個像素灰度值的方法。調整圖像灰度值的其中一個原因是由于圖像的對比度太弱，灰度變換可使圖像動態(tài)范圍增大，對比度得到擴展，顯示效果更加清晰?；叶茸儞Q是圖像增強處理技術中的一種非?；A、直接的空間域圖像處理方法。常用的方法有三種：線性灰度變換、分段線性灰度變換和非線性灰度變換?；叶茸儞Q假定原圖像的灰度范圍為[a,b]，線性變換后的圖像的灰度范圍擴展至[c,d]，如右圖所示。則與關系表達式為：

線性變換①當k>1時,則會使圖像對比度變大，灰度取值的動態(tài)范圍展寬；②當k=1時,則灰度取值區(qū)間會隨著a和c的大小上下平移，但灰度動態(tài)范圍不變；③當0<k<1時，則變換后會使圖像對比度變小，灰度取值的動態(tài)范圍會變窄；④當k<0,則變換后圖像的灰度值會發(fā)生反轉，即圖像中亮的變暗，暗的變亮。線性灰度變換將圖像灰度區(qū)間分成兩段乃至多段分別作線性變換。常用的三段線性變換如右圖所示。其數(shù)學表達式如下：

通過調整折線拐點的位置及控制分段直線的斜率，即可對任一灰度區(qū)間進行擴展或壓縮。分段線性灰度變換分段線性灰度變換單純的線性變換對圖像細節(jié)的增強較為有限，如果只想仔細地分析圖像的某一部分，也就是對圖像的那部分增強，我們可以結合非線性變換技術來進行解決，可以使得壓縮像素少的部分，擴展像素數(shù)集中的部分。典型的非線性變換函數(shù)有指數(shù)函數(shù)、對數(shù)函數(shù)、閾值函數(shù)、多值量化函數(shù)等。非線性灰度變換

①圖像取反算子，適用于增強嵌入在一幅圖像的按區(qū)域中的白色或灰色細節(jié)，特別是黑色面積占主導地位時。invert_image(Image:ImageInvert::)

②增加圖像對比度算子emphasize(Image:ImageEmphasize:MaskWidth,MaskHeight,Factor:)

③縮放圖像的灰度值scale_image(Image:ImageScaled:Mult,Add:)

在Halcon中的灰度變換算子

程序如下：*關閉窗口

dev_close_window()*獲取圖像

read_image(Image1,'C:/Users/92011/Pictures/1.jpg')*獲取圖像尺寸

get_image_size(Image1,Width,Height)*打開大小適應的窗口

dev_open_window(0,0,Width,Height,'black',WindowHandle)*顯示圖像

dev_display(Image1)*圖像灰度化

rgb1_to_gray(Image1,GrayImage)*圖像取反

invert_image(GrayImage,ImageInvert)*增強對比度

emphasize(GrayImage,ImageEmphasize,Width,Height,1)*增加亮度

scale_image(GrayImage,ImageScaled,1,100)*分別顯示

ImageInvert、ImageEmphasize、ImageScaled

dev_display(ImageInvert)

dev_display(ImageEmphasize)

dev_display(ImageScaled)對圖像進行線性灰度變換實例程序執(zhí)行結果如圖所示：（a）灰度化圖像（b）取反圖像（c）增強對比度（d）增強亮度在數(shù)字圖像處理中，直方圖是一個簡單有用的工具，它反映了數(shù)字圖像中每一灰度級與其出現(xiàn)像素頻率間的統(tǒng)計關系，并且能描述圖像的概貌，例如圖像的灰度范圍、灰度級的分布等，為進一歩對圖像進行處理提供了重要依據(jù)。直方圖修正法通常有直方圖均衡化及直方圖規(guī)定化兩類：（1）直方圖均衡化；（2）直方圖規(guī)定化。直方圖修正法直方圖均衡化就是通過對原圖像進行某種變換，使原圖像的灰度直方圖修正為均勻分布的直方圖的一種方法。通過直方圖均衡化，可以使原圖中具有相近灰度值且占有大量像素點的區(qū)域的灰度范圍變寬，增強圖像整體對比效果。如右圖所示：直方圖均衡化（a）原始圖像

（b）直方圖均衡化后的圖像

直方圖均衡化前后對比圖

程序如下：*關閉窗口

dev_close_window()*獲取圖像

read_image(Image,'C:/Pictures.jpg')*獲取圖像大小

get_image_size(Image,Width,

Height)*打開與圖像大小適應的窗口

dev_open_window(0,0,Width,

Height,'black',WindowHandle1)*圖像灰度化

rgb1_to_gray(Image,GrayImage)*直方圖均衡化

equ_histo_image(GrayImage,ImageEquHisto)*顯示均衡化后結果圖像

dev_display(ImageEquHisto)對圖像進行直方圖均衡化實例程序執(zhí)行結果如圖所示：（a）灰度化圖像（b）直方圖均衡化后圖像直方圖均衡化處理方法是行之有效的增強方法之一，它把原始直方圖的累積分布函數(shù)作為變換函數(shù)，從而產(chǎn)生近似均勻的直方圖。但在某些情況下，并不一定需要具有均勻直方圖的圖像，而是希望有針對性地增強某個灰度范圍內的圖像，直方圖規(guī)定化方法就是針對上述思想提出來的。直方圖規(guī)定化是使原圖像灰度直方圖變成規(guī)定形狀的直方圖而對圖像作修正的增強方法，以滿足特定的效果。直方圖均衡化處理只是直方圖規(guī)定化的一個特例。直方圖規(guī)定化對比度增強除了灰度變換與直方圖修正法外，還可以用Wallis和Jong-SenLee提出的局部均值和方差進行對比度增強。若圖像中像素

的灰度值用

表示，所謂局部均值和方差是指以

像素為中心

鄰域的灰度的均值

和。如下面式子所示：

局部統(tǒng)計法圖像的平滑處理

為了抑制噪聲，使圖像亮度趨于平緩的處理方法就是圖像平滑。圖像平滑是指用于突出圖像的寬大區(qū)域、低頻成分、主干部分或抑制圖像噪聲和干擾高頻成分的圖像處理方法，目的是使圖像亮度平緩漸變，減小突變梯度，改善圖像質量。圖像平滑實際上是低通濾波，但是在平滑過程中會導致圖像邊緣模糊化。圖像噪聲是指存在于圖像數(shù)據(jù)中的不必要的或多余的干擾信息。噪聲的存在嚴重影響了遙感圖像的質量，因此在圖像增強處理和分類處理之前，必須予以糾正。圖像系統(tǒng)中的噪聲來自多方面，經(jīng)常影響圖像質量的噪聲源主要有以下幾類：（1）由光和電的基本性質所引起的噪聲。（2）電器的機械運動產(chǎn)生的噪聲。如各種接頭因抖動引起的電流變化所產(chǎn)生的噪聲,磁頭、磁帶抖動引起的抖動噪聲等。（3）元器件材料本身引起的噪聲。如磁帶、磁盤表面缺陷所產(chǎn)生的噪聲。（4）系統(tǒng)內部設備電路所引起的噪聲。如電源系統(tǒng)引入的交流噪聲和偏轉系統(tǒng)引起的噪聲等。圖像噪聲鄰域平均法（也稱為均值濾波器）是簡單的空域處理方法，與點運算的運算結果只跟該點相關不同，鄰域運算運算的結果不僅和本像素點灰度值有關，而且和其他周圍的像素點的灰度值也有關聯(lián)。其核心思想是用幾個像素灰度的平均值來代替每個像素的灰度。鄰域平均法假設一幅圖像為陣列，對于鄰域平均后的圖像,它的每個像素的灰度值由包含點鄰域的幾個像素的灰度級的平均值所決定，因此有：

式中：S是以點鄰域中心的坐標的集合，但其中不包括，M是S內坐標點的總數(shù)。常用的鄰域為4-鄰域點和8-鄰域點。如圖所示：2·直圖修正法

（a）4-鄰域（b）8-鄰域鄰域平均法在Halcon中均值濾波可以用mean_image算子。mean_image(Image:ImageMean:MaskWidth,MaskHeight:)

圖像鄰域平均法算法簡單，計算速度快但它的主要缺點是在降低噪聲的同時使圖像產(chǎn)生模糊，特別在邊緣和細節(jié)處。圖像所用的鄰域半徑越大，則圖像的模糊程度越大。2·直圖修正法鄰域平均法

均值濾波實例程序如下：*讀取圖像

read_image(Image,'D:/panda.jpg')*關閉窗口

dev_close_window()*重新打開窗口

dev_open_window(0,0,512,512,'black',WindowHandle)*顯示圖像，將圖像灰度化dev_display(Image)

rgb1_to_gray(Image,GrayImage)*添加高斯噪聲

gauss_distribution(20,Distribution)

add_noise_distribution(GrayImage,ImageNoise,Distribution)*均值濾波處理

mean_image(ImageNoise,ImageMean,5,5)*顯示圖像

dev_display(ImageMean)圖像的平滑處理程序執(zhí)行結果如圖所示：（a）帶有高斯噪聲圖片（b）均值濾波后圖片中值濾波是對一個滑動窗口內的像素的灰度值進行排序，用其中值代替窗口中心像素的灰度值的濾波方法。它是一種非線性信號平滑處理技術，能有效消除孤立點和線段的干擾，可以減弱或消除傅立葉空間的高頻分量，但也影響低頻分量。高頻分量往往是圖像中區(qū)域邊緣灰度值急劇變化的部分，該濾波可將這些分量消除，從而達到使圖像平滑的效果。中值濾波法設一維的數(shù)字序列取窗口長度為n（奇數(shù)），若要對此一維序列進行中值濾波，就是每次從序列中取出n個數(shù),其中為窗口的中心點值，再窗口內的n個點的值按其數(shù)值大小排序，取這組數(shù)據(jù)的中值作為濾波后的輸出值。一維中值濾波的數(shù)學表達式為

一維中值濾波的概念很容易推廣到二維。一般來說，二維中值濾波器比一維濾波器更能抑制噪聲。二維模板通常為3×3、5×5的區(qū)域，也可以是不同的形狀，如線形、圓形、十字形、方形等，如右圖所示。2·直圖修正法（a）線形

中值濾波法（ｂ）十字形

（ｃ）方形

常用的二維中值濾波模板

程序如下：*讀取圖像

read_image(Image,'D:/panda.jpg')*關閉窗口，重新打開窗口

dev_close_window()

dev_open_window(0,0,512,512,'black',WindowHandle)*顯示圖片

dev_display(Image)*圖像灰度化

rgb1_to_gray(Image,GrayImage)*添加椒鹽噪聲

sp_distribution(3,3,Distribution)

add_noise_distribution(GrayImage,ImageNoise,Distribution)*中值濾波

median_image(ImageNoise,ImageMedian,‘circle’,3,‘mirrored’)*顯示圖像

dev_display(ImageMedian)均值濾波實例程序執(zhí)行結果如圖所示：（a）帶有椒鹽噪聲圖片

（b）中值濾波后圖片低通濾波法是一種頻域處理。在分析圖像信號的頻率特性時，一幅圖像中灰度均勻的平滑區(qū)域對應著傅立葉變換中的低頻成分，灰度變化頻繁的邊緣及細節(jié)對應著傅立葉變換中的高頻成分。用濾波的方法適當?shù)貙D像變換域中的高頻成分過濾掉，便可以得到圖像的平滑結果。其工作原理可表示為：

通濾波平滑處理流程如圖所示。低通濾波法低通濾波平滑處理流程圖Halcon中常用的低通濾波處理算子：①生成理想的低通濾波圖像可用gen_lowpass算子。gen_lowpass(:ImageLowpass:Frequency,Norm,Mode,Width,Height:)②進行快速傅立葉變換可以用fft_generic算子。fft_generic(Image:ImageFFT:Direction,Exponent,Norm,Mode,ResultType:)③在頻域里卷積圖像。convol_fft(ImageFFT,ImageFilter:ImageConvol::)

2·直圖修正法低通濾波法

對圖像進行低通濾波處理實例程序如下：*讀取帶有椒鹽噪聲圖像

read_image(ImageNoise,'D:/panda.jpg')*獲得圖像尺寸

get_image_size(ImageNoise,Width,Height)*關閉窗口

dev_close_window()*打開適應圖像大小的窗口

dev_open_window(0,0,512,512,'black',WindowHandle)*顯示圖像

dev_display(ImageNoise)*圖像轉灰度化

rgb1_to_gray(Image,GrayImage)*獲得一個低通濾波模型

gen_lowpass(ImageLowpass,0.1,'none','dc_center',Width,Height)*對噪聲圖像進行傅里葉變換，得到頻率圖像

fft_generic(ImageNoise,ImageFFT,'to_freq',-1,'sqrt','dc_center','complex')*對頻率圖像進行低通濾波

convol_fft(ImageFFT,ImageLowpass,ImageConvol)*對頻率圖像進行傅里葉變換

fft_generic(ImageConvol,ImageFFT1,'from_freq',1,'sqrt','dc_center','complex')

dump_window(WindowHandle,'postscript','halcon_dump')圖像的平滑處理程序執(zhí)行結果如圖所示：（a）噪聲圖像（b）低通濾波后圖像如果一幅圖像包含有加性噪聲，這些噪聲對于坐標點是不相關且平均值為零，在這種情況下就可以采用多圖像平均法來進行去噪處理。多圖像平均法的基本思想是在對獲取的同一物景的若干幅圖像相加取平均值來消除噪聲。設在相同條件下，獲取的同一目標物的M幅圖像可表示為：

則多幅圖像平均后的輸出圖像可表示為

多圖像平均法圖像的銳化處理

由于成像系統(tǒng)聚焦不好或者信道的帶寬過窄，因此在圖像形成和傳輸過程中，會使圖像目標物廓變模糊、細節(jié)不清晰。同時，圖像的平滑往往也使圖像中的邊界、輪廓變得模糊。為了減少這類不利效果的影響，這就需要利用圖像銳化技術來實現(xiàn)圖像增強，使圖像的邊緣變的清晰。Sobel算子結合了高斯平滑和微分求導，使用卷積核對圖像中的每個像素點做卷積和運算，然后采用合適的閾值提取邊緣。Sobel算子有兩個卷積核，分別對應x和y兩個方向。采用Sobel算子可以避免梯度微分銳化時圖像中噪聲、條紋等干擾信息的增強。它的基本模板如圖所示。Sobel算子（a）對水平邊緣響應最大（b）對垂直邊緣響應最大

程序如下：*讀取圖像

read_image(Image,'fabrik')*邊緣檢測

sobel_amp(Image,EdgeAmplitude,'sum_abs',3)*閾值分割

threshold(EdgeAmplitude,Region,10,255)*提取邊緣框架

skeleton(Region,Skeleton)*顯示圖片

dev_display(Image)*設置輸出顏色為紅色

dev_set_color('red')*顯示邊緣框架

dev_display(Skeleton)運用Sobel算子實例程序執(zhí)行結果如圖所示：（a）原圖

（b）邊緣檢測結果圖

（c）邊緣框架圖

在圖像的邊緣區(qū)域，像素值會發(fā)生比較大的變化，對這些像素求導會出現(xiàn)極值，在這些極值位置，其二階導數(shù)為0，所以也可以用二階導數(shù)來檢測圖像邊緣。拉普拉斯算子就是其中一個線性二階微分算子，表達式為：

拉普拉斯增強算子

對圖像程序如下：*關閉窗口

dev_close_window()*獲取圖像

read_image(Image,'mreut')*獲取圖像尺寸

get_image_size(Image,Width,Height)*打開適應圖片大小的窗口

dev_open_window(0,0,Width,Height,'black',WindowHandle)*顯示圖片

dev_display(Image)*對圖像進行拉普拉斯算子處理laplace(Image,ImageLaplace_3,'signed',3,'n_8_isotropic')*顯示處理后的圖像

dev_display(ImageLaplace_3)采用拉普拉斯算子實例程序執(zhí)行結果如圖所示：（a）原始圖像（b）拉普拉斯銳化后圖像圖像中的邊緣及急劇變化部分與圖像頻譜的高頻分量相對應，因此利用高通濾波器衰減圖像信號中的低頻分量時就會相對強調其高頻分量，從而使圖像的邊緣及急劇變化部分變得清楚，實現(xiàn)圖像的銳化。高通濾波就是在空間域用高通濾波算子和圖像卷積來增強邊緣。常見的

高通卷積模板如下：

髙通濾波法

對圖像進行高通濾波處理實例程序如下：*關閉窗口

dev_close_window()*讀取圖像

read_image(Image,'D:/picture.png')*圖像灰度化

rgb1_to_gray(Image,GrayImage)*獲取圖像大小

get_image_size(GrayImage,Width,Height)*打開圖像適應大小窗口

dev_open_window(0,0,Width,Height,'black',WindowHandle)*得到高通濾波模型

gen_highpass(ImageHighpass,0.1,'n','dc_center',Width,Height)*對圖像進行傅里葉變換

fft_generic(GrayImage,ImageFFT2,'to_freq',-1,'none','dc_center','complex')*對頻率圖像進行高通濾波convol_fft(ImageFFT2,ImageHighpass,ImageConvol2)*對得到的頻率圖像進行傅里葉反變換fft_generic(ImageConvol2,ImageResult2,'from_freq',1,'none','dc_center','byte')*顯示圖像

dev_display(ImageResult2)圖像的銳化處理程序執(zhí)行結果如圖所示：（a）原始圖像

（b）高通濾波銳化后圖像

同態(tài)濾波是把圖像的照明反射模型作為頻域處理的基礎，將亮度范圍壓縮和對比度增強的頻域方法。一幅圖像

可以用它的照明分量

及反射分量

來表示，即：同態(tài)濾波增強用同態(tài)濾波

對進行濾波的流程如圖所示：小結第四部分ROI

在本章節(jié)中，我們主要介紹了如何對圖像進行預處理，包括感興趣區(qū)域（ROI）的截取，圖像的變換與校正以及增強圖像的具體實現(xiàn)方法。（1）ROI的截取，主要分為兩步：①選擇關注區(qū)域，②裁剪區(qū)域；（2）圖像的變換與校正。（3）增強圖像的具體實現(xiàn)。6.1什么是圖像增強？它包含哪些內容？6.2圖像濾波的主要目的是什么？主要方法有哪些？6.3什么是圖像平滑？試簡述均值濾波和中值濾波的區(qū)別。6.4什么是圖像銳化？圖像銳化有幾種方法？習題THANKSFORLISTENIGN謝謝聆聽第五章圖像分割匯報人：陳西PPT工作室閾值分割區(qū)域分割邊緣檢測Hough變換目錄第一部分第二部分第三部分第四部分分水嶺算法第五部分閾值分割第一部分閾值分割

閾值分割法是一種基于區(qū)域的圖像分割技術，它不僅可以極大的壓縮數(shù)據(jù)量，而且也大大簡化了分析和處理步驟。閾值分割法是一種傳統(tǒng)的最常用的圖像分割方法，特別適用于目標和背景占據(jù)不同灰度級范圍的圖像。圖像的閾值分割是一種按圖像像素灰度幅度進行分割的方法，把圖像的灰度分成不同的等級，然后用設置灰度門限（閾值）的方法確定有意義的區(qū)域或要分割物體的邊界。閾值分割操作被定義為：

因此，閾值分割將圖像內灰度值處于某一指定灰度值范圍內全部點選到輸出區(qū)域S中。如果光照能保持恒定，閾值和能在系統(tǒng)設置時被選定且永遠不用被調整。

閾值分割法閾值分割法對于只有背景和目標兩類對象的灰度圖像來說，閾值選取過高，容易把大量的目標誤判為背景；閾值選取過低，又容易把大量的背景誤判為目標。一般來說，閾值分割可以分成以下三步：（1）確定閾值；（2)將閾值與像素灰度值進行比較；（3）把像素分類。閾值分割的優(yōu)點是計算簡單、運算效率較高、速度快。閾值分割的幾個難點是：①在圖像分割之前，無法確定圖像分割生成區(qū)域的數(shù)目；②閾值的確定，因為閾值的選擇直接影響分割的精度及分割后的圖像進行描述分析的正確性。如果圖像由暗色背景上得較亮物體組成，以這樣組成方式的圖像的灰度直方圖具有明顯谷底，從背景中提取物體的一種很明顯的方法就是選擇兩峰之間的谷底對應的灰度值T作為閾值進行圖像分割。T值的選取如圖所示：根據(jù)直方圖谷底確定閾值法根據(jù)直方圖谷底確定閾值