基于機器視覺的測控技術(shù)模板

第5章基于機器視覺的測控技術(shù)

主要內(nèi)容機器視覺測控系統(tǒng)

數(shù)字圖像處理圖像融合技術(shù)典型應用HALCON簡介

介紹機器視覺測控系統(tǒng)、數(shù)字圖像處理方法以及圖像信息融合術(shù)，簡要介紹應用作者研制的ZM-VS1300視覺智能測控系統(tǒng)平臺研制開發(fā)自己專用視覺測控系統(tǒng)方案，最后給出了作者研制的機器視覺測控系統(tǒng)典型應用案例。第5章基于機器視覺的測控技術(shù)

第5章基于機器視覺的測控技術(shù)

5.1機器視覺測控系統(tǒng)

本節(jié)從機器視覺測控系統(tǒng)的基本概念出發(fā)，綜合機器視覺測控系統(tǒng)原理、技術(shù)和應用進行介紹。典型的視覺檢測系統(tǒng)的構(gòu)成：4

5.1.1機器視覺檢測系統(tǒng)硬件

光源

照度要適中亮度要均勻亮度要穩(wěn)定不應產(chǎn)生陰影照度可調(diào)5.1.1機器視覺檢測系統(tǒng)硬件

圖像傳感器

CCD電荷耦合器件攝像機（ChargeCoupledDevice）:感光像元在接收輸入光后，產(chǎn)生電荷轉(zhuǎn)移，形成輸出電壓。分為線陣和面陣兩種。性價比高，受到廣泛應用。CMOS攝像機（ComplementaryMetalOxideSemiconductor）:體積小、耗電少、價格低，在光學分辨率、感光度、信噪比和高速成像等已超過CCD。

5.1.1機器視覺檢測系統(tǒng)硬件

圖像傳感器

其他：飛點掃描器（FlyingPointScanner）、掃描鼓、掃描儀、顯微光密度計等。遙感圖像獲取設(shè)備：光學攝影：攝像機、多光譜攝像機等；紅外攝影：紅外輻射計、紅外攝像儀、多通道紅外掃描儀等；5.1.1機器視覺檢測系統(tǒng)硬件

圖像采集卡:將視頻圖像以模擬電信號方式輸出

標準視頻信號：黑白視頻（RS-170、RS-330、RS-343、CCIR）、復合視頻（NTSC、PALSECAM制式）、分量模擬視頻、S-Video等。

非標準視頻信號：非標準RGB信號、線掃描信號、逐行掃描信號。5.1.1機器視覺檢測系統(tǒng)硬件

圖像采集卡的設(shè)計基于PCI總線的圖像采集卡的設(shè)計

5.1.1機器視覺檢測系統(tǒng)硬件

基于USB總線的圖像采集卡的設(shè)計

5.1.2

機器視覺檢測系統(tǒng)軟件

近年來，機器視覺工作者在研究視覺測控系統(tǒng)硬件的同時，也對機器視覺檢測處理的共性軟件進行了研究開發(fā)，出現(xiàn)了很多機器視覺測控系統(tǒng)組態(tài)軟件平臺，如最具代表性的機器視覺軟件HALCON。5.1.3視覺檢測系統(tǒng)應用缺陷檢測

尺寸測量PCB焊點檢測與分類

5.2數(shù)字圖像處理數(shù)字圖像處理技術(shù)是一門跨學科的前沿高科技，是在信號處理、計算機科學、自動控制理論及其他應用領(lǐng)域基礎(chǔ)上發(fā)展起來的邊緣學科，是認識世界、改造世界的重要手段。目前圖像處理與識別技術(shù)已應用于許多領(lǐng)域，成為21世紀信息時代的一門重要的高新科學技術(shù)。5.2.1平滑和濾波鄰域平均

一般實際情況中，考慮到運算的計算量，為3×3的模板5.2.1平滑和濾波中值濾波法

將模板在圖中漫游，并將模板中心與圖中某個像素位置重合；讀取模板下各對應像素的灰度值；將這些灰度值從小到大排成1列；找出這些值里排在中間的1個；將這個中間值賦給對應模板中心位置的像素?？沼驗V波實現(xiàn)

5.2.1平滑和濾波5.2.2邊緣檢測

梯度算子

實際操作中，用下面式子取代微分：梯度算子

用標準的模板來計算梯度：（a）Roberts（b）Prewitt（c）Sobel5.2.2邊緣檢測拉普拉斯算子

對一個連續(xù)函數(shù)，它在位置處的拉普拉斯值定義如下：

5.2.2邊緣檢測拉普拉斯算子

計算函數(shù)的拉普拉斯值也可以借助各種模板實現(xiàn)，它要求模板的中心像素系數(shù)應該是正的，而對應中心像素的鄰近像素的系數(shù)應是負的，且它們之和應該是零。5.2.2邊緣檢測Marr-Hildreth邊緣檢測算子

5.2.2邊緣檢測此算子有無限長拖尾，在具體實現(xiàn)卷積時，應取一個N×N的窗口。同時，為了減小卷積運算的計算量，可用兩個不同帶寬的高斯曲面之差（DOG）來近似。Marr-Hildreth邊緣檢測算子

5.2.2邊緣檢測考慮到M-H算子的對稱性，可采用分解的方法來提高運算速度。即把一個二維濾波器分解為獨立的行、列濾波器。

將方程改寫為

其中:5.2.2邊緣檢測Canny邊緣檢測法

Canny給出了評價邊緣檢測性能優(yōu)劣的三個指標（1）低失誤概率（2）高定位精度（3）對單一邊緣僅有唯一響應設(shè)n為任意方向，Gaussian函數(shù)在這個方向上的一階導數(shù)為：5.2.2邊緣檢測

Canny邊緣檢測法當一個像素滿足以下三個條件時，則被認為是圖像的邊緣點：（1）該點的邊緣強度大于沿該點梯度方向的兩個相鄰像素的邊緣強度；（2）與該點梯度方向上相鄰兩點的方向差小于45°；（3）以該點為中心3×3的鄰域中的邊緣強度極大值小于某個閉值。

5.2.2邊緣檢測

Canny邊緣檢測法Canny算子的算法實現(xiàn)

（1）對要處理的圖像I作高斯光滑，則新的圖像為，其次對求的方向?qū)?shù)（2）細化M中所有的邊（3）雙閾值操作5.2.2邊緣檢測5.2.3圖像分割灰度閾值法

圖像閾值化處理的變換函數(shù)表達式為：

閾值的選取間接閾值法多閾值法p尾法確定閾值

閾值的選取間接閾值法多閾值法p尾法確定閾值最大類間方差確定閾值

假定圖像的灰度區(qū)間為，設(shè)以灰度k為閾值將圖像分為兩個區(qū)域，灰度為1~k的像素和灰度為k+1~L的像素分別屬于區(qū)域A和B，則區(qū)域A和B的概率分別為：

5.2.3圖像分割最大類間方差確定閾值

區(qū)域A和B的平均灰度為：

其中為全圖的平均灰度：

兩個區(qū)域的方差為：

5.2.3圖像分割最大類間方差確定閾值

按照最大類間方差的準則：組間方差越大，則兩組的差別越大。即k值越大，表明分割效果越好。從1至L

改變k，并計算類間方差，使式最大的k,即是區(qū)域分割的閾值。最佳熵自動閾值法峰谷法

5.2.3圖像分割區(qū)域生長

5.2.3圖像分割在實際應用區(qū)域生長法時需要解決3個問題：選擇或確定1組能正確代表所需區(qū)域的種子像素；確定在生長過程中能將相鄰像素包括進來的準則；制定使生長停止的條件或規(guī)則。

區(qū)域生長實現(xiàn)步驟對圖像進行光柵掃描，求出不屬于任何區(qū)域的像素。當尋找不到這樣的像素時結(jié)束操作。把這個像素灰度同其周圍（4-鄰域或8-鄰域）不屬于其他區(qū)域的像素進行比較，若灰度差值小于閾值，則合并到同一區(qū)域，并對合并的像素賦予標記。5.2.3圖像分割從新合并的像素開始，反復進行步驟②的操作。反復進行步驟②、③的操作，直至不能再合并。返回步驟①的操作，尋找新區(qū)域出發(fā)點的像素。5.2.3圖像分割分裂合并

利用分裂合并算法對圖像進行分割的步驟生成圖像的四叉樹結(jié)構(gòu)。

5.2.3圖像分割根據(jù)經(jīng)驗和任務需要，從四叉樹的某一層開始，合并滿足一致性屬性的共根的4個子塊。重復對圖像進行操作，直到不能合并為止?？紤]上一步中沒有合并的子塊，如果它的子節(jié)點不滿足一致性準則，將這個節(jié)點永久地分為4個子塊。如果分出的子塊仍不滿足一致性準則，繼續(xù)劃分，直到所有的子塊都滿足為止。5.2.3圖像分割由于人為地將圖像進行四叉樹分解，可能會將同一區(qū)域的像素分在不能按照四叉樹合并的子塊內(nèi)，因此需要搜索所有的圖像塊，將鄰近的未合并的子塊合并為一個區(qū)域。由于噪聲影響或者按照四叉樹劃分區(qū)域邊緣未對準，進行上述操作后可能仍存在大量的小的區(qū)域，為了消除這些影響，可以將它們按照相似性準則歸入鄰近的大區(qū)域內(nèi)。

5.2.3圖像分割5.2.4特征提取

線提取

Hough變換原理

在圖像空間XY里，設(shè)所有過點（x,y）的直線都滿足方程：

式中，p為直線的斜率，q為直線的截距。也可以寫成：

式中表示參數(shù)空間PQ中過點（p,q）的一條直線。圖像空間到參數(shù)空間之間的轉(zhuǎn)換可以用圖表示：Hough變換原理

在實際使用哈夫變換時，要在上述基本方法的基礎(chǔ)上根據(jù)圖像具體情況采取一些方法以提高精度和速度，在實際中常用的是極坐標直線方程。

5.2.4特征提取

Hough變換原理圖像平面上的一個點就對應到參數(shù)平面上的一條正弦曲線上。哈夫變換最適合于檢測較簡單曲線

5.2.4特征提取

直線提取

以下是用Hough變換檢測直線的算法過程：①初始化變換域空間的數(shù)組，表示圖像對角線方向的像素數(shù)，方向上角度初始化數(shù)目為90。②順序搜索圖像中所有的物體點，對每一個物體點，按照變換域的各個點加1。③求出變換域的值大于一定閾值的點并記錄。④根據(jù)這些點在原空間內(nèi)畫出直線。

5.2.4特征提取

骨架提取中軸變換原理

具有邊界B的區(qū)域R的MAT是如下確定的：對每個R中的點P，在B中搜尋與它最近的點。如果對P能找到多于1個這樣的點（即有2個或以上的B中的點與P同時最近），就可認為P屬于R的中線或骨架，或者說P是1個骨架點5.2.4特征提取

簡化的中軸變換算法：根據(jù)對二值圖像特點的分析，經(jīng)過實驗，采用了一種簡單而且效果很好的算法?？梢愿鶕?jù)一個像素的8個相鄰點的情況來判斷該點是否應該刪除

內(nèi)部點不能刪除；孤立點不能刪除；直線端點不能刪除；如果P是邊界點，去掉P后，如果連通分量不增加，則P可以刪除。

5.2.4特征提取

每次對整幅圖像逐行掃描一遍，對于每個點（不包括邊界點），計算它對應在表中的索引，若為0，則保留，否則刪除該點。如果這次掃描沒有一個點被刪除，則循環(huán)結(jié)束，剩下的點就是骨架點，如果有點被刪除，則進行新的一輪掃描，如此反復，直到?jīng)]有點被刪除為止。5.2.4特征提取

可以根據(jù)上述的判據(jù)，事先做出一張表，每個元素不是0，就是1。根據(jù)某點（即目標點）的8個相鄰點的情況查表，若表中的元素是1，則表示該點可刪，否則保留。查表的方法是：設(shè)白點為1，黑點為0；位置關(guān)系如圖，按這樣組成的8位數(shù)去查表即可。輪廓提取與跟蹤

在目標跟蹤中，通過輪廓提取或輪廓跟蹤技術(shù)確定目標的輪廓參數(shù)。

輪廓跟蹤的最基本方法是：先根據(jù)某些嚴格的“探測準則”找出物體輪廓上的像素，再根據(jù)這些像素的某些特征用一定的“跟蹤準則”找出目標物體上的其他像素。這里介紹一種二值圖像的輪廓跟蹤。首先找第一個邊界點像素：按照從左到右，從下到上的順序搜索，找到的第一個黑點一定是最左下方的邊界點，記為A。點A的右、右上、上。5.2.4特征提取

左上四個鄰點中至少有一個邊界點，記為B。從邊界點B開始，定義初始的搜索方向為左方；

如果左方的點為黑點，則為邊界點，否則搜索方向順時針旋轉(zhuǎn)45°。這樣一直找到第一個黑點為止。然后把這個點作為新的邊界點，在當前的搜索方向上逆時針旋轉(zhuǎn)90°，

繼續(xù)用同樣的方法搜索下一

個黑點，直到返回初始的邊

界點為止。5.2.4特征提取

在一些工業(yè)生產(chǎn)的領(lǐng)域，被檢測的物體圖像的缺陷往往表現(xiàn)為破損形狀，這樣會引起物體的角點變化，這也可以稱為檢測缺陷的依據(jù)。圖像中的角點是指圖像中具有高曲率的點，它由物體邊緣曲率較大的地方或者多條邊緣的交點形成，角點也可以作為物體識別、檢測和定位的一個重要特征。

5.2.4特征提取

角點提取

Harris法是角點檢測的常用方法，它的原理是利用水平、豎直兩個差分算子Ix、Iy,求得如圖中m的4個元素值，并對圖像每個像素進行濾波，最后根據(jù)求得的角點陣cim的值來確定每個點是否為角點

5.2.4特征提取

角點最直觀的印象就是在水平、豎直兩個方向上變化均較大的點，即Ix、Iy都較大。Ix、Iy是沿著水平和垂直方向的差分算子。這也是把角點和圖像上的邊緣已經(jīng)平坦地區(qū)區(qū)分的依據(jù)。

邊緣：僅在水平、或者僅在豎直方向有較大的變化量，即Ix、Iy只有其一較大。

平坦地區(qū)：在水平、豎直方向的變化量均較小，即Ix、Iy都較小。

5.2.4特征提取

紋理特征提取

相位編碼法

實部為：

虛部為:

5.2.4特征提取

紋理特征提取多通道Gabor的特征提取法

假設(shè)每一通道濾波器的數(shù)字模型為：

其中，為濾波器輸入的圖像，和分別為偶對稱和奇對稱的Gabor濾波器。

5.2.4特征提取

紋理特征提取

多通道Gabor的特征提取法

實際操作中，我們用FFT來實現(xiàn)：

5.2.4特征提取

5.3圖像融合技術(shù)

本節(jié)從圖像融合技術(shù)的概念出發(fā)，介紹3種具有代表性的圖像融合方法，分別是Laplacian算法、RoLP算法和小波變換方法。5.3.1圖像融合概述

圖像融合的基本過程

設(shè)圖像元素的橫、縱坐標分別用，表示，則級間的運算可以表示為：

Laplacian金字塔技術(shù):

對比度金字塔技術(shù):

5.3.2Laplacian金字塔方法融合算法獲取每一路圖像的Gaussian金字塔序列；獲得每一路圖像的Laplacian金字塔；Laplacian金字塔序列對應級融合：融合算子取對應各級的“或”運算或加權(quán)平均等；重構(gòu)圖像。5.3.2Laplacian金字塔方法獲取每一路圖像的Gaussian金字塔序列；獲得每一路圖像的對比度金字塔；對比度金字塔序列對應級融合，融合對比度金字塔有以下標準法則即：5.3.3RoLP金字塔方法

圖像的細節(jié)變化可以認為是對比度的變化。由于人類視覺系統(tǒng)對圖像的對比度變化較為敏感，且不同圖像傳感器對同一目標所成圖像的對比度分布不同，融合不同圖像的細節(jié)可以設(shè)法通過融合對比度來實現(xiàn)，具體操作如下：式中、和分別為待融合圖像、融合圖像的對比度金字塔序列中的第L級。重構(gòu)圖像。5.3.3RoLP金字塔方法

二維離散小波變換

5.3.4二維小波變換方法

對于圖像處理，需要將連續(xù)小波變換與逆變換離散化，在此給出經(jīng)典Mallat算法的離散形式

5.3.4二維小波變換方法圖像融合

5.3.4二維小波變換方法

二維離散小波圖像重構(gòu)

5.3.4二維小波變換方法小波變換的圖像融合應用

5.3.4二維小波變換方法

本節(jié)介紹作者研制的電子槍扭彎曲特性視覺檢測系統(tǒng)、背投電視會聚特性視覺測控系統(tǒng)，以及ZM-VS1300視覺測控系統(tǒng)平臺，通過其軟硬件系統(tǒng)的實現(xiàn)，充分展示基于機器視覺測控技術(shù)在工業(yè)測控領(lǐng)域的迅速發(fā)展和廣泛應用。5.4典型應用5.4.1電子槍扭彎曲特性智能檢測系統(tǒng)

電子槍與其基座通過焊接連成一個整體。但是，在焊接時不可避免地會出現(xiàn)誤差，表現(xiàn)為基座中心與電子槍中心不在同一垂直線上，出現(xiàn)彎曲誤差；電子槍與其基座將產(chǎn)生一定的旋轉(zhuǎn)角度，這就是扭曲誤差。電子槍扭曲、彎曲檢測原理

5.4.1電子槍扭彎曲特性智能檢測系統(tǒng)圖像采集與圖像處理結(jié)構(gòu)圖5.4.1電子槍扭彎曲特性智能檢測系統(tǒng)扭彎曲檢測圖像處理算法

圖像預處理基于改進遺傳算法的圖像分割M-H算子簡化的中軸變換算法改進的Hough算法

5.4.1電子槍扭彎曲特性智能檢測系統(tǒng)

軟件技術(shù)系統(tǒng)應用

軟件主界面系統(tǒng)實物圖5.4.1電子槍扭彎曲特性智能檢測系統(tǒng)系統(tǒng)工作原理圖5.4.2背投電視會聚特性視覺檢測測控系統(tǒng)

圖像處理：

測控結(jié)果圖1圖25.4.2背投電視會聚特性視覺檢測測控系統(tǒng)系統(tǒng)工作原理ZM-VS1300平臺簡介應用領(lǐng)域圖像處理功能庫系統(tǒng)操作

5.4.3ZM-VS1300視覺智能測控系統(tǒng)平臺

HALCON是德國MVtec公司推出的圖像處理軟件，是世界公認具有最佳效能的機器視覺軟件。實際上是一套圖像處理庫，由1000多個各自獨立的函數(shù)，以及底層的數(shù)據(jù)管理核心構(gòu)成。5.5HALCON簡介5.5.1HALCON的基本結(jié)構(gòu)

5.5.4利用HALCON進行應用開發(fā)

C

下列的程序代碼說明了如何讀取一幅圖像，并且將其顯示在圖形視窗中。

read_image(&Monkey,″monkey″);get_image_pointer1(Monkey,&Pointer,Type,&Width,&Height);open_window(0,0,Width,Height,0,″visible″,″″,&WindowHandle);disp_obj(Monkey,WindowHandle);

5.5.5在程序語言中使用HALCON

C++

下列的程序代碼說明了如何讀取一幅圖像，將其顯示在圖形視窗中，并且進行一些基本的blob分析。

HImageMandrill(″monkey″);HWindoww(0,0,512,512);Mandrill.Display(w);HRegionBright=(Mandrill>=128);HRegionArrayConn=Bright.Connection();HRegionArrayLarge=Conn.SelectShape(″area″,″and″,500,90000);5.5.5在程序語言中使用HALCON

VisualBasic

下列程序碼說明了如何讀取一幅圖像，并且進行一些基本的blob分析

DimimageAsNewHimageXDimregionAsHregionXCallimage.ReadImage(″monkey″)Setregion=image.Threshold(128,255)5.5.5在程序語言中使用HALCON

C#

下列代碼以C#的語法重寫了VisualBasic中的那個例子：

HimageXimage=newHimageX();HRegionXregion;Image.ReadImage(″monkey″);region=image.Threshold(128,255);5.5.5在程序語言中使用HALCON

尺寸測量返回返回返回返回返回返回返回END附錄資料：不需要的可以自行刪除

車用空調(diào)器自動

控制系統(tǒng)

一、概