基于機(jī)器視覺的測控技術(shù)模板

第5章基于機(jī)器視覺的測控技術(shù)

主要內(nèi)容機(jī)器視覺測控系統(tǒng)

數(shù)字圖像處理圖像融合技術(shù)典型應(yīng)用HALCON簡介

介紹機(jī)器視覺測控系統(tǒng)、數(shù)字圖像處理方法以及圖像信息融合術(shù)，簡要介紹應(yīng)用作者研制的ZM-VS1300視覺智能測控系統(tǒng)平臺研制開發(fā)自己專用視覺測控系統(tǒng)方案，最后給出了作者研制的機(jī)器視覺測控系統(tǒng)典型應(yīng)用案例。第5章基于機(jī)器視覺的測控技術(shù)

第5章基于機(jī)器視覺的測控技術(shù)

5.1機(jī)器視覺測控系統(tǒng)

本節(jié)從機(jī)器視覺測控系統(tǒng)的基本概念出發(fā)，綜合機(jī)器視覺測控系統(tǒng)原理、技術(shù)和應(yīng)用進(jìn)行介紹。典型的視覺檢測系統(tǒng)的構(gòu)成：4

5.1.1機(jī)器視覺檢測系統(tǒng)硬件

光源

照度要適中亮度要均勻亮度要穩(wěn)定不應(yīng)產(chǎn)生陰影照度可調(diào)5.1.1機(jī)器視覺檢測系統(tǒng)硬件

圖像傳感器

CCD電荷耦合器件攝像機(jī)（ChargeCoupledDevice）:感光像元在接收輸入光后，產(chǎn)生電荷轉(zhuǎn)移，形成輸出電壓。分為線陣和面陣兩種。性價(jià)比高，受到廣泛應(yīng)用。CMOS攝像機(jī)（ComplementaryMetalOxideSemiconductor）:體積小、耗電少、價(jià)格低，在光學(xué)分辨率、感光度、信噪比和高速成像等已超過CCD。

5.1.1機(jī)器視覺檢測系統(tǒng)硬件

圖像傳感器

其他：飛點(diǎn)掃描器（FlyingPointScanner）、掃描鼓、掃描儀、顯微光密度計(jì)等。遙感圖像獲取設(shè)備：光學(xué)攝影：攝像機(jī)、多光譜攝像機(jī)等；紅外攝影：紅外輻射計(jì)、紅外攝像儀、多通道紅外掃描儀等；5.1.1機(jī)器視覺檢測系統(tǒng)硬件

圖像采集卡:將視頻圖像以模擬電信號方式輸出

標(biāo)準(zhǔn)視頻信號：黑白視頻（RS-170、RS-330、RS-343、CCIR）、復(fù)合視頻（NTSC、PALSECAM制式）、分量模擬視頻、S-Video等。

非標(biāo)準(zhǔn)視頻信號：非標(biāo)準(zhǔn)RGB信號、線掃描信號、逐行掃描信號。5.1.1機(jī)器視覺檢測系統(tǒng)硬件

圖像采集卡的設(shè)計(jì)基于PCI總線的圖像采集卡的設(shè)計(jì)

5.1.1機(jī)器視覺檢測系統(tǒng)硬件

基于USB總線的圖像采集卡的設(shè)計(jì)

5.1.2

機(jī)器視覺檢測系統(tǒng)軟件

近年來，機(jī)器視覺工作者在研究視覺測控系統(tǒng)硬件的同時(shí)，也對機(jī)器視覺檢測處理的共性軟件進(jìn)行了研究開發(fā)，出現(xiàn)了很多機(jī)器視覺測控系統(tǒng)組態(tài)軟件平臺，如最具代表性的機(jī)器視覺軟件HALCON。5.1.3視覺檢測系統(tǒng)應(yīng)用缺陷檢測

尺寸測量PCB焊點(diǎn)檢測與分類

5.2數(shù)字圖像處理數(shù)字圖像處理技術(shù)是一門跨學(xué)科的前沿高科技，是在信號處理、計(jì)算機(jī)科學(xué)、自動控制理論及其他應(yīng)用領(lǐng)域基礎(chǔ)上發(fā)展起來的邊緣學(xué)科，是認(rèn)識世界、改造世界的重要手段。目前圖像處理與識別技術(shù)已應(yīng)用于許多領(lǐng)域，成為21世紀(jì)信息時(shí)代的一門重要的高新科學(xué)技術(shù)。5.2.1平滑和濾波鄰域平均

一般實(shí)際情況中，考慮到運(yùn)算的計(jì)算量，為3×3的模板5.2.1平滑和濾波中值濾波法

將模板在圖中漫游，并將模板中心與圖中某個(gè)像素位置重合；讀取模板下各對應(yīng)像素的灰度值；將這些灰度值從小到大排成1列；找出這些值里排在中間的1個(gè)；將這個(gè)中間值賦給對應(yīng)模板中心位置的像素?？沼?yàn)V波實(shí)現(xiàn)

5.2.1平滑和濾波5.2.2邊緣檢測

梯度算子

實(shí)際操作中，用下面式子取代微分：梯度算子

用標(biāo)準(zhǔn)的模板來計(jì)算梯度：（a）Roberts（b）Prewitt（c）Sobel5.2.2邊緣檢測拉普拉斯算子

對一個(gè)連續(xù)函數(shù)，它在位置處的拉普拉斯值定義如下：

5.2.2邊緣檢測拉普拉斯算子

計(jì)算函數(shù)的拉普拉斯值也可以借助各種模板實(shí)現(xiàn)，它要求模板的中心像素系數(shù)應(yīng)該是正的，而對應(yīng)中心像素的鄰近像素的系數(shù)應(yīng)是負(fù)的，且它們之和應(yīng)該是零。5.2.2邊緣檢測Marr-Hildreth邊緣檢測算子

5.2.2邊緣檢測此算子有無限長拖尾，在具體實(shí)現(xiàn)卷積時(shí)，應(yīng)取一個(gè)N×N的窗口。同時(shí)，為了減小卷積運(yùn)算的計(jì)算量，可用兩個(gè)不同帶寬的高斯曲面之差（DOG）來近似。Marr-Hildreth邊緣檢測算子

5.2.2邊緣檢測考慮到M-H算子的對稱性，可采用分解的方法來提高運(yùn)算速度。即把一個(gè)二維濾波器分解為獨(dú)立的行、列濾波器。

將方程改寫為

其中:5.2.2邊緣檢測Canny邊緣檢測法

Canny給出了評價(jià)邊緣檢測性能優(yōu)劣的三個(gè)指標(biāo)（1）低失誤概率（2）高定位精度（3）對單一邊緣僅有唯一響應(yīng)設(shè)n為任意方向，Gaussian函數(shù)在這個(gè)方向上的一階導(dǎo)數(shù)為：5.2.2邊緣檢測

Canny邊緣檢測法當(dāng)一個(gè)像素滿足以下三個(gè)條件時(shí)，則被認(rèn)為是圖像的邊緣點(diǎn)：（1）該點(diǎn)的邊緣強(qiáng)度大于沿該點(diǎn)梯度方向的兩個(gè)相鄰像素的邊緣強(qiáng)度；（2）與該點(diǎn)梯度方向上相鄰兩點(diǎn)的方向差小于45°；（3）以該點(diǎn)為中心3×3的鄰域中的邊緣強(qiáng)度極大值小于某個(gè)閉值。

5.2.2邊緣檢測

Canny邊緣檢測法Canny算子的算法實(shí)現(xiàn)

（1）對要處理的圖像I作高斯光滑，則新的圖像為，其次對求的方向?qū)?shù)（2）細(xì)化M中所有的邊（3）雙閾值操作5.2.2邊緣檢測5.2.3圖像分割灰度閾值法

圖像閾值化處理的變換函數(shù)表達(dá)式為：

閾值的選取間接閾值法多閾值法p尾法確定閾值

閾值的選取間接閾值法多閾值法p尾法確定閾值最大類間方差確定閾值

假定圖像的灰度區(qū)間為，設(shè)以灰度k為閾值將圖像分為兩個(gè)區(qū)域，灰度為1~k的像素和灰度為k+1~L的像素分別屬于區(qū)域A和B，則區(qū)域A和B的概率分別為：

5.2.3圖像分割最大類間方差確定閾值

區(qū)域A和B的平均灰度為：

其中為全圖的平均灰度：

兩個(gè)區(qū)域的方差為：

5.2.3圖像分割最大類間方差確定閾值

按照最大類間方差的準(zhǔn)則：組間方差越大，則兩組的差別越大。即k值越大，表明分割效果越好。從1至L

改變k，并計(jì)算類間方差，使式最大的k,即是區(qū)域分割的閾值。最佳熵自動閾值法峰谷法

5.2.3圖像分割區(qū)域生長

5.2.3圖像分割在實(shí)際應(yīng)用區(qū)域生長法時(shí)需要解決3個(gè)問題：選擇或確定1組能正確代表所需區(qū)域的種子像素；確定在生長過程中能將相鄰像素包括進(jìn)來的準(zhǔn)則；制定使生長停止的條件或規(guī)則。

區(qū)域生長實(shí)現(xiàn)步驟對圖像進(jìn)行光柵掃描，求出不屬于任何區(qū)域的像素。當(dāng)尋找不到這樣的像素時(shí)結(jié)束操作。把這個(gè)像素灰度同其周圍（4-鄰域或8-鄰域）不屬于其他區(qū)域的像素進(jìn)行比較，若灰度差值小于閾值，則合并到同一區(qū)域，并對合并的像素賦予標(biāo)記。5.2.3圖像分割從新合并的像素開始，反復(fù)進(jìn)行步驟②的操作。反復(fù)進(jìn)行步驟②、③的操作，直至不能再合并。返回步驟①的操作，尋找新區(qū)域出發(fā)點(diǎn)的像素。5.2.3圖像分割分裂合并

利用分裂合并算法對圖像進(jìn)行分割的步驟生成圖像的四叉樹結(jié)構(gòu)。

5.2.3圖像分割根據(jù)經(jīng)驗(yàn)和任務(wù)需要，從四叉樹的某一層開始，合并滿足一致性屬性的共根的4個(gè)子塊。重復(fù)對圖像進(jìn)行操作，直到不能合并為止?？紤]上一步中沒有合并的子塊，如果它的子節(jié)點(diǎn)不滿足一致性準(zhǔn)則，將這個(gè)節(jié)點(diǎn)永久地分為4個(gè)子塊。如果分出的子塊仍不滿足一致性準(zhǔn)則，繼續(xù)劃分，直到所有的子塊都滿足為止。5.2.3圖像分割由于人為地將圖像進(jìn)行四叉樹分解，可能會將同一區(qū)域的像素分在不能按照四叉樹合并的子塊內(nèi)，因此需要搜索所有的圖像塊，將鄰近的未合并的子塊合并為一個(gè)區(qū)域。由于噪聲影響或者按照四叉樹劃分區(qū)域邊緣未對準(zhǔn)，進(jìn)行上述操作后可能仍存在大量的小的區(qū)域，為了消除這些影響，可以將它們按照相似性準(zhǔn)則歸入鄰近的大區(qū)域內(nèi)。

5.2.3圖像分割5.2.4特征提取

線提取

Hough變換原理

在圖像空間XY里，設(shè)所有過點(diǎn)（x,y）的直線都滿足方程：

式中，p為直線的斜率，q為直線的截距。也可以寫成：

式中表示參數(shù)空間PQ中過點(diǎn)（p,q）的一條直線。圖像空間到參數(shù)空間之間的轉(zhuǎn)換可以用圖表示：Hough變換原理

在實(shí)際使用哈夫變換時(shí)，要在上述基本方法的基礎(chǔ)上根據(jù)圖像具體情況采取一些方法以提高精度和速度，在實(shí)際中常用的是極坐標(biāo)直線方程。

5.2.4特征提取

Hough變換原理圖像平面上的一個(gè)點(diǎn)就對應(yīng)到參數(shù)平面上的一條正弦曲線上。哈夫變換最適合于檢測較簡單曲線

5.2.4特征提取

直線提取

以下是用Hough變換檢測直線的算法過程：①初始化變換域空間的數(shù)組，表示圖像對角線方向的像素?cái)?shù)，方向上角度初始化數(shù)目為90。②順序搜索圖像中所有的物體點(diǎn)，對每一個(gè)物體點(diǎn)，按照變換域的各個(gè)點(diǎn)加1。③求出變換域的值大于一定閾值的點(diǎn)并記錄。④根據(jù)這些點(diǎn)在原空間內(nèi)畫出直線。

5.2.4特征提取

骨架提取中軸變換原理

具有邊界B的區(qū)域R的MAT是如下確定的：對每個(gè)R中的點(diǎn)P，在B中搜尋與它最近的點(diǎn)。如果對P能找到多于1個(gè)這樣的點(diǎn)（即有2個(gè)或以上的B中的點(diǎn)與P同時(shí)最近），就可認(rèn)為P屬于R的中線或骨架，或者說P是1個(gè)骨架點(diǎn)5.2.4特征提取

簡化的中軸變換算法：根據(jù)對二值圖像特點(diǎn)的分析，經(jīng)過實(shí)驗(yàn)，采用了一種簡單而且效果很好的算法。可以根據(jù)一個(gè)像素的8個(gè)相鄰點(diǎn)的情況來判斷該點(diǎn)是否應(yīng)該刪除

內(nèi)部點(diǎn)不能刪除；孤立點(diǎn)不能刪除；直線端點(diǎn)不能刪除；如果P是邊界點(diǎn)，去掉P后，如果連通分量不增加，則P可以刪除。

5.2.4特征提取

每次對整幅圖像逐行掃描一遍，對于每個(gè)點(diǎn)（不包括邊界點(diǎn)），計(jì)算它對應(yīng)在表中的索引，若為0，則保留，否則刪除該點(diǎn)。如果這次掃描沒有一個(gè)點(diǎn)被刪除，則循環(huán)結(jié)束，剩下的點(diǎn)就是骨架點(diǎn)，如果有點(diǎn)被刪除，則進(jìn)行新的一輪掃描，如此反復(fù)，直到?jīng)]有點(diǎn)被刪除為止。5.2.4特征提取

可以根據(jù)上述的判據(jù)，事先做出一張表，每個(gè)元素不是0，就是1。根據(jù)某點(diǎn)（即目標(biāo)點(diǎn)）的8個(gè)相鄰點(diǎn)的情況查表，若表中的元素是1，則表示該點(diǎn)可刪，否則保留。查表的方法是：設(shè)白點(diǎn)為1，黑點(diǎn)為0；位置關(guān)系如圖，按這樣組成的8位數(shù)去查表即可。輪廓提取與跟蹤

在目標(biāo)跟蹤中，通過輪廓提取或輪廓跟蹤技術(shù)確定目標(biāo)的輪廓參數(shù)。

輪廓跟蹤的最基本方法是：先根據(jù)某些嚴(yán)格的“探測準(zhǔn)則”找出物體輪廓上的像素，再根據(jù)這些像素的某些特征用一定的“跟蹤準(zhǔn)則”找出目標(biāo)物體上的其他像素。這里介紹一種二值圖像的輪廓跟蹤。首先找第一個(gè)邊界點(diǎn)像素：按照從左到右，從下到上的順序搜索，找到的第一個(gè)黑點(diǎn)一定是最左下方的邊界點(diǎn)，記為A。點(diǎn)A的右、右上、上。5.2.4特征提取

左上四個(gè)鄰點(diǎn)中至少有一個(gè)邊界點(diǎn)，記為B。從邊界點(diǎn)B開始，定義初始的搜索方向?yàn)樽蠓剑?/p>

如果左方的點(diǎn)為黑點(diǎn)，則為邊界點(diǎn)，否則搜索方向順時(shí)針旋轉(zhuǎn)45°。這樣一直找到第一個(gè)黑點(diǎn)為止。然后把這個(gè)點(diǎn)作為新的邊界點(diǎn)，在當(dāng)前的搜索方向上逆時(shí)針旋轉(zhuǎn)90°，

繼續(xù)用同樣的方法搜索下一

個(gè)黑點(diǎn)，直到返回初始的邊

界點(diǎn)為止。5.2.4特征提取

在一些工業(yè)生產(chǎn)的領(lǐng)域，被檢測的物體圖像的缺陷往往表現(xiàn)為破損形狀，這樣會引起物體的角點(diǎn)變化，這也可以稱為檢測缺陷的依據(jù)。圖像中的角點(diǎn)是指圖像中具有高曲率的點(diǎn)，它由物體邊緣曲率較大的地方或者多條邊緣的交點(diǎn)形成，角點(diǎn)也可以作為物體識別、檢測和定位的一個(gè)重要特征。

5.2.4特征提取

角點(diǎn)提取

Harris法是角點(diǎn)檢測的常用方法，它的原理是利用水平、豎直兩個(gè)差分算子Ix、Iy,求得如圖中m的4個(gè)元素值，并對圖像每個(gè)像素進(jìn)行濾波，最后根據(jù)求得的角點(diǎn)陣cim的值來確定每個(gè)點(diǎn)是否為角點(diǎn)

5.2.4特征提取

角點(diǎn)最直觀的印象就是在水平、豎直兩個(gè)方向上變化均較大的點(diǎn)，即Ix、Iy都較大。Ix、Iy是沿著水平和垂直方向的差分算子。這也是把角點(diǎn)和圖像上的邊緣已經(jīng)平坦地區(qū)區(qū)分的依據(jù)。

邊緣：僅在水平、或者僅在豎直方向有較大的變化量，即Ix、Iy只有其一較大。

平坦地區(qū)：在水平、豎直方向的變化量均較小，即Ix、Iy都較小。

5.2.4特征提取

紋理特征提取

相位編碼法

實(shí)部為：

虛部為:

5.2.4特征提取

紋理特征提取多通道Gabor的特征提取法

假設(shè)每一通道濾波器的數(shù)字模型為：

其中，為濾波器輸入的圖像，和分別為偶對稱和奇對稱的Gabor濾波器。

5.2.4特征提取

紋理特征提取

多通道Gabor的特征提取法

實(shí)際操作中，我們用FFT來實(shí)現(xiàn)：

5.2.4特征提取

5.3圖像融合技術(shù)

本節(jié)從圖像融合技術(shù)的概念出發(fā)，介紹3種具有代表性的圖像融合方法，分別是Laplacian算法、RoLP算法和小波變換方法。5.3.1圖像融合概述

圖像融合的基本過程

設(shè)圖像元素的橫、縱坐標(biāo)分別用，表示，則級間的運(yùn)算可以表示為：

Laplacian金字塔技術(shù):

對比度金字塔技術(shù):

5.3.2Laplacian金字塔方法融合算法獲取每一路圖像的Gaussian金字塔序列；獲得每一路圖像的Laplacian金字塔；Laplacian金字塔序列對應(yīng)級融合：融合算子取對應(yīng)各級的“或”運(yùn)算或加權(quán)平均等；重構(gòu)圖像。5.3.2Laplacian金字塔方法獲取每一路圖像的Gaussian金字塔序列；獲得每一路圖像的對比度金字塔；對比度金字塔序列對應(yīng)級融合，融合對比度金字塔有以下標(biāo)準(zhǔn)法則即：5.3.3RoLP金字塔方法

圖像的細(xì)節(jié)變化可以認(rèn)為是對比度的變化。由于人類視覺系統(tǒng)對圖像的對比度變化較為敏感，且不同圖像傳感器對同一目標(biāo)所成圖像的對比度分布不同，融合不同圖像的細(xì)節(jié)可以設(shè)法通過融合對比度來實(shí)現(xiàn)，具體操作如下：式中、和分別為待融合圖像、融合圖像的對比度金字塔序列中的第L級。重構(gòu)圖像。5.3.3RoLP金字塔方法

二維離散小波變換

5.3.4二維小波變換方法

對于圖像處理，需要將連續(xù)小波變換與逆變換離散化，在此給出經(jīng)典Mallat算法的離散形式

5.3.4二維小波變換方法圖像融合

5.3.4二維小波變換方法

二維離散小波圖像重構(gòu)

5.3.4二維小波變換方法小波變換的圖像融合應(yīng)用

5.3.4二維小波變換方法

本節(jié)介紹作者研制的電子槍扭彎曲特性視覺檢測系統(tǒng)、背投電視會聚特性視覺測控系統(tǒng)，以及ZM-VS1300視覺測控系統(tǒng)平臺，通過其軟硬件系統(tǒng)的實(shí)現(xiàn)，充分展示基于機(jī)器視覺測控技術(shù)在工業(yè)測控領(lǐng)域的迅速發(fā)展和廣泛應(yīng)用。5.4典型應(yīng)用5.4.1電子槍扭彎曲特性智能檢測系統(tǒng)

電子槍與其基座通過焊接連成一個(gè)整體。但是，在焊接時(shí)不可避免地會出現(xiàn)誤差，表現(xiàn)為基座中心與電子槍中心不在同一垂直線上，出現(xiàn)彎曲誤差；電子槍與其基座將產(chǎn)生一定的旋轉(zhuǎn)角度，這就是扭曲誤差。電子槍扭曲、彎曲檢測原理

5.4.1電子槍扭彎曲特性智能檢測系統(tǒng)圖像采集與圖像處理結(jié)構(gòu)圖5.4.1電子槍扭彎曲特性智能檢測系統(tǒng)扭彎曲檢測圖像處理算法

圖像預(yù)處理基于改進(jìn)遺傳算法的圖像分割M-H算子簡化的中軸變換算法改進(jìn)的Hough算法

5.4.1電子槍扭彎曲特性智能檢測系統(tǒng)

軟件技術(shù)系統(tǒng)應(yīng)用

軟件主界面系統(tǒng)實(shí)物圖5.4.1電子槍扭彎曲特性智能檢測系統(tǒng)系統(tǒng)工作原理圖5.4.2背投電視會聚特性視覺檢測測控系統(tǒng)

圖像處理：

測控結(jié)果圖1圖25.4.2背投電視會聚特性視覺檢測測控系統(tǒng)系統(tǒng)工作原理ZM-VS1300平臺簡介應(yīng)用領(lǐng)域圖像處理功能庫系統(tǒng)操作

5.4.3ZM-VS1300視覺智能測控系統(tǒng)平臺

HALCON是德國MVtec公司推出的圖像處理軟件，是世界公認(rèn)具有最佳效能的機(jī)器視覺軟件。實(shí)際上是一套圖像處理庫，由1000多個(gè)各自獨(dú)立的函數(shù)，以及底層的數(shù)據(jù)管理核心構(gòu)成。5.5HALCON簡介5.5.1HALCON的基本結(jié)構(gòu)

5.5.4利用HALCON進(jìn)行應(yīng)用開發(fā)

C

下列的程序代碼說明了如何讀取一幅圖像，并且將其顯示在圖形視窗中。

read_image(&Monkey,″monkey″);get_image_pointer1(Monkey,&Pointer,Type,&Width,&Height);open_window(0,0,Width,Height,0,″visible″,″″,&WindowHandle);disp_obj(Monkey,WindowHandle);

5.5.5在程序語言中使用HALCON

C++

下列的程序代碼說明了如何讀取一幅圖像，將其顯示在圖形視窗中，并且進(jìn)行一些基本的blob分析。

HImageMandrill(″monkey″);HWindoww(0,0,512,512);Mandrill.Display(w);HRegionBright=(Mandrill>=128);HRegionArrayConn=Bright.Connection();HRegionArrayLarge=Conn.SelectShape(″area″,″and″,500,90000);5.5.5在程序語言中使用HALCON

VisualBasic

下列程序碼說明了如何讀取一幅圖像，并且進(jìn)行一些基本的blob分析

DimimageAsNewHimageXDimregionAsHregionXCallimage.ReadImage(″monkey″)Setregion=image.Threshold(128,255)5.5.5在程序語言中使用HALCON

C#

下列代碼以C#的語法重寫了VisualBasic中的那個(gè)例子：

HimageXimage=newHimageX();HRegionXregion;Image.ReadImage(″monkey″);region=image.Threshold(128,255);5.5.5在程序語言中使用HALCON

尺寸測量返回返回返回返回返回返回返回END附錄資料：不需要的可以自行刪除

車用空調(diào)器自動

控制系統(tǒng)

一、概