機器視覺技術(shù)及應用- 課件

1、缺陷檢測的分類方法 瑕疵缺陷檢測 劃痕檢測 焊點檢測與分類方法 第6章 缺陷檢測技術(shù)主要內(nèi)容第6章 缺陷檢測技術(shù)缺陷檢測在現(xiàn)代工業(yè)連續(xù)、大批量自動化生產(chǎn)中起著重要的作用，它涉及到各種各樣的工件檢查、測量和分類等應用，如檢測工件的表面是否有劃痕、印刷品形體是否有缺陷，IC字符印刷是否完整、電路板焊點是否完善、飲料瓶蓋的畫面是否完整等。6.1 缺陷檢測的分類方法產(chǎn)品缺陷的檢測方法可以分為三種：傳統(tǒng)的人工檢測方法，顯然這種方法的效率和精度都是比較低的，無法達到“零缺陷”的要求采用機械儀器裝置與產(chǎn)品接觸性的檢測方法，此類方法雖然能滿足產(chǎn)品檢驗需要，但存在檢測設備的制造代價高、靈活性差、速度慢等缺點基于

2、機器視覺的缺陷檢測方法，即利用圖像處理和分析來進行產(chǎn)品的缺陷檢測 6.1 缺陷檢測的分類方法 缺陷檢測系統(tǒng)的核心是缺陷檢測分類軟件，它對攝像機捕捉到的材料表面圖像進行分類整理，找到存在的缺陷，定位、識別和判斷，進而進行分級分類。6.1 缺陷檢測的分類方法 1）Naive Bayes（樸素貝葉斯）方法前提假設 ：在給定樣本的情況下，樣本的屬性是相互獨立的。 假設 為一任意測試樣本，屬于 中的某一類 。根據(jù)NB分類法有： 6.1 缺陷檢測的分類方法 對 進行分類就是按照上式計算樣本類在給定情況下的概率，概率值最大的那個類就是 所在的類，也就是： 如果 對于給定分類樣本和測試樣本，用NB法分類的關(guān)鍵

3、就是計算 和 ，也就是建立分類模型。 根據(jù) 計算方式的不同，可以將NB法分為最大似然模型，多項式模型，泊松模型等。 6.1 缺陷檢測的分類方法 2）kNN方法 （ k-Nearest Neighbor）對于某一給定的測試樣本d，在訓練樣本集中，通過相似度找到與之最相似的k個訓練樣本，如果在這k個樣本中，有多個樣本屬于同一個類，則該類的分值為這些樣本與測試樣本之間的相似度之和。對這k個樣本所屬類的分值統(tǒng)計完畢后，即按分值進行排序，只有分值超過閾值的類才予以考慮。6.1 缺陷檢測的分類方法 形式化表示為： 其中， ， 為閾值， 為 d 和 的相似度， 為測試樣本 d 屬于 類的分值。 6.1 缺陷

4、檢測的分類方法 3）支持向量機（SVM）方法支持向量機基于結(jié)構(gòu)風險最小化原理，將原始數(shù)據(jù)集合壓縮到支持向量集合，學習得到分類決策函數(shù)?；舅枷胧菢?gòu)造一個超平面作為決策平面，使正負模式之間的空白最大。 6.2 瑕疵缺陷檢測從瑕疵缺陷圖像的特點開始，介紹圖像差分法、瑕疵缺陷圖像的特征提取與選擇、灰度形態(tài)學的瑕疵缺陷檢測等缺陷檢測的基本算法，以及這些算法在實際生產(chǎn)中的應用實例。6.2.1 瑕疵缺陷圖像特點檢測產(chǎn)品存在缺陷時，其圖像表現(xiàn)為缺陷處的灰度值與標準圖像在此處的灰度值有差異。將瑕疵缺陷圖像的灰度值同標準圖像的灰度值進行比較，判斷其差值（兩幅圖灰度值的相差程度）是否超出已預先設定的閾值范圍，就能

5、判斷出待檢測產(chǎn)品缺陷是否存在。 6.2.1 瑕疵缺陷圖像特點瑕疵缺陷檢測流程6.2.2 瑕疵缺陷檢測算法1. 缺陷圖像的差分算法 圖像差分法就是圖像的相減運算，實際上就是將同一景物在不同時間拍攝的圖像或同一景物在不同波段的圖像相減，差分后得到的結(jié)果圖像提供了圖像間的差異信息。圖像差分法能用于視頻監(jiān)控、運動目標檢測和跟蹤、圖像背景消除以及目標識別等領域。 設模板圖像為T( i, j)，待檢圖像為S( i, j)，匹配相減后的圖 像（稱之為差分圖像）為D(i , j)，則有：基于圖像差分法的缺陷檢測流程1）有效檢測區(qū)域的設定 2）圖像配準與剪裁 3）設定差分閾值 4）缺陷位置的判別 6.2.2 瑕

6、疵缺陷檢測算法2. 缺陷圖像的特征提取與選擇 特征提取 灰度值特征 灰度差特征 直方圖特征 變換系數(shù)特征 線條和角點的特征 灰度邊緣特征 紋理特征 6.2.2 瑕疵缺陷檢測算法（1）主成分分析（PCA）主成分分析方法應用線性代數(shù)中的KL變換將原始特征空間映射到一個低維的正交空間，設 為訓練樣本的n個p維特征向量，這時得到協(xié)方差矩陣： 它的前 個最大的特征值及其對應的特征向量分別為 和 。 e為新特征空間的基向量，維數(shù)為q。訓練集的 映射到新特征空間以后，得到q維特征向量集 ，實現(xiàn)了特征降維， ， 。 特征選擇 6.2.2 瑕疵缺陷檢測算法對于給定的 矩陣X，其數(shù)據(jù)維數(shù)可以通過將其映射到一個低維

7、（r維，rn）的子空間而減少，這個映射由一組隨機向量確定： （2）隨機映射（RP） 對于任意 與整數(shù)n，設r為正整數(shù)，且使得： 6.2.2 瑕疵缺陷檢測算法則對于 中的n個點的集合W，存在一個映射 ，使得對所有的 ：引理說明高維歐式空間可以映射到一個 維子空間，使得點間距離對于任意 能近似保留。而且，這個映射可以在多項式時間內(nèi)找到。 （3）非負矩陣分解（NMF）非負矩陣分解方法將一個非負的矩陣 分解成左右兩個非負矩陣 和 的乘積，使得： 其中r通常比m和n都要小得多。這樣， 就可以看作是對V進行線性估計而優(yōu)化了的基向量。用相對少的（r個）基表示許多（m個）觀測數(shù)據(jù)（rm）。如果這些基 能揭示出

8、隱藏在 中的數(shù)據(jù)結(jié)構(gòu)，就可獲得對觀測數(shù)據(jù) 好的估計 。 6.2.2 瑕疵缺陷檢測算法6.2.2 瑕疵缺陷檢測算法 灰度形態(tài)學的缺陷檢測方法 數(shù)學形態(tài)學是非線性圖像處理中的一種重要方法，二值圖像和灰度圖像處理。和二值形態(tài)學一樣，灰度數(shù)學形態(tài)學的基本運算也有膨脹、腐蝕、開啟和閉合，其中利用膨脹和腐蝕的組合可構(gòu)成開啟和閉合，而利用開啟和閉合又可構(gòu)成形態(tài)濾波器。 在灰度圖像的形態(tài)分析中，結(jié)構(gòu)元素可以是任何的三維結(jié)構(gòu)，常用的有圓錐、圓柱、半球或拋物線。模板尺寸總是奇數(shù)，這樣模板中心正好對應一個像素。 6.2.2 瑕疵缺陷檢測算法膨脹灰度圖像的結(jié)果是，比背景亮的部分得到擴張，而比背景暗的部分受到收縮。 腐

9、蝕灰度圖像的結(jié)果是，比背景暗的部分得到擴張，而比背景亮的部分受到收縮。開啟一幅圖像可消除圖中的孤島或尖峰等過亮的點。閉合可將比背景暗且尺寸比結(jié)構(gòu)元素小的結(jié)構(gòu)除掉。 形態(tài)濾波器是非線性信號濾波器，它通過變換來局部地修改信號的幾何特征。將開啟和閉合結(jié)合起來可以消除噪聲。如果用一個小的結(jié)構(gòu)元素先開啟再閉合一幅圖像，就有可能將圖像中小于結(jié)構(gòu)元素的類似噪聲結(jié)構(gòu)除去。6.2.3 應用實例飲料瓶蓋的缺陷檢測最終要實現(xiàn)生產(chǎn)流水作業(yè)上的高速質(zhì)量判定，要求速度快，并且無須確定缺陷位置。采用基于灰度直方圖的特征提取方法，對兩幅待對比的RGB圖像（標準圖與檢測圖）灰度轉(zhuǎn)換后進行灰度直方圖統(tǒng)計，運用統(tǒng)計方法進行對比，得

10、到兩幅圖像的特征差異值，閾值法判定合格與否。在統(tǒng)計法對比過程中，利用灰度均值截斷的技巧放大可能由缺陷引起的灰度差異，提高了缺陷判定的準確度。6.2.3 應用實例TimerBegin(time_begin);/計時開始Readimage(bottle02.bmp,rgbimage_std);/讀取圖像ConvertDepth24to8(rgbimage_std,rgb2grayimage_std);/24位圖轉(zhuǎn)成8位灰度圖Readimage(bottle11.bmp,rgbimage_defect);ConvertDepth24to8(rgbimage_defect,rgb2grayimage_

11、defect);GraystatDefect(rgb2grayimage_std, rgb2grayimage_defect,10,result);showimage(rgbimage_defect);if(result=1);GenText(5,5,50,合格,black); endif();if(result=0);GenText(5,5,50, 不合格,black); endif();TimerEnd(time_begin,time_result);/計時結(jié)束XAVIS程序代碼如下：6.2.3 應用實例電路板布線缺陷檢測 對于一幅大小為1100870、灰度級為256的電路板灰度圖像，其布

12、線缺陷分為斷線和毛刺，利用灰度形態(tài)學檢測這些缺陷。取結(jié)構(gòu)元素為55的半球模板，首先對原圖灰度開啟，消除比鄰域亮且尺寸比結(jié)構(gòu)元素小的區(qū)域；然后對原圖灰度閉合，消除比鄰域暗且尺寸比結(jié)構(gòu)元素小的區(qū)域，兩次結(jié)果差異即為缺陷。 6.2.3 應用實例XAVIS程序代碼如下：Readimage(pcb.bmp,image);/讀取圖像showimage(image);gray_erosion(image,5,image1);/灰度腐蝕gray_dilation(image1,5,image2); /灰度膨脹showimage(image2);gray_dilation(image,5,image3); /灰

13、度膨脹gray_erosion(image3,5,image4); /灰度腐蝕showimage(image4);dyn_threshold(image2,image4,75,image5,not_equal); /動態(tài)閾值showimage(image);show_result(image,3,green,image5);/結(jié)果輸出6.2.3 應用實例灰度膨脹：gray_dilation(Image, Size, ImageDilation)；參數(shù)說明：Image：輸入灰度圖Size：半圓模板尺寸（1-211之間的奇數(shù)）ImageDilation：輸出膨脹結(jié)果圖灰度腐蝕：gray_erosi

14、on(Image, Size, ImageErosion)；參數(shù)說明：Image：輸入灰度圖Size：半圓模板尺寸（1-211之間的奇數(shù)）ImageErosion：輸出腐蝕結(jié)果圖6.2.3 應用實例動態(tài)閾值函數(shù)功能：比較輸入的兩幅灰度圖的不同，輸出其比較結(jié)果調(diào)用格式：dyn_threshold(CDib Image,CDib ImageMean,int Offset,CDib ImageOutput,CString LightDark)；參數(shù)說明：Image：輸入灰度圖1（假設其灰度值為g_o）ImageMean：輸入灰度圖2（假設其灰度值為g_t）Offset：偏移量ImageOutput：

15、輸出結(jié)果圖LightDark：比較模式選擇dark：滿足g_og_o) | (g_og_t+offset) 的輸出為白，否則為黑equal; 滿足(g_t-offset)=g_o) & (g_o=g_t+offset的輸出為白，否則為黑6.2.3 應用實例結(jié)果輸出函數(shù)功能：限制圖中為白的地方，在對應位置處的輸入圖中標示出來調(diào)用格式：show_result(CDib Image,int PenWidth,CString PenColor,CDib ImageResult)；參數(shù)說明：Image：輸入灰度圖PenWidth：線寬（1-3）PenColor：顏色（6種：white，black，gra

16、y，red，blue，green）ImageResult：輸入限制圖6.3 劃痕檢測 劃痕檢測是工業(yè)生產(chǎn)中經(jīng)常遇到的問題，工業(yè)中許多設備的零部件是在高溫、高壓的環(huán)境中工作的，所受載荷復雜，使用環(huán)境惡劣，故障頻率高，造成的后果非常嚴重，因此，對有關(guān)部件的缺陷、疲勞裂紋的產(chǎn)生、擴展進行檢測就尤為必要。劃痕檢測的基本分析過程分為兩步：首先，確定檢測產(chǎn)品表面是否有劃痕，其次，在確定被分析圖像上存在劃痕之后，對劃痕進行提取。6.3.1 劃痕圖像的特點由于在工業(yè)檢測中圖像的多樣性，對于每一種圖像，都要經(jīng)過分析綜合考慮各種手段來進行處理達到效果。一般來說，劃痕部分的灰度值和周圍正常部分相比要暗，也就是劃痕部

17、分灰度值偏小；而且，大多都是在光滑表面，所以整幅圖的灰度變化總體來說非常均勻，缺乏紋理特征。因此，劃痕的檢測一般使用基于統(tǒng)計的灰度特征或者閾值分割的方法將劃痕部分標出。 6.3.1 劃痕圖像的特點劃痕的檢測一般使用基于統(tǒng)計的灰度特征或者閾值分割的方法將劃痕部分標出6.3.2 劃痕檢測算法 圖像中目標的標記 1）逐個點進行掃描。從左到右，如果該點的左上，正上和右上及左前方四個點的像素都不是目標，則把它們標為1 2）若鄰域X3，X5被分配了同一標號，或者只有其中之一 被分配標號，則把標號分配給X0 3）如果X3，X5分配了不同的標號，則把較小的標號分配給X04）利用等價表，把圖像中的標號替換成等價

18、標號中的最小標號像素點的編號順序，X0是被運算點6.3.2 劃痕檢測算法 劃痕特征提取與識別分類對于工業(yè)采集圖像劃痕提取的特征可分為兩類：灰度值特征和形狀特征。 分類：首先計算圖像的最低灰度值和灰度分布情況，然后分析圖像的灰度密度，如果圖像灰度偏低，并且靠近最低灰度值的點數(shù)目比較多，可以認為這屬于一幅缺陷很明顯的圖像，屬于第一類劃痕，用較低的閾值來標記。如果灰度分布很均勻，同時有幾個灰度偏低的點，而這些點的位置又比較集中，可以認為是第二類缺陷，如果點的數(shù)目比較多，則屬于第三類圖像。 6.3.2 劃痕檢測算法 for(i=1,8,1);CStringFormat(scratch%d.bmp,i,

19、image_path);/字符串初始化Readimage(image_path,image);showimage(image);sleep(2000);mean_image(image,7,image_mean);/均值濾波dyn_threshold(image,image_mean,5,image_dark,dark);/動態(tài)閾值select_area(image_dark,10,1000,image_area);/面積選擇dilation_circle(image_area,3,image_dilated);/圓模板膨脹showimage(image_dilated);sleep(3000

20、);endfor();XAVIS程序代碼如下：6.3.2 劃痕檢測算法 面積選擇函數(shù)功能：選擇滿足面積要求的目標輸出（針對黑色背景白色目標的二值圖）調(diào)用格式：select_area(CDib Image,int MinArea,int MaxArea,CDib ImageSeclected)；參數(shù)說明：Image：輸入二值圖（黑色背景白色目標）MinArea：最小面積MaxArea：最大面積ImageOutput：輸出選擇后的結(jié)果圖6.3.2 劃痕檢測算法 圓模板膨脹函數(shù)功能：采用圓模板膨脹輸入圖調(diào)用格式：dilation_circle(CDib Image,int Size,CDib Ima

21、geDilation)；參數(shù)說明：Image：輸入二值圖Size：圓模板大?。?-211之間的奇數(shù)）ImageDilation：膨脹后的輸出二值圖對于第一類劃痕，這種劃痕從外觀上較易辨認，同時灰度變化跟周圍區(qū)域?qū)Ρ纫脖容^明顯?？梢赃x擇較小的閾值H0，將缺陷部分直接標記。 第一類圖像缺陷標記（a）原圖 （b）標記出的劃痕（c）原圖 （d）標記出的劃痕（a）原圖 （b）標記的劃痕（c）原圖 （d）標記的劃痕第二類圖像缺陷標記對于第二類劃痕，部分灰度值變化并不明顯，整幅圖像灰度比較平均，劃痕面積也比較小，只有幾個像素點，灰度也只比周圍圖像稍低，很難分辨?？梢詫υ瓐D像進行均值濾波，得到較平滑的圖像，并

22、與原圖像相減，當其差的絕對值大于閾值時就將其置為目標，并對所有的目標進行標記，計算其面積，將面積過小的目標去掉，剩下的就標記為劃痕。 對于第三類劃痕，各部分灰度差異較大，形狀通常呈長條形，如果在一幅圖像上采取固定閾值分割，則標記的缺陷部分會小于實際部分。由于這類圖像的劃痕狹長，單純依靠灰度檢測會將缺陷延伸部分漏掉。對于這類圖像，根據(jù)其特點選擇雙閾值和缺陷形狀特征相結(jié)合的方法，具體如下：1）選取一個較大的閾值H1將劃痕和背景分割開來2）根據(jù)分割出的缺陷來計算整幅圖像上劃痕的走向3）選取缺陷中處于兩端的部分，可通過利用方向模板來計算圖像上劃痕區(qū)域的邊緣，然后對邊緣追蹤到其端點處4）根據(jù)追蹤的軌跡得

23、到邊緣的走向5）沿著劃痕部分的角度作延伸，并將延伸部分灰度低于一定閾值H2的點也標記為待選劃痕6.3.3 應用實例 6.3.3 應用實例 7） 檢查連線上灰度較低的點是否大于一定數(shù)量N，若是則表面待選劃痕點可以被認為是在劃痕上，可被標記為劃痕6） 在待選劃痕點（x1, y1）和劃痕的端點（x2, y2）之間做連線 。 （a）原圖 （b）標記的劃痕第三類圖像缺陷標記6.4 焊點檢測與分類方法PCB焊點通常分為兩類：合格焊點（good）和不合格焊點（bad）。而不合格焊點又分為9類：橋接焊點（bridge）、焊料過量焊點（too-much）、焊料不足焊點（too-less）、無引腳焊點（no-le

24、ad）、空焊盤焊點（no-operation）、漏焊焊點（no-solder）、冷焊焊點（pull-off）、拉尖焊點（horn）、不濕潤焊點（no-wet）。 6.4.1 PCB焊點的分類焊點的俯視圖與側(cè)視圖 焊點類型焊點特征合格焊點呈圓錐狀；底部焊錫飽滿，上面焊錫緊裹引腳；在焊盤處，與旁邊的焊點有明顯的間隔（沒有連接）拉尖焊點在頂部或者底部有明顯的拉尖現(xiàn)象，部分焊錫不存在，球形拉尖比較多橋接橋接焊點是拉尖焊點的一種特殊情況，就是由于焊錫過多或者拉尖過大，焊點與旁邊的焊點有連接焊料過量焊點的形狀近似球狀，這是由于焊錫過多引起，和其他焊點沒有橋接焊料不足焊料不足是由于焊錫過少引起的，引腳或者焊

25、盤處焊錫太少，底部形狀跟合格焊點比起來比較癟甚至是平的，或者焊錫不能完全覆蓋引腳無引腳焊點沒有引腳，但是有焊錫空焊盤沒有任何操作的焊點，就是既沒有引腳又沒有焊錫漏焊焊點有引腳，焊盤處沒有焊錫，引腳有極少量或者沒有焊錫冷焊焊點焊錫形狀不對稱，焊錫偏向某一側(cè)，焊球上一般有孔洞，局部有拉尖現(xiàn)象不濕潤焊點的引腳處焊錫沒有完全包裹引腳或者與引腳分離，焊盤處焊錫沒有接觸焊盤或者沒有完全覆蓋焊盤焊點種類特征6.4.2 焊點檢測與分類算法 算法描述 對于一幅焊點圖像，首先要將目標焊點從背景中分離出來，然后提取特征，再分析每個特征的均值、標準方差、最大值和最小值，選擇特征，最后根據(jù)所選特征選擇分類器。 6.4.

26、2 焊點檢測與分類算法 焊點圖像處理 對焊點的圖像處理主要有色彩空間轉(zhuǎn)換、圖像濾波和圖像分割等步驟（a）原圖 （b）裁切圖 （c）中值濾波 （d）二值化 6.4.2 焊點檢測與分類算法 焊點特征提取與選擇 1）亮度歸一化和尺寸歸一化用三個變量表示一幅灰度圖像： k為(i , j)點的灰度值，f 為兩個變量的函數(shù)。 亮度歸一化也就是把一幅圖像所有像素點的灰度值除以 ，其中 , 。這樣歸一化后的圖像的灰度值分布在 內(nèi)。 6.4.2 焊點檢測與分類算法 尺寸歸一化就是讓一幅圖像所有的像素值落在-0.5，+0.5 -0.5，+0.5之間。像素值大小取決于 和 ，調(diào)整公式： 2）灰度調(diào)整和中值濾波（1）

27、 灰度值特征（2） 高斯特征（4）對稱連接特征通過觀察焊點圖像，可以發(fā)現(xiàn)一些焊點的形狀比較對稱，比如good焊點、too-much焊點，而其他焊點的形狀則不對稱，比如pull-off焊點、bridge焊點、horn焊點，因此，焊點形狀的對稱性也可以作為焊點的一個特征。 （5）二值特征二值圖像非常直觀，處理速度也較快，但是丟失了灰度信息，所以，如果兩個焊點形狀相似但是亮度不同的話，就很難分開了?？梢杂枚祱D像配合灰度圖像，提高分類的準確率和運算速度。 6.4.2 焊點檢測與分類算法 （3） 慣性特征綜上所述，一共提取27個特征， ，特征的順序可以隨意排列，沒有什么影響。 特征選擇檢驗一個特征的好

28、壞，首先計算每類焊點在這個特征上的均值、標準方差、最大值和最小值，然后畫矩形，其中矩形的高度為標準方差的倒數(shù)，矩形的寬度為最大值與最小值的差，矩形寬的中點x坐標為均值。理想特征的表現(xiàn)是矩形很高而且沒有交叉。 6.4.2 焊點檢測與分類算法 ， ， 焊點分類 6.4.2 焊點檢測與分類算法 SVM方法 對a求解下列函數(shù)的最大值 存在約束條件 分類函數(shù) 如何將10類焊點分開，要考慮每類焊點的特征，在這里，先把焊點分成三類，第一類為good焊點，第二類為no-operation，no-solder和no-lead，剩下的為第三類。因為第二類焊點要么沒有焊錫，要么沒有引腳，或者兩個都沒有，它們與其他兩類焊點在亮度上有明顯區(qū)別，因此首先將第二類分離出來，然后用閾值分割的辦法將第二類中的三種焊點分開。接下來，使用SVM將第一類和第三類焊點分開，最后用6個SVM將第三類中