機(jī)器視覺檢測

1、研究背景：產(chǎn)品表面質(zhì)量是產(chǎn)品質(zhì)量的重要組成部分，也是產(chǎn)品商業(yè)價(jià)值的重要保障。產(chǎn)品表面缺陷檢測技術(shù)從最初的依靠人工目視檢測到現(xiàn)在以 CCD 和數(shù)字圖像處理技術(shù)為代表的計(jì)算機(jī)視覺檢測技術(shù)，大致經(jīng)歷了三個(gè)階段，分別是傳統(tǒng)檢測技術(shù)階段、無損檢測技術(shù)階段、計(jì)算機(jī)視覺檢測技術(shù)階段。傳統(tǒng)檢測技術(shù)（1） 人工目視檢測法（2） 頻閃檢測法無損檢測技術(shù)（1） 渦流檢測法（2） 紅外檢測法（3） 漏磁檢測法計(jì)算機(jī)視覺檢測技術(shù)（1） 激光掃描檢測法（2） CCD 檢測法 采用熒光管等照明設(shè)備，以一定方向照射到物體表面上，使用CCD攝像機(jī)來掃描物體表面，并將獲得的圖像信號(hào)輸入計(jì)算機(jī)，通過圖像預(yù)處理、缺陷區(qū)域的邊緣檢測、

2、缺陷圖像二值化等圖像處理后，提取圖像中的表面缺陷的相關(guān)特征參數(shù)，再進(jìn)行缺陷圖像識(shí)別，從而判斷出是否存在缺陷及缺陷的種類信息等。優(yōu)點(diǎn)：實(shí)時(shí)性好，精確度高，靈活性好，用途易于擴(kuò)充，非接觸式無損檢測?；跈C(jī)器視覺的缺陷檢測系統(tǒng)優(yōu)點(diǎn)：集成化生產(chǎn) 縮短產(chǎn)品進(jìn)入市場時(shí)間 改進(jìn)生產(chǎn)流程 100%質(zhì)量保證 實(shí)時(shí)過程監(jiān)控 提高產(chǎn)量 精確檢測 100%檢測 由于經(jīng)濟(jì)和技術(shù)原因 國內(nèi)絕大多數(shù)圖像處理技術(shù)公司都以代理國外產(chǎn)品為主，沒有或者很少涉足擁有自主知識(shí)產(chǎn)權(quán)的機(jī)器視覺在線檢測設(shè)備，對(duì)視覺技術(shù)的開發(fā)應(yīng)用停留在比較低端的小系統(tǒng)集成上 ，對(duì)需要進(jìn)行大數(shù)據(jù)量的實(shí)時(shí)在線檢測的研究很少也很少有成功案例，但是隨著國內(nèi)經(jīng)濟(jì)發(fā)展和

3、技術(shù)手段不斷提高對(duì)產(chǎn)品質(zhì)量檢測要求就更高，對(duì)在線檢測設(shè)備的需求也就更大具有巨大的市場潛力。機(jī)器視覺圖像處理技術(shù)是視覺檢測的核心技術(shù) 鑄件常見缺陷：砂眼 氣孔 縮孔 披縫 粘砂 冷隔 掉砂 毛刺 澆不足 缺陷 變形 問題的提出：1. 水漬、污跡等不屬于鑄件缺陷，但由于其外觀形貌與缺陷非常類似, 因此易被檢測系統(tǒng)誤識(shí)為缺陷。從目前發(fā)表的文獻(xiàn)來看，對(duì)于偽缺陷的識(shí)別率較低。2. 不同種缺陷之間可能存在形狀、紋理等方面的相似性，造成缺陷誤判。國外研究發(fā)展現(xiàn)狀：20 世紀(jì) 90 年代后，基于機(jī)器視覺檢測系統(tǒng)的自動(dòng)化功能和實(shí)用化水平得到了進(jìn)一步的提高。1990 年芬蘭Rautaruukki New Tech

4、nology公司研制了Smartivis表面檢測系統(tǒng)，該系統(tǒng)具有自學(xué)習(xí)分類功能，應(yīng)用機(jī)器學(xué)習(xí)方法對(duì)決策樹結(jié)構(gòu)進(jìn)行自動(dòng)設(shè)計(jì)優(yōu)化。1996 年美國Cognex公司研發(fā)了一套iLearn自學(xué)習(xí)分類器軟件系統(tǒng)并應(yīng)用于其研制了iS-2000 自動(dòng)檢測系統(tǒng)。通過這兩套系統(tǒng)的無縫銜接，極大地提高了檢測系統(tǒng)實(shí)時(shí)的運(yùn)算速度，有效的改進(jìn)了傳統(tǒng)自學(xué)習(xí)分類方法在算法執(zhí)行速度、數(shù)據(jù)實(shí)時(shí)吞吐量、樣本訓(xùn)練集規(guī)模及模式特征自動(dòng)選擇等方面的不足之處。2004 年P(guān)arsytec公司發(fā)布了新一代表面質(zhì)量檢測產(chǎn)品Parsytec5i，該系統(tǒng)運(yùn)用了自學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)分類方法進(jìn)行缺陷分類，將表面質(zhì)量信息輸入到支持決策信息中，不僅可以對(duì)產(chǎn)品

5、的表面質(zhì)量進(jìn)行檢測和評(píng)價(jià)，還能預(yù)測潛在質(zhì)量問題，并將檢測信息提供給使用者進(jìn)行整合和利用國內(nèi)研究發(fā)展現(xiàn)狀：2005年北航周正干等人提出了一種新型的數(shù)學(xué)形態(tài)學(xué)濾波與計(jì)算機(jī)視覺算法相結(jié)合的缺陷自動(dòng)提取方法。2009 年北京科技大學(xué)徐科等采用線形激光進(jìn)行連鑄坯表面裂紋的在線檢測，并用AdaBoosting分類器成功地實(shí)現(xiàn)了對(duì)表面裂紋、水痕、渣痕、氧化鐵皮和振痕等 5 種缺陷和偽缺陷樣本的識(shí)別。北京科技大學(xué)高效軋制國家工程研究中心研制開發(fā)了具有全部自主知識(shí)產(chǎn)權(quán)的冷軋帶鋼 1 9 - 2 0 和熱軋帶鋼表面在線檢測系統(tǒng) 2 1 ，并在生產(chǎn)線上得到成功應(yīng)用?；诠舛攘Ⅲw學(xué)的金屬板帶表面微小缺陷在線檢測方法

6、徐科等 機(jī)械工程學(xué)報(bào) 2013 檢測示意圖微小缺陷與常規(guī)缺陷同步檢測裝置 關(guān)鍵點(diǎn)：二維圖像上缺陷研究的關(guān)鍵是如何準(zhǔn)確地分割出缺陷目標(biāo)。圖像目標(biāo)分割方法大多是為特定應(yīng)用設(shè)計(jì)的，具有較強(qiáng)的針對(duì)性和局限性。缺陷分割就是指將感興趣的缺陷目標(biāo)從被測表面的背景信息（如顏色、輪廓、亮度、形狀）中分離出來，使缺陷直接成為分析和處理對(duì)象的過程，是視覺檢測的關(guān)鍵。缺陷分割是后續(xù)缺陷分析判別的基礎(chǔ)，若分割中出現(xiàn)錯(cuò)誤或誤差而傳播給后續(xù)的圖像分析中，將導(dǎo)致檢測錯(cuò)誤或失敗。因此，缺陷分割性能的優(yōu)劣直接影響著后續(xù)的研究工作的進(jìn)行，是表面缺陷檢測中的一項(xiàng)關(guān)鍵技術(shù)。全局閾值分割 雙峰法、自適應(yīng)迭代法和最大類間分割法東北林業(yè)大學(xué)

7、 紋理分割 （可否獲得高質(zhì)量的圖像，突出缺陷？）光源的作用是形成有利于后續(xù)檢測算法復(fù)雜度降低和缺陷檢測率提高的鑄坯表面缺陷圖像效果。光源的選擇直接關(guān)系到采集圖像的質(zhì)量和圖像中能否明顯表露存在的缺陷。據(jù)統(tǒng)計(jì)，至少 30%的圖像質(zhì)量和應(yīng)用效果受到光源選擇的直接影響。采集到的理想圖像應(yīng)是完整的、均勻亮度、對(duì)比度強(qiáng)且沒有畸變。難點(diǎn)：由于生產(chǎn)環(huán)境而造成的偽缺陷的出現(xiàn)極大的影響了檢測的精度和準(zhǔn)確度，引起檢測系統(tǒng)的誤動(dòng)作。多維視角分析在上圖一些步驟的基礎(chǔ)上，增加了一些基于多維視角幾何的分析步驟。多維視角分析的核心思想是，它能夠通過從不同的角度進(jìn)行多維視角分析來獲取待測物體的更多的信息。它是一種在檢測容易被誤

8、檢的復(fù)雜對(duì)象時(shí)非常有用的方法，因?yàn)閺牟煌嵌葘?duì)同一物體的兩個(gè)或多個(gè)視角能夠提高只通過一張圖像來檢測缺陷的方法的正確率。（剔除偽缺陷，見文獻(xiàn)） 圖2 多角度獲取圖像信息 特征提取： 對(duì)于表面缺陷檢測，在缺陷有效的分割之后，要進(jìn)行缺陷的判別。這里，缺陷的判別包括缺陷識(shí)別、缺陷分類、真?zhèn)稳毕菖袛?、缺陷參?shù)給出等問題。 如果將缺陷的判別過程看做是一個(gè)“黑盒子”，那么這個(gè)“黑盒子”的輸入是 陷圖像的各種特征數(shù)據(jù)，輸出是判別結(jié)果（類型、參數(shù)等）。 征去除無意義特征。紋理特征提取：盡量縮小同類內(nèi)樣本特征值之間的差距，增大不同類間特征值的差距，有助于提高分類器的性能，降低分類器設(shè)計(jì)的復(fù)雜性。 Gabor濾波器

9、：針對(duì)二維數(shù)字圖像，二維的 Gabor 濾 波器具有優(yōu)良的濾波性能，并與生物視系統(tǒng)有相近的特點(diǎn)。二維 Gabor 濾波器能夠在方向、徑向頻率帶寬以及中心頻方面進(jìn)行定制，因此在空間域和頻率域都能獲得極佳的分辨率。計(jì)算量大。小波變換：將紋理圖像看成是二維信號(hào)，運(yùn)用二維離散小波變換進(jìn)行紋理圖像的處理?？蓪D像在頻域上分解為低頻子帶（紋理的基本結(jié)構(gòu)）和若干方向上的高頻子帶（紋理細(xì)節(jié)），然后提取各子帶的特征形成特征向量。統(tǒng)計(jì)幾何特征提取方法基于非基于非下采樣Contourlet變換和PCNN的表面缺陷自動(dòng)識(shí)別方法 周新星 中國地質(zhì)大學(xué) 首先用NSCT對(duì)缺陷圖像進(jìn)行多尺度多方向分解; 然后將子帶圖像輸入迭

10、代點(diǎn)火，計(jì)算點(diǎn)火圖的熵序列作為子圖的特征，合并各子圖特征得到原圖的特征向量; 最后用支持向量機(jī)進(jìn)行分類識(shí)別。 NSCT原理示意圖 PCNN 中單個(gè)神經(jīng)元的模型 分類：模式識(shí)別分類器。（SVM與神經(jīng)網(wǎng)絡(luò)）表面缺陷檢測的應(yīng)用往往存在多種類型的表面缺陷，因此，缺陷識(shí)別問題通常是多類分類問題。分類的難點(diǎn)在于分類器的設(shè)計(jì)。目前常用的分類器方法大體可以分為兩種：不需要學(xué)習(xí)的分類器和需要學(xué)習(xí)的分類器。不需要學(xué)習(xí)的分類器通?；诮y(tǒng)計(jì)的方法，如貝葉斯理論、距離判別、Fisher判別、k-鄰近法、聚類分析、決策樹分類等；需要學(xué)習(xí)的分類器如神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等。不需要學(xué)習(xí)的分類器往往需要大樣本支持，并且需要一定的

11、先驗(yàn)知識(shí)，計(jì)算量大，速度慢，因此，在實(shí)時(shí)檢測應(yīng)用中往往難以實(shí)現(xiàn)。（ 注射制品表面缺陷在線檢測與自動(dòng)識(shí)別華中科技大學(xué) 材料成形與模具技術(shù)國家重點(diǎn)實(shí)驗(yàn)室 2013 ，提出一種基于缺陷區(qū)域輪廓、制品輪廓、區(qū)域灰度等特征的缺陷自動(dòng)識(shí)別算法。 缺陷分類判定規(guī)則 ）需要學(xué)習(xí)的分類器，如果經(jīng)過充分的、具有代表性的樣本學(xué)習(xí)訓(xùn)練后使分類器規(guī)則確定，則可用于實(shí)時(shí)在線的檢測應(yīng)用。但神經(jīng)網(wǎng)絡(luò)的神經(jīng)元層數(shù)及每層神經(jīng)元的個(gè)數(shù)還是需要先驗(yàn)知識(shí)確定，且其計(jì)算原理基于最小方差理論，因此容易陷入局部最優(yōu)，且其分類思想還是基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則。支持向量機(jī)（SVM, Support Vector Machine）是在統(tǒng)計(jì)學(xué)習(xí)理論（

12、SLT,tistical Learning Theory）的基礎(chǔ)上發(fā)展起來的一種統(tǒng)計(jì)學(xué)習(xí)方法，其核心思想結(jié)構(gòu)風(fēng)險(xiǎn)最小化取代傳統(tǒng)分類器的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化148。支持向量機(jī)是一種建立在 VC 維和結(jié)構(gòu)最小化準(zhǔn)則上的機(jī)器學(xué)習(xí)算法，通過學(xué)習(xí)，SVM 可以自動(dòng)尋找那些對(duì)分類有較好區(qū)分能力的支持向量，由此構(gòu)造出的分類器可以最大化類之間的間隔，使不同的樣本能夠被分類器分開。因而有較好的推廣性能和較高的分類精確率。SVM 已被用于文本分類、孤立的手寫體識(shí)別、語音識(shí)別、人臉識(shí)別、三維物體識(shí)別、遙感圖像分析等。支持向量機(jī)是一種高性能的分類算法，跟上面介紹的方法相比有明顯的優(yōu)勢。支持向量機(jī)（SVM, Support

13、Vector Machine）是在統(tǒng)計(jì)學(xué)習(xí)理論（SLT,tistical Learning Theory）的基礎(chǔ)上發(fā)展起來的一種統(tǒng)計(jì)學(xué)習(xí)方法，其核心思想結(jié)構(gòu)風(fēng)險(xiǎn)最小化取代傳統(tǒng)分類器的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化雖然向量機(jī)是針對(duì)二分類問題的，由二分類器組合成的多分器在性能上也有很好的表現(xiàn)。隨著越來越多的對(duì)它的研究，將是機(jī)器學(xué)習(xí)中一項(xiàng)很有發(fā)展前景的技術(shù)。通過多個(gè)二分類向量器的組合構(gòu)造多分類向量器。一對(duì)多一對(duì)一DAG SVM：核函數(shù) 核參數(shù) 懲罰因子 降低訓(xùn)練時(shí)間 減少向量機(jī)復(fù)雜程度 多分類算法 關(guān)鍵點(diǎn)：保證訓(xùn)練樣本的質(zhì)量，濾除噪聲。真?zhèn)稳毕菖袆e方法：（國內(nèi)研究現(xiàn)狀）1.基于紋理的非模式圖像偽缺陷甄別通常缺陷出現(xiàn)

14、時(shí)，缺陷處的光學(xué)性能的改變呈現(xiàn)兩面性：大多數(shù)區(qū)域的透射性能降低，而局部小區(qū)域的透射性能卻增加。透射性能增加的位置其圖像區(qū)域灰度值呈偏亮的特征，由于這些偏亮的像素往往呈現(xiàn)離散的條紋狀分布在缺陷核心的周圍，其反映了缺陷核心的外圍輪廓，將之稱為缺陷紋理?？梢酝ㄟ^從實(shí)時(shí)圖像中擬合出一個(gè)標(biāo)準(zhǔn)曲面 D (i ,j)，通過從實(shí)時(shí)圖像與標(biāo)準(zhǔn)曲面的差來求取缺陷紋理。（產(chǎn)品表面缺陷在線檢測方法研究及系統(tǒng)實(shí)現(xiàn) 彭向前 華中科技大學(xué) 2008）2. 基于多幅圖像的缺陷自動(dòng)識(shí)別技術(shù) 該方法將識(shí)別過程分為兩步:缺陷提取和缺陷跟蹤。第一步利用傳統(tǒng)方法在每幅圖像中分離出潛在缺陷。這一步保證真缺陷能全部提取出來，而不考慮偽缺陷

15、的數(shù)量。第二步力圖找出同一試件不同圖像中分離出的缺陷之間的相互關(guān)系。如果第一步某一圖像中分離出的某一缺陷在其他圖像中都找不到相對(duì)應(yīng)的缺陷區(qū)域，就定義該缺陷為偽缺陷，也就是說，真缺陷在不同圖像中必須滿足一定的幾何關(guān)系。多幅圖像中的缺陷跟蹤綜合利用了極線約束、三維重建和三線性約束等立體視覺算法。（航空發(fā)動(dòng)機(jī)葉片X射線數(shù)字圖像分析的一種新方法 周正干等 北京航天航空大學(xué) 2006）3. 基于 B 樣條曲線及極值修正的缺陷提取 針對(duì)背景起伏大、對(duì)比度低、紋理復(fù)雜的圖像容易出現(xiàn)大量偽缺陷。利用 B 樣條曲線以及極值修正的方法，對(duì)列灰度曲線波形進(jìn)行平滑優(yōu)化，然后通過對(duì)提取的極值進(jìn)行分析提取，確定缺陷的邊界

16、，最后分割和提取出缺陷。降低誤判率。（X 射線焊縫圖像缺陷自動(dòng)提取與識(shí)別技術(shù)研究梁硼 南京航天航空大學(xué) 2012 ）4. 基于相鄰層切片信息的真?zhèn)稳毕葑R(shí)別方法識(shí)別流程圖： （基于ICT切片圖像的零件內(nèi)部缺陷三維重構(gòu)關(guān)鍵技術(shù)研究 方黎勇 西南交通大學(xué) 2009）5. 可疑區(qū)域篩選有兩種方法，一種方法是去除偽缺陷，另一種是挑選真缺陷。由于偽缺陷基本由水、氧化鐵皮與光照不均現(xiàn)象引起，很難找到算法將它們直接去除，因此只能采取第二種方案。通過增加 4 種不同類型的缺陷檢測步驟，去除了大量由水、氧化鐵皮等造成的偽缺陷，在保證缺陷檢出率的同時(shí)，減小缺陷的誤識(shí)率。（熱軋帶鋼表面缺陷在線檢測的方法與工業(yè)應(yīng)用 徐

17、科等 北京科技大學(xué) 2009） 在鑄造生產(chǎn)過程中,種種原因會(huì)使鑄件表面產(chǎn)生一些缺陷。其中有些缺陷如表面裂紋,不僅影響產(chǎn)品表面質(zhì)量,而且會(huì)造成較嚴(yán)重的生產(chǎn)事故。因此,如何能夠及時(shí)發(fā)現(xiàn)并消除表面缺陷，成為人們關(guān)注的一個(gè)問題。目前國內(nèi)鑄造生產(chǎn)廠家大多采用人工目測的方法完成該項(xiàng)工作,這種方法勞動(dòng)強(qiáng)度大、工作效率低,且檢測結(jié)果易受檢查人員技術(shù)素質(zhì)和經(jīng)驗(yàn)及肉眼分辨能力和疲勞等主觀因素影響,缺乏準(zhǔn)確性和規(guī)范化,無法保證正常的產(chǎn)品質(zhì)量。鑄板的表面裂紋與其他缺陷(如疤痕和振痕)或偽缺陷(水痕、渣痕和氧化鐵皮)組成,它們?cè)诟鱾€(gè)方向上的紋理特征各有不同,可以利用小波的多方向性特點(diǎn)對(duì)圖像進(jìn)行分解后再作紋理分析.有選擇

18、的舍棄或增強(qiáng)某方向的信息，能夠起到對(duì)某方向紋理的去除或增強(qiáng)作用。 CCD相機(jī) 光源及照明方式獲取圖像 數(shù)字圖像 增強(qiáng) 濾波 形態(tài)學(xué)方法圖像預(yù)處理理 變換 邊緣提取 圖像分析目標(biāo)分割特征提取 圖像理解分類器設(shè)計(jì)特征分析 缺陷區(qū)域校驗(yàn)誤差 參數(shù)修正 實(shí)時(shí)處理 準(zhǔn)時(shí)處理研究內(nèi)容：1. 搭建圖像采集平臺(tái)。結(jié)合鑄件實(shí)際生產(chǎn)環(huán)境選擇合適的光源與照明方式，以獲得高質(zhì)量的圖像，突出缺陷特征。2. 對(duì)比研究表面視覺缺陷檢測中的經(jīng)典算法，確定及優(yōu)化適用于鑄件缺陷檢測的圖像增強(qiáng)及缺陷分割算法。3. 對(duì)缺陷進(jìn)行特征提取。解決采用何種分析方法和提取哪些特征量這兩個(gè)關(guān)鍵問題。4. 分類器是表征缺陷種類的最直接步驟。研究基于SVM 分類器的理論，選擇合適的參數(shù)建立 SVM 多分類器，能夠?qū)Π▊稳毕菰趦?nèi)的幾種常見鑄件缺陷進(jìn)行分類。目標(biāo)：提高圖像對(duì)比度和缺陷識(shí)別率。