機(jī)器視覺(jué)檢測(cè)

1、研究背景：產(chǎn)品表面質(zhì)量是產(chǎn)品質(zhì)量的重要組成部分， 也是產(chǎn)品商業(yè)價(jià)值的重要保障。 產(chǎn)品表面缺陷檢 測(cè)技術(shù)從最初的依靠人工目視檢測(cè)到現(xiàn)在以 CCD 和數(shù)字圖像處理技術(shù)為代表的計(jì)算機(jī)視覺(jué) 檢測(cè)技術(shù)， 大致經(jīng)歷了三個(gè)階段，分別是傳統(tǒng)檢測(cè)技術(shù)階段、 無(wú)損檢測(cè)技術(shù)階段、 計(jì)算機(jī)視 覺(jué)檢測(cè)技術(shù)階段。 傳統(tǒng)檢測(cè)技術(shù) （1）人工目視檢測(cè)法（2）頻閃檢測(cè)法 無(wú)損檢測(cè)技術(shù)（1）渦流檢測(cè)法（2）紅外檢測(cè)法（3）漏磁檢測(cè)法 計(jì)算機(jī)視覺(jué)檢測(cè)技術(shù)（1）激光掃描檢測(cè)法（2）CCD 檢測(cè)法采用熒光管等照明設(shè)備， 以一定方向照射到物體表面上， 使用 CCD攝像機(jī)來(lái)掃描物體表面， 并將獲得的圖像信號(hào)輸入計(jì)算機(jī)， 通過(guò)圖像預(yù)處理、

2、缺陷區(qū)域的邊緣檢測(cè)、 缺陷圖像二值化 等圖像處理后， 提取圖像中的表面缺陷的相關(guān)特征參數(shù)， 再進(jìn)行缺陷圖像識(shí)別， 從而判斷出 是否存在缺陷及缺陷的種類(lèi)信息等。優(yōu)點(diǎn)：實(shí)時(shí)性好，精確度高，靈活性好，用途易于擴(kuò)充，非接觸式無(wú)損檢測(cè)。 基于機(jī)器視覺(jué)的缺陷檢測(cè)系統(tǒng)優(yōu)點(diǎn)：集成化生產(chǎn) 縮短產(chǎn)品進(jìn)入市場(chǎng)時(shí)間 改進(jìn)生產(chǎn)流程 100% 質(zhì)量保證 實(shí)時(shí)過(guò)程監(jiān)控 提高 產(chǎn)量 精確檢測(cè) 100% 檢測(cè)由于經(jīng)濟(jì)和技術(shù)原因 國(guó)內(nèi)絕大多數(shù)圖像處理技術(shù)公司都以代理國(guó)外產(chǎn)品為主，沒(méi)有或 者很少涉足擁有自主知識(shí)產(chǎn)權(quán)的機(jī)器視覺(jué)在線(xiàn)檢測(cè)設(shè)備， 對(duì)視覺(jué)技術(shù)的開(kāi)發(fā)應(yīng)用停留在比較 低端的小系統(tǒng)集成上 ，對(duì)需要進(jìn)行大數(shù)據(jù)量的實(shí)時(shí)在線(xiàn)檢測(cè)的研究

3、很少也很少有成功案例， 但是隨著國(guó)內(nèi)經(jīng)濟(jì)發(fā)展和技術(shù)手段不斷提高對(duì)產(chǎn)品質(zhì)量檢測(cè)要求就更高， 對(duì)在線(xiàn)檢測(cè)設(shè)備的 需求也就更大具有巨大的市場(chǎng)潛力。機(jī)器視覺(jué)圖像處理技術(shù)是視覺(jué)檢測(cè)的核心技術(shù)鑄件常見(jiàn)缺陷：砂眼 氣孔 縮孔 披縫 粘砂 冷隔 掉砂 毛刺 澆不足 缺陷 變形 問(wèn)題的提出：1.水漬、污跡等不屬于鑄件缺陷，但由于其外觀形貌與缺陷非常類(lèi)似, 因此易被檢測(cè)系統(tǒng)誤識(shí)為缺陷。從目前發(fā)表的文獻(xiàn)來(lái)看，對(duì)于偽缺陷的識(shí)別率較低。2.不同種缺陷之間可能存在形狀、紋理等方面的相似性，造成缺陷誤判。 國(guó)外研究發(fā)展現(xiàn)狀：20 世紀(jì) 90 年代后，基于機(jī)器視覺(jué)檢測(cè)系統(tǒng)的自動(dòng)化功能和實(shí)用化水平得到了進(jìn)一步的提1990 年芬

4、蘭 Rautaruukki New Technology 公司研制了 Smartivis 表面檢測(cè)系統(tǒng) ，該系統(tǒng) 具有自學(xué)習(xí)分類(lèi)功能，應(yīng)用機(jī)器學(xué)習(xí)方法對(duì)決策樹(shù)結(jié)構(gòu)進(jìn)行自動(dòng)設(shè)計(jì)優(yōu)化。1996 年美國(guó) Cognex 公司研發(fā)了一套 iLearn 自學(xué)習(xí)分類(lèi)器軟件系統(tǒng)并應(yīng)用于其研制了極大地提高了檢測(cè)系統(tǒng)實(shí)時(shí)的運(yùn)算速數(shù)據(jù)實(shí)時(shí)吞吐量、 樣本訓(xùn)練集規(guī)模Parsytec5i ，該系統(tǒng)運(yùn)用了自學(xué)習(xí)iS-2000 自動(dòng)檢測(cè)系統(tǒng)。 通過(guò)這兩套系統(tǒng)的無(wú)縫銜接， 度，有效的改進(jìn)了傳統(tǒng)自學(xué)習(xí)分類(lèi)方法在算法執(zhí)行速度、 及模式特征自動(dòng)選擇等方面的不足之處 。2004 年 Parsytec 公司發(fā)布了新一代表面質(zhì)量檢測(cè)產(chǎn)品

5、神經(jīng)網(wǎng)絡(luò)分類(lèi)方法進(jìn)行缺陷分類(lèi)， 將表面質(zhì)量信息輸入到支持決策信息中， 不僅可以對(duì)產(chǎn)品 的表面質(zhì)量進(jìn)行檢測(cè)和評(píng)價(jià)， 還能預(yù)測(cè)潛在質(zhì)量問(wèn)題， 并將檢測(cè)信息提供給使用者進(jìn)行整合 和利用 國(guó)內(nèi)研究發(fā)展現(xiàn)狀：2005 年北航周正干等人提出了一種新型的數(shù)學(xué)形態(tài)學(xué)濾波與計(jì)算機(jī)視覺(jué)算法相結(jié)合的缺陷 自動(dòng)提取方法。2009 年北京 科技大學(xué) 徐科 等采用線(xiàn) 形激光進(jìn) 行連 鑄坯表面 裂紋的在 線(xiàn)檢 測(cè)，并用 AdaBoosting 分類(lèi)器成功地實(shí)現(xiàn)了對(duì)表面裂紋、水痕、渣痕、氧化鐵皮和振痕等 5 種缺陷 和偽缺陷樣本的識(shí)別。北京科技大學(xué)高效軋制國(guó)家工程研究中心研制開(kāi)發(fā)了具有全部自主知識(shí)產(chǎn)權(quán)的冷軋帶鋼 1 9 -

6、2 0 和熱軋帶鋼表面在線(xiàn)檢測(cè)系統(tǒng) 2 1 ，并在生產(chǎn)線(xiàn)上得到成功應(yīng)用。 基于光度立體學(xué)的金屬板帶表面微小缺陷在線(xiàn)檢測(cè)方法 徐科等 機(jī)械工程學(xué)報(bào) 2013檢測(cè)示意圖微小缺陷與常規(guī)缺陷同步檢測(cè)裝置圖像目標(biāo)分割方法大多關(guān)鍵點(diǎn)： 二維圖像上缺陷研究的關(guān)鍵是如何準(zhǔn)確地分割出缺陷目標(biāo)。是為特定應(yīng)用設(shè)計(jì)的，具有較強(qiáng)的針對(duì)性和局限性。 缺陷分割就是指將感興趣的缺陷目標(biāo)從被測(cè)表面的背景信息（如顏色、輪廓、亮度、形狀） 中分離出來(lái)， 使缺陷直接成為分析和處理對(duì)象的過(guò)程， 是視覺(jué)檢測(cè)的關(guān)鍵。 缺陷分割是后續(xù) 缺陷分析判別的基礎(chǔ)， 若分割中出現(xiàn)錯(cuò)誤或誤差而傳播給后續(xù)的圖像分析中， 將導(dǎo)致檢測(cè)錯(cuò) 誤或失敗。 因此，

7、缺陷分割性能的優(yōu)劣直接影響著后續(xù)的研究工作的進(jìn)行， 是表面缺陷檢測(cè) 中的一項(xiàng)關(guān)鍵技術(shù)。全局閾值分割東北林業(yè)大學(xué)雙峰法、自適應(yīng)迭代法和最大類(lèi)間分割法紋理分割（可否獲得高質(zhì)量的圖像，突出缺陷？） 光源的作用是形成有利于后續(xù)檢測(cè)算法復(fù)雜度降低和缺陷檢測(cè)率提高的鑄坯表面缺陷圖像 效果。光源的選擇直接關(guān)系到采集圖像的質(zhì)量和圖像中能否明顯表露存在的缺陷。據(jù)統(tǒng)計(jì)， 至少 30%的圖像質(zhì)量和應(yīng)用效果受到光源選擇的直接影響。采集到的理想圖像應(yīng)是完整的、 均勻亮度、對(duì)比度強(qiáng)且沒(méi)有畸變。難點(diǎn)：由于生產(chǎn)環(huán)境而造成的偽缺陷的出現(xiàn)極大的影響了檢測(cè)的精度和準(zhǔn)確度， 引起檢測(cè)系 統(tǒng)的誤動(dòng)作。多維視角分析在上圖一些步驟的基礎(chǔ)上

8、， 增加了一些基于多維視角幾何的分析步驟。 多維視角分析的核心 思想是， 它能夠通過(guò)從不同的角度進(jìn)行多維視角分析來(lái)獲取待測(cè)物體的更多的信息。它是一種在檢測(cè)容易被誤檢的復(fù)雜對(duì)象時(shí)非常有用的方法， 因?yàn)閺牟煌嵌葘?duì)同一物體的兩個(gè)或多 個(gè)視角能夠提高只通過(guò)一張圖像來(lái)檢測(cè)缺陷的方法的正確率。 （剔除偽缺陷， 見(jiàn)文獻(xiàn) ）圖 2 多角度獲取圖像信息特征提?。?對(duì)于表面缺陷檢測(cè)， 在缺陷有效的分割之后， 要進(jìn)行缺陷的判別。 這里，缺陷的判別包 括缺陷識(shí)別、缺陷分類(lèi)、真?zhèn)稳毕菖袛唷⑷毕輩?shù)給出等問(wèn)題。如果將缺陷的判別過(guò)程看做是一個(gè)“黑盒子” ，那么這個(gè)“黑盒子” 的輸入是 陷圖 像的各種特征數(shù)據(jù)，輸出是判別結(jié)

9、果（類(lèi)型、參數(shù)等） 。 征去除無(wú)意義特征。 紋理特征提?。?盡量縮小同類(lèi)內(nèi)樣本特征值之間的差距， 增大不同類(lèi)間特征值的差距， 有助于提高分類(lèi)器的 性能，降低分類(lèi)器設(shè)計(jì)的復(fù)雜性。 Gabor 濾波器： 針對(duì)二維數(shù)字圖像， 二維的 Gabor 濾 波 器具有優(yōu)良的濾波性能，并與生物視系統(tǒng)有相近的特點(diǎn)。二維 Gabor 濾波器能夠在方向、 徑向頻率帶寬以及中心頻方面進(jìn)行定制，因此在空間域和頻率域都能獲得極佳的分辨率。 計(jì)算量大。小波變換： 將紋理圖像看成是二維信號(hào)， 運(yùn)用二維離散小波變換進(jìn)行紋理圖像的處理。 可將 圖像在頻域上分解為低頻子帶（紋理的基本結(jié)構(gòu)）和若干方向上的高頻子帶（紋理細(xì)節(jié)） ， 然

10、后提取各子帶的特征形成特征向量。統(tǒng)計(jì)幾何特征提取方法 基于非基于非下采樣 Contourlet 變換和 PCNN的表面缺陷自動(dòng)識(shí)別方法 周新星 中國(guó) 地質(zhì)大學(xué)首先用 NSCT對(duì)缺陷圖像進(jìn)行多尺度多方向分解 ; 然后將子帶圖像輸入迭代點(diǎn)火，計(jì)算點(diǎn)火 圖的熵序列作為子圖的特征， 合并各子圖特征得到原圖的特征向量 ; 最后用支持向量機(jī)進(jìn)行 分類(lèi)識(shí)別。NSCT原理示意圖PCNN 中單個(gè)神經(jīng)元的模型分類(lèi)：模式識(shí)別分類(lèi)器。 （ SVM與神經(jīng)網(wǎng)絡(luò)）表面缺陷檢測(cè)的應(yīng)用往往存在多種類(lèi)型的表面缺陷，因此， 缺陷識(shí)別問(wèn)題通常是多類(lèi)分類(lèi)問(wèn)題。分類(lèi)的難點(diǎn)在于分類(lèi)器的設(shè)計(jì)。 目前常用的分類(lèi)器方法大體可以分為兩種： 不需要

11、學(xué)習(xí) 的分類(lèi)器和需要學(xué)習(xí)的分類(lèi)器。不需要學(xué)習(xí)的分類(lèi)器通常基于統(tǒng)計(jì)的方法，如貝葉斯理論、 距離判別、 Fisher 判別、 k- 鄰近法、聚類(lèi)分析、決策樹(shù)分類(lèi)等；需要學(xué)習(xí)的分類(lèi)器如神經(jīng) 網(wǎng)絡(luò)、支持向量機(jī)等。 不需要學(xué)習(xí)的分類(lèi)器往往需要大樣本支持， 并且需要一定的先驗(yàn)知識(shí)， 計(jì)算量大，速度慢，因此，在實(shí)時(shí)檢測(cè)應(yīng)用中往往難以實(shí)現(xiàn)。( 注射制品表面缺陷在線(xiàn)檢測(cè)與自動(dòng)識(shí)別華中科技大學(xué) 材料成形與模具技術(shù)國(guó)家重 點(diǎn)實(shí)驗(yàn)室 2013 ，提出一種基于缺陷區(qū)域輪廓、制品輪廓、區(qū)域灰度等特征的缺陷自動(dòng) 識(shí)別算法。 缺陷分類(lèi)判定規(guī)則 )需要學(xué)習(xí)的分類(lèi)器， 如果經(jīng)過(guò)充分的、 具有代表性的樣本學(xué)習(xí)訓(xùn)練后使分類(lèi)器規(guī)則確定

12、， 則 可用于實(shí)時(shí)在線(xiàn)的檢測(cè)應(yīng)用。 但神經(jīng)網(wǎng)絡(luò)的神經(jīng)元層數(shù)及每層神經(jīng)元的個(gè)數(shù)還是需要先驗(yàn)知 識(shí)確定， 且其計(jì)算原理基于最小方差理論， 因此容易陷入局部最優(yōu)， 且其分類(lèi)思想還是基于 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則。支持向量機(jī)( SVM, Support Vector Machine )是在統(tǒng)計(jì)學(xué)習(xí)理論( SLT,tistical Learning Theory )的基礎(chǔ)上發(fā)展起來(lái)的一種統(tǒng)計(jì)學(xué)習(xí)方法， 其核心思想結(jié)構(gòu)風(fēng)險(xiǎn)最小化取代傳統(tǒng)分類(lèi) 器的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化 148 。支持向量機(jī)是一種建立在 VC 維和結(jié)構(gòu)最小化準(zhǔn)則上的機(jī)器學(xué)習(xí)算法， 通過(guò)學(xué)習(xí)， SVM 可以 自動(dòng)尋找那些對(duì)分類(lèi)有較好區(qū)分能力的支持向量， 由

13、此構(gòu)造出的分類(lèi)器可以最大化類(lèi)之間的 間隔，使不同的樣本能夠被分類(lèi)器分開(kāi)。 因而有較好的推廣性能和較高的分類(lèi)精確率。 SVM 已 被用于文本分類(lèi)、孤立的手寫(xiě)體識(shí)別、語(yǔ)音識(shí)別、人臉識(shí)別、三維物體識(shí)別、遙感圖像分析 等。支持向量機(jī)是一種高性能的分類(lèi)算法，跟上面介紹的方法相比有明顯的優(yōu)勢(shì)。支持向量機(jī)( SVM, Support Vector Machine )是在統(tǒng)計(jì)學(xué)習(xí)理論( SLT,tistical Learning Theory)的基礎(chǔ)上發(fā)展起來(lái)的一種統(tǒng)計(jì)學(xué)習(xí)方法， 其核心思想結(jié)構(gòu)風(fēng)險(xiǎn)最小化取代傳統(tǒng)分類(lèi)器的經(jīng)驗(yàn) 風(fēng)險(xiǎn)最小化雖然向量機(jī)是針對(duì)二分類(lèi)問(wèn)題的， 由二分類(lèi)器組合成的多分器在性能上也有很好

14、的表現(xiàn)。隨著越來(lái)越多的對(duì)它的研究，將是機(jī)器學(xué)習(xí)中一項(xiàng)很有發(fā)展前景的技術(shù)。通過(guò)多個(gè)二分類(lèi)向量器的組合構(gòu)造多分類(lèi)向量器。一對(duì)多一對(duì)一DAG SVM：核函數(shù) 核參數(shù) 懲罰因子降低訓(xùn)練時(shí)間 減少向量機(jī)復(fù)雜程度 多分類(lèi)算法 關(guān)鍵點(diǎn)：保證訓(xùn)練樣本的質(zhì)量，濾除噪聲。真?zhèn)稳毕菖袆e方法： （國(guó)內(nèi)研究現(xiàn)狀）1. 基于紋理的非模式圖像偽缺陷甄別 通常缺陷出現(xiàn)時(shí)，缺陷處的光學(xué)性能的改變呈現(xiàn)兩面性：大多數(shù)區(qū)域的透射性能降低，而局部小區(qū)域的透射性能卻增加。 透射性能增加的位置其圖像區(qū)域灰度值呈偏亮的特征， 由 于這些偏亮的像素往往呈現(xiàn)離散的條紋狀分布在缺陷核心的周?chē)?其反映了缺陷核心的外圍 輪廓，將之稱(chēng)為缺陷紋理?？梢?/p>

15、通過(guò)從實(shí)時(shí)圖像中擬合出一個(gè)標(biāo)準(zhǔn)曲面 D （i ,j） ，通過(guò)從 實(shí)時(shí)圖像與標(biāo)準(zhǔn)曲面的差來(lái)求取缺陷紋理。 （產(chǎn)品表面缺陷在線(xiàn)檢測(cè)方法研究及系統(tǒng)實(shí)現(xiàn) 彭向前 華中科技大學(xué) 2008 ）2. 基于多幅圖像的缺陷自動(dòng)識(shí)別技術(shù)該方法將識(shí)別過(guò)程分為兩步 : 缺陷提取和缺陷跟蹤。 第一步利用傳統(tǒng)方法在每幅圖像中 分離出潛在缺陷。 這一步保證真缺陷能全部提取出來(lái)， 而不考慮偽缺陷的數(shù)量。 第二步力圖 找出同一試件不同圖像中分離出的缺陷之間的相互關(guān)系。 如果第一步某一圖像中分離出的某 一缺陷在其他圖像中都找不到相對(duì)應(yīng)的缺陷區(qū)域， 就定義該缺陷為偽缺陷， 也就是說(shuō)， 真缺 陷在不同圖像中必須滿(mǎn)足一定的幾何關(guān)系。

16、多幅圖像中的缺陷跟蹤綜合利用了極線(xiàn)約束、 三維重建和三線(xiàn)性約束等立體視覺(jué)算法。 （航空發(fā)動(dòng)機(jī)葉片 X 射線(xiàn)數(shù)字圖像分析的一種新方 法 周正干等 北京航天航空大學(xué) 2006 ）3. 基于 B 樣條曲線(xiàn)及極值修正的缺陷提取針對(duì)背景起伏大、 對(duì)比度低、 紋理復(fù)雜的圖像容易出現(xiàn)大量偽缺陷。 利用 B 樣條曲線(xiàn)以 及極值修正的方法， 對(duì)列灰度曲線(xiàn)波形進(jìn)行平滑優(yōu)化， 然后通過(guò)對(duì)提取的極值進(jìn)行分析提取， 確定缺陷的邊界，最后分割和提取出缺陷。降低誤判率。 （X 射線(xiàn)焊縫圖像缺陷自動(dòng) 提取與識(shí)別技術(shù)研究梁硼 南京航天航空大學(xué) 2012 ）4. 基于相鄰層切片信息的真?zhèn)稳毕葑R(shí)別方法識(shí)別流程圖：方黎勇 西南交通大

17、學(xué)基于 ICT 切片圖像的零件內(nèi)部缺陷三維重構(gòu)關(guān)鍵技術(shù)研究2009)5. 可疑區(qū)域篩選有兩種方法，一種方法是去除偽缺陷，另一種是挑選真缺陷。由于偽缺陷 基本由水、 氧化鐵皮與光照不均現(xiàn)象引起， 很難找到算法將它們直接去除， 因此只能采取第 二種方案。通過(guò)增加 4 種不同類(lèi)型的缺陷檢測(cè)步驟，去除了大量由水、氧化鐵皮等造成的 偽缺陷， 在保證缺陷檢出率的同時(shí)， 減小缺陷的誤識(shí)率。 （熱軋帶鋼表面缺陷在線(xiàn)檢測(cè)的方 法與工業(yè)應(yīng)用 徐科等 北京科技大學(xué) 2009 ）在鑄造生產(chǎn)過(guò)程中 , 種種原因會(huì)使鑄件表面產(chǎn)生一些缺陷。 其中有些缺陷如表面裂紋 , 不僅影 響產(chǎn)品表面質(zhì)量 , 而且會(huì)造成較嚴(yán)重的生產(chǎn)事故

18、。因此 , 如何能夠及時(shí)發(fā)現(xiàn)并消除表面缺陷， 成為人們關(guān)注的一個(gè)問(wèn)題。目前國(guó)內(nèi)鑄造生產(chǎn)廠家大多采用人工目測(cè)的方法完成該項(xiàng)工作 , 這種方法勞動(dòng)強(qiáng)度大、工作 效率低 , 且檢測(cè)結(jié)果易受檢查人員技術(shù)素質(zhì)和經(jīng)驗(yàn)及肉眼分辨能力和疲勞等主觀因素影響 , 缺乏準(zhǔn)確性和規(guī)范化 , 無(wú)法保證正常的產(chǎn)品質(zhì)量。鑄板的表面裂紋與其他缺陷 （如疤痕和振痕 ）或偽缺陷 （水痕、渣痕和氧化鐵皮 ）組成 ,它們?cè)?各個(gè)方向上的紋理特征各有不同 , 可以利用小波的多方向性特點(diǎn)對(duì)圖像進(jìn)行分解后再作紋理 分析 .有選擇的舍棄或增強(qiáng)某方向的信息，能夠起到對(duì)某方向紋理的去除或增強(qiáng)作用。CCD相機(jī) 光源及照明方式 數(shù)字圖像獲取圖像濾波增強(qiáng)圖像預(yù)處 理變換形態(tài)學(xué)方法邊緣提取圖像分析特征提取目標(biāo)分割圖像理解分類(lèi)器設(shè)計(jì)參數(shù)修正校驗(yàn)誤差準(zhǔn)時(shí)處理實(shí)時(shí)處理研究?jī)?nèi)容：1. 搭建圖像采集平臺(tái)。結(jié)合鑄件實(shí)際生產(chǎn)環(huán)境選擇合適的光源與照明方式，以獲得高質(zhì)量的 圖像，突出缺陷特征。2. 對(duì)比研究表面視覺(jué)缺陷檢測(cè)中的經(jīng)典算法，確定及優(yōu)化適用于鑄件缺陷檢測(cè)的圖像增強(qiáng)及缺陷分割算法。3. 對(duì)缺陷進(jìn)行特征提取。解決采用何種分析方法和提取哪些特征量這兩個(gè)關(guān)鍵問(wèn)題。4. 分類(lèi)器是表征缺陷種類(lèi)的最直接步驟。 研究基于 SVM 分類(lèi)器的理論， 選擇合適的參數(shù)建立 SVM 多分類(lèi)器，能夠?qū)Π▊稳毕菰趦?nèi)的幾種常見(jiàn)鑄件缺陷進(jìn)行分類(lèi)。目標(biāo)：提高圖像對(duì)比度和