基于機(jī)器視覺的點膠缺陷檢測技術(shù)探討

的生產(chǎn)中，由于多種因素的影響，例如自動點膠機(jī)的點膠工藝水平、膠水的溫度等，生產(chǎn)出的膠水可能會產(chǎn)生含有氣泡、膠條斷裂、膠條寬度太粗或太細(xì)等缺陷。因此在各種需要通過點膠來實現(xiàn)連接效果的場合中，嚴(yán)格控制點膠的質(zhì)量是極其重要的。依靠人力來對點膠進(jìn)行缺陷檢測顯然是不合理的，由于其工作量大、效率低、檢測精度不高等特點，目前已不能滿足實際的生產(chǎn)需求。為了解決上述問題，基于機(jī)器視覺的點膠缺陷檢測技術(shù)得到廣泛的應(yīng)用，其具有成本低、精度高、速度快的優(yōu)勢。一、基于機(jī)器視覺檢測技術(shù)現(xiàn)狀機(jī)器視覺是以普通計算機(jī)視覺研究為基礎(chǔ)，并且同時涉及到光源照明技術(shù)、高速圖像采集等方面實用技術(shù)的研究。在工業(yè)中，利用機(jī)器視覺構(gòu)建一個完整的工業(yè)視覺應(yīng)用系統(tǒng)需要結(jié)合多種技術(shù)，其中涵蓋了機(jī)械工程、傳感器、光學(xué)成像、運動控制、圖像處理等方面。圖1-1顯示的是實際工業(yè)中機(jī)器視覺系統(tǒng)整體框架，主要包括被測目標(biāo)、光源、光學(xué)成像系統(tǒng)、圖像捕捉系統(tǒng)、圖像采集與數(shù)字化、智能圖像處理模塊和運動控制模塊。隨著科技的進(jìn)步，機(jī)器視覺的發(fā)展速度也越來越快，國外的一些研發(fā)機(jī)構(gòu)都開發(fā)出了很多基于圖像處理的機(jī)器視覺系統(tǒng)軟件，例如MatroxImagingLibrary(MIL)、Halcon、Matlab以及開源庫OpenCV等。由于這些軟件在圖像上具有很強(qiáng)大的處理能力，所以已經(jīng)被廣泛的運用到實際的工業(yè)生產(chǎn)中了。目前，在機(jī)器視覺方面有兩類算法，分別為數(shù)字圖像處理算法和基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法。（1）基于數(shù)字圖像處理的方法，主要通過圖像處理等操作得到膠層的面積、質(zhì)心以及自定義的復(fù)雜度公式進(jìn)行對膠層的質(zhì)量判定。傳統(tǒng)的基于數(shù)字圖像處理的方法具有操作簡單，參數(shù)較少的優(yōu)勢，但也存在易受光照等客觀因素影響，膠層分割效果差、缺陷分類差、通用性較差等缺點。（2）隨著大數(shù)據(jù)時代的來臨，各類信息資源的輕易獲取使得深度學(xué)習(xí)的應(yīng)用也越來越廣泛。特別是在卷積神經(jīng)網(wǎng)絡(luò)中，圖片被深度卷積和池化之后，隱含層能夠表現(xiàn)出比手動獲取更加具有泛化性和抽象性的特征，從而在識別分類上取得了很好的效果。深度學(xué)習(xí)的出現(xiàn)為點膠缺陷的識別帶來了更大的可行性。但深度學(xué)習(xí)需要足夠多的訓(xùn)練數(shù)據(jù)和強(qiáng)大的計算能力，使得其在許多領(lǐng)域內(nèi)的落地和應(yīng)用受到了制約，而這也會直接影響到點缺陷膠的檢測效率。

二、點膠檢測系統(tǒng)的光學(xué)檢測方案在進(jìn)行點膠缺陷檢測的過程中，圖像信息的持續(xù)和穩(wěn)定獲取也是至關(guān)重要的一步，圖像的好壞對于算法的設(shè)計困難程度有著很大的影響，因此，在點膠缺陷檢測系統(tǒng)的設(shè)計過程中，需要對光學(xué)檢測時的硬件進(jìn)行選型。如圖2-1所示，考慮到膠條為透明膠，存在反光現(xiàn)象，所以要求光源在各個角度的光照程度較為均勻，而同軸光具有高密度排列，成像清晰，亮度均勻等特點。此外，在要求光照亮度均勻的同時，由于部分膠條中存在氣泡，而同軸光源距離膠條存在一定的距離，采集到的圖片無法觀察到氣泡特征，故考慮使用條形光源對膠條上方進(jìn)行照射，使得氣泡特征可見。由于垂直照射方式具有照射面積大、光照均勻性好等優(yōu)點，故同軸光源選擇垂直照射方式，而條形光源主要是為了對膠條進(jìn)行光照加強(qiáng)，同時為了不遮擋同軸光源，故選擇側(cè)面照射。

圖2-1三、點膠檢測系統(tǒng)的算法方案3.1點膠缺陷的類別定義在實際的點膠過程中，往往因為點膠量的大小、點膠壓力、針頭大小、膠水的粘度以及膠水溫度等因素，導(dǎo)致生產(chǎn)的膠條會存在各種各樣的缺陷，從而影響產(chǎn)品的質(zhì)量。工業(yè)生產(chǎn)中比較常見的幾種缺陷種類，其具體定義如下所示：(1)多膠：膠條中間部分寬度大于其他部分，如圖3-1a)所示；(2)少膠：膠條中間部分寬度小于其他部分，如圖3-1b)所示；(3)斷膠：膠條出現(xiàn)一次或多次的斷裂，如圖3-1c)所示；(4)扭曲：膠條整體存在多處彎曲現(xiàn)象，如圖3-1d)所示；(5)氣泡：膠條中含有數(shù)目較多的氣泡，如圖3-1e)所示；同時，在工業(yè)生產(chǎn)中符合生產(chǎn)要求的正常膠條如圖3-1f)所示。對于點膠缺陷檢測有兩點要求:(1)由于缺陷檢測的點膠圖像數(shù)量多，檢測需要的時間比較長，對檢測速度要求比較高;(2)點膠缺陷圖片受環(huán)境影響存在質(zhì)量上的不同，對于算法的準(zhǔn)確性以及魯棒性有很大的要求。3.2基于數(shù)字圖像處理的算法在對膠條進(jìn)行缺陷檢測之前，必須先得到膠條的圖片，而在實際的生產(chǎn)加工中，會將工件上的某塊區(qū)域作為Mark定位點，采用圖像匹配算法來尋找該Mark點的位置，從而得到膠條的具體位置，由此在工業(yè)攝像頭得到工件圖片后，無需對整幅圖片進(jìn)行缺陷分析，同時也去除了一些干擾區(qū)域，方便了視覺算法的后續(xù)處理。以下為針對點膠缺陷相應(yīng)的基于數(shù)字圖像處理的方法：(1)多膠少膠：對于膠條多膠少膠的缺陷檢測，首先對圖片進(jìn)行相應(yīng)的預(yù)處理操作，得到二值化圖像后進(jìn)行膠條兩側(cè)輪廓的獲取，對提取到的輪廓區(qū)域進(jìn)行水平和垂直方向的投影，通過計算像素值數(shù)量的最大值和最小值的差值以及像素值投影圖中曲線形狀來判斷是否存在缺陷和具體類型。(2)斷膠：對于膠條斷膠缺陷檢測，根據(jù)膠條斷裂圖片的特征，對圖片進(jìn)行預(yù)處理后先進(jìn)行閉運算，斷開膠條之間的細(xì)小連接，之后進(jìn)行輪廓的獲取，通過計算各個輪廓所包含的面積來作為判斷缺陷是否存在的標(biāo)準(zhǔn)。(3)扭曲：針對膠條扭曲缺陷檢測，通過計算尋找到的輪廓的凸缺陷的面積(即輪廓面積與其凸包面積的差值)來作為判斷是否存在扭曲缺陷的標(biāo)準(zhǔn)。(4)氣泡：檢測是否存在直徑和面積較大的氣泡。由于氣泡的特征是圓形，所以利用霍夫圓變換來檢測圖片中的圓形數(shù)量，同時計算其面積，通過對面積和數(shù)量進(jìn)行閾值設(shè)定，來判斷氣泡缺陷的存在。圖3-2深度學(xué)習(xí)檢測系統(tǒng)搭建流程·深度學(xué)習(xí)模型的選擇一般在利用深度學(xué)習(xí)算法進(jìn)行缺陷檢測時，首先要確定的是網(wǎng)絡(luò)模型。因為膠條種類分為6類，類別數(shù)量不是很多，故我們可選擇AlexNet、MobileNet以及Lenet-5、U-net等網(wǎng)絡(luò)深度不同的或者更優(yōu)質(zhì)的網(wǎng)絡(luò)模型。·訓(xùn)練方案改進(jìn)往往經(jīng)典網(wǎng)絡(luò)模型的準(zhǔn)確率不會特別高，并不能滿足我們的需求，所以我們需要對訓(xùn)練方法進(jìn)行改進(jìn)。通常通過數(shù)據(jù)增強(qiáng)、遷移學(xué)習(xí)以及改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)三個方面對模型進(jìn)行改進(jìn)。其中在實際生產(chǎn)中，一般在數(shù)據(jù)層上都有缺陷樣本圖片較少、缺陷樣本不均衡等等問題，而對模型進(jìn)行訓(xùn)練時，神經(jīng)網(wǎng)絡(luò)的參數(shù)數(shù)量又非常巨大，要想使得這些參數(shù)正常工作則需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練。在工業(yè)領(lǐng)域中，可以在人為制造缺陷、數(shù)據(jù)增廣、生成對抗網(wǎng)絡(luò)、遷移學(xué)習(xí)等手段解決相應(yīng)的訓(xùn)練數(shù)據(jù)問題。如圖3-3為深度學(xué)習(xí)數(shù)據(jù)支撐手段。在訓(xùn)練過程中進(jìn)行相應(yīng)微調(diào)是必不可少的。過擬合現(xiàn)象在深度學(xué)習(xí)中屢見不鮮，如果網(wǎng)絡(luò)模型出現(xiàn)此類問題，那么該網(wǎng)絡(luò)就無法正常使用，為了解決這個問題，一般會使用模型集成的方法，即訓(xùn)練多個模型進(jìn)行組合。但是由于模型數(shù)量的增多，無論是訓(xùn)練過程還是測試過程，都會帶來時間的浪費。由Hinton提出的dropout，在網(wǎng)絡(luò)訓(xùn)練過程中，對網(wǎng)絡(luò)層中的參數(shù)以一定概率進(jìn)行歸零操作，每一次訓(xùn)練都可以看作是在訓(xùn)練不同的神經(jīng)網(wǎng)絡(luò)，所以dropout相當(dāng)于是對多個網(wǎng)絡(luò)取平均，同時減少了神經(jīng)元之間的復(fù)雜共適應(yīng)性，可以有效地抑制過擬合現(xiàn)象。當(dāng)然實際訓(xùn)練過程中，網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)方式有很多，沒有最優(yōu)的模型，只有符合要求更優(yōu)的模型。四、結(jié)論在實際的點膠過程中，由于多種因素的影響容易出現(xiàn)各種缺陷，因此在對膠條進(jìn)行缺陷檢測時，更多的是采用機(jī)器視覺的方法，從而達(dá)到提高生產(chǎn)效率和降低成本的目的，進(jìn)而使得產(chǎn)品更加具有競爭力。目前，在機(jī)器視覺方面有兩類算法，分別為數(shù)字圖像處理算法和基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法。針對基于數(shù)字圖像處理的視覺算法，在簡單的缺陷檢測方面成本較低，速度和精度也能夠達(dá)到要求，但是在算法層面缺少通用性，對于每一種缺陷都要設(shè)計特定的算法進(jìn)行檢測。深度學(xué)習(xí)算法相對圖像處理算法在處理新