AOI檢測基本原理與設(shè)備構(gòu)成

一，引言：

AOI檢測技術(shù)應運而生的背景是電子元件集成度與精細化程度高，檢測速度與效率更高，檢測零缺陷的發(fā)展需求。AOI檢測的最大優(yōu)點是節(jié)省人力，降低成本，提高生產(chǎn)效率，統(tǒng)一檢測標準和排除人為因素干擾，保證了檢測結(jié)果的穩(wěn)定性，可重復性和準確性，及時發(fā)現(xiàn)產(chǎn)品的不良，確保出貨質(zhì)量。在人工智能技術(shù)與大數(shù)據(jù)發(fā)展進步的今天，AOI檢測不僅僅是一部檢測設(shè)備，對大量不良結(jié)果進行分類和統(tǒng)計，可以發(fā)現(xiàn)不良發(fā)生的原因，在工藝改善和生產(chǎn)良率提升中也正逐步發(fā)揮著更重要的作用，因此，可以預期未來AOI檢測技術(shù)將在半導體與電子電路檢測中將會發(fā)揮越來越重要的作用。二，AOI檢測基本原理與設(shè)備構(gòu)成：AOI檢測原理是采用攝像技術(shù)將被檢測物體的反射光強以定量化的灰階值輸出，通過與標準圖像的灰階值進行比較，分析判定缺陷并進行分類的過程。與人工檢查做一個形象的比喻，AOI采用的普通LED或特殊光源相當于人工檢查時的自然光，AOI采用的光學傳感器和光學透鏡相當于人眼，AOI的圖像處理與分析系統(tǒng)就相當于人腦，即“看”與“判”兩個環(huán)節(jié)。因此，AOI檢測的工作邏輯可以簡單地分為圖像采集階段（光學掃描和數(shù)據(jù)收集），數(shù)據(jù)處理階段（數(shù)據(jù)分類與轉(zhuǎn)換），圖像分析段（特征提取與模板比對）和缺陷報告階段四個階段（缺陷大小類型分類等）。為了支持和實現(xiàn)AOI檢測的上述四個功能，AOI設(shè)備的硬件系統(tǒng)也就包括工作平臺，成像系統(tǒng)，圖像處理系統(tǒng)和電氣系統(tǒng)四個部分，是一個集成了機械，自動化，光學和軟件等多學科的自動化設(shè)備。（1）圖像采集階段（光學掃描和數(shù)據(jù)收集）AOI的圖像采集系統(tǒng)主要包括光電轉(zhuǎn)化攝影系統(tǒng)，照明系統(tǒng)和控制系統(tǒng)三個部分。因為攝影得到的圖像被用于與模板做對比，所以獲取的圖像信息準確性對于檢測結(jié)果非常重要，可以想象一下，如果圖像采集器看不清楚或看不到被檢測物體的特征點，那么也就無法談到準確的檢出。下面我們對光電轉(zhuǎn)化攝影系統(tǒng)，照明系統(tǒng)和控制系統(tǒng)三個部分逐一分析介紹。首先，光電轉(zhuǎn)化攝影系統(tǒng)指的是光電二極管器件和與之搭配的成像系統(tǒng)。是獲得圖像的”眼睛”,原理都是光電二極管接受到被檢測物體反射的光線，光能轉(zhuǎn)化產(chǎn)生電荷，轉(zhuǎn)化后的電荷被光電傳感器中的電子元件收集，傳輸形成電壓模擬信號。二極管吸收光線強度不同時生成的模擬電壓大小不同，依次輸出模擬電壓值被轉(zhuǎn)化為數(shù)字灰階0-255值，灰階值反映了物體反射光的強弱，進而實現(xiàn)識別不同被檢測物體的目的。光電轉(zhuǎn)化器可以分為CCD（chargeCouplingdiode）和CMOS（complementarymetaloxidesemiconductor）兩種。因為制作工藝與設(shè)計不同，CCD與CMOS傳感器工作原理主要表現(xiàn)為數(shù)字電荷傳送的方式的不同，工作原理如下圖所示，CCD采用硅基半導體加工工藝，并設(shè)置了垂直和水平移位寄存器，電極所產(chǎn)生的電場推動電荷鏈接方式傳輸?shù)街醒肽?shù)轉(zhuǎn)換器。這樣的結(jié)構(gòu)與設(shè)計很難集成很多的感光單元，制造成本高且功耗大；而CMOS采用無機半導體加工工藝，每像素設(shè)計了額外的電子電路，每個像素都可以被定位，而無需CCD中那樣的電荷移位設(shè)計，對圖像信息的讀取速度遠遠高于CCD芯片，因光暈和拖尾等過度曝光而產(chǎn)生的非自然現(xiàn)象的發(fā)生頻率要低得多，價格和功耗比CCD光電轉(zhuǎn)化器也低，但其缺點是半導體工藝制作的像素單元缺陷多，靈敏度會有一些問題，同時，為每個像素電子電路提供所需的額外空間不會作為光敏區(qū)域。芯片表面上的光敏區(qū)域部分（定義為填充因子）小于CCD芯片。從理論上講，這個原因?qū)е驴梢允占膱D像信息光子數(shù)會有所減少，所以，CMOS光電轉(zhuǎn)化元件一般需要搭配高亮度光源，噪音也比較大。不論CCD還是CMOS結(jié)構(gòu)，一個光電轉(zhuǎn)化器單元即為一個像素點，若干個光電轉(zhuǎn)化器以行列的方式進行排列形成矩陣就構(gòu)成了圖像傳感器。衡量圖像傳感器性能主要是有解析度，尺寸或面積，靈敏度，信噪比等，其中解析度與尺寸是最重要的指標。圖像傳感器拍攝被檢測物體畫面時，光電轉(zhuǎn)化器的尺寸越小像素密度越小就可以將物體“看”得更細致。因此，理論上光電轉(zhuǎn)化器件的像素數(shù)量應該越多越好。但像素數(shù)量的增加會提高制造成本和導致成品率下降。因此，將光學透鏡與光電轉(zhuǎn)化器件結(jié)合在一起，可以將微小的被檢測物體放大成像在光電轉(zhuǎn)化器件上，也可以實現(xiàn)高解析度檢測效果，所以，實際AOI檢測設(shè)備會根據(jù)客戶的需求進行配置。近年來，CMOS制作工藝的半導體技術(shù)化，加上其快的掃描和圖像傳輸速度優(yōu)勢，CMOS面掃描圖像傳感器也開始被采用在工業(yè)級AOI檢測設(shè)備中，

逐步形成了線掃描CCD圖像傳感器和CMOS面掃描圖像傳感器兩種主流技術(shù)。下圖例為線掃面圖像傳感器工作例：線掃描圖像傳感器的掃描寬度方向只有一個像素，通過移動來獲得圖像，沒有自身放大電路且噪音小，所有一般解析度比較好。被檢測物體的同一位置信號在掃描過程中會被多次收集，光電轉(zhuǎn)化后的信號累加輸出，所以即使其中一個光電傳感器出現(xiàn)問題也不影響檢查結(jié)果，但缺點是要求平臺的運動精度非常高，采集區(qū)域要準確。面掃描圖像采集器CMOS的每一個光電二極管都可以獨立輸出電壓信號，因此，輸出速度非?？?，節(jié)省了工作時間，因此，對運動平臺的移動精度要求沒有線掃描那么嚴格，但缺點是信號沒有了積分過程，要求被檢測物體反射光要足夠強，感光二極管出現(xiàn)問題后會造成假點和誤判，信號的噪音也會相應增強。

近年來，平板顯示行業(yè)的玻璃基板尺寸不斷增加和工藝節(jié)拍不斷縮短，對自動光學檢測設(shè)備的檢測速度（TACTtime）提出了更高的要求。以色列奧寶科技利用了CMOS圖像傳感器極高的圖像信息獨區(qū)和處理速度優(yōu)勢，基于對CMOS圖像傳感器的深刻理解基礎(chǔ)上，客制化的開發(fā)了數(shù)據(jù)傳輸與幀頻速度高的面陣相機，并系統(tǒng)解決了面陣CMOS傳感器，光源以及同步性等系統(tǒng)問題，成功開發(fā)了基于面陣CMOS圖像傳感器的AOI檢測系統(tǒng)，在保證產(chǎn)業(yè)要求的工藝節(jié)拍同時，克服了CMOS圖像傳感器填充因子小和信噪比偏高先天劣勢，檢測能力及各項指標都得到了行業(yè)內(nèi)的認可。除光電傳感器外，AOI圖像采集過程中照明系統(tǒng)也非常重要，選擇最佳光源目的是保證被檢測物體的特征區(qū)別于其他背景，涉及到光源的光譜特性，光源顏色，色溫特性。高效率長壽命，高亮度且均勻的光源是必須考慮的參數(shù)，高亮度均勻性好的光源可以提高信噪比，而長壽命高效率則可以提高設(shè)備的穩(wěn)定性，降低工作負荷。照明光源按照波長分類可以分為可見波長光源，特殊波長光源。可見波長光源也就是一般現(xiàn)代工業(yè)AOI檢測設(shè)備中最常用的紅綠藍LED光源。特殊波長光源一般是指紅外或紫外波長光源，一些特殊材料在可見光范圍內(nèi)吸收差別不大，灰階變化不明顯時可以考慮采用特殊波長光源，比如說利用紫外光能量高可以激發(fā)熒光材料的原理，檢測具有熒光發(fā)光特性物質(zhì)微殘留時紫外光源就是一種比較有效的手段，因材料成分與紅外光譜有對應關(guān)系的原理，紅外光源對不具有發(fā)光性質(zhì)的有機化合物殘留缺陷檢出就有很大的作用，甚至可以實現(xiàn)成分分析。特殊光源中，利用偏振光與物體相互作用后偏振態(tài)的變化，利用光學干涉原理的白光干涉（whitelightinterferometry）在特定缺陷檢測中的得到了應用，例如通過相干光的干涉圖案計算出對應的相位差和光程差，可以測量出被測物體與參考物體之間的差異，且分辨率與精度為可以達到亞波長，測量三維物體形貌與高度也正成為AOI檢測的新需求。（下圖為側(cè)光源與同軸光源實例）除波長參數(shù)外，光源的入射角度也是提高檢出的重要參數(shù)。根據(jù)光源入射角度的不同分為同軸光源，側(cè)光和背光三種，選擇某種角度的光源是由光在被檢測物體表面散射特性的差異最大化來決定的。同軸光源的燈源排列密度高，亮度高且均勻，能夠凸顯物體表面不平整，克服表面反光造成的干擾，主要用于檢測物體平整光滑表面的碰傷、劃傷、裂紋和異物。

同軸光基本是紅、綠、藍三色光源，也可以是不同波長光源的任意組合。側(cè)光源與同軸光源的平行照射理念正好相反，低角度光源從很小的角度將光線直接照射到被檢測物體上。由于光的方向幾乎與物體表面平行，物體表面高度的任何變化都會改變反射光到光電傳感器的光路，從而突出變化，適合有一定高度的缺陷物檢出。側(cè)光源的角度與高度變化時，有一定高度的被檢出物體的強反射面（陽面）和弱反射面（陰面）的角度和反射光強度都會有變化。為檢出結(jié)果的判定提供了豐富的信息。背光源的原理則是利用被檢測物體中不同部分光透過率差異實現(xiàn)檢出的方法，硬件上與其他光源的擺放位置不同，光源不與光電傳感器同側(cè)，而是置于光電傳感器的對面，接受被檢測物體透過光的強弱，適合被檢測物體中有缺失部分檢出。基于對平板顯示工藝的深入理解，以色列奧寶科利用CMOS掃描幀頻快的特點，將上述不同光源類型，強度與待檢測面板的材料進行有針對性考察，在不增加工作節(jié)拍的同時進行多種掃描條件的交叉確認，實現(xiàn)了極低的誤檢出，極高的檢測精度和準確率。AOI圖像采集的最后一個關(guān)鍵步驟是控制系統(tǒng)，光電傳感器的FOV（視窗）有限，物體高速運動中準確地抓拍到清晰的圖像，軟硬件協(xié)調(diào)動作非常重要，如下圖所示，當圖像傳感器與機臺移動速度不匹配時造成圖像的拉伸，收縮等變形，所以，載物移動平臺XY方向移動與圖像采集光電傳感器的同步移動影響到數(shù)據(jù)的準確，要在固定光照，等間距下拍攝一幅清晰的圖像，高精度的導軌，電機和運動控制程序是非常必要的。（2）數(shù)據(jù)處理階段（數(shù)據(jù)分類與轉(zhuǎn)換）數(shù)據(jù)處理階段是圖像的預處理階段，是采集圖像的加工處理過程，為圖像比對提供準確可靠的圖片信息，主要包含了背景噪音減少，圖像增強和銳化等過程。圖像背景噪音減小一般為圖像的低通濾波平滑法，圖像增強和銳化則是提高被檢測特征的對比度，突出圖像中需要關(guān)注的特征，忽略不需要關(guān)注的部分，方法是圖像二值化處理，經(jīng)過二值化處理的圖像數(shù)據(jù)量明顯減少，能凸顯出需要關(guān)注的輪廓。首先濾波的定義是將信號中特定波段頻率濾除的操作，是抑制和防止干擾的一項重要措施。在AOI檢測中，噪聲是造成圖像退化的因素之一，起因是AOI圖像獲取，傳輸過程中，外界雜散光，光電二極管電子噪聲及溫度，光源的不穩(wěn)定不均勻，機械系統(tǒng)的抖動，傳感器溫度等原因?qū)е?，不可避免的使得圖像因含有噪音而變得模糊。給圖像識別，圖像切割等后續(xù)處理工作帶來了困難。因此，為了獲得真實的圖像信息，除去噪聲的濾波處理必不可少。濾波的過程簡單說就是圖像平滑技術(shù)，空域濾波與頻域濾波是濾波經(jīng)常采用的方法。具體講空域濾波是一種鄰域處理方法，通過直接在圖像空間中對鄰域內(nèi)像素進行處理，達到平滑或銳化，圖像空間中增強圖像的某些特征或者減弱圖像的某些特征。頻域濾波指的是允許或者限制一定的頻率成分通過。在數(shù)字圖像處理中，線性濾波通常是利用濾波模板與圖像的空域進行卷積來實現(xiàn)。濾波的方法很多，要達到好的使用效果和目的，必須對圖像中的噪音類型有所了解，才能做到有的放矢?？沼驗V波中鄰域處理平滑的具體方法有均值，中值和K領(lǐng)域均值三種，合理性各有利弊。

均值濾波是采用鄰域平均法，基本思想是對一個像素和他臨近區(qū)域的全體像素取平均值，然后把這個計算出來的均值賦予給輸出的圖像的相應像素，實現(xiàn)圖像的平滑處理。屬于線性濾波。

中值濾波是把一個像素點鄰域窗口內(nèi)的所有像素點灰階值的中間值作為該像素點的灰階值，是基于排序統(tǒng)計理論的信號處理技術(shù)，對于隨機噪聲處理能力好，屬于典型的非線性濾波技術(shù)。K鄰域均值濾波技術(shù)是結(jié)合了中間值濾波和均值濾波的特點，主要思想是在待處理像素點鄰域內(nèi)，找到一像素灰階值最接近的K個像素點，計算這K個像素點灰階均值來代替原像素點的灰階值，對于孤立不規(guī)則的像素點起到很好的濾波作用。圖像的平滑除了在空間域中進行外，也可以在頻率域中進行。頻域濾波簡單說就是在頻域里，采用簡單平均法求頻譜的直流分量?？梢詷?gòu)造一個低通濾波器，使低頻分量順利通過而有效地阻于高頻分量，再經(jīng)過反變換來取得平滑的圖像。頻域濾波可以分為高斯濾波，巴特沃斯濾波，梯形濾波等。由于噪聲主要集中在高頻部分，阻擋高頻率噪聲處理后就可達到平滑圖像的目的。除圖像平滑處理外，圖像增強處理也是圖像預處理的常用方法，分為頻域和空域兩種。頻域增強是在圖像的變換域上對圖像進行運算，然后再將計算后的圖像進行逆向變換轉(zhuǎn)到空間域?？沼蛟鰪妱t是直接在空域?qū)D像的像素進行運算處理，常見的是直方圖處理和灰階變化?？沼蛟鰪姷姆椒ㄖ饕侵狈綀D法，還有差影法和灰度變化法。圖像直方圖（HE，HistogramEqualization）指圖像中任意一個像素分布在某灰階等級上的概率密度，反映出各個灰階的分布概率，是一種經(jīng)典的統(tǒng)計性質(zhì)的圖像增強處理法，用于增強動態(tài)范圍偏小的圖像反差，圖像整體對比度得到明顯增強。當選取合適的閾值做削波處理后，將有圖像傳感器產(chǎn)生的灰階圖像中低于該灰階的部分與高于該灰階的部分做絕對黑白灰階處理，對比度得到大大增強，有利于缺陷的觀察與判定。合適閾值消波是根據(jù)不同應用場合有不同的閾值取值方法。二值化是最簡單的處理方法，就是包像素點的灰階值定義為0和255兩種極端值，這樣就可以讓整個圖像有突出的黑白效果，給圖像設(shè)定適當?shù)拈撝担?jīng)過二值化處理后的圖像數(shù)據(jù)量明顯變少。此外還有全局閾值法，最小偏態(tài)法和自適應閾值等，全局閾值法是根據(jù)整個圖像的灰階值范圍來決定，就是取灰階平均值閾值作為唯一的閾值進行二值化處理，有時取整個圖像的灰階值的直方圖，進而確定合適的閾值，一般情況下選擇兩個波峰之間的波谷最低位置作為圖像二值化處理的閾值。關(guān)于最小偏態(tài)法，是隨機樣本的數(shù)據(jù)平均值是樣品的一階統(tǒng)計距，衡量數(shù)據(jù)的平均值，樣本的方差是樣本的二階統(tǒng)計中心距，用來衡量數(shù)據(jù)的離散程度，偏態(tài)是樣本的三階統(tǒng)計距，用來衡量數(shù)據(jù)的正太分布。當閾值取得合理時，被閾值劃分后的背景與物體的灰階值分布就會最接近正太分布。自適應閾值分割法，是加入了學習的方法，能夠根據(jù)圖像的不同，選擇最優(yōu)化的閾值。直方圖細分為直方圖拉伸法和直方圖均衡法，直方圖拉伸法是通過對比度拉伸來調(diào)整直方圖，進而增強前后景物的灰階差實現(xiàn)增強效果；直方圖均衡法是領(lǐng)用累積函數(shù)來修正灰階值從而達到對比度增強的目的。直方圖某種意思上也是圖像分割的手段。直方圖增強屬于間接對比度增強方法。差影處理法是將圖像的背景去除來強化圖像中新增加元素的差影處理手段。將標準圖像部分與檢測圖像部分做差影處理，通過設(shè)定臨界閾值也可以將圖像中的缺陷部分找尋出來，是直方圖二值化的另外一種表現(xiàn)形式

屬于直接對比增強方法?；叶茸儞Q法，灰階變化是解決過度曝光或曝光不足而導致圖像的灰階值分布不均勻的問題，通過灰度變換包圖像的灰度再一次均勻化來達到圖像增強對比的效果，擴大了動態(tài)灰階范圍，突出圖像的特征。圖像銳化處理是指補償不清楚圖像的輪廓，增強灰階跳變的部分和圖像的邊緣，

因為圖像平滑處理的同時也會破壞圖像的邊界輪廓，使得邊界變得模糊。圖像平滑的過程是一個積分或平均值的計算，因此，銳化就是其反方向的微分運算，具體方法有拉普拉斯算子，微分算子和Sobel算子。

拉普拉斯算子是歐幾里得空間的一個二階微分算子，表示為梯度的散度，在圖像處理中被用于線性銳化濾波器使用。微分算子的物理意義，微分標識一個物理量的變化快慢，圖像處理中微分預算的值愈大說明區(qū)域灰階值的變化與快，邊緣就會越突出。Sobel算子會產(chǎn)生一個相應的梯度矢量，包含了兩組3X3的矩陣，橫向與縱向。邊緣模糊是圖像中的高頻分量被衰減，所以，采用高通濾波方法就可以讓圖像邊緣清楚化。關(guān)于頻域增強方法是通過改變圖像中不同頻率分量來實現(xiàn)的，不同的濾波器濾除的頻率和保留的保留的頻率不同，可獲得不同的增強效果，其方法步驟分為先將圖像從圖像空間轉(zhuǎn)換到頻域空間，如傅里葉變化，然后在頻域空間對圖像增強，如玉頻率濾波器相乘，

最后增強后的圖像再從頻域空間轉(zhuǎn)化到圖像空間，做傅里葉的反變換。（3）圖像分析段（特征提取與模板比對）圖像分析階段就是將圖像中包含的邊，角和區(qū)域等擁有獨有屬性的特征，使用數(shù)學手段通過編程實現(xiàn)圖像屬性的量化表達。進而進行圖像的分割后比對完成分析處理。邊緣的表現(xiàn)形式是組成兩個圖像區(qū)域之間邊界（或邊緣）的像素。

表現(xiàn)為局部一維結(jié)構(gòu)。實踐中邊緣一般被定義為圖像中擁有大的梯度的點組成的子集，可以認為灰階相同點的集合。角是圖像中點的特征，在局部它有兩維結(jié)構(gòu)，現(xiàn)在的主流算法是直接在圖像梯度中尋找高度曲率，可以在圖像中本來沒有角的地方發(fā)現(xiàn)具有同角一樣的特征的區(qū)域。區(qū)域的表現(xiàn)形式是面形式的區(qū)域結(jié)構(gòu)，區(qū)域的大小可能僅由一個像素組成，也可能是一個比較多的像素組成的面，如果面積比較大，則體現(xiàn)的形式即是灰階值相同的區(qū)域。特征提取的方法主要是HOG，LBP和HAAR三種主要手段，HOG（HistogramofOrientedGradient）方向梯度直方分布圖，它的大致做法是將歸一化的圖像分割為若干小塊，再在每一小塊內(nèi)進行亮度梯度的直方統(tǒng)計，最后將所有區(qū)塊的亮度梯度的直方統(tǒng)計串聯(lián)起來，就構(gòu)成圖像的HOG特征；LBP（LocalBinaryPatterns）即局部二值模式，它通過遍歷圖像，將每一個像素點周圍的像素與其相比較，比較值大于等于為1，比較值小于為0，得出四周的二值將這些二值連起來得到一個二進制的數(shù)，轉(zhuǎn)換為10進制之后變?yōu)樵撓袼氐腖BP值，所以LBP特征維度大小是和原圖一樣大的（邊緣部分會做特殊處理）。

Haar特征起初是用于人臉表示。它包括了三類特征邊緣特征的線性，中心和對角線特征，組合成特征模板。特征模板內(nèi)有白色和黑色兩種矩形，該模板的特征值為白色矩形像素和減去黑色矩形像素和。Haar特征值反映了圖像的灰度變化情況。圖像分割主要有兩種方法：一是鑒于度量空間的灰度閾值分割法。它是根據(jù)圖像灰度直方圖來決定圖像空間域像素聚類，但它只利用了圖像灰度特征，并沒有利用圖像中的其它有用信息，使得分割結(jié)果對噪聲十分敏感。二是空間域區(qū)域增長分割方法。它是對在某種意義上如灰度級、組織、梯度等具有相似性質(zhì)的像素連通集構(gòu)成分割區(qū)域。該方法有很好的分割效果，但缺點是運算復雜，處理速度慢。其它的方法還有如邊緣追蹤法、錐體圖像數(shù)據(jù)結(jié)構(gòu)法、標記松弛迭代法、基于知識的分割方法等等。

特征提取后進入圖像分析階段的邏輯比較階段，主要包含了模板匹配和模式分析二個方面。模板匹配就是先設(shè)定已知模板，已知模板是AOI檢測中沒有缺陷的實物影像或最小重復單元影像，通常情況下PCBAOI檢測中以實物影像為已知模板，F(xiàn)PDAOI檢測中則是最小重復單