基于差異區(qū)域邊界的pcb缺陷檢測(cè)與識(shí)別算法

基于差異區(qū)域邊界的pcb缺陷檢測(cè)與識(shí)別算法

0pcb檢測(cè)算法近年來，我國pc產(chǎn)業(yè)快速發(fā)展。2009年國內(nèi)pc產(chǎn)量為143.7億元，占全球pc產(chǎn)量的35.1%。它是pc生產(chǎn)的第一個(gè)大國。PCB結(jié)構(gòu)復(fù)雜,生產(chǎn)工序繁多,不可避免地存在斷路、短路、缺損、毛刺等缺陷。為保證質(zhì)量,在PCB生產(chǎn)過程中必須對(duì)PCB裸板進(jìn)行缺陷檢測(cè),將不合格的PCB裸板剔除出生產(chǎn)流水線。目前國內(nèi)企業(yè)仍在采用傳統(tǒng)的人工目測(cè)、電子檢測(cè)等方法,這些方法存在效率低、容易漏檢、無法檢測(cè)高精度PCB、接觸檢測(cè)易損傷PCB等諸多缺點(diǎn),已不能滿足PCB高效率、高精度、高性能的生產(chǎn)需求。自動(dòng)光學(xué)檢測(cè)(AOI)具有穩(wěn)定可靠、高精度、高效率和非接觸的優(yōu)點(diǎn),已成為PCB檢測(cè)的重要發(fā)展方向,其中機(jī)器視覺檢測(cè)算法是其關(guān)鍵技術(shù)。國內(nèi)外學(xué)者對(duì)此提出了不少算法,可歸納為以下3類:參考法、基于設(shè)計(jì)準(zhǔn)則法、混合法。參考法是對(duì)比待測(cè)PCB和標(biāo)準(zhǔn)PCB,差異區(qū)域則為缺陷,常見算法是通過差影計(jì)算、異或計(jì)算識(shí)別缺陷,通過統(tǒng)計(jì)相關(guān)區(qū)域連通域個(gè)數(shù)、連通域面積識(shí)別缺陷類型。基于設(shè)計(jì)準(zhǔn)則法是通過檢測(cè)待測(cè)PCB是否滿足預(yù)先定義的設(shè)計(jì)準(zhǔn)則來檢測(cè)缺陷。混合法是將兩者結(jié)合起來檢測(cè)PCB缺陷。本文基于機(jī)器視覺檢測(cè)技術(shù),針對(duì)PCB裸板設(shè)計(jì)一套在線缺陷檢測(cè)系統(tǒng)。在同一位置對(duì)標(biāo)準(zhǔn)PCB采集多幅圖像并計(jì)算其灰度平均值獲取標(biāo)準(zhǔn)圖,然后將待測(cè)PCB圖與其進(jìn)行對(duì)比。采用改進(jìn)的Hough變換快速提取特征點(diǎn)進(jìn)行仿射變換配準(zhǔn)。提出通過分析缺陷區(qū)域輪廓與覆銅區(qū)、背景區(qū)鄰域關(guān)系,并結(jié)合缺陷屬于缺料缺陷或多料缺陷來識(shí)別缺陷類型的方法。1裸面檢測(cè)系統(tǒng)1.1圖像采集系統(tǒng)工作流程圖1所示檢測(cè)系統(tǒng)主要硬件結(jié)構(gòu)如下:光源模塊、圖像采集模塊、機(jī)械裝置、工業(yè)控制計(jì)算機(jī)(以下簡稱工控機(jī))。其中,圖像采集模塊包括CCD攝像機(jī)、圖像采集卡;機(jī)械裝置包括工作臺(tái)、上料裝置、分離裝置及其運(yùn)動(dòng)控制器。所有模塊的動(dòng)作都由工控機(jī)控制。圖2為待測(cè)PCB裸板全局圖像,由48個(gè)相同圓形PCB圖案組成,其大小為340mm×250mm。一次無法完成全局圖像采集,故采用4臺(tái)攝像機(jī)對(duì)全局圖像對(duì)稱地分4塊采集。檢測(cè)系統(tǒng)工作流程如下:上料裝置接收到工控機(jī)發(fā)出的信號(hào)后,將上道工序加工完成的PCB裸板放置到工作臺(tái)上,并對(duì)其進(jìn)行固定;工控機(jī)開啟光源系統(tǒng),4臺(tái)CCD攝像機(jī)完成對(duì)待測(cè)PCB圖像的采集,經(jīng)圖像采集卡傳輸給工控機(jī);工控機(jī)對(duì)PCB圖像進(jìn)行處理,識(shí)別缺陷并顯示結(jié)果;對(duì)于有缺陷的PCB,通過分離裝置將其分離出生產(chǎn)流水線,合格的PCB繼續(xù)進(jìn)入下一道工序。其中,PCB裸板圖像由48個(gè)圓形PCB圖案組成,工控機(jī)控制4臺(tái)攝像機(jī)采集4幅局部圖像,其中一幅局部圖像如圖3所示。每幅圖像包括12個(gè)圓形PCB圖案,4幅局部圖像位置索引依次標(biāo)記為P1、P2、P3、P4;將P1、P2、P3、P4分別與標(biāo)準(zhǔn)PCB相應(yīng)位置圖案進(jìn)行對(duì)比,識(shí)別缺陷類型及其坐標(biāo)位置;最后輸出缺陷所在局部圖像位置索引、缺陷類型、缺陷在局部圖形中的坐標(biāo)位置。1.2熒光照明方式的選擇考慮到PCB裸板的覆銅區(qū)和基板區(qū)顏色差異不大,且覆銅區(qū)表面平整,容易形成鏡面反射,使用正面照明采集到的圖像容易失真,覆銅區(qū)與基板區(qū)區(qū)分難度大,又由于PCB厚度較小,且基板材料有一定的透光性,而覆銅區(qū)的透光性相對(duì)較差,因此選用背光照明方式更為合適。選擇性價(jià)比較高的LED平板燈,并在其上放置透光毛玻璃作為漫射板,組成漫射背光照明裝置,放置在工作臺(tái)的下方。采集到的PCB圖像中基板區(qū)與覆銅區(qū)有較大的灰度差異,有利于目標(biāo)區(qū)域的提取。圖4a、圖4b所示分別為采用背光照明和正面照明采集到的圖像截取的同一位置一塊圓形圖案。1.3圖像標(biāo)準(zhǔn)圖的獲取參考對(duì)比法缺陷檢測(cè)要求,同一規(guī)格產(chǎn)品中至少有一幅通過人工事先挑選的標(biāo)準(zhǔn)PCB圖和待測(cè)圖進(jìn)行比較。由于PCB圖像采集時(shí)受光照、相機(jī)抖動(dòng)等各種因素的影響,采集到的標(biāo)準(zhǔn)圖像也不完全相同,為了讓標(biāo)準(zhǔn)圖像有更好的容錯(cuò)性,同時(shí)也為了使標(biāo)準(zhǔn)PCB圖像包含最大化的基準(zhǔn)特征,采用多幅標(biāo)準(zhǔn)圖像平均法獲取標(biāo)準(zhǔn)圖。將標(biāo)準(zhǔn)PCB放置于同一位置,按照上文所述,分4塊分別進(jìn)行多次圖像采集并計(jì)算其灰度平均值,得到4幅標(biāo)準(zhǔn)PCB圖像。2不穩(wěn)定因素影響由于圖像采集過程中受待測(cè)PCB位置誤差、工作臺(tái)及相機(jī)抖動(dòng)等不穩(wěn)定因素影響,待測(cè)圖和標(biāo)準(zhǔn)圖在空間上不可能完全對(duì)齊。檢測(cè)前必須對(duì)標(biāo)準(zhǔn)PCB圖與待測(cè)PCB圖進(jìn)行精確配準(zhǔn),才能準(zhǔn)確進(jìn)行對(duì)比并識(shí)別缺陷。2.1圖像配準(zhǔn)的數(shù)學(xué)模型圖像配準(zhǔn)通常被定義為兩幅圖像在空間和灰度上的映射,分別用二維矩陣I1和I2表示兩幅圖像,I1為參考圖像,I2為待配準(zhǔn)圖像,I1(x,y)和I2(x,y)分別表示相應(yīng)位置(x,y)上的灰度值,則圖像配準(zhǔn)的數(shù)學(xué)模型可表示為其中,f表示二維空間坐標(biāo)變換,g表示一維灰度變換。PCB圖像灰度的細(xì)微差異對(duì)檢測(cè)結(jié)果幾乎無影響,檢測(cè)考察的重點(diǎn)是圖像輪廓形狀。因此,配準(zhǔn)可簡化為尋找能夠在空間正確匹配兩幅PCB圖像的幾何變換模型。鑒于PCB圖像以規(guī)則的線條、圓盤形狀為主,采用相對(duì)簡單且變換前后直線仍映射為直線、直線保持平行關(guān)系的二維仿射變換,其變換公式為其中,x和y是變換前的像素坐標(biāo)值,x′和y′是變換后的像素坐標(biāo)值。計(jì)算3組以上標(biāo)準(zhǔn)PCB與待測(cè)PCB特征點(diǎn)坐標(biāo),代入式(2)即可求出變換參數(shù)矩陣然后可通過仿射變換對(duì)待配準(zhǔn)PCB圖像進(jìn)行平移、旋轉(zhuǎn)、縮放,實(shí)現(xiàn)與標(biāo)準(zhǔn)PCB圖的精確配準(zhǔn)。2.2holl3直線檢測(cè)PCB圖像中用于定位的標(biāo)志線對(duì)稱分布在6塊局部區(qū)域(圖3中矩形區(qū)域)。每塊局部區(qū)域有幾條相互垂直的細(xì)短標(biāo)志線,將標(biāo)志線交點(diǎn)作為配準(zhǔn)特征點(diǎn),選取分別包含標(biāo)志線的6塊局部區(qū)域作為目標(biāo)區(qū)域。對(duì)100幅相同類型的PCB圖進(jìn)行驗(yàn)證,其標(biāo)志線均在這6塊目標(biāo)區(qū)域之內(nèi)。圖5a為其中一塊目標(biāo)區(qū)域。對(duì)6塊目標(biāo)區(qū)域分別進(jìn)行二值化處理,然后采用限定區(qū)域Hough變換峰值檢測(cè)獲取直線方程。二值圖像可以進(jìn)行一種從直角坐標(biāo)系(x,y)到極坐標(biāo)系(θ,ρ)的映射變換,這一過程稱為Hough變換,變換公式如下:直線檢測(cè)前設(shè)定區(qū)域,便可有效地控制檢測(cè)范圍,減少運(yùn)算量,快速獲取直線方程。PCB標(biāo)志線均為水平線或豎直線,PCB圖標(biāo)志線與水平或豎直方向的夾角在一個(gè)較小范圍內(nèi),分析100組標(biāo)志線的夾角,結(jié)果均未超過5°。因此,將夾角限制在10°內(nèi)進(jìn)行Hough變換,必然不會(huì)遺漏任何直線,即將θ限制在[-90°,-80°]∪[-10°,10°]∪[80°,90°]區(qū)間內(nèi)。原始檢測(cè)得到的峰值矩陣長度大大減小,從而減小了運(yùn)算量,提高了運(yùn)算效率。對(duì)圖5a所示的目標(biāo)區(qū)域進(jìn)行直線檢測(cè)的結(jié)果如圖5b所示,聯(lián)立4條直線方程即可獲取L0與L1、L2、L3的交點(diǎn)在該局部區(qū)域的坐標(biāo),通過坐標(biāo)變換即可計(jì)算出標(biāo)志線交點(diǎn)在全局圖像中的坐標(biāo)位置。同理可獲取其余5個(gè)目標(biāo)區(qū)域中特征點(diǎn)坐標(biāo)。采用該方法獲取以下一組仿射參數(shù):3缺陷檢測(cè)3.1去除偽缺陷處理PCB缺陷檢測(cè)的主要過程如圖6所示,圖6a、圖6b分別為截取的一個(gè)圓形PCB圖案的標(biāo)準(zhǔn)圖與待測(cè)圖,采用上文所述配準(zhǔn)方法計(jì)算得到的仿射變換參數(shù)對(duì)待測(cè)圖進(jìn)行仿射變換處理,圖6c為截取的仿射變換圖像。將原始待測(cè)圖、仿射變換圖分別與標(biāo)準(zhǔn)圖做差影運(yùn)算,結(jié)果如圖6d、圖6e所示。圖像在獲取、配準(zhǔn)過程中必然存在細(xì)微誤差,配準(zhǔn)后差影圖中仍然不可避免地存在偽缺陷,需要進(jìn)行去除偽缺陷處理。相對(duì)于真缺陷,偽缺陷區(qū)域形狀細(xì)短、灰度值較低,可通過閾值分割、形態(tài)學(xué)處理等予以消除。設(shè)定閾值T0=80,對(duì)差影圖進(jìn)行閾值分割,結(jié)果如圖6f所示。再采用3×3的方形模板對(duì)圖像進(jìn)行開運(yùn)算處理,去除大部分細(xì)短的圖像邊緣,設(shè)定面積閾值TS=20,通過游程編碼區(qū)域標(biāo)記算法消去面積小于TS的目標(biāo)區(qū)域,去除偽缺陷處理的最終結(jié)果如圖6g所示。將缺陷區(qū)域映射到經(jīng)過仿射變換的待測(cè)PCB圖中,如圖6h所示,最終檢測(cè)結(jié)果顯示,7處缺陷全部被檢測(cè)出來。3.2分類邊界段數(shù)n常見的PCB缺陷主要有短路、斷路、缺損、毛刺、余銅、針孔,如圖7所示。分析這6種缺陷可知,按照缺陷區(qū)域閉合邊界外側(cè)與覆銅區(qū)、基板區(qū)的相鄰關(guān)系,邊界可以被分成不同段數(shù),如短路缺陷區(qū)域的閉合邊界外側(cè)有2段與覆銅區(qū)相鄰,2段與基板區(qū)相鄰,整個(gè)閉合邊界被分成4段。同理可知,斷路缺陷區(qū)域邊界分成4段,毛刺和缺損區(qū)域邊界分成2段,余銅和針孔仍為1個(gè)閉合邊界。圖7中將各類缺陷區(qū)域邊界標(biāo)注出來。因此,根據(jù)缺陷區(qū)域的邊界分段,再結(jié)合缺陷屬于缺料缺陷或多料缺陷,即可方便地進(jìn)行缺陷分類。直接依據(jù)缺陷區(qū)域邊界外側(cè)與覆銅區(qū)、基板區(qū)的相鄰關(guān)系進(jìn)行邊界分段,獲取邊界被分成的段數(shù)N0的算法較為繁瑣,可先對(duì)缺陷區(qū)域進(jìn)行膨脹處理,邊界檢測(cè)獲取膨脹后圖像的區(qū)域邊界,該邊界即為原缺陷區(qū)域邊界外側(cè)一圈,稱之為分類邊界。通過對(duì)分類邊界按照其屬于覆銅區(qū)、基板區(qū)將其分成N1段,易知N0、N1是相等的關(guān)系。獲取分類邊界段數(shù)N1的具體算法步驟如下:(1)以圖像左上角為坐標(biāo)原點(diǎn),對(duì)去除偽缺陷后的差影圖使用5×5的方形結(jié)構(gòu)元素進(jìn)行膨脹處理,再進(jìn)行邊界檢測(cè),將獲取的分類邊界各點(diǎn)坐標(biāo)值依次存放在一個(gè)二維數(shù)組B之中。(2)設(shè)定閾值T0=80,對(duì)待測(cè)圖進(jìn)行閾值分割,獲取二值圖,記為I0。(3)設(shè)定初始N=1,按照數(shù)組B中的坐標(biāo)值返回I0中,記下第一點(diǎn)像素值E1(0或1),依次判斷邊界坐標(biāo)在I0中對(duì)應(yīng)點(diǎn)的像素值,設(shè)第i點(diǎn)像素值為Ei(i=1,2,…,n),當(dāng)像素值變換一次后,N←N+1,直至終止點(diǎn),記下終止點(diǎn)像素值為En。(4)最終結(jié)果分三種情況:若N=1,則N1=N=1;若N≠1且En≠E1,則N1=N;若N≠1且En=E1,則N1=N-1。圖8為邊界分段算法流程圖。對(duì)于缺陷屬于缺料缺陷或多料缺陷的判斷,可以通過對(duì)缺陷區(qū)域任取一點(diǎn),若該點(diǎn)對(duì)應(yīng)于標(biāo)準(zhǔn)圖像素點(diǎn)的灰度值大于待測(cè)圖中像素點(diǎn)的灰度值,則為多料缺陷,否則為缺料缺陷。常見缺陷種類識(shí)別方法見表1,只需檢測(cè)缺陷區(qū)域外圍一圈像素值并比較兩點(diǎn)灰度值即可將缺陷分類,計(jì)算量小,算法運(yùn)行效率高。3.3檢測(cè)結(jié)果及驗(yàn)證對(duì)3.1中缺陷檢測(cè)結(jié)果按照3.2所述缺陷分類方法對(duì)缺陷進(jìn)行分類,結(jié)果顯示,該方法能夠快速準(zhǔn)確地對(duì)缺陷進(jìn)行分類。圖9所示為分類邊界的分段。具體檢測(cè)結(jié)果見表2。其中,以圖像左上角為坐標(biāo)原點(diǎn),缺陷位置用缺陷區(qū)域重心點(diǎn)坐標(biāo)表示,缺陷面積用缺陷區(qū)域像素點(diǎn)個(gè)數(shù)表示。為驗(yàn)證系統(tǒng)檢測(cè)效率,在CPU為AMD4000+2.11GHz,內(nèi)存為1.00GB的臺(tái)式電腦上,對(duì)20張340mm×250mm的PCB裸板進(jìn)行耗時(shí)測(cè)試,每張平均耗時(shí)約45s,基本能滿足生產(chǎn)實(shí)時(shí)性的需求。其中,合格PCB檢測(cè)最快;缺陷越多,檢測(cè)耗時(shí)越長。為了驗(yàn)證系統(tǒng)的檢測(cè)精度和穩(wěn)定性,隨機(jī)抽取圖2所示的合格的和有缺陷的PCB各200張進(jìn)行檢測(cè)試驗(yàn)。結(jié)果顯示,有195張有缺陷PCB被檢測(cè)出來,有2張合格PCB被誤識(shí)別為有缺陷PCB,檢測(cè)準(zhǔn)確率為98.3%。其中,正確檢測(cè)有缺陷PCB的準(zhǔn)確率與誤將正常PCB檢測(cè)為有缺陷PCB的誤判率分別為97.5%、1.0%。對(duì)誤檢PCB圖像進(jìn)行分析,誤檢的原因有以下3點(diǎn):(1)遺漏了細(xì)微毛刺缺陷,主要原因是相機(jī)分辨率不夠,對(duì)此可以通過使用更高分辨率的工業(yè)攝像機(jī)來提高檢測(cè)精度;(2)PCB基板裁剪出現(xiàn)較大偏差,導(dǎo)致采集到的PCB圖像標(biāo)志線偏離限定區(qū)域Hough檢測(cè)范圍,從而產(chǎn)生配準(zhǔn)誤差;(3)PCB出現(xiàn)中間隆起的變形導(dǎo)致采集到的圖像出現(xiàn)較大變形。4pcb將缺陷納入設(shè)計(jì)工序(1)本文設(shè)計(jì)了一套基于機(jī)器視覺的PCB缺陷在線檢測(cè)系統(tǒng),對(duì)生產(chǎn)流水線上的PCB進(jìn)行圖像采集,采用參考對(duì)比法檢