《IC封裝基板圖像檢測系統(tǒng)技術(shù)規(guī)范》文本附編制說明

ICS31.180

CCSL30

團(tuán)體標(biāo)準(zhǔn)

T/CIXXXX—XXXX

IC封裝基板圖像檢測系統(tǒng)技術(shù)規(guī)范

TechnicalspecificationforimageinspectionsystemofICpackagesubstrateon

（征求意見稿）

在提交反饋意見時，請將您知道的相關(guān)專利連同支持性文件一并附上。

XXXX-XX-XX發(fā)布XXXX-XX-XX實(shí)施

中國國際科技促進(jìn)會發(fā)布

T/CIXXXX—XXXX

目次

前言.................................................................................II

引言................................................................................III

1范圍...............................................................................1

2規(guī)范性引用文件.....................................................................1

3術(shù)語和定義.........................................................................1

4IC封裝基板光學(xué)檢測裝置.............................................................2

5基于主要距離的空域融合主板拼接方法.................................................4

6基于匹配特征融合的SMT貼片元件缺陷檢測框架.........................................6

7基于元遷移學(xué)習(xí)和多尺度融合網(wǎng)絡(luò)SMT貼裝小樣本缺陷分割框架...........................7

8緩解遺忘性的圖像增量學(xué)習(xí)分類方法..................................................10

9基于能量分布的未知異常樣本檢測方法................................................11

I

T/CIXXXX—XXXX

IC封裝基板圖像檢測系統(tǒng)技術(shù)規(guī)范

1范圍

本文件規(guī)定了IC基板封裝光學(xué)檢測裝置、基于主要距離的空域融合主板拼接方法、基于匹配特征融

合的SMT貼片元件缺陷檢測框架和基于元遷移學(xué)習(xí)和多尺度融合網(wǎng)絡(luò)SMT貼裝小樣本缺陷分割框架要求，

提供了緩解遺忘性的圖像增量學(xué)習(xí)分類方法和基于能量分布的未知異常樣本檢測方法。

本文件適用于工業(yè)IC封裝基板及SMT貼裝圖像檢測系統(tǒng)的研究、設(shè)計、技術(shù)路線，可作為IC封裝基

板和SMT貼裝自動光學(xué)檢測系統(tǒng)設(shè)計與研究的技術(shù)依據(jù)。

2規(guī)范性引用文件

本文件沒有規(guī)范性引用文件。

3術(shù)語和定義

下列術(shù)語和定義適用于本文件。

RGB三色光源RGBthree-colorlightsource

一種通過將紅、綠、藍(lán)三種顏色的光混合在一起來產(chǎn)生各種不同顏色的模式。

IC基板封裝ICsubstratepackage

將硅片上的電路管腳用導(dǎo)線接引到外部接頭處，以便與其它器件連接的裝置。

注：封裝基板不僅能保護(hù)電路、固定線路并導(dǎo)散余熱，還為芯片與PCB之間提供電子連接。

印刷電路板printedcircuitboard

電子元器件的支撐體和電氣連接的載體。它采用電子印刷術(shù)制作，因此被稱為“印刷”電路板。

表面貼裝技術(shù)surfacemountedtechnology

通過一定的工藝、材料將表面貼片元件貼裝在印刷電路板上的電子組裝技術(shù)，是現(xiàn)代電子產(chǎn)品制造

中的關(guān)鍵工藝技術(shù)之一。

自動化光學(xué)檢測automatedopticalinspection

一種高速、高精度的光學(xué)影像檢測系統(tǒng)，它運(yùn)用機(jī)器視覺技術(shù)作為檢測標(biāo)準(zhǔn)。

注：這種檢測系統(tǒng)可以改良傳統(tǒng)上使用人力和光學(xué)儀器進(jìn)行檢測的缺點(diǎn)，廣泛應(yīng)用于各個領(lǐng)域，包括高科技產(chǎn)業(yè)的

研發(fā)和制造品管，以及國防、民生、醫(yī)療、環(huán)保、電力等領(lǐng)域。

卷積神經(jīng)網(wǎng)絡(luò)convolutionalneuralnetwork

一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)。

增量學(xué)習(xí)incrementallearning

一個學(xué)習(xí)系統(tǒng)能不斷地從新樣本中學(xué)習(xí)新的知識，并能保存大部分以前已經(jīng)學(xué)習(xí)到的知識。

注：增量學(xué)習(xí)非常類似于人類自身的學(xué)習(xí)模式，是一個逐漸積累和更新的過程。

元遷移學(xué)習(xí)meta-transferlearning

涉及在不同學(xué)習(xí)環(huán)境中傳輸知識，以解決復(fù)雜的學(xué)習(xí)任務(wù)，其核心理念是從一個任務(wù)學(xué)習(xí)另一個任

務(wù)，其中一個任務(wù)被稱為源任務(wù)，另一個任務(wù)稱為目標(biāo)任務(wù)。

1

T/CIXXXX—XXXX

4IC封裝基板光學(xué)檢測裝置

表面貼裝技術(shù)所用貼裝元件比起之前的插孔元件來說要微小得多，由于IC封裝與SMT貼裝元件

的體積和重量只有傳統(tǒng)插裝元件的1/10左右，因此利用SMT技術(shù)生產(chǎn)的電子產(chǎn)品整體體積縮小約40%～

60%，相應(yīng)地，重量減輕60%～80%，檢測各種微小的電氣元件是否正確貼裝以及其電氣連接點(diǎn)焊接情況

的好壞目前一般采用自動光學(xué)檢測技術(shù)。

將自動光學(xué)檢測技術(shù)用于表面貼裝元件檢測需要獲取可靠的PCB主板成像圖片，現(xiàn)有的可見光直

接成像技術(shù)由可見光相機(jī)直接成像，每個成像像素由RGB插值得到,會導(dǎo)致像素?fù)p失，以及帶來PCB板

成像的分辨率不高的問題，同時由于貼裝元件焊盤會呈現(xiàn)弧度，采用單一方向光源照射難以對焊盤焊錫

質(zhì)量全方位成像，不能夠保證整塊PCB板受到均勻光照，會帶來由于視角不同、照明差異所導(dǎo)致成像不

一致的問題。

如圖1所示，IC基板封裝光學(xué)檢測裝置包括固定支架1、圖像采集機(jī)構(gòu)2和光源機(jī)構(gòu)3，圖像采集機(jī)構(gòu)

2設(shè)置在固定支架1上并且能夠在豎直方向上上下移動，該圖像采集機(jī)構(gòu)2的圖像采集鏡頭豎直朝下，能

夠調(diào)整圖像采集鏡頭到PCB距離，實(shí)現(xiàn)成像視窗范圍的調(diào)整，光源機(jī)構(gòu)3設(shè)置在固定支架1上，該光源機(jī)

構(gòu)3位于圖像采集機(jī)構(gòu)2鏡頭的正下方，光源機(jī)構(gòu)3在豎直方向上上下移動并且向下垂直發(fā)射出紅色、綠

色、藍(lán)色三段環(huán)形照明光照射，實(shí)現(xiàn)處于不同高度對電路板進(jìn)行照射，得到更高成像分辨率，因?yàn)楝F(xiàn)有

采用可見光直接成像技術(shù)，每個成像像素由RGB插值得到（1R,2G,1B）,存在像素?fù)p失，導(dǎo)致成像分辨率

不高的問題，通過采用紅色、綠色、藍(lán)色三段環(huán)形照明處于不同的高度對電路板進(jìn)行照射，每個像素由

RGB分別單獨(dú)成像合成（4R,4G,4B），可以得到更高成像分辨率，同時保證整塊電路板受到均勻光照，

避免由于視角不同、照明差異所導(dǎo)致成像不一致。

標(biāo)引序號說明：

1——固定支架；

2——圖像采集機(jī)構(gòu)；

3——光源機(jī)構(gòu)；

11——兩個U型架；

12——基座連桿；

13——兩個固定桿

14——第一滑動移桿

15——第二滑動移桿

21——工業(yè)相機(jī)

31——半球環(huán)形裝置。

圖1IC封裝基板光學(xué)檢測裝置

2

T/CIXXXX—XXXX

標(biāo)引序號說明：

3——光源機(jī)構(gòu)；

31——紅色環(huán)形LED發(fā)光二極管燈帶；

32——綠色環(huán)形LED發(fā)光二極管燈帶；

33——藍(lán)色環(huán)形LED發(fā)光二極管燈帶；

34——藍(lán)色環(huán)形LED發(fā)光二級管燈帶。

圖2IC封裝基板光源機(jī)構(gòu)

如圖1所示，固定支架1包括兩個U型架11、基座連桿12、兩個固定桿13、第一滑動移桿14和第二滑

動移桿15，U型架11的開口都朝下并且均豎直設(shè)置，基座連桿12水平布置，基座連桿12與兩個U型架11的

上表面均固定連接，兩個固定桿13分別固定連接在基座連桿12下表面的兩側(cè)，兩個固定桿13與基座連桿

12所在的平面垂直，兩個固定桿13的相對側(cè)一面分別都設(shè)有滑槽，第一滑動移桿14在兩個固定桿13上的

滑槽滑動上，并且第一滑動移桿14的兩端在滑動結(jié)束后通過螺栓固定住，第一滑動移桿14水平布置，第

二滑動移桿15在兩個固定桿13上的滑槽上滑動，并且第二滑動移桿15的兩端在滑動結(jié)束后通過螺栓固

定住，所述第二滑動移桿15也水平布置，第一滑動移桿14在第二滑動移桿15的上方，即第一滑動移桿14

和第二滑動移桿15在松開螺栓時可以上下滑動，滑動到需要的位置時通過螺栓將其固定。

如圖1及圖2所示，所述圖像采集機(jī)構(gòu)2為工業(yè)相機(jī)21，該工業(yè)相機(jī)21與第一滑動移桿14固定連接，

工業(yè)相機(jī)21拍攝時的拍攝鏡頭垂直向下，光源機(jī)構(gòu)3包括半球環(huán)形裝置31、紅色環(huán)形LED發(fā)光二極管燈帶

32、綠色環(huán)形LED發(fā)光二極管燈帶33和藍(lán)色環(huán)形LED發(fā)光二極管燈帶34，半球環(huán)形裝置31與第二滑動移桿

15固定連接，半球環(huán)形裝置31橫截面小的部分朝上，紅色環(huán)形LED發(fā)光二極管燈帶32、綠色環(huán)形LED發(fā)光

二極管燈帶33和藍(lán)色環(huán)形LED發(fā)光二極管燈帶34在半球環(huán)形裝置31從上而下依次緊貼，工業(yè)相機(jī)21和半

球環(huán)形裝置31處在同一個軸線上。

在具體實(shí)施過程中，檢測人員首先將該裝置安裝在PCB傳送平臺的上方，使得工業(yè)相機(jī)21的視角正

對于PCB的主體部分，松開第一滑動移桿14兩端的螺栓，使第一滑動移桿14在固定桿13上上下滑動，調(diào)

整工業(yè)相機(jī)21到的距離來實(shí)現(xiàn)成像視窗范圍調(diào)整，將紅色環(huán)形LED發(fā)光二極管燈帶31、綠色環(huán)形LED發(fā)光

二極管燈帶32以及藍(lán)色環(huán)形LED發(fā)光二極管燈帶33通過電源線與光源控制器連接后，在光源控制器打開

紅色環(huán)形LED發(fā)光二極管燈帶后，工業(yè)相機(jī)21采集PCB成像，然后光源控制器打開綠色環(huán)形LED發(fā)光二極

管燈帶，工業(yè)相機(jī)21采集PCB圖像，最后光源控制器打開藍(lán)色環(huán)形LED發(fā)光二極管燈帶，將第二滑動移桿

15兩端的螺栓松開，調(diào)節(jié)光源機(jī)構(gòu)3的高度，使得不同高度的光源機(jī)構(gòu)3對電路板進(jìn)行照射，可以得到更

高的成像分辨率，同時保證整塊電路板受到均勻光照，避免由于視角不同、照明差異所導(dǎo)致PCB成像不

一致，至此完成一個視窗下的PCB成像采集，如此循環(huán)此操作直至所有視窗拍攝完畢。

工作過程：檢測人員首先將該裝置安裝在PCB傳送平臺的上方，使得工業(yè)相機(jī)21的視角正對于PCB的

主體部分，松開第一滑動移桿14兩端的螺栓，使第一滑動移桿14在固定桿13上上下滑動，將紅色環(huán)形LED

發(fā)光二極管燈帶32、綠色環(huán)形LED發(fā)光二極管燈帶33以及藍(lán)色環(huán)形LED發(fā)光二極管燈帶34通過電源線與

光源控制器連接后，在光源控制器打開紅光照射后，工業(yè)相機(jī)21采集PCB成像，然后光源控制器打開綠

3

T/CIXXXX—XXXX

光照射后，工業(yè)相機(jī)21采集PCB圖像，最后光源控制器打開藍(lán)光照射，同樣方式調(diào)整第二滑動移桿15豎

直上下移動，得到更高成像分辨率，完成一個視窗下的PCB成像采集，依此循環(huán)。

5基于主要距離的空域融合主板拼接方法

圖像拼接策略

圖像拼接分為硬拼接和軟拼接，硬拼接依賴既定的偏移量將兩幅圖像的像素直接疊加實(shí)現(xiàn)拼接，軟

拼接則依賴于拼接算法將兩幅不同視角的圖像置于統(tǒng)一的坐標(biāo)系中，再通過像素映射實(shí)現(xiàn)拼接?；谥?/p>

要距離的空域融合主板拼接算法對以下內(nèi)容進(jìn)行了研究：

a)基于SURF匹配對的主要距離法，彌補(bǔ)了硬拼接過程中偏離量無法實(shí)時調(diào)整的不足；

b)基于空域的像素加權(quán)融合法，對光照不均造成的拼接縫兩邊明顯色差進(jìn)行有效處理。

圖像預(yù)處理

采用多種濾波器復(fù)合處理的解決方案，即先對原始圖像進(jìn)行雙邊濾波，再經(jīng)過一次中值濾波。

a)雙邊濾波是在高斯濾波的基礎(chǔ)上加入了像素值權(quán)重項(xiàng)，能夠很好地對圖像進(jìn)行平滑處理以濾

除高斯噪聲，并且還能夠很好地保留圖像的高頻細(xì)節(jié)，公式如下：

?∑?(?,?)?(?,?,?,?)

g(x,y)=?,?·······························································(1)

∑?,???(?,?,?,?)

式中：

g(x,y)——濾波后的輸出像素點(diǎn)；

f(k,l)——輸入像素點(diǎn)；

ω(x,y,k,l)——空間域核與像素范圍域核的乘積；

o(x,y,k,1)——定義域核與值域核的乘積。

(x?k)2+(y?l)2∥f(x,y)?f(k,l)∥2

ω(x,y,k,l)=exp[?2?2]………(2)

2σ2σ

dr

式中：

σ——空域高斯函數(shù)的標(biāo)準(zhǔn)差；

d

σ——值域高斯函數(shù)的標(biāo)準(zhǔn)差；

r

f(k,l)——核函數(shù)作用域內(nèi)的某一點(diǎn)；

f(x,y)——核函數(shù)作用域內(nèi)的中心點(diǎn)。

b)中值濾波是把數(shù)字圖像一點(diǎn)的值用該點(diǎn)的一個鄰域中各點(diǎn)值的中值代替，對處理椒鹽噪聲非

常有效，公式如下：

median

g(x,y)=(?,?)∈?{?(?,?)}·······························································(3)

式中：

g(x,y)——濾波后目標(biāo)像素點(diǎn)的灰度值；

f(s,t)——鄰域S中像素灰度值。

SURF特征點(diǎn)提取

AOI系統(tǒng)中的PCB圖像在拍攝過程中是通過置物臺的平移逐步獲取的，因此相鄰圖像間具有非常良

好的平移特性，同時移動過程中的輕微震動導(dǎo)致小角度的偏移，又使得兩幅圖像間出現(xiàn)一定的旋轉(zhuǎn)變換。

PCBA主板上的存在著各種元器件、孔位、錫膏和字符等，經(jīng)過平移旋轉(zhuǎn)變換后能夠產(chǎn)生大量穩(wěn)定的點(diǎn)特

征，利用好圖像間重疊部分的這些特征，將對拼接算法有著非常重要的意義，SURF特征提取算法在PCB

圖像中表現(xiàn)最佳，兼顧了速度和穩(wěn)定性。

a)在原始圖像的基礎(chǔ)上構(gòu)建尺度空間。SURF首先將原圖轉(zhuǎn)換為積分圖像，對于圖像中某一點(diǎn)P(x,

y)，其在積分圖像上的值為：

?≤??≤?

??(?)=∑?=0∑?=0?(?,?)·······························································(4)

式中：

4

T/CIXXXX—XXXX

I——融合后的像素點(diǎn)；

ω——權(quán)重系數(shù)，范圍為[0,1]，表示由原點(diǎn)和該點(diǎn)組成的矩形區(qū)域內(nèi)所有像素的總和。

b)在此基礎(chǔ)上，采用Hessian矩陣建立盒式濾波器（BoxFilter），來近似替代高斯二階濾波

器，其中Hessian矩陣的數(shù)學(xué)表達(dá)式為：

?2??2?

??2????

?=||································································(5)

?(?,?)?2??2?

??????2

式中：

f(x,y)——圖像中某一點(diǎn)的灰度值。

c)將盒式濾波器帶入Hessian矩陣，得到下式：

???(?,?)???(?,?)

?(?,?,?)=[]·····················································(6)

???(?,?)???(?,?)

式中Dxx、Dxy和Dyy分別代表盒式濾波器的三個濾波模板。然后計算該行列式的值，得到：

2

???(?)=???(?)=??????????(2?4)···············································(7)

為了平衡近似代替的誤差，通常要在Dxy前乘上一個加權(quán)系數(shù)0.9。如果將???(?)作為判別項(xiàng)，則可

以根據(jù)其正負(fù)性得出點(diǎn)(x,y)是否是極值點(diǎn)。

特征點(diǎn)精確定位

5.4.1通過盒式濾波器建立起圖像的尺度空間后，對像素點(diǎn)可以計算出其近似的海森矩陣行列式的正

負(fù)性，從而判斷該點(diǎn)是否為極值點(diǎn)。然后再將其與3x3x3的鄰域內(nèi)其他26個點(diǎn)比較，如果為最大值或

者最小值，就可以初步判斷為關(guān)鍵點(diǎn)。由于像素值是離散的，通過濾波模板擬合的連續(xù)空間內(nèi)的極值點(diǎn)

可能處在兩點(diǎn)中間，因此需要采用二次插值來確定亞像素級特征點(diǎn)的精確位置。

5.4.2在特征點(diǎn)的半徑為6S（S為特征點(diǎn)所在的尺度值）的圓形鄰域內(nèi)，統(tǒng)計所有其他點(diǎn)在垂直和水

平兩個方向的Harr小波（Harr小波模板邊長為4S）響應(yīng)，再對響應(yīng)值進(jìn)行高斯函數(shù)加權(quán)，得到該點(diǎn)在

兩個方向上的方向權(quán)重。將整個圓域等分為6份扇形區(qū)域，分別統(tǒng)計通得到該區(qū)域內(nèi)的最大分量，以最

大分量的方向?yàn)樘卣鼽c(diǎn)的主方向。

5.4.3在以特征點(diǎn)為中心，周圍20S*20S的正方形鄰域內(nèi)建立笛卡爾坐標(biāo)系，Y軸為特征點(diǎn)主方向。

再將該區(qū)域劃分為4*4個子塊，每個子塊大小為5S*5S，統(tǒng)計每個子塊內(nèi)像素點(diǎn)在垂直和水平方向的

Harr小波響應(yīng)值之和，包括四個分量∑??、∑??、|∑??|和|∑??|，得到一個4x4x4共64維的特征點(diǎn)

描述向量。最后對其歸一化處理以消除光照影響，得到特征點(diǎn)描述子。

SMT子圖特征點(diǎn)粗匹配

5.5.1采用KNN算法對SURF算法提取的兩幅待拼接圖像特征點(diǎn)進(jìn)行配對。在建立兩幅圖像的兩個特

征點(diǎn)的集合M和N后，下一步需要對兩個集合內(nèi)的特征點(diǎn)建立一對一的配對關(guān)系。具體來說，將兩幅圖

像的特征點(diǎn)集合分別看成訓(xùn)練集和查詢集，K值設(shè)為2，遍歷訓(xùn)練集中的特征點(diǎn)，對每個點(diǎn)在查詢集中

尋找其配對的兩個點(diǎn)。配對的原則為兩點(diǎn)之間的歐氏距離，因此，訓(xùn)練集中的每個特征點(diǎn)配對的將是查

詢集中與其歐氏距離最近和次近的特征點(diǎn)，距離分別為d0和d1。然后對距離比r進(jìn)行評估:

?0

?=················································································(8)

?1

如果r的值小于某個閾值，就保留該對匹配點(diǎn)，反之，則拋棄。r的值越小，說明匹配度越高。

由于PCB重疊主要是因?yàn)槠揭谱儞Q造成的，而偏移距離在PCB圖像的采集過程中不斷變化，無法用手

動設(shè)定的值來確定。經(jīng)過上述論證，采用SURF提取的特征點(diǎn)在配對后，如果將兩幅圖像直接拼接在一起，

那么匹配點(diǎn)之間的線段長度就是偏移距離。對所有線段長度進(jìn)行統(tǒng)計，將會得到一個距離分布直方圖。

通過實(shí)驗(yàn)發(fā)現(xiàn)，絕大部分的線段長度分布在一個較穩(wěn)定的范圍內(nèi)，我們將范圍定義為主要距離，而錯誤

匹配的長度偏差較大，將其他不在該范圍內(nèi)的匹配對剔除。

5.5.2將主要距離進(jìn)一步細(xì)化，得到精確到像素單位的匹配點(diǎn)距離分布直方圖。通過在硬拼接的流程

中，每次用SURF算法計算兩張待拼接圖像間的匹配對主要距離中的眾數(shù)作為偏移量。

5.5.3基于OpenCV庫中的concatenate函數(shù)進(jìn)行相鄰圖像融合，每次拼接兩幅相鄰圖像。具體來說，

對于列拼接，按照設(shè)定的列偏移，將左圖的重疊區(qū)域截斷，再將右圖與截斷后的左圖通過concatenate

5

T/CIXXXX—XXXX

函數(shù)拼接，得到兩張圖拼接的中間圖，再將此中間圖作為下一次拼接的左圖，與下一張相鄰的圖像拼接，

依次類推，完成整個列的拼接；對于行拼接，同理。

5.5.4為消除因光照不均造成的拼接縫兩邊明顯色差。將拼接縫兩邊一定范圍內(nèi)的像素分別用兩張圖

像的原像素加權(quán)得到，在空域上進(jìn)行圖像融合，能夠很好地解決該問題。假設(shè)待拼接的兩張圖像分別為

A和B，I1和I2分別代表A和B中的像素點(diǎn)，則像素加權(quán)法過程為：

?1(?,?)(?,?)∈?,?∩?=?

?(?,?)={??1(?,?)+(1??)?2(?,?)(?,?)∈?∩?,?∩?≠?··························(9)

?2(?,?)(?,?)∈?2,?∩?=?

式中：

I——融合后的像素點(diǎn)；

ω——權(quán)重系數(shù)，范圍為[0,1]。

5.5.5采用SURF算法提取出待拼接圖像的特征點(diǎn)并配對，再計算出匹配對之間的歐氏距離，取數(shù)量占

比最多的距離長度為主要距離作為硬拼接的偏移量。巧妙地結(jié)合了硬拼接與軟拼接的優(yōu)勢，能夠適應(yīng)

PCB圖像在采集過程中偏移距離不斷變化的情況，且擁有非?？斓钠唇铀俣?，滿足SMT工業(yè)場景中圖像

拼接的要求。

6基于匹配特征融合的SMT貼片元件缺陷檢測框架

在元件貼裝環(huán)節(jié)，電子貼片元件通過錫膏焊接在PCB板上后，需要對元件貼片的質(zhì)量進(jìn)行檢測，

如檢查是否有立碑、位移、空焊等缺陷。檢查這些缺陷是SMT生產(chǎn)線中非常重要的一步，現(xiàn)有的工業(yè)缺

陷檢測主要分為人工目檢和自動化光學(xué)檢測（AutomatedOpticalInspection，簡稱AOI）。即經(jīng)過AOI

檢測之后，進(jìn)行人工復(fù)判。

首先將貼片元件的模板圖像與貼片元件的待測圖像組成貼片元件樣本，并根據(jù)貼片元件樣本中的

兩個圖像的類型，為貼片元件樣本設(shè)置標(biāo)簽。從貼片元件的模板圖像集中隨機(jī)選擇一張模板圖像Iz，與

從貼片元件的待測圖像集中隨機(jī)選擇的一張待測圖像IT，組成貼片元件樣本{Iz,IT}；如果貼片元件樣本

中兩個圖像對應(yīng)的貼片元件屬于同一類別，標(biāo)簽設(shè)置為0；如果貼片元件樣本中兩個圖像對應(yīng)的貼片元

件不屬于同一類別，標(biāo)簽設(shè)置為1。每一張待測圖像都可以與一張模板圖像配對組成一個訓(xùn)練樣本。

將貼片元件樣本中的兩個圖像分別輸入到兩個相同的編碼器網(wǎng)絡(luò)中，得到模板圖像的深度特征p1、

待測圖像的深度特征p2，并得到模板圖像和待測圖像的語義差異映射特征D(p1,p2)。

設(shè)計兩個相同的編碼器網(wǎng)絡(luò)Encoder，每個編碼器網(wǎng)絡(luò)Encoder包含四層卷積層Conv0、Conv1、Conv2、

Conv3。通過卷積等操作分別從模板圖像和待測圖像中提取深度特征p1、p2。通過對提取的深度特征p1、

p2應(yīng)用一個相關(guān)操作模塊，得到模板圖像和待測圖像的語義差異映射D(p1,p2)：

nii

∑i=0p1×p2

D(p1,p2)=1?·······················································(10)

√ni2ni2

∑i=0p1×∑i=0p2

式中：

i

p1——p1的第i個特征維度；

i

p2——p2的第i個特征維度；

n——p1、p2的特征維度總數(shù)。

利用語義差異映射特征D(p1,p2)與深度特征p1,p2融合，將得到的融合特征F送入解碼器網(wǎng)絡(luò)進(jìn)行缺

陷分割，輸出待測圖像的缺陷檢測結(jié)果。采用特征擴(kuò)展操作實(shí)現(xiàn)對語義差異映射特征D(p1,p2)與深度特

征p1,p2的融合，融合特征記作F。將融合特征F送入解碼器網(wǎng)絡(luò)Decoder進(jìn)行SMT缺陷分割，解碼器網(wǎng)絡(luò)

Decoder包含四層卷積層Conv4、Conv5、Conv6、Conv7和三層上采樣層Up1、Up2、Up3組成，結(jié)構(gòu)為

{Conv4,Up1,Conv5,Up2,Conv6,Up3,Conv7}；最后連接一個Softmax層，輸出SMT缺陷概率。

通過損失函數(shù)loss對缺陷檢測模型的網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練，當(dāng)貼片元件樣本{Iz,IT}的標(biāo)簽為1時，表

明圖像Iz、IT對應(yīng)的貼片元件類型不同，因此期望它們的特征在特征空間中的距離盡可能大；設(shè)置一個

最大距離M，當(dāng)D(p1,p2)>M時，表示特征之間的距離足夠大，即這兩個貼片元件差距越大。同理，當(dāng)

貼片元件樣本{Iz,IT}的標(biāo)簽為0時，表明圖像Iz、IT對應(yīng)的貼片元件類別相同，因此期望它們的特征在

特征空間的距離盡可能小。損失函數(shù)loss設(shè)為：

6

T/CIXXXX—XXXX

NiNii

loss=∑i=0(Y,p1,p2)=∑i=0(1?Y)Ls(D)+Y×LDmax{0,(M?D)}······················(11)

式中：

i

(Y,p1,p2)——第i個標(biāo)記的貼片元件樣本；

Y——第i個貼片元件樣本的標(biāo)簽；

N——貼片元件樣本的個數(shù)；

Ls、LD——常量，默認(rèn)值是0.5。

設(shè)定當(dāng)D(p1,p2)>M時，損失函數(shù)值為0，以簡化計算。根據(jù)損失函數(shù)loss，訓(xùn)練缺陷檢測模型，進(jìn)

行參數(shù)調(diào)整。

將訓(xùn)練完成的缺陷檢測模型用于待測圖像的SMT缺陷檢測。在檢測時，選擇與待測圖像具有相同

貼片元件類型的模板圖像，將待測圖像和模板圖像輸入至缺陷檢測模型，當(dāng)兩個圖像的相似概率大于閾

值時，判斷待測圖像對應(yīng)的貼片元件為正常。基于匹配特征融合的SMT貼片元件缺陷檢測框架如圖3所

示。

圖3基于匹配特征融合的SMT貼片元件缺陷檢測框架

7基于元遷移學(xué)習(xí)和多尺度融合網(wǎng)絡(luò)SMT貼裝小樣本缺陷分割框架

整體框架

基于元遷移學(xué)習(xí)和多尺度融合網(wǎng)絡(luò)SMT小樣本缺陷分割框架如圖4所示。

圖4基于元遷移學(xué)習(xí)和多尺度融合網(wǎng)絡(luò)SMT貼裝小樣本缺陷分割框架

7

T/CIXXXX—XXXX

獲取預(yù)訓(xùn)練采用的數(shù)據(jù)集為公共的COCO數(shù)據(jù)集以及小樣本SMT貼裝元件采集圖像。元學(xué)習(xí)采用的數(shù)

據(jù)集使用來自筆記本生產(chǎn)工廠流水線實(shí)際采集到的6類缺陷，分別是缺件、偏移、假焊、少錫、側(cè)立、

立碑。

預(yù)訓(xùn)練采用的數(shù)據(jù)集為公共的COCO數(shù)據(jù)集，COCO數(shù)據(jù)集是一個80類別的大規(guī)模數(shù)據(jù)集。COCO-stuff

用像素級的東西注釋增強(qiáng)了流行的COCO數(shù)據(jù)集。這些標(biāo)注可用于場景理解任務(wù)，如語義分割、目標(biāo)檢測

和圖像描述。

框架構(gòu)建

7.2.1預(yù)訓(xùn)練

大規(guī)模數(shù)據(jù)上的預(yù)訓(xùn)練，即使用公共數(shù)據(jù)集進(jìn)行訓(xùn)練。首先初始化一個特征提取器Θ和一個分類器

θ，然后通過梯度下降對它們進(jìn)行優(yōu)化，如下所示：

[?;?]=[?;?]??▽??([?;?])·······················································(12)

特征提取器Θ:預(yù)訓(xùn)練過程中用到的特征提取器，比如預(yù)訓(xùn)練用到了COCO數(shù)據(jù)集，有80個類別，那么

Θ就是將輸入轉(zhuǎn)換為一個80維度的特征向量。分類器θ是用來做維度轉(zhuǎn)換的，比如我們最后小樣本分類

是一個5分類，那么分類器θ作用就是將80維度的特征向量轉(zhuǎn)換為5維。

其中L為以下?lián)p失函數(shù)：

1

?([?;?])=∑?(?(?),?)··················································(13)

?|?|(?,?)∈?[?;?]

式中：

?[?;?](?)——預(yù)測值；

y——真實(shí)值；

D——數(shù)據(jù)個數(shù)。

之后預(yù)訓(xùn)練學(xué)習(xí)到的分類器θ將被丟棄，因?yàn)殡S后的幾次任務(wù)包含不同的分類目標(biāo)，例如后面的2類

小樣本分割任務(wù)，不同于COCO的80個類別。

7.2.2元學(xué)習(xí)訓(xùn)練

SS操作表示為ΦS1和ΦS2，在學(xué)習(xí)過程中不改變預(yù)訓(xùn)練階段訓(xùn)練的凍結(jié)神經(jīng)元權(quán)值，而FT更新完整

的網(wǎng)絡(luò)。將Φs1初始化為weight同維度的全1向量，Φs2初始化為bias同維度的全0向量，然后分別擴(kuò)展

為和weight、bias的同尺度，然后分別和weight和bias按元素相乘：其中Θ是特征提取器，θ是基學(xué)習(xí)器。

整個訓(xùn)練過程可以分為兩個階段，首先將數(shù)據(jù)集分為支持集和查詢集，T(支持集)的損失通過梯度

下降來優(yōu)化當(dāng)前的基礎(chǔ)學(xué)習(xí)器(分類器)θ'，公式如下：

’

(??)(14)

?←???▽???([?;?],??1,2)······················································

式中：

?——用于特征映射的基礎(chǔ)學(xué)習(xí)器；

?——學(xué)習(xí)率；

——縮放參數(shù)；

??1

——位移參數(shù)。

??2

T(查詢集)的損失通過梯度下降來優(yōu)化當(dāng)前的元學(xué)習(xí)器SS，公式如下：

′

??=:??????L(??)([?;?],??)··················································(15)

?????{1,2}

式中：

?——學(xué)習(xí)率；

′

(??)——損失函數(shù)；

L?([?;?],??{1,2})

??——梯度。

??

7.2.3元測試

在元遷移測試階段，將測試數(shù)據(jù)的支持集送入網(wǎng)絡(luò)，調(diào)整基礎(chǔ)學(xué)習(xí)器，隨后將查詢集送入網(wǎng)絡(luò)，得

到最終的分割結(jié)果。在元遷移學(xué)習(xí)的訓(xùn)練階段始終沒有調(diào)整過預(yù)訓(xùn)練的特征提取器，所以就避免了“災(zāi)

難性的遺忘”問題，同時只調(diào)整縮放和位移參數(shù)，加快了網(wǎng)絡(luò)的訓(xùn)練。

8

T/CIXXXX—XXXX

元遷移學(xué)習(xí)框架構(gòu)建

7.3.1特征圖融合

構(gòu)建元遷移學(xué)習(xí)的框架，多任務(wù)學(xué)習(xí)框架包括用VGG作為主干網(wǎng)絡(luò)，其中有5個編碼器塊得到五個初

步特征圖(Fi,i∈{1,2,3,4,5})。首先，我們分別對每個編碼器塊的特征映射進(jìn)行3×3卷積，將通道

減少到64個，這樣可以減少后續(xù)操作所需的參數(shù)數(shù)量，同時可以幫助后續(xù)進(jìn)行融合特征。接下來，將這

些不同級別的特征分別輸入到上一層網(wǎng)絡(luò)，逐步進(jìn)行融合，最后得到5個增強(qiáng)特征圖(Leveli,i∈

{1,2,3,4,5})，高層的特征圖聚合了更多的特征，底層的特征圖有更多的語義信息。

最后，每個Leveli逐步融合并生成最終預(yù)測。任意兩層之間的融合可以表示為：

SU=Conv(|FA?FB|································································(16)

式中：

Fa——進(jìn)行融合的第一個特征圖；

Fb——進(jìn)行融合的第二個特征圖；

☉——按元素相減，可以更好的提取兩層網(wǎng)絡(luò)的差異；

||——取絕對值；

Conv——3*3的卷積。

不采用常規(guī)的拼接融合操作，而是更加注重提取不同層次網(wǎng)絡(luò)之間的差異信息。

7.3.2元學(xué)習(xí)損失函數(shù)設(shè)計

損失函數(shù)主要包括預(yù)訓(xùn)練階段的損失函數(shù)，元學(xué)習(xí)階段的損失函數(shù)，其中預(yù)訓(xùn)練階段的損失函數(shù)和

元學(xué)習(xí)階段的損失函數(shù)采用交叉熵?fù)p失、Diceloss和Focalloss的組合形式：

Lpre=Lce+Ldice+Lfocal·····························································(17)

式中：

LDicecoff——相似系數(shù)損失函數(shù)，見公式（17）；

LFocal——Focal損失函數(shù)，見公式（18）；

Llogic——邏輯損失函數(shù)，見公式（19）。

2|X∩Y|+ε

L=···································································(18)

Dicecoff|X|+|Y|+ε

式中：

X——預(yù)測樣本正例的面積；

Y——真實(shí)樣本正例的面積；

ε——防止分母為零設(shè)置的參數(shù)。

γ

LFocal=?α(1?p)log(p)····························································(19)

式中：

α——對不同類別的樣本進(jìn)行減重的參數(shù)；

γ——調(diào)制系數(shù)；

p——樣本的預(yù)測值。

1

L=?∑[ylog(g(x))+(1?y)log(1?g(x))]·······································(20)

logicnii

式中：

yi——標(biāo)簽的樣本值；

g(x)——真實(shí)的樣本值。

7.3.3元遷移測試

將測試數(shù)據(jù)集中的小樣本PCB圖像輸入到元遷移學(xué)習(xí)框架，得到最終分割結(jié)果。結(jié)果采用MIOU進(jìn)行

度量，其通過計算兩組真值和預(yù)測值的相交和并的比率。公式如下：

1????

????=∑?=0??···················································(21)

?+1∑?=0???+∑?=0???????

9

T/CIXXXX—XXXX

式中：

pij——預(yù)測為j的真值i的個數(shù)；

K+1——類的個數(shù)(包括空類)。

i是實(shí)數(shù)。則pij和pji分別表示假陽性和假陰性。分別測試在1shot，2shot，3shot，5shot，10shot

下的miou做為評估指標(biāo)。

8緩解遺忘性的圖像增量學(xué)習(xí)分類方法

緩解增量學(xué)習(xí)中遺忘性危機(jī)的深度學(xué)習(xí)圖像分類算法利用自適應(yīng)聚合網(wǎng)絡(luò)來保證模型不會增長的

同時，采用蒸餾學(xué)習(xí)來共同緩解增量學(xué)習(xí)中對于舊知識的遺忘問題。

緩解遺忘性的圖像增量學(xué)習(xí)分類算法結(jié)構(gòu)如圖5所示，其中藍(lán)色的部分被稱作塑性模塊，用來存放

新類圖片的知識參數(shù)，黃色的部分被稱作穩(wěn)定模塊，用來存放舊類圖片的知識參數(shù)，塑性模塊與穩(wěn)定模

塊分別是兩個卷積神經(jīng)網(wǎng)絡(luò)的部分層，這個卷積神經(jīng)網(wǎng)絡(luò)可以是ResNet也可以是ResNext等。將圖片分

[1][1][1][1][1]

別輸入兩個卷積神經(jīng)網(wǎng)絡(luò)，將某一層后的輸出引出之后分別得到??與??，經(jīng)過運(yùn)算?????+???

[1]

??后輸入兩個卷積神經(jīng)網(wǎng)絡(luò)之后的層，再分別將之后的層的輸出繼續(xù)進(jìn)行上述運(yùn)算之后再輸入到下一

[1][1]

個層，以此類推，其中??與??代表第一個塑性模塊與穩(wěn)定模塊的自適應(yīng)聚合權(quán)重，這些權(quán)重的數(shù)值可

以自適應(yīng)學(xué)習(xí)優(yōu)化。

圖5自適應(yīng)聚合網(wǎng)絡(luò)結(jié)構(gòu)

初始訓(xùn)練階段時，塑性模塊部分的卷積神經(jīng)網(wǎng)絡(luò)參數(shù)以及所有的自適應(yīng)聚合權(quán)重均是不能訓(xùn)練的。

此時，將部分基類的圖像數(shù)據(jù)送入穩(wěn)定模塊部分的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，優(yōu)化目標(biāo)為：

?=???????(??????,??????)························································(22)

式中：

?——穩(wěn)定模塊部分神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)；

?(·)——交叉熵?fù)p失函數(shù)。

在增量學(xué)習(xí)階段，穩(wěn)定模塊部分的參數(shù)將被凍結(jié)，即不再變化。并先訓(xùn)練塑性模塊的網(wǎng)絡(luò)模型參

數(shù)，優(yōu)化目標(biāo)為：

?=???????(??????,??????)························································(23)

式中：

?——塑性模塊的網(wǎng)絡(luò)模型參數(shù)。

在塑性模塊的網(wǎng)絡(luò)模型參數(shù)收斂之后，也將之暫時凍結(jié)，并隨機(jī)初始化自適應(yīng)聚合權(quán)重，將圖像同

時輸入兩個神經(jīng)網(wǎng)絡(luò)，并優(yōu)化自適應(yīng)聚合權(quán)重。優(yōu)化目標(biāo)為：

[?][?]

??,??=???????(?,?;??????,??????)··············································(24)

式中：

[?][?]

??和??——各個塑性模塊和穩(wěn)定模塊的自適應(yīng)聚合權(quán)重；

?(·)——交叉熵?fù)p失函數(shù)。

需要說明的是，此時的訓(xùn)練數(shù)據(jù)為以往訓(xùn)練的舊類圖像中具有代表性的圖像以及當(dāng)前的最新圖像

的合成數(shù)據(jù)集，其中舊類圖像中具有代表性的圖像可以通過各種經(jīng)典的增量學(xué)習(xí)算法來獲取，例如iCaRl、

LwF、LUCIR或者數(shù)據(jù)集蒸餾等。當(dāng)自適應(yīng)聚合權(quán)重優(yōu)化完畢之后繼續(xù)進(jìn)行增量學(xué)習(xí)，此時的優(yōu)化目標(biāo)為：

[?][?]

?=???????(?;??,??;??????,??????)··············································(25)

10

T/CIXXXX—XXXX

當(dāng)增量學(xué)習(xí)進(jìn)行到一定的程度時，自適應(yīng)聚合參數(shù)并不能保證輸出的準(zhǔn)確性了，即此時的遺忘性危

機(jī)比較嚴(yán)重了，這時就需要進(jìn)行蒸餾學(xué)習(xí)階段。

在蒸餾學(xué)習(xí)階段，將模型的全部參數(shù)凍結(jié)，并按照穩(wěn)定模塊的神經(jīng)網(wǎng)絡(luò)模型的參數(shù)復(fù)制一個相同

的模型出來，但是參數(shù)可變，且輸出與自適應(yīng)聚合權(quán)重?zé)o關(guān)。將舊類代表圖像與新類圖像同時輸入自適

應(yīng)聚合網(wǎng)絡(luò)以及復(fù)制的穩(wěn)定模塊網(wǎng)絡(luò)，分別得到輸出???????與???????，將???????作為復(fù)制的穩(wěn)定模

塊網(wǎng)絡(luò)的期望輸出優(yōu)化網(wǎng)絡(luò)參數(shù)，優(yōu)化目標(biāo)為：

[?][?][?][?]

?=????????(?,?;??,??;???????,???????)+?????????(?,?;??,??;??????,???????)(26)

式中：

??(·)——蒸餾損失函數(shù)；

?(·)——交叉熵?fù)p失函數(shù)；

?——超參數(shù)；

?——復(fù)制的穩(wěn)定模塊網(wǎng)絡(luò)。

在復(fù)制的穩(wěn)定模塊網(wǎng)絡(luò)參數(shù)收斂之后，再將復(fù)制的穩(wěn)定模塊網(wǎng)絡(luò)參數(shù)傳遞給自適應(yīng)聚合網(wǎng)絡(luò)中的

穩(wěn)定模塊參數(shù)。接著即可繼續(xù)重復(fù)增量學(xué)習(xí)步驟，這樣就一定程度上緩解了增量知識過多帶來的遺忘性

危機(jī)。

9基于能量分布的未知異常樣本檢測方法

基于T能量分布的未知異常樣本檢測方法基于能量的傳輸機(jī)制ET和簇間擴(kuò)展策略Lrep組成，為

部分未標(biāo)記的符合已知缺陷類別的PCBA樣本分配正確的缺陷類標(biāo)簽，然后讓他們參與聯(lián)合訓(xùn)練。ET

引入能量分?jǐn)?shù)作為不確定性度量，并估計基于不確定性的傳輸成本，以引導(dǎo)所有樣本的集群分布。為了

進(jìn)一步促進(jìn)logit空間中的區(qū)分度，不確定性能夠顯著反映已知/未知缺陷類別樣本之間的差異，集群

間擴(kuò)展策略增強(qiáng)了混合已知和未知缺陷樣本的全局特征表示，然后增強(qiáng)的表示將被映射到更具區(qū)分度

的logits中。

同已知PCBA缺陷類別檢測不同，期目標(biāo)在未知缺陷樣本的干擾下分配標(biāo)簽，提出了一種基于logit

空間的基于能量的傳輸（ET）機(jī)制，以更充分地探索未標(biāo)記集中的語義差異和隱藏的知識。

具體來說，以與分類器????并行的方式引入K維度的OT聚類器記為???，用于將訓(xùn)練樣本聚類為

K個簇中心。對于給定的N個樣本?∈{?1,?2,...,??},以及通過骨干網(wǎng)絡(luò)提取的特征編碼?∈

{?1,?2,...,??}，定義第i個樣本所屬族類概率：

?(c|??)=softmax(???(??))···························································(27)

式中：

c——一個K維度的向量，用來表示K個簇。

KxN

然后將最優(yōu)傳輸問題中的成本矩陣定義為P∈?以及公式（27）表示??屬于??的概率，其中??是

KxN

第j個簇。同樣，將Q∈?表示為分配矩陣，公式（28）表示??分配給??的后驗(yàn)概率。需要注意的是，

分配矩陣Q僅表示將某個簇分配給每個樣本，而不是直接為分類訓(xùn)練分配標(biāo)簽。當(dāng)我們使用N維向量β

表示N個樣本和K維向量α表示K個簇的分布時，傳輸多面體中分配矩陣Q的所有可行解可以表示為

公式（29）：

???=?(??|??)·······································································(28)

???=?(??|xi)·······································································(29)

KxN

T

U(α,β):={Q∈?|Q?N=α,Q?K=β}·············································(30)

式中：

?——相應(yīng)維度的全1向量；

α——矩陣Q在其行和列上的邊際投影；

β——矩陣Q在其行和列上的邊際投影。

N

隨后引入用于區(qū)分已知和未知缺陷類別的能量分?jǐn)?shù)e∈?引入傳輸優(yōu)化模塊，其定義如下：

??(??|??)

??∈???∑?=1?·································································(31)

其中?(??|??)=???(??)，表示樣本??屬于簇??的邏輯分?jǐn)?shù)。

11

T/CIXXXX—XXXX

基于能量的傳輸機(jī)制（ET）將鼓勵具有較高能量分?jǐn)?shù)的樣本被分配到同一個簇中，而那些具有較

低能量分?jǐn)?shù)的樣本，意味著它們在簇分布中具有較大的不確定性，將傾向于均勻分配在K個簇之間?；?/p>

于能量e的分配矩陣Q可以表示為公式（31），能量傳輸成本P可以表示為：

1e

α=??K，β=N·······························································(32)

K∑i=1ei

KxN

???=???∈?····································································(33)

式中：

N

e∈?能量分?jǐn)?shù)；

P--成本矩陣；

K--聚類中心簇個數(shù)。

e首先被廣播成一個K×N的矩陣，然后與P逐元素相乘。因此，α和β之間的Wasserstein距離定

義為：

αβ，(34)

OT(,)=minQ∈∏(α,β)??Q????··················································

式中：

??，??——Frobenius內(nèi)積。

為了避免需要大量計算成本的線性規(guī)劃問題，引入熵正則化項(xiàng)H(Q)到Wasserstein距離中，并將

優(yōu)化問題表示為：

αβ，ε(35)

OT(,)=minQ∈∏(α,β)??Q????+H(Q)·········································

式中ε>0，H(Q)=∑jiQjilogQji，以及此時優(yōu)化Q:

1

ε

?=????(?)???????(?)····························································(36)

式中：

Diag(u)——以向量u為主對角線元素；

Diag(v)——以向量v為主對角線元素。

在這里，指數(shù)運(yùn)算是逐元素進(jìn)行的，而通過Sinkhorn算法，u和v可以更快地求解。分配矩陣Q將N個

樣本映射到K個簇。

至此，能夠?qū)⑺袠颖就ㄟ^分配矩陣Q分配到K個簇中。

漸進(jìn)式訓(xùn)練樣本構(gòu)建，在第t個訓(xùn)練階段屬于第k個簇的樣本形成集合??，記為:

(?)(?)