《IC封裝基板圖像檢測(cè)系統(tǒng)技術(shù)規(guī)范》文本附編制說(shuō)明

ICS31.180

CCSL30

團(tuán)體標(biāo)準(zhǔn)

T/CIXXXX—XXXX

IC封裝基板圖像檢測(cè)系統(tǒng)技術(shù)規(guī)范

TechnicalspecificationforimageinspectionsystemofICpackagesubstrateon

（征求意見(jiàn)稿）

在提交反饋意見(jiàn)時(shí)，請(qǐng)將您知道的相關(guān)專利連同支持性文件一并附上。

XXXX-XX-XX發(fā)布XXXX-XX-XX實(shí)施

中國(guó)國(guó)際科技促進(jìn)會(huì)發(fā)布

T/CIXXXX—XXXX

目次

前言.................................................................................II

引言................................................................................III

1范圍...............................................................................1

2規(guī)范性引用文件.....................................................................1

3術(shù)語(yǔ)和定義.........................................................................1

4IC封裝基板光學(xué)檢測(cè)裝置.............................................................2

5基于主要距離的空域融合主板拼接方法.................................................4

6基于匹配特征融合的SMT貼片元件缺陷檢測(cè)框架.........................................6

7基于元遷移學(xué)習(xí)和多尺度融合網(wǎng)絡(luò)SMT貼裝小樣本缺陷分割框架...........................7

8緩解遺忘性的圖像增量學(xué)習(xí)分類方法..................................................10

9基于能量分布的未知異常樣本檢測(cè)方法................................................11

I

T/CIXXXX—XXXX

IC封裝基板圖像檢測(cè)系統(tǒng)技術(shù)規(guī)范

1范圍

本文件規(guī)定了IC基板封裝光學(xué)檢測(cè)裝置、基于主要距離的空域融合主板拼接方法、基于匹配特征融

合的SMT貼片元件缺陷檢測(cè)框架和基于元遷移學(xué)習(xí)和多尺度融合網(wǎng)絡(luò)SMT貼裝小樣本缺陷分割框架要求，

提供了緩解遺忘性的圖像增量學(xué)習(xí)分類方法和基于能量分布的未知異常樣本檢測(cè)方法。

本文件適用于工業(yè)IC封裝基板及SMT貼裝圖像檢測(cè)系統(tǒng)的研究、設(shè)計(jì)、技術(shù)路線，可作為IC封裝基

板和SMT貼裝自動(dòng)光學(xué)檢測(cè)系統(tǒng)設(shè)計(jì)與研究的技術(shù)依據(jù)。

2規(guī)范性引用文件

本文件沒(méi)有規(guī)范性引用文件。

3術(shù)語(yǔ)和定義

下列術(shù)語(yǔ)和定義適用于本文件。

RGB三色光源RGBthree-colorlightsource

一種通過(guò)將紅、綠、藍(lán)三種顏色的光混合在一起來(lái)產(chǎn)生各種不同顏色的模式。

IC基板封裝ICsubstratepackage

將硅片上的電路管腳用導(dǎo)線接引到外部接頭處，以便與其它器件連接的裝置。

注：封裝基板不僅能保護(hù)電路、固定線路并導(dǎo)散余熱，還為芯片與PCB之間提供電子連接。

印刷電路板printedcircuitboard

電子元器件的支撐體和電氣連接的載體。它采用電子印刷術(shù)制作，因此被稱為“印刷”電路板。

表面貼裝技術(shù)surfacemountedtechnology

通過(guò)一定的工藝、材料將表面貼片元件貼裝在印刷電路板上的電子組裝技術(shù)，是現(xiàn)代電子產(chǎn)品制造

中的關(guān)鍵工藝技術(shù)之一。

自動(dòng)化光學(xué)檢測(cè)automatedopticalinspection

一種高速、高精度的光學(xué)影像檢測(cè)系統(tǒng)，它運(yùn)用機(jī)器視覺(jué)技術(shù)作為檢測(cè)標(biāo)準(zhǔn)。

注：這種檢測(cè)系統(tǒng)可以改良傳統(tǒng)上使用人力和光學(xué)儀器進(jìn)行檢測(cè)的缺點(diǎn)，廣泛應(yīng)用于各個(gè)領(lǐng)域，包括高科技產(chǎn)業(yè)的

研發(fā)和制造品管，以及國(guó)防、民生、醫(yī)療、環(huán)保、電力等領(lǐng)域。

卷積神經(jīng)網(wǎng)絡(luò)convolutionalneuralnetwork

一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)。

增量學(xué)習(xí)incrementallearning

一個(gè)學(xué)習(xí)系統(tǒng)能不斷地從新樣本中學(xué)習(xí)新的知識(shí)，并能保存大部分以前已經(jīng)學(xué)習(xí)到的知識(shí)。

注：增量學(xué)習(xí)非常類似于人類自身的學(xué)習(xí)模式，是一個(gè)逐漸積累和更新的過(guò)程。

元遷移學(xué)習(xí)meta-transferlearning

涉及在不同學(xué)習(xí)環(huán)境中傳輸知識(shí)，以解決復(fù)雜的學(xué)習(xí)任務(wù)，其核心理念是從一個(gè)任務(wù)學(xué)習(xí)另一個(gè)任

務(wù)，其中一個(gè)任務(wù)被稱為源任務(wù)，另一個(gè)任務(wù)稱為目標(biāo)任務(wù)。

1

T/CIXXXX—XXXX

4IC封裝基板光學(xué)檢測(cè)裝置

表面貼裝技術(shù)所用貼裝元件比起之前的插孔元件來(lái)說(shuō)要微小得多，由于IC封裝與SMT貼裝元件

的體積和重量只有傳統(tǒng)插裝元件的1/10左右，因此利用SMT技術(shù)生產(chǎn)的電子產(chǎn)品整體體積縮小約40%～

60%，相應(yīng)地，重量減輕60%～80%，檢測(cè)各種微小的電氣元件是否正確貼裝以及其電氣連接點(diǎn)焊接情況

的好壞目前一般采用自動(dòng)光學(xué)檢測(cè)技術(shù)。

將自動(dòng)光學(xué)檢測(cè)技術(shù)用于表面貼裝元件檢測(cè)需要獲取可靠的PCB主板成像圖片，現(xiàn)有的可見(jiàn)光直

接成像技術(shù)由可見(jiàn)光相機(jī)直接成像，每個(gè)成像像素由RGB插值得到,會(huì)導(dǎo)致像素?fù)p失，以及帶來(lái)PCB板

成像的分辨率不高的問(wèn)題，同時(shí)由于貼裝元件焊盤會(huì)呈現(xiàn)弧度，采用單一方向光源照射難以對(duì)焊盤焊錫

質(zhì)量全方位成像，不能夠保證整塊PCB板受到均勻光照，會(huì)帶來(lái)由于視角不同、照明差異所導(dǎo)致成像不

一致的問(wèn)題。

如圖1所示，IC基板封裝光學(xué)檢測(cè)裝置包括固定支架1、圖像采集機(jī)構(gòu)2和光源機(jī)構(gòu)3，圖像采集機(jī)構(gòu)

2設(shè)置在固定支架1上并且能夠在豎直方向上上下移動(dòng)，該圖像采集機(jī)構(gòu)2的圖像采集鏡頭豎直朝下，能

夠調(diào)整圖像采集鏡頭到PCB距離，實(shí)現(xiàn)成像視窗范圍的調(diào)整，光源機(jī)構(gòu)3設(shè)置在固定支架1上，該光源機(jī)

構(gòu)3位于圖像采集機(jī)構(gòu)2鏡頭的正下方，光源機(jī)構(gòu)3在豎直方向上上下移動(dòng)并且向下垂直發(fā)射出紅色、綠

色、藍(lán)色三段環(huán)形照明光照射，實(shí)現(xiàn)處于不同高度對(duì)電路板進(jìn)行照射，得到更高成像分辨率，因?yàn)楝F(xiàn)有

采用可見(jiàn)光直接成像技術(shù)，每個(gè)成像像素由RGB插值得到（1R,2G,1B）,存在像素?fù)p失，導(dǎo)致成像分辨率

不高的問(wèn)題，通過(guò)采用紅色、綠色、藍(lán)色三段環(huán)形照明處于不同的高度對(duì)電路板進(jìn)行照射，每個(gè)像素由

RGB分別單獨(dú)成像合成（4R,4G,4B），可以得到更高成像分辨率，同時(shí)保證整塊電路板受到均勻光照，

避免由于視角不同、照明差異所導(dǎo)致成像不一致。

標(biāo)引序號(hào)說(shuō)明：

1——固定支架；

2——圖像采集機(jī)構(gòu)；

3——光源機(jī)構(gòu)；

11——兩個(gè)U型架；

12——基座連桿；

13——兩個(gè)固定桿

14——第一滑動(dòng)移桿

15——第二滑動(dòng)移桿

21——工業(yè)相機(jī)

31——半球環(huán)形裝置。

圖1IC封裝基板光學(xué)檢測(cè)裝置

2

T/CIXXXX—XXXX

標(biāo)引序號(hào)說(shuō)明：

3——光源機(jī)構(gòu)；

31——紅色環(huán)形LED發(fā)光二極管燈帶；

32——綠色環(huán)形LED發(fā)光二極管燈帶；

33——藍(lán)色環(huán)形LED發(fā)光二極管燈帶；

34——藍(lán)色環(huán)形LED發(fā)光二級(jí)管燈帶。

圖2IC封裝基板光源機(jī)構(gòu)

如圖1所示，固定支架1包括兩個(gè)U型架11、基座連桿12、兩個(gè)固定桿13、第一滑動(dòng)移桿14和第二滑

動(dòng)移桿15，U型架11的開(kāi)口都朝下并且均豎直設(shè)置，基座連桿12水平布置，基座連桿12與兩個(gè)U型架11的

上表面均固定連接，兩個(gè)固定桿13分別固定連接在基座連桿12下表面的兩側(cè)，兩個(gè)固定桿13與基座連桿

12所在的平面垂直，兩個(gè)固定桿13的相對(duì)側(cè)一面分別都設(shè)有滑槽，第一滑動(dòng)移桿14在兩個(gè)固定桿13上的

滑槽滑動(dòng)上，并且第一滑動(dòng)移桿14的兩端在滑動(dòng)結(jié)束后通過(guò)螺栓固定住，第一滑動(dòng)移桿14水平布置，第

二滑動(dòng)移桿15在兩個(gè)固定桿13上的滑槽上滑動(dòng)，并且第二滑動(dòng)移桿15的兩端在滑動(dòng)結(jié)束后通過(guò)螺栓固

定住，所述第二滑動(dòng)移桿15也水平布置，第一滑動(dòng)移桿14在第二滑動(dòng)移桿15的上方，即第一滑動(dòng)移桿14

和第二滑動(dòng)移桿15在松開(kāi)螺栓時(shí)可以上下滑動(dòng)，滑動(dòng)到需要的位置時(shí)通過(guò)螺栓將其固定。

如圖1及圖2所示，所述圖像采集機(jī)構(gòu)2為工業(yè)相機(jī)21，該工業(yè)相機(jī)21與第一滑動(dòng)移桿14固定連接，

工業(yè)相機(jī)21拍攝時(shí)的拍攝鏡頭垂直向下，光源機(jī)構(gòu)3包括半球環(huán)形裝置31、紅色環(huán)形LED發(fā)光二極管燈帶

32、綠色環(huán)形LED發(fā)光二極管燈帶33和藍(lán)色環(huán)形LED發(fā)光二極管燈帶34，半球環(huán)形裝置31與第二滑動(dòng)移桿

15固定連接，半球環(huán)形裝置31橫截面小的部分朝上，紅色環(huán)形LED發(fā)光二極管燈帶32、綠色環(huán)形LED發(fā)光

二極管燈帶33和藍(lán)色環(huán)形LED發(fā)光二極管燈帶34在半球環(huán)形裝置31從上而下依次緊貼，工業(yè)相機(jī)21和半

球環(huán)形裝置31處在同一個(gè)軸線上。

在具體實(shí)施過(guò)程中，檢測(cè)人員首先將該裝置安裝在PCB傳送平臺(tái)的上方，使得工業(yè)相機(jī)21的視角正

對(duì)于PCB的主體部分，松開(kāi)第一滑動(dòng)移桿14兩端的螺栓，使第一滑動(dòng)移桿14在固定桿13上上下滑動(dòng)，調(diào)

整工業(yè)相機(jī)21到的距離來(lái)實(shí)現(xiàn)成像視窗范圍調(diào)整，將紅色環(huán)形LED發(fā)光二極管燈帶31、綠色環(huán)形LED發(fā)光

二極管燈帶32以及藍(lán)色環(huán)形LED發(fā)光二極管燈帶33通過(guò)電源線與光源控制器連接后，在光源控制器打開(kāi)

紅色環(huán)形LED發(fā)光二極管燈帶后，工業(yè)相機(jī)21采集PCB成像，然后光源控制器打開(kāi)綠色環(huán)形LED發(fā)光二極

管燈帶，工業(yè)相機(jī)21采集PCB圖像，最后光源控制器打開(kāi)藍(lán)色環(huán)形LED發(fā)光二極管燈帶，將第二滑動(dòng)移桿

15兩端的螺栓松開(kāi)，調(diào)節(jié)光源機(jī)構(gòu)3的高度，使得不同高度的光源機(jī)構(gòu)3對(duì)電路板進(jìn)行照射，可以得到更

高的成像分辨率，同時(shí)保證整塊電路板受到均勻光照，避免由于視角不同、照明差異所導(dǎo)致PCB成像不

一致，至此完成一個(gè)視窗下的PCB成像采集，如此循環(huán)此操作直至所有視窗拍攝完畢。

工作過(guò)程：檢測(cè)人員首先將該裝置安裝在PCB傳送平臺(tái)的上方，使得工業(yè)相機(jī)21的視角正對(duì)于PCB的

主體部分，松開(kāi)第一滑動(dòng)移桿14兩端的螺栓，使第一滑動(dòng)移桿14在固定桿13上上下滑動(dòng)，將紅色環(huán)形LED

發(fā)光二極管燈帶32、綠色環(huán)形LED發(fā)光二極管燈帶33以及藍(lán)色環(huán)形LED發(fā)光二極管燈帶34通過(guò)電源線與

光源控制器連接后，在光源控制器打開(kāi)紅光照射后，工業(yè)相機(jī)21采集PCB成像，然后光源控制器打開(kāi)綠

3

T/CIXXXX—XXXX

光照射后，工業(yè)相機(jī)21采集PCB圖像，最后光源控制器打開(kāi)藍(lán)光照射，同樣方式調(diào)整第二滑動(dòng)移桿15豎

直上下移動(dòng)，得到更高成像分辨率，完成一個(gè)視窗下的PCB成像采集，依此循環(huán)。

5基于主要距離的空域融合主板拼接方法

圖像拼接策略

圖像拼接分為硬拼接和軟拼接，硬拼接依賴既定的偏移量將兩幅圖像的像素直接疊加實(shí)現(xiàn)拼接，軟

拼接則依賴于拼接算法將兩幅不同視角的圖像置于統(tǒng)一的坐標(biāo)系中，再通過(guò)像素映射實(shí)現(xiàn)拼接。基于主

要距離的空域融合主板拼接算法對(duì)以下內(nèi)容進(jìn)行了研究：

a)基于SURF匹配對(duì)的主要距離法，彌補(bǔ)了硬拼接過(guò)程中偏離量無(wú)法實(shí)時(shí)調(diào)整的不足；

b)基于空域的像素加權(quán)融合法，對(duì)光照不均造成的拼接縫兩邊明顯色差進(jìn)行有效處理。

圖像預(yù)處理

采用多種濾波器復(fù)合處理的解決方案，即先對(duì)原始圖像進(jìn)行雙邊濾波，再經(jīng)過(guò)一次中值濾波。

a)雙邊濾波是在高斯濾波的基礎(chǔ)上加入了像素值權(quán)重項(xiàng)，能夠很好地對(duì)圖像進(jìn)行平滑處理以濾

除高斯噪聲，并且還能夠很好地保留圖像的高頻細(xì)節(jié)，公式如下：

?∑?(?,?)?(?,?,?,?)

g(x,y)=?,?·······························································(1)

∑?,???(?,?,?,?)

式中：

g(x,y)——濾波后的輸出像素點(diǎn)；

f(k,l)——輸入像素點(diǎn)；

ω(x,y,k,l)——空間域核與像素范圍域核的乘積；

o(x,y,k,1)——定義域核與值域核的乘積。

(x?k)2+(y?l)2∥f(x,y)?f(k,l)∥2

ω(x,y,k,l)=exp[?2?2]………(2)

2σ2σ

dr

式中：

σ——空域高斯函數(shù)的標(biāo)準(zhǔn)差；

d

σ——值域高斯函數(shù)的標(biāo)準(zhǔn)差；

r

f(k,l)——核函數(shù)作用域內(nèi)的某一點(diǎn)；

f(x,y)——核函數(shù)作用域內(nèi)的中心點(diǎn)。

b)中值濾波是把數(shù)字圖像一點(diǎn)的值用該點(diǎn)的一個(gè)鄰域中各點(diǎn)值的中值代替，對(duì)處理椒鹽噪聲非

常有效，公式如下：

median

g(x,y)=(?,?)∈?{?(?,?)}·······························································(3)

式中：

g(x,y)——濾波后目標(biāo)像素點(diǎn)的灰度值；

f(s,t)——鄰域S中像素灰度值。

SURF特征點(diǎn)提取

AOI系統(tǒng)中的PCB圖像在拍攝過(guò)程中是通過(guò)置物臺(tái)的平移逐步獲取的，因此相鄰圖像間具有非常良

好的平移特性，同時(shí)移動(dòng)過(guò)程中的輕微震動(dòng)導(dǎo)致小角度的偏移，又使得兩幅圖像間出現(xiàn)一定的旋轉(zhuǎn)變換。

PCBA主板上的存在著各種元器件、孔位、錫膏和字符等，經(jīng)過(guò)平移旋轉(zhuǎn)變換后能夠產(chǎn)生大量穩(wěn)定的點(diǎn)特

征，利用好圖像間重疊部分的這些特征，將對(duì)拼接算法有著非常重要的意義，SURF特征提取算法在PCB

圖像中表現(xiàn)最佳，兼顧了速度和穩(wěn)定性。

a)在原始圖像的基礎(chǔ)上構(gòu)建尺度空間。SURF首先將原圖轉(zhuǎn)換為積分圖像，對(duì)于圖像中某一點(diǎn)P(x,

y)，其在積分圖像上的值為：

?≤??≤?

??(?)=∑?=0∑?=0?(?,?)·······························································(4)

式中：

4

T/CIXXXX—XXXX

I——融合后的像素點(diǎn)；

ω——權(quán)重系數(shù)，范圍為[0,1]，表示由原點(diǎn)和該點(diǎn)組成的矩形區(qū)域內(nèi)所有像素的總和。

b)在此基礎(chǔ)上，采用Hessian矩陣建立盒式濾波器（BoxFilter），來(lái)近似替代高斯二階濾波

器，其中Hessian矩陣的數(shù)學(xué)表達(dá)式為：

?2??2?

??2????

?=||································································(5)

?(?,?)?2??2?

??????2

式中：

f(x,y)——圖像中某一點(diǎn)的灰度值。

c)將盒式濾波器帶入Hessian矩陣，得到下式：

???(?,?)???(?,?)

?(?,?,?)=[]·····················································(6)

???(?,?)???(?,?)

式中Dxx、Dxy和Dyy分別代表盒式濾波器的三個(gè)濾波模板。然后計(jì)算該行列式的值，得到：

2

???(?)=???(?)=??????????(2?4)···············································(7)

為了平衡近似代替的誤差，通常要在Dxy前乘上一個(gè)加權(quán)系數(shù)0.9。如果將???(?)作為判別項(xiàng)，則可

以根據(jù)其正負(fù)性得出點(diǎn)(x,y)是否是極值點(diǎn)。

特征點(diǎn)精確定位

5.4.1通過(guò)盒式濾波器建立起圖像的尺度空間后，對(duì)像素點(diǎn)可以計(jì)算出其近似的海森矩陣行列式的正

負(fù)性，從而判斷該點(diǎn)是否為極值點(diǎn)。然后再將其與3x3x3的鄰域內(nèi)其他26個(gè)點(diǎn)比較，如果為最大值或

者最小值，就可以初步判斷為關(guān)鍵點(diǎn)。由于像素值是離散的，通過(guò)濾波模板擬合的連續(xù)空間內(nèi)的極值點(diǎn)

可能處在兩點(diǎn)中間，因此需要采用二次插值來(lái)確定亞像素級(jí)特征點(diǎn)的精確位置。

5.4.2在特征點(diǎn)的半徑為6S（S為特征點(diǎn)所在的尺度值）的圓形鄰域內(nèi)，統(tǒng)計(jì)所有其他點(diǎn)在垂直和水

平兩個(gè)方向的Harr小波（Harr小波模板邊長(zhǎng)為4S）響應(yīng)，再對(duì)響應(yīng)值進(jìn)行高斯函數(shù)加權(quán)，得到該點(diǎn)在

兩個(gè)方向上的方向權(quán)重。將整個(gè)圓域等分為6份扇形區(qū)域，分別統(tǒng)計(jì)通得到該區(qū)域內(nèi)的最大分量，以最

大分量的方向?yàn)樘卣鼽c(diǎn)的主方向。

5.4.3在以特征點(diǎn)為中心，周圍20S*20S的正方形鄰域內(nèi)建立笛卡爾坐標(biāo)系，Y軸為特征點(diǎn)主方向。

再將該區(qū)域劃分為4*4個(gè)子塊，每個(gè)子塊大小為5S*5S，統(tǒng)計(jì)每個(gè)子塊內(nèi)像素點(diǎn)在垂直和水平方向的

Harr小波響應(yīng)值之和，包括四個(gè)分量∑??、∑??、|∑??|和|∑??|，得到一個(gè)4x4x4共64維的特征點(diǎn)

描述向量。最后對(duì)其歸一化處理以消除光照影響，得到特征點(diǎn)描述子。

SMT子圖特征點(diǎn)粗匹配

5.5.1采用KNN算法對(duì)SURF算法提取的兩幅待拼接圖像特征點(diǎn)進(jìn)行配對(duì)。在建立兩幅圖像的兩個(gè)特

征點(diǎn)的集合M和N后，下一步需要對(duì)兩個(gè)集合內(nèi)的特征點(diǎn)建立一對(duì)一的配對(duì)關(guān)系。具體來(lái)說(shuō)，將兩幅圖

像的特征點(diǎn)集合分別看成訓(xùn)練集和查詢集，K值設(shè)為2，遍歷訓(xùn)練集中的特征點(diǎn)，對(duì)每個(gè)點(diǎn)在查詢集中

尋找其配對(duì)的兩個(gè)點(diǎn)。配對(duì)的原則為兩點(diǎn)之間的歐氏距離，因此，訓(xùn)練集中的每個(gè)特征點(diǎn)配對(duì)的將是查

詢集中與其歐氏距離最近和次近的特征點(diǎn)，距離分別為d0和d1。然后對(duì)距離比r進(jìn)行評(píng)估:

?0

?=················································································(8)

?1

如果r的值小于某個(gè)閾值，就保留該對(duì)匹配點(diǎn)，反之，則拋棄。r的值越小，說(shuō)明匹配度越高。

由于PCB重疊主要是因?yàn)槠揭谱儞Q造成的，而偏移距離在PCB圖像的采集過(guò)程中不斷變化，無(wú)法用手

動(dòng)設(shè)定的值來(lái)確定。經(jīng)過(guò)上述論證，采用SURF提取的特征點(diǎn)在配對(duì)后，如果將兩幅圖像直接拼接在一起，

那么匹配點(diǎn)之間的線段長(zhǎng)度就是偏移距離。對(duì)所有線段長(zhǎng)度進(jìn)行統(tǒng)計(jì)，將會(huì)得到一個(gè)距離分布直方圖。

通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，絕大部分的線段長(zhǎng)度分布在一個(gè)較穩(wěn)定的范圍內(nèi)，我們將范圍定義為主要距離，而錯(cuò)誤

匹配的長(zhǎng)度偏差較大，將其他不在該范圍內(nèi)的匹配對(duì)剔除。

5.5.2將主要距離進(jìn)一步細(xì)化，得到精確到像素單位的匹配點(diǎn)距離分布直方圖。通過(guò)在硬拼接的流程

中，每次用SURF算法計(jì)算兩張待拼接圖像間的匹配對(duì)主要距離中的眾數(shù)作為偏移量。

5.5.3基于OpenCV庫(kù)中的concatenate函數(shù)進(jìn)行相鄰圖像融合，每次拼接兩幅相鄰圖像。具體來(lái)說(shuō)，

對(duì)于列拼接，按照設(shè)定的列偏移，將左圖的重疊區(qū)域截?cái)?，再將右圖與截?cái)嗪蟮淖髨D通過(guò)concatenate

5

T/CIXXXX—XXXX

函數(shù)拼接，得到兩張圖拼接的中間圖，再將此中間圖作為下一次拼接的左圖，與下一張相鄰的圖像拼接，

依次類推，完成整個(gè)列的拼接；對(duì)于行拼接，同理。

5.5.4為消除因光照不均造成的拼接縫兩邊明顯色差。將拼接縫兩邊一定范圍內(nèi)的像素分別用兩張圖

像的原像素加權(quán)得到，在空域上進(jìn)行圖像融合，能夠很好地解決該問(wèn)題。假設(shè)待拼接的兩張圖像分別為

A和B，I1和I2分別代表A和B中的像素點(diǎn)，則像素加權(quán)法過(guò)程為：

?1(?,?)(?,?)∈?,?∩?=?

?(?,?)={??1(?,?)+(1??)?2(?,?)(?,?)∈?∩?,?∩?≠?··························(9)

?2(?,?)(?,?)∈?2,?∩?=?

式中：

I——融合后的像素點(diǎn)；

ω——權(quán)重系數(shù)，范圍為[0,1]。

5.5.5采用SURF算法提取出待拼接圖像的特征點(diǎn)并配對(duì)，再計(jì)算出匹配對(duì)之間的歐氏距離，取數(shù)量占

比最多的距離長(zhǎng)度為主要距離作為硬拼接的偏移量。巧妙地結(jié)合了硬拼接與軟拼接的優(yōu)勢(shì)，能夠適應(yīng)

PCB圖像在采集過(guò)程中偏移距離不斷變化的情況，且擁有非?？斓钠唇铀俣龋瑵M足SMT工業(yè)場(chǎng)景中圖像

拼接的要求。

6基于匹配特征融合的SMT貼片元件缺陷檢測(cè)框架

在元件貼裝環(huán)節(jié)，電子貼片元件通過(guò)錫膏焊接在PCB板上后，需要對(duì)元件貼片的質(zhì)量進(jìn)行檢測(cè)，

如檢查是否有立碑、位移、空焊等缺陷。檢查這些缺陷是SMT生產(chǎn)線中非常重要的一步，現(xiàn)有的工業(yè)缺

陷檢測(cè)主要分為人工目檢和自動(dòng)化光學(xué)檢測(cè)（AutomatedOpticalInspection，簡(jiǎn)稱AOI）。即經(jīng)過(guò)AOI

檢測(cè)之后，進(jìn)行人工復(fù)判。

首先將貼片元件的模板圖像與貼片元件的待測(cè)圖像組成貼片元件樣本，并根據(jù)貼片元件樣本中的

兩個(gè)圖像的類型，為貼片元件樣本設(shè)置標(biāo)簽。從貼片元件的模板圖像集中隨機(jī)選擇一張模板圖像Iz，與

從貼片元件的待測(cè)圖像集中隨機(jī)選擇的一張待測(cè)圖像IT，組成貼片元件樣本{Iz,IT}；如果貼片元件樣本

中兩個(gè)圖像對(duì)應(yīng)的貼片元件屬于同一類別，標(biāo)簽設(shè)置為0；如果貼片元件樣本中兩個(gè)圖像對(duì)應(yīng)的貼片元

件不屬于同一類別，標(biāo)簽設(shè)置為1。每一張待測(cè)圖像都可以與一張模板圖像配對(duì)組成一個(gè)訓(xùn)練樣本。

將貼片元件樣本中的兩個(gè)圖像分別輸入到兩個(gè)相同的編碼器網(wǎng)絡(luò)中，得到模板圖像的深度特征p1、

待測(cè)圖像的深度特征p2，并得到模板圖像和待測(cè)圖像的語(yǔ)義差異映射特征D(p1,p2)。

設(shè)計(jì)兩個(gè)相同的編碼器網(wǎng)絡(luò)Encoder，每個(gè)編碼器網(wǎng)絡(luò)Encoder包含四層卷積層Conv0、Conv1、Conv2、

Conv3。通過(guò)卷積等操作分別從模板圖像和待測(cè)圖像中提取深度特征p1、p2。通過(guò)對(duì)提取的深度特征p1、

p2應(yīng)用一個(gè)相關(guān)操作模塊，得到模板圖像和待測(cè)圖像的語(yǔ)義差異映射D(p1,p2)：

nii

∑i=0p1×p2

D(p1,p2)=1?·······················································(10)

√ni2ni2

∑i=0p1×∑i=0p2

式中：

i

p1——p1的第i個(gè)特征維度；

i

p2——p2的第i個(gè)特征維度；

n——p1、p2的特征維度總數(shù)。

利用語(yǔ)義差異映射特征D(p1,p2)與深度特征p1,p2融合，將得到的融合特征F送入解碼器網(wǎng)絡(luò)進(jìn)行缺

陷分割，輸出待測(cè)圖像的缺陷檢測(cè)結(jié)果。采用特征擴(kuò)展操作實(shí)現(xiàn)對(duì)語(yǔ)義差異映射特征D(p1,p2)與深度特

征p1,p2的融合，融合特征記作F。將融合特征F送入解碼器網(wǎng)絡(luò)Decoder進(jìn)行SMT缺陷分割，解碼器網(wǎng)絡(luò)

Decoder包含四層卷積層Conv4、Conv5、Conv6、Conv7和三層上采樣層Up1、Up2、Up3組成，結(jié)構(gòu)為

{Conv4,Up1,Conv5,Up2,Conv6,Up3,Conv7}；最后連接一個(gè)Softmax層，輸出SMT缺陷概率。

通過(guò)損失函數(shù)loss對(duì)缺陷檢測(cè)模型的網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練，當(dāng)貼片元件樣本{Iz,IT}的標(biāo)簽為1時(shí)，表

明圖像Iz、IT對(duì)應(yīng)的貼片元件類型不同，因此期望它們的特征在特征空間中的距離盡可能大；設(shè)置一個(gè)

最大距離M，當(dāng)D(p1,p2)>M時(shí)，表示特征之間的距離足夠大，即這兩個(gè)貼片元件差距越大。同理，當(dāng)

貼片元件樣本{Iz,IT}的標(biāo)簽為0時(shí)，表明圖像Iz、IT對(duì)應(yīng)的貼片元件類別相同，因此期望它們的特征在

特征空間的距離盡可能小。損失函數(shù)loss設(shè)為：

6

T/CIXXXX—XXXX

NiNii

loss=∑i=0(Y,p1,p2)=∑i=0(1?Y)Ls(D)+Y×LDmax{0,(M?D)}······················(11)

式中：

i

(Y,p1,p2)——第i個(gè)標(biāo)記的貼片元件樣本；

Y——第i個(gè)貼片元件樣本的標(biāo)簽；

N——貼片元件樣本的個(gè)數(shù)；

Ls、LD——常量，默認(rèn)值是0.5。

設(shè)定當(dāng)D(p1,p2)>M時(shí)，損失函數(shù)值為0，以簡(jiǎn)化計(jì)算。根據(jù)損失函數(shù)loss，訓(xùn)練缺陷檢測(cè)模型，進(jìn)

行參數(shù)調(diào)整。

將訓(xùn)練完成的缺陷檢測(cè)模型用于待測(cè)圖像的SMT缺陷檢測(cè)。在檢測(cè)時(shí)，選擇與待測(cè)圖像具有相同

貼片元件類型的模板圖像，將待測(cè)圖像和模板圖像輸入至缺陷檢測(cè)模型，當(dāng)兩個(gè)圖像的相似概率大于閾

值時(shí)，判斷待測(cè)圖像對(duì)應(yīng)的貼片元件為正常?；谄ヅ涮卣魅诤系腟MT貼片元件缺陷檢測(cè)框架如圖3所

示。

圖3基于匹配特征融合的SMT貼片元件缺陷檢測(cè)框架

7基于元遷移學(xué)習(xí)和多尺度融合網(wǎng)絡(luò)SMT貼裝小樣本缺陷分割框架

整體框架

基于元遷移學(xué)習(xí)和多尺度融合網(wǎng)絡(luò)SMT小樣本缺陷分割框架如圖4所示。

圖4基于元遷移學(xué)習(xí)和多尺度融合網(wǎng)絡(luò)SMT貼裝小樣本缺陷分割框架

7

T/CIXXXX—XXXX

獲取預(yù)訓(xùn)練采用的數(shù)據(jù)集為公共的COCO數(shù)據(jù)集以及小樣本SMT貼裝元件采集圖像。元學(xué)習(xí)采用的數(shù)

據(jù)集使用來(lái)自筆記本生產(chǎn)工廠流水線實(shí)際采集到的6類缺陷，分別是缺件、偏移、假焊、少錫、側(cè)立、

立碑。

預(yù)訓(xùn)練采用的數(shù)據(jù)集為公共的COCO數(shù)據(jù)集，COCO數(shù)據(jù)集是一個(gè)80類別的大規(guī)模數(shù)據(jù)集。COCO-stuff

用像素級(jí)的東西注釋增強(qiáng)了流行的COCO數(shù)據(jù)集。這些標(biāo)注可用于場(chǎng)景理解任務(wù)，如語(yǔ)義分割、目標(biāo)檢測(cè)

和圖像描述。

框架構(gòu)建

7.2.1預(yù)訓(xùn)練

大規(guī)模數(shù)據(jù)上的預(yù)訓(xùn)練，即使用公共數(shù)據(jù)集進(jìn)行訓(xùn)練。首先初始化一個(gè)特征提取器Θ和一個(gè)分類器

θ，然后通過(guò)梯度下降對(duì)它們進(jìn)行優(yōu)化，如下所示：

[?;?]=[?;?]??▽??([?;?])·······················································(12)

特征提取器Θ:預(yù)訓(xùn)練過(guò)程中用到的特征提取器，比如預(yù)訓(xùn)練用到了COCO數(shù)據(jù)集，有80個(gè)類別，那么

Θ就是將輸入轉(zhuǎn)換為一個(gè)80維度的特征向量。分類器θ是用來(lái)做維度轉(zhuǎn)換的，比如我們最后小樣本分類

是一個(gè)5分類，那么分類器θ作用就是將80維度的特征向量轉(zhuǎn)換為5維。

其中L為以下?lián)p失函數(shù)：

1

?([?;?])=∑?(?(?),?)··················································(13)

?|?|(?,?)∈?[?;?]

式中：

?[?;?](?)——預(yù)測(cè)值；

y——真實(shí)值；

D——數(shù)據(jù)個(gè)數(shù)。

之后預(yù)訓(xùn)練學(xué)習(xí)到的分類器θ將被丟棄，因?yàn)殡S后的幾次任務(wù)包含不同的分類目標(biāo)，例如后面的2類

小樣本分割任務(wù)，不同于COCO的80個(gè)類別。

7.2.2元學(xué)習(xí)訓(xùn)練

SS操作表示為ΦS1和ΦS2，在學(xué)習(xí)過(guò)程中不改變預(yù)訓(xùn)練階段訓(xùn)練的凍結(jié)神經(jīng)元權(quán)值，而FT更新完整

的網(wǎng)絡(luò)。將Φs1初始化為weight同維度的全1向量，Φs2初始化為bias同維度的全0向量，然后分別擴(kuò)展

為和weight、bias的同尺度，然后分別和weight和bias按元素相乘：其中Θ是特征提取器，θ是基學(xué)習(xí)器。

整個(gè)訓(xùn)練過(guò)程可以分為兩個(gè)階段，首先將數(shù)據(jù)集分為支持集和查詢集，T(支持集)的損失通過(guò)梯度

下降來(lái)優(yōu)化當(dāng)前的基礎(chǔ)學(xué)習(xí)器(分類器)θ'，公式如下：

’

(??)(14)

?←???▽???([?;?],??1,2)······················································

式中：

?——用于特征映射的基礎(chǔ)學(xué)習(xí)器；

?——學(xué)習(xí)率；

——縮放參數(shù)；

??1

——位移參數(shù)。

??2

T(查詢集)的損失通過(guò)梯度下降來(lái)優(yōu)化當(dāng)前的元學(xué)習(xí)器SS，公式如下：

′

??=:??????L(??)([?;?],??)··················································(15)

?????{1,2}

式中：

?——學(xué)習(xí)率；

′

(??)——損失函數(shù)；

L?([?;?],??{1,2})

??——梯度。

??

7.2.3元測(cè)試

在元遷移測(cè)試階段，將測(cè)試數(shù)據(jù)的支持集送入網(wǎng)絡(luò)，調(diào)整基礎(chǔ)學(xué)習(xí)器，隨后將查詢集送入網(wǎng)絡(luò)，得

到最終的分割結(jié)果。在元遷移學(xué)習(xí)的訓(xùn)練階段始終沒(méi)有調(diào)整過(guò)預(yù)訓(xùn)練的特征提取器，所以就避免了“災(zāi)

難性的遺忘”問(wèn)題，同時(shí)只調(diào)整縮放和位移參數(shù)，加快了網(wǎng)絡(luò)的訓(xùn)練。

8

T/CIXXXX—XXXX

元遷移學(xué)習(xí)框架構(gòu)建

7.3.1特征圖融合

構(gòu)建元遷移學(xué)習(xí)的框架，多任務(wù)學(xué)習(xí)框架包括用VGG作為主干網(wǎng)絡(luò)，其中有5個(gè)編碼器塊得到五個(gè)初

步特征圖(Fi,i∈{1,2,3,4,5})。首先，我們分別對(duì)每個(gè)編碼器塊的特征映射進(jìn)行3×3卷積，將通道

減少到64個(gè)，這樣可以減少后續(xù)操作所需的參數(shù)數(shù)量，同時(shí)可以幫助后續(xù)進(jìn)行融合特征。接下來(lái)，將這

些不同級(jí)別的特征分別輸入到上一層網(wǎng)絡(luò)，逐步進(jìn)行融合，最后得到5個(gè)增強(qiáng)特征圖(Leveli,i∈

{1,2,3,4,5})，高層的特征圖聚合了更多的特征，底層的特征圖有更多的語(yǔ)義信息。

最后，每個(gè)Leveli逐步融合并生成最終預(yù)測(cè)。任意兩層之間的融合可以表示為：

SU=Conv(|FA?FB|································································(16)

式中：

Fa——進(jìn)行融合的第一個(gè)特征圖；

Fb——進(jìn)行融合的第二個(gè)特征圖；

☉——按元素相減，可以更好的提取兩層網(wǎng)絡(luò)的差異；

||——取絕對(duì)值；

Conv——3*3的卷積。

不采用常規(guī)的拼接融合操作，而是更加注重提取不同層次網(wǎng)絡(luò)之間的差異信息。

7.3.2元學(xué)習(xí)損失函數(shù)設(shè)計(jì)

損失函數(shù)主要包括預(yù)訓(xùn)練階段的損失函數(shù)，元學(xué)習(xí)階段的損失函數(shù)，其中預(yù)訓(xùn)練階段的損失函數(shù)和

元學(xué)習(xí)階段的損失函數(shù)采用交叉熵?fù)p失、Diceloss和Focalloss的組合形式：

Lpre=Lce+Ldice+Lfocal·····························································(17)

式中：

LDicecoff——相似系數(shù)損失函數(shù)，見(jiàn)公式（17）；

LFocal——Focal損失函數(shù)，見(jiàn)公式（18）；

Llogic——邏輯損失函數(shù)，見(jiàn)公式（19）。

2|X∩Y|+ε

L=···································································(18)

Dicecoff|X|+|Y|+ε

式中：

X——預(yù)測(cè)樣本正例的面積；

Y——真實(shí)樣本正例的面積；

ε——防止分母為零設(shè)置的參數(shù)。

γ

LFocal=?α(1?p)log(p)····························································(19)

式中：

α——對(duì)不同類別的樣本進(jìn)行減重的參數(shù)；

γ——調(diào)制系數(shù)；

p——樣本的預(yù)測(cè)值。

1

L=?∑[ylog(g(x))+(1?y)log(1?g(x))]·······································(20)

logicnii

式中：

yi——標(biāo)簽的樣本值；

g(x)——真實(shí)的樣本值。

7.3.3元遷移測(cè)試

將測(cè)試數(shù)據(jù)集中的小樣本PCB圖像輸入到元遷移學(xué)習(xí)框架，得到最終分割結(jié)果。結(jié)果采用MIOU進(jìn)行

度量，其通過(guò)計(jì)算兩組真值和預(yù)測(cè)值的相交和并的比率。公式如下：

1????

????=∑?=0??···················································(21)

?+1∑?=0???+∑?=0???????

9

T/CIXXXX—XXXX

式中：

pij——預(yù)測(cè)為j的真值i的個(gè)數(shù)；

K+1——類的個(gè)數(shù)(包括空類)。

i是實(shí)數(shù)。則pij和pji分別表示假陽(yáng)性和假陰性。分別測(cè)試在1shot，2shot，3shot，5shot，10shot

下的miou做為評(píng)估指標(biāo)。

8緩解遺忘性的圖像增量學(xué)習(xí)分類方法

緩解增量學(xué)習(xí)中遺忘性危機(jī)的深度學(xué)習(xí)圖像分類算法利用自適應(yīng)聚合網(wǎng)絡(luò)來(lái)保證模型不會(huì)增長(zhǎng)的

同時(shí)，采用蒸餾學(xué)習(xí)來(lái)共同緩解增量學(xué)習(xí)中對(duì)于舊知識(shí)的遺忘問(wèn)題。

緩解遺忘性的圖像增量學(xué)習(xí)分類算法結(jié)構(gòu)如圖5所示，其中藍(lán)色的部分被稱作塑性模塊，用來(lái)存放

新類圖片的知識(shí)參數(shù)，黃色的部分被稱作穩(wěn)定模塊，用來(lái)存放舊類圖片的知識(shí)參數(shù)，塑性模塊與穩(wěn)定模

塊分別是兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)的部分層，這個(gè)卷積神經(jīng)網(wǎng)絡(luò)可以是ResNet也可以是ResNext等。將圖片分

[1][1][1][1][1]

別輸入兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)，將某一層后的輸出引出之后分別得到??與??，經(jīng)過(guò)運(yùn)算?????+???

[1]

??后輸入兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)之后的層，再分別將之后的層的輸出繼續(xù)進(jìn)行上述運(yùn)算之后再輸入到下一

[1][1]

個(gè)層，以此類推，其中??與??代表第一個(gè)塑性模塊與穩(wěn)定模塊的自適應(yīng)聚合權(quán)重，這些權(quán)重的數(shù)值可

以自適應(yīng)學(xué)習(xí)優(yōu)化。

圖5自適應(yīng)聚合網(wǎng)絡(luò)結(jié)構(gòu)

初始訓(xùn)練階段時(shí)，塑性模塊部分的卷積神經(jīng)網(wǎng)絡(luò)參數(shù)以及所有的自適應(yīng)聚合權(quán)重均是不能訓(xùn)練的。

此時(shí)，將部分基類的圖像數(shù)據(jù)送入穩(wěn)定模塊部分的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，優(yōu)化目標(biāo)為：

?=???????(??????,??????)························································(22)

式中：

?——穩(wěn)定模塊部分神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)；

?(·)——交叉熵?fù)p失函數(shù)。

在增量學(xué)習(xí)階段，穩(wěn)定模塊部分的參數(shù)將被凍結(jié)，即不再變化。并先訓(xùn)練塑性模塊的網(wǎng)絡(luò)模型參

數(shù)，優(yōu)化目標(biāo)為：

?=???????(??????,??????)························································(23)

式中：

?——塑性模塊的網(wǎng)絡(luò)模型參數(shù)。

在塑性模塊的網(wǎng)絡(luò)模型參數(shù)收斂之后，也將之暫時(shí)凍結(jié)，并隨機(jī)初始化自適應(yīng)聚合權(quán)重，將圖像同

時(shí)輸入兩個(gè)神經(jīng)網(wǎng)絡(luò)，并優(yōu)化自適應(yīng)聚合權(quán)重。優(yōu)化目標(biāo)為：

[?][?]

??,??=???????(?,?;??????,??????)··············································(24)

式中：

[?][?]

??和??——各個(gè)塑性模塊和穩(wěn)定模塊的自適應(yīng)聚合權(quán)重；

?(·)——交叉熵?fù)p失函數(shù)。

需要說(shuō)明的是，此時(shí)的訓(xùn)練數(shù)據(jù)為以往訓(xùn)練的舊類圖像中具有代表性的圖像以及當(dāng)前的最新圖像

的合成數(shù)據(jù)集，其中舊類圖像中具有代表性的圖像可以通過(guò)各種經(jīng)典的增量學(xué)習(xí)算法來(lái)獲取，例如iCaRl、

LwF、LUCIR或者數(shù)據(jù)集蒸餾等。當(dāng)自適應(yīng)聚合權(quán)重優(yōu)化完畢之后繼續(xù)進(jìn)行增量學(xué)習(xí)，此時(shí)的優(yōu)化目標(biāo)為：

[?][?]

?=???????(?;??,??;??????,??????)··············································(25)

10

T/CIXXXX—XXXX

當(dāng)增量學(xué)習(xí)進(jìn)行到一定的程度時(shí)，自適應(yīng)聚合參數(shù)并不能保證輸出的準(zhǔn)確性了，即此時(shí)的遺忘性危

機(jī)比較嚴(yán)重了，這時(shí)就需要進(jìn)行蒸餾學(xué)習(xí)階段。

在蒸餾學(xué)習(xí)階段，將模型的全部參數(shù)凍結(jié)，并按照穩(wěn)定模塊的神經(jīng)網(wǎng)絡(luò)模型的參數(shù)復(fù)制一個(gè)相同

的模型出來(lái)，但是參數(shù)可變，且輸出與自適應(yīng)聚合權(quán)重?zé)o關(guān)。將舊類代表圖像與新類圖像同時(shí)輸入自適

應(yīng)聚合網(wǎng)絡(luò)以及復(fù)制的穩(wěn)定模塊網(wǎng)絡(luò)，分別得到輸出???????與???????，將???????作為復(fù)制的穩(wěn)定模

塊網(wǎng)絡(luò)的期望輸出優(yōu)化網(wǎng)絡(luò)參數(shù)，優(yōu)化目標(biāo)為：

[?][?][?][?]

?=????????(?,?;??,??;???????,???????)+?????????(?,?;??,??;??????,???????)(26)

式中：

??(·)——蒸餾損失函數(shù)；

?(·)——交叉熵?fù)p失函數(shù)；

?——超參數(shù)；

?——復(fù)制的穩(wěn)定模塊網(wǎng)絡(luò)。

在復(fù)制的穩(wěn)定模塊網(wǎng)絡(luò)參數(shù)收斂之后，再將復(fù)制的穩(wěn)定模塊網(wǎng)絡(luò)參數(shù)傳遞給自適應(yīng)聚合網(wǎng)絡(luò)中的

穩(wěn)定模塊參數(shù)。接著即可繼續(xù)重復(fù)增量學(xué)習(xí)步驟，這樣就一定程度上緩解了增量知識(shí)過(guò)多帶來(lái)的遺忘性

危機(jī)。

9基于能量分布的未知異常樣本檢測(cè)方法

基于T能量分布的未知異常樣本檢測(cè)方法基于能量的傳輸機(jī)制ET和簇間擴(kuò)展策略Lrep組成，為

部分未標(biāo)記的符合已知缺陷類別的PCBA樣本分配正確的缺陷類標(biāo)簽，然后讓他們參與聯(lián)合訓(xùn)練。ET

引入能量分?jǐn)?shù)作為不確定性度量，并估計(jì)基于不確定性的傳輸成本，以引導(dǎo)所有樣本的集群分布。為了

進(jìn)一步促進(jìn)logit空間中的區(qū)分度，不確定性能夠顯著反映已知/未知缺陷類別樣本之間的差異，集群

間擴(kuò)展策略增強(qiáng)了混合已知和未知缺陷樣本的全局特征表示，然后增強(qiáng)的表示將被映射到更具區(qū)分度

的logits中。

同已知PCBA缺陷類別檢測(cè)不同，期目標(biāo)在未知缺陷樣本的干擾下分配標(biāo)簽，提出了一種基于logit

空間的基于能量的傳輸（ET）機(jī)制，以更充分地探索未標(biāo)記集中的語(yǔ)義差異和隱藏的知識(shí)。

具體來(lái)說(shuō)，以與分類器????并行的方式引入K維度的OT聚類器記為???，用于將訓(xùn)練樣本聚類為

K個(gè)簇中心。對(duì)于給定的N個(gè)樣本?∈{?1,?2,...,??},以及通過(guò)骨干網(wǎng)絡(luò)提取的特征編碼?∈

{?1,?2,...,??}，定義第i個(gè)樣本所屬族類概率：

?(c|??)=softmax(???(??))···························································(27)

式中：

c——一個(gè)K維度的向量，用來(lái)表示K個(gè)簇。

KxN

然后將最優(yōu)傳輸問(wèn)題中的成本矩陣定義為P∈?以及公式（27）表示??屬于??的概率，其中??是

KxN

第j個(gè)簇。同樣，將Q∈?表示為分配矩陣，公式（28）表示??分配給??的后驗(yàn)概率。需要注意的是，

分配矩陣Q僅表示將某個(gè)簇分配給每個(gè)樣本，而不是直接為分類訓(xùn)練分配標(biāo)簽。當(dāng)我們使用N維向量β

表示N個(gè)樣本和K維向量α表示K個(gè)簇的分布時(shí)，傳輸多面體中分配矩陣Q的所有可行解可以表示為

公式（29）：

???=?(??|??)·······································································(28)

???=?(??|xi)·······································································(29)

KxN

T

U(α,β):={Q∈?|Q?N=α,Q?K=β}·············································(30)

式中：

?——相應(yīng)維度的全1向量；

α——矩陣Q在其行和列上的邊際投影；

β——矩陣Q在其行和列上的邊際投影。

N

隨后引入用于區(qū)分已知和未知缺陷類別的能量分?jǐn)?shù)e∈?引入傳輸優(yōu)化模塊，其定義如下：

??(??|??)

??∈???∑?=1?·································································(31)

其中?(??|??)=???(??)，表示樣本??屬于簇??的邏輯分?jǐn)?shù)。

11

T/CIXXXX—XXXX

基于能量的傳輸機(jī)制（ET）將鼓勵(lì)具有較高能量分?jǐn)?shù)的樣本被分配到同一個(gè)簇中，而那些具有較

低能量分?jǐn)?shù)的樣本，意味著它們?cè)诖胤植贾芯哂休^大的不確定性，將傾向于均勻分配在K個(gè)簇之間?；?/p>

于能量e的分配矩陣Q可以表示為公式（31），能量傳輸成本P可以表示為：

1e

α=??K，β=N·······························································(32)

K∑i=1ei

KxN

???=???∈?····································································(33)

式中：

N

e∈?能量分?jǐn)?shù)；

P--成本矩陣；

K--聚類中心簇個(gè)數(shù)。

e首先被廣播成一個(gè)K×N的矩陣，然后與P逐元素相乘。因此，α和β之間的Wasserstein距離定

義為：

αβ，(34)

OT(,)=minQ∈∏(α,β)??Q????··················································

式中：

??，??——Frobenius內(nèi)積。

為了避免需要大量計(jì)算成本的線性規(guī)劃問(wèn)題，引入熵正則化項(xiàng)H(Q)到Wasserstein距離中，并將

優(yōu)化問(wèn)題表示為：

αβ，ε(35)

OT(,)=minQ∈∏(α,β)??Q????+H(Q)·········································

式中ε>0，H(Q)=∑jiQjilogQji，以及此時(shí)優(yōu)化Q:

1

ε

?=????(?)???????(?)····························································(36)

式中：

Diag(u)——以向量u為主對(duì)角線元素；

Diag(v)——以向量v為主對(duì)角線元素。

在這里，指數(shù)運(yùn)算是逐元素進(jìn)行的，而通過(guò)Sinkhorn算法，u和v可以更快地求解。分配矩陣Q將N個(gè)

樣本映射到K個(gè)簇。

至此，能夠?qū)⑺袠颖就ㄟ^(guò)分配矩陣Q分配到K個(gè)簇中。

漸進(jìn)式訓(xùn)練樣本構(gòu)建，在第t個(gè)訓(xùn)練階段屬于第k個(gè)簇的樣本形成集合??，記為:

(?)(?)