圖像異常檢測研究現(xiàn)狀綜述

1、圖像異常檢測研究現(xiàn)狀綜述異常檢測是機器學(xué)習(xí)領(lǐng)域中一項重要的研究內(nèi)容. 它是一種利用無標注樣本或者正常樣本構(gòu)建檢測模型1, 檢測與期望模式存在差異的異常樣本的方法. 異常檢測在各種領(lǐng)域中都有廣泛的應(yīng)用, 如網(wǎng)絡(luò)入侵檢測、信號處理、工業(yè)大數(shù)據(jù)分析、異常行為檢測和圖像與視頻處理等.早期的異常檢測算法大多應(yīng)用于數(shù)據(jù)挖掘領(lǐng)域, 而近年來隨著計算機視覺和深度學(xué)習(xí)等相關(guān)技術(shù)的發(fā)展, 許多相關(guān)工作將異常檢測引入到圖像處理領(lǐng)域來解決樣本匱乏情況下的目標檢測問題.傳統(tǒng)的目標檢測算法中很大一部分方法屬于監(jiān)督學(xué)習(xí)的范疇, 即需要收集足夠的目標類別樣本并進行精確的標注, 比如圖像的類別、圖像中目標的位置以及每一個像素點

2、的類別信息等2-3. 然而, 在許多應(yīng)用場景下, 很難收集到足夠數(shù)量的樣本. 例如, 在表面缺陷檢測任務(wù)當中, 實際收集到的圖像大部分屬于正常的無缺陷樣本, 僅有少部分屬于缺陷樣本, 而需要檢測的缺陷類型又十分多樣, 這就使得可供訓(xùn)練的缺陷樣本的數(shù)量十分有限4. 又比如在安檢任務(wù)當中, 不斷會有新的異常物品出現(xiàn)5. 而對于醫(yī)學(xué)圖像中病變區(qū)域的識別任務(wù), 不僅帶有病變區(qū)域的樣本十分稀少, 對樣本進行手工標注也十分耗時6. 在這些情況下, 由于目標類別樣本的缺乏, 傳統(tǒng)的目標檢測和圖像分割的方法已不再適用.而異常檢測無需任何標注樣本就能構(gòu)建檢測模型的特點, 使得其十分適用于上述幾種情況7. 在圖像

3、異常檢測當中, 收集正常圖像的難度要遠低于收集異常圖像的難度, 能顯著減少檢測算法在實際應(yīng)用中的時間和人力成本. 而且, 在異常檢測中模型是通過分析與正常樣本之間的差異來檢測異常樣本, 這使得異常檢測算法對各種類型甚至是全新的異常樣本都具有檢測能力. 雖然標注樣本的缺失給圖像異常檢測帶來了許多問題和挑戰(zhàn), 不過由于上述各種優(yōu)點, 如表1所示, 已經(jīng)有許多方法將圖像異常檢測應(yīng)用在各種領(lǐng)域中. 因此, 圖像異常檢測問題具有較高的研究價值和實際應(yīng)用價值.表1圖像異常檢測的應(yīng)用領(lǐng)域Table1Applications of image anomaly detectionN2. 圖像異常檢測技術(shù)研究現(xiàn)狀

4、2.2.2 基于分類面構(gòu)建的異常檢測方法基于分類面構(gòu)建的方法, 其核心思想在于將單類正常樣本轉(zhuǎn)換成多類別樣本以訓(xùn)練分類器, 通過這種方式來在圖像空間中構(gòu)建分類面, 實現(xiàn)對正常樣本和潛在的異常樣本的分類. 常用的基于分類面構(gòu)建的方法大致包含以下兩個類別:1)第一類方法將原始單類樣本通過幾何變換得到多類別樣本, 并結(jié)合在分布外檢測(Out-of-distribution, OOD)99任務(wù)當中比較常見的基于置信度的方法來進行異常檢測.OOD檢測任務(wù)與異常檢測任務(wù)目標非常相似, 同樣也需要模型對訓(xùn)練過程中未出現(xiàn)過的樣本有檢測能力, 但OOD的特點在于訓(xùn)練樣本中包含了多個類別, 所以可以直接在訓(xùn)練樣本

5、上進行多分類的訓(xùn)練. Hendrycks等100指出, 由于異常樣本落在正常樣本的分布之外, 分類器對異常樣本輸出的最大softmax值往往會低于正常樣本的最大softmax值, 所以可以通過設(shè)定閾值的方式區(qū)分正常樣本和異常樣本. 由于異常檢測中訓(xùn)練集僅包含了一類樣本, 所以相關(guān)工作就嘗試通過對正常樣本進行變換的方式來構(gòu)建多類別的訓(xùn)練集.如圖17所示, Golan等101采用了以翻轉(zhuǎn)、平移和旋轉(zhuǎn)為基礎(chǔ)的一共72種幾何變換方式來處理原始圖像, 每一種變換方式下得到的圖像即為一類樣本, 以此構(gòu)建了一個72類的分類數(shù)據(jù)集來訓(xùn)練一個分類網(wǎng)絡(luò). 在檢測階段, 對待檢樣本進行全部的72種變換并分別進行分類

6、, 異常樣本經(jīng)過變換之后, 網(wǎng)絡(luò)會無法確定其對應(yīng)的變換類別, 使得分類時輸出的最大softmax值降低, 以此來進行異常圖像的檢測. Hendrycks等102對該方法進行了改進, 將原本直接的72分類任務(wù)轉(zhuǎn)換成了一個多任務(wù)(Multi-task)模型, 在提取到的特征圖上進行額外的角度和平移量的分類任務(wù), 以此來提升網(wǎng)絡(luò)特征提取和分類的能力.圖17將單類樣本轉(zhuǎn)換成多類樣本101Fig.17Transforming one-class samples into multi-class samples101第一類方法雖然在CIFAR-10等自然圖像數(shù)據(jù)集上取得了優(yōu)異的成績, 不過存在著一些限制,

7、 如圖18所示, 當檢測目標為斑馬時, 網(wǎng)絡(luò)能夠識別圖像之間存在旋轉(zhuǎn)的關(guān)系. 但如果檢測目標為具有對稱結(jié)構(gòu)或者沒有方向信息的紋理圖像, 比如圖18第二行所示斑馬表面的黑白紋理, 網(wǎng)絡(luò)無法直接從紋理圖像中感知到足夠大的差異實現(xiàn)旋轉(zhuǎn)角的預(yù)測, 此時強迫網(wǎng)絡(luò)輸出相應(yīng)的角度反而會影響網(wǎng)絡(luò)的訓(xùn)練過程101. 類似地, 當檢測目標本身存在角度上的顯著變化時也難以應(yīng)用上述方法. 因此這類方法還需要設(shè)計更為通用的變換方式以擴展其應(yīng)用領(lǐng)域, 充分發(fā)揮其高精度的優(yōu)勢. 此外, 也有相關(guān)的研究指出, 在OOD檢測任務(wù)中, 分類模型對異常樣本也有可能會產(chǎn)生很高的概率值, 影響異常檢測的過程103, 這同樣是一個值得進

8、一步研究和改進的內(nèi)容.圖18不同圖像上旋轉(zhuǎn)效果對比102Fig.18Comparison of rotation on different images1022)第二類方法則考慮結(jié)合傳統(tǒng)方法中OC-SVM或者SVDD的思路, 構(gòu)建盡可能貼合正常樣本分布的分類面來進行異常檢測. 這類方法大多將正常樣本當作正樣本, 并采用額外的輔助樣本作為負樣本, 以此在圖像空間中構(gòu)建正常和異常圖像間的分類面.Oza等104利用預(yù)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)提取正常圖像的特征作為正樣本, 同時在特征空間中使用以原點為中心的隨機高斯噪聲向量作為負樣本, 以此來訓(xùn)練一個分類網(wǎng)絡(luò). 不過這種方法僅使用高斯噪聲作為負樣本, 負樣本比

9、較單一且容易分類, 很容易出現(xiàn)過擬合的問題導(dǎo)致網(wǎng)絡(luò)無法檢測新的異常樣本. Hendrycks等105注意到了隨機生成的簡單噪聲樣本的不足, 因此從別的圖像數(shù)據(jù)集中選取圖像作為負樣本來訓(xùn)練分類模型.然而上述方法在選取負樣本時沒有考慮到正常樣本的分布情況, 在這種情況下訓(xùn)練得到的分類效果就無法保證. 當選擇的負樣本距離正常樣本較遠時, 網(wǎng)絡(luò)容易出現(xiàn)過擬合的現(xiàn)象, 導(dǎo)致其無法對真正的異常樣本進行分類. 而如果選擇的樣本與正常樣本的分布過于相似, 也可能出現(xiàn)網(wǎng)絡(luò)無法訓(xùn)練的問題.因此, 許多方法嘗試在正常樣本分布區(qū)域附近通過生成式模型創(chuàng)建負樣本. 而生成式對抗網(wǎng)絡(luò)(Generative adversar

10、ial network, GAN)106是近年來備受關(guān)注的生成式模型, 有許多方法就結(jié)合GAN來進行分類器的訓(xùn)練. GAN的結(jié)構(gòu)如圖19所示, 在GAN的訓(xùn)練過程中, 目標函數(shù)一般可以表示為:圖19GAN結(jié)構(gòu)示意圖15Fig.19The structure of GAN15minGmaxDEXlnD(X)+Ezln(1D(G(z)(8)其中,G和D分別代表生成器和判別器,X是真實樣本,z是隨機的噪聲向量,G(z)即為生成的樣本.為了對抗不斷優(yōu)化的判別器, 生成器所生成的圖像質(zhì)量會不斷提升, 最終能生成清晰且真實的樣本圖像, 而Sabokrou等107-108注意到在GAN訓(xùn)練的中期, 生成的依

11、然是低質(zhì)量的圖像, 鑒于其與正常圖像之間存在一定的相似性, 此時的判別器正好可以作為一個分類器進行圖像異常檢測. 將自編碼器作為生成器, 并且附加了一個分類網(wǎng)絡(luò)作為判別器. 在自編碼器訓(xùn)練過程中采用了Early-stop109的策略, 即當重構(gòu)誤差小于特定閾值時就停止自編碼器的訓(xùn)練避免生成過于真實的樣本, 如果過度訓(xùn)練反而會影響判別器對真實異常樣本的分類性能110. 利用此時的自編碼器處理正常樣本就能得到大量接近正常樣本的合成圖像. 而判別器為了區(qū)分這些樣本和正常樣本, 就需要在正常樣本周圍構(gòu)建分類面, 足夠貼合的分類面為該方法提供了良好的異常檢測性能. Yang等110和Chatillon等

12、111也采取了相似的策略, 不同的是, Yang等是通過分析損失函數(shù)曲線的方式人工設(shè)定Early-stop的節(jié)點. Chatillon等是在GAN訓(xùn)練完畢之后, 選擇一部分訓(xùn)練中期的生成器權(quán)重, 用來生成低質(zhì)量樣本作為分類時使用的負樣本, 并且還給出了一部分數(shù)學(xué)上的證明以表達該方法的有效性. Zaheer等112同樣將原始GAN中的生成器換成了自編碼器, 并且將判別器的任務(wù)從區(qū)分真實圖像和生成圖像轉(zhuǎn)換成了區(qū)分正常圖像和異常圖像, 其中在訓(xùn)練階段使用的異常圖像同樣是借助未充分訓(xùn)練的生成器得到的.這類方法都采用了Early-stop來避免生成器過度優(yōu)化, 為此還需要進行反復(fù)的實驗來確定最優(yōu)的超參數(shù)

13、, 這使得這些方法在應(yīng)用到新的圖像類型中時需要較長的調(diào)參過程. 為了讓模型能夠生成低質(zhì)量樣本又避免反復(fù)調(diào)參, 部分方法開始主動探索對應(yīng)著低質(zhì)量樣本的區(qū)域來生成負樣本. Lim等113嘗試在特征空間中生成低質(zhì)量樣本, 在GAN的基礎(chǔ)上, 對隱變量的分布進行了約束, 迫使其分布在原點周圍. 訓(xùn)練完畢后, 距離原點越遠的特征向量, 其解碼后的圖像質(zhì)量就越差. 因此, 可以通過在該區(qū)域內(nèi)進行采樣和插值等方式得到低質(zhì)量樣本以進行分類器的訓(xùn)練. 而Liu等114則通過修改生成器訓(xùn)練目標來直接生成低質(zhì)量樣本, 該方法用一些正常樣本中最容易被判定為異常圖像的低質(zhì)量樣本來訓(xùn)練生成器, 在這種情況下生成器的性能就

14、會被限制, 導(dǎo)致其只能生成低質(zhì)量的樣本. 不過由于并不是每一批訓(xùn)練樣本中都包含低質(zhì)量樣本, 所以可能會存在訓(xùn)練不穩(wěn)定的問題. 針對這一點, Ngo等115改進了生成器訓(xùn)練階段使用的損失函數(shù), 對于判別器能以較高置信度判別正常與否的樣本都進行懲罰, 迫使生成器生成與正常樣本盡量相似又有所區(qū)別的低質(zhì)量樣本. Schlachter等116也采用了類似的思路, 不過Schlachter并沒有利用GAN, 而是通過分析正常樣本特征之間的距離將訓(xùn)練樣本分成了典型和非典型兩類, 典型樣本特征之間的距離較小而非典型樣本特征之間的距離較大. 隨后在兩種樣本之間構(gòu)建分類面, 以區(qū)分位于非典型樣本區(qū)域之外的異常樣本

15、.Goyal等117提出的魯棒單類別分類(Deep robust one-class classification, DROCC)是這一類方法的最新工作, 僅采用了一個分類器進行異常檢測, 并通過梯度上升自動生成最適合現(xiàn)有數(shù)據(jù)的異常樣本作為負樣本. 在分類器訓(xùn)練的初期, 僅使用正常樣本進行訓(xùn)練并希望分類器對全部樣本輸出相同的結(jié)果. 而在后續(xù)的訓(xùn)練過程中, 對于每一個正常樣本, 都通過梯度上升的方式, 在以正常樣本為中心半徑為r的圖像空間中尋找潛在的負樣本并進行二分類的訓(xùn)練. 該方法在各種類型的數(shù)據(jù)集上都表現(xiàn)出優(yōu)異的性能. 不過該方法依然存在一個需要調(diào)節(jié)的超參數(shù)r, 而且從實驗結(jié)果來看不同的半徑

16、r會對分類器的檢測性能產(chǎn)生較大的影響, 因此同樣需要反復(fù)實驗來得到最合適的半徑.圖20展示了上述幾種需要構(gòu)建負樣本來訓(xùn)練分類網(wǎng)絡(luò)的方法示意圖. 其中(a)(d)分別展示了利用隨機噪聲104、利用隨機圖像105、利用GAN110-115以及利用梯度上升117來創(chuàng)建負樣本的方法. 其中實心與空心的圓點分別代表了正常樣本與生成的負樣本. 實線與虛線則分別代表了分類器對正常樣本和異常樣本的決策邊界. 而點劃線代表著兩者之間的不確定區(qū)域. 曲線上的數(shù)字代指分類器的輸出值, 越高表示分類器越肯定該圖像為正常圖像, 反之亦然. 對于(a)和(b)方法, 由于隨機的噪聲或者圖像與正常樣本之間并沒有關(guān)聯(lián), 所以

17、構(gòu)建出的分類面中存在大量的不確定區(qū)域, 分類器無法很好地鑒別位于這些區(qū)域內(nèi)的圖像進而影響檢測性能. 而后兩種方法都主動在正常圖像周圍生成低質(zhì)量圖像作為負樣本, 而且梯度上升的方法更是顯式地約束了生成圖像到正常圖像的距離, 這些方法由于采用的負樣本更加貼近正常圖像, 因此訓(xùn)練得到的分類器能夠產(chǎn)生更加緊密的決策邊界和更小的不確定區(qū)域, 異常檢測精度更高.圖20需要構(gòu)建負樣本的幾種方法的示意圖Fig.20The graphical illustration of the methods based on creating fake-negative samples然而, 這些利用負樣本構(gòu)建分類面的方

18、法存在較多的假設(shè)和隨機性, 大多難以直觀地控制所生成負樣本的圖像質(zhì)量和分布, 雖然DROCC嘗試通過梯度上升的方式生成負樣本, 但調(diào)參過程較為繁瑣. 而且這些方法所生成樣本的分布特性大多只是在二維或三維空間進行了可視化驗證, 在更高維的復(fù)雜圖像或者特征空間中, 或許就無法得到理想的緊致分類面, 這或許就是第二種方法在精度上略低于第一種幾何變換類的方法的原因102,117. 所以, 如何更直觀有效地設(shè)計負樣本生成算法使其緊密分布在正常樣本周圍依然是一個需要解決的問題.2.2.3 基于圖像重構(gòu)的異常檢測方法基于圖像重構(gòu)的方法, 其核心思想在于對輸入的正常圖像進行編解碼, 并以重構(gòu)輸入為目標訓(xùn)練神經(jīng)

19、網(wǎng)絡(luò), 以此來學(xué)習(xí)正常圖像的分布模式. 然后在檢測階段通過分析重構(gòu)前后圖像之間的差異來進行異常檢測. 根據(jù)采取的訓(xùn)練模式, 常用的基于圖像重構(gòu)的方法大致包含基于自編碼器和基于生成式對抗網(wǎng)絡(luò)(Generative adversarial networks, GAN)兩種類型.1)在基于圖像重構(gòu)的方法中, 最為常用的網(wǎng)絡(luò)結(jié)構(gòu)為自編碼器(Autoencoder, AE)118-119. 僅利用正常樣本訓(xùn)練得到的自編碼器, 在測試階段能夠良好地重構(gòu)正常圖像. 而對于存在異常的圖像, 在圖像編碼以及后續(xù)的重構(gòu)過程中都會與正常圖像產(chǎn)生較大的差異, 而差異的大小即為衡量待測樣本異常程度的指標.自編碼器的結(jié)構(gòu)

20、如圖21所示, 其一般由一個編碼器和一個解碼器組成, 且兩者的網(wǎng)絡(luò)結(jié)構(gòu)一般是對稱的. 其中, 編碼器在網(wǎng)絡(luò)前向傳播過程中不斷縮小特征圖的尺寸, 以此來刪除冗余的信息. 而解碼器負責對特征進行解碼, 得到與輸入圖像相同大小的圖像, 通過計算重構(gòu)前后圖像之間的差異來訓(xùn)練網(wǎng)絡(luò). 而在此過程中最為常用的損失函數(shù)就是均方誤差(Mean square error, MSE)120. MSE用重構(gòu)前后圖像中所有像素點上的像素值之差的平方均值來衡量圖像重構(gòu)的質(zhì)量. 訓(xùn)練結(jié)束后, 由于瓶頸結(jié)構(gòu)的存在, 對于一些異常區(qū)域面積較小的樣本, 自編碼器能夠在圖像編解碼的過程中消除異常區(qū)域的影響, 重構(gòu)出一張正常圖像作為

21、參考, 隨后可以通過逐像素比較的方式得到異常區(qū)域.圖21自編碼器的結(jié)構(gòu)119Fig.21The structure of autoencoder119很多方法利用自編碼器來進行異常檢測121-123. Mei等119利用降噪自編碼器來進行紋理圖像的異常區(qū)域定位, 將樣本切分成一系列小的圖像片并分別進行重構(gòu). 此外, Mei等還表明結(jié)合多尺度的策略124, 即在多個不同尺度下對圖像進行重構(gòu)可以有效地提升異常的定位精度.除了重構(gòu)誤差, 近期有一些方法開始利用圖像重構(gòu)中得到的梯度信息來進行異常檢測. Kwon等125指出, 重構(gòu)誤差一般僅衡量了在中間層特征空間以及最后的圖像空間內(nèi)的差異. 但如果分析

22、梯度差異, 則可以從重構(gòu)網(wǎng)絡(luò)的任意一層處獲取并進行比較, 這使得基于梯度的方法能從更全面的角度衡量待測圖像的異常程度. 此外, Zimmerer等126表明在異常樣本上計算得到的梯度還提供了額外的方向信息輔助分類. 對于圖像而言, 異常圖像上計算得到的梯度其實就代表著朝向正常樣本的優(yōu)化方向. 這些優(yōu)點使得梯度向量相比于簡單的重構(gòu)損失能提供更加完備的信息. Zimmerer等126首先將梯度信息引入到了異常檢測任務(wù)中, 通過計算變分自編碼器(Variational autoencoder, VAE)中證據(jù)下界(Evidence lower bound, ELBO)相對于輸入圖像的梯度來進行異常檢

23、測. Kwon等125利用余弦相似度來計算正常樣本梯度向量之間的角度, 以此來構(gòu)建正常樣本梯度向量的方向一致性約束. 在測試階段出現(xiàn)不滿足該一致性約束的梯度向量時, 則認為該圖像為異常圖像. Chu等127則從一個全新的角度進行異常圖像檢測, 們發(fā)現(xiàn)自編碼器在以正常樣本為主的訓(xùn)練集上訓(xùn)練時, 正常圖像的重構(gòu)誤差會穩(wěn)步下降, 但異常圖像的重構(gòu)誤差則會出現(xiàn)波動. 因此, 通過分析損失函數(shù)的變化曲線(Loss profile)以實現(xiàn)未標記樣本中異常圖像的檢測.不過, 這種基于傳統(tǒng)自編碼器的圖像重構(gòu)方法存在重構(gòu)后圖像比較模糊的問題. 自編碼器常用的MSE統(tǒng)計了每一個像素點上的重構(gòu)差異, 但由于瓶頸結(jié)構(gòu)

24、的存在, 在編解碼的過程中會有信息的丟失, 導(dǎo)致從理論上來說自編碼器無法保證每一個像素點上的像素值都不變. 如果迫使MSE接近于0, 則會得到一個大致而平均的結(jié)果, 這就使得重構(gòu)后的圖像容易模糊, 在邊緣區(qū)域會出現(xiàn)較多的差異從而影響后續(xù)的異常定位過程.對于自編碼器重構(gòu)較為模糊的問題, 早期方法會嘗試采用VAE并結(jié)合編碼后的特征輔助異常檢測128, 或者修改重構(gòu)階段的損失函數(shù)120來進行改進, 不過效果都比較有限. Abati等129則是在圖像重構(gòu)的基礎(chǔ)上, 引入了自回歸過程以學(xué)習(xí)潛在表示的概率分布, 并通過最小化隱變量分布的微分熵來訓(xùn)練網(wǎng)絡(luò). 相比于VAE, 這種更加靈活的隱變量分布提升了圖像

25、重構(gòu)的質(zhì)量和異常檢測的能力.此外有方法嘗試通過修改網(wǎng)絡(luò)結(jié)構(gòu)的方式優(yōu)化重構(gòu)的質(zhì)量, Zhou等16通過額外增加一條用來提取圖像結(jié)構(gòu)的支路來盡可能地保留輸入樣本的信息. 采用預(yù)先訓(xùn)練好的網(wǎng)絡(luò)提取輸入樣本的結(jié)構(gòu)特征, 并且將此特征融合到圖像重構(gòu)的訓(xùn)練過程中. 此外, 還通過比較重構(gòu)前后圖像結(jié)構(gòu)信息的方式來確保重構(gòu)圖像的質(zhì)量.圖22異常樣本的重構(gòu)示意圖130Fig.22The reconstruction of anomalous images130除了重構(gòu)模糊的問題, 基于自編碼器的方法還存在著無法保證完全消除輸入圖像中的異常區(qū)域的問題11. 當訓(xùn)練樣本比較多樣化時, 自編碼器會體現(xiàn)出強大的學(xué)習(xí)能力

26、并對潛在的異常樣本產(chǎn)生過強的適應(yīng)能力. 如圖22所示, 自編碼器僅使用了數(shù)字8進行訓(xùn)練. 在編碼異常圖像數(shù)字1時, 雖然1對應(yīng)的特征向量在特征空間中會遠離正常特征向量的分布區(qū)域, 但重構(gòu)網(wǎng)絡(luò)依然重構(gòu)出了與輸入接近的圖像, 導(dǎo)致其重構(gòu)前后的差異反而較小, 使得一些異常樣本被誤判成正常樣本. 針對這一問題, 大多方法采用對隱變量進行編輯的方式來解決. Tian等131嘗試利用一個全連接層優(yōu)化待測圖像的隱變量, 迫使其接近于正常樣本的特征向量, 以此來保證重構(gòu)后的圖像中不存在異常區(qū)域. 此外, 如圖23所示, Gong等132提出的記憶強化自編碼器(Memory-augmented deep aut

27、oencoder, MemAE)在自編碼器的基礎(chǔ)上, 增加了一個記憶模塊, 用來存儲最具有代表性的特征向量以提升圖像重構(gòu)的穩(wěn)定度.圖23隱變量編輯示意圖132Fig.23The editing of latent vector132不過該方法存在一個問題就是需要大量的空間存儲訓(xùn)練得到的記憶模塊, 文章中一共采用了1000個記憶向量來保證特征重構(gòu)的效果. 針對這一問題, Park等133在MemAE的基礎(chǔ)上, 嘗試提升記憶向量學(xué)習(xí)的有效性. 在記憶向量的訓(xùn)練階段, 結(jié)合聚類中類內(nèi)緊致類間可分的思想, 最小化歸屬于同一記憶向量的特征的類內(nèi)距離, 同時提升不同記憶向量之間的可分度. 通過增加這兩項損

28、失函數(shù), 將記憶模塊的容量從原先的1000個降到了10個, 顯著提升了算法的效率. 除了編輯隱變量, Dehaene等134采用直接在圖像空間內(nèi)進行迭代優(yōu)化的方式來消除重構(gòu)圖像中的異常結(jié)構(gòu), 相比于優(yōu)化隱變量再解碼的方式, 這種直接在圖像空間內(nèi)優(yōu)化的方式能更好的保留圖像的細節(jié). 不過, 上述幾種方法在檢測階段的優(yōu)化過程較為煩瑣且耗時. 而Yang等11在隱變量層增加了基于聚類損失的正則項來避免重構(gòu)出異常區(qū)域, 在紋理圖像上的效果較好, 但缺乏理論上的保證.2)基于GAN的異常檢測方法大多是利用GAN能生成逼真圖像的特點106, 采用GAN來重構(gòu)出比自編碼器更加清晰的圖像. 而根據(jù)其具體重構(gòu)方式

29、, 又可分為直接利用GAN重構(gòu)以及結(jié)合AE與GAN重構(gòu)兩個類型.直接利用GAN重構(gòu)的方法考慮到原始的GAN僅創(chuàng)建了從隱空間到圖像空間的映射關(guān)系, 因此采用迭代優(yōu)化的方式獲得重構(gòu)圖像. Schlegl等15提出的基于GAN的異常檢測模型(Anomaly detection with generative adversarial network, AnoGAN)從某個隨機變量開始, 計算該變量生成的圖像和待測圖像之間的差異, 通過梯度下降的方式迭代優(yōu)化該隨機變量, 使得生成的圖像逐漸接近待測圖像. 由于生成器僅使用正常樣本進行訓(xùn)練, 所以理論上僅能生成正常樣本. 當待測圖像中存在異常區(qū)域時, 生成

30、器會生成與其盡量接近但屬于正常類別的圖像作為參考, 通過計算待測圖像和生成圖像之間的差異來進行異常檢測. Deecke等135則在此基礎(chǔ)上進行了改進, 從多個點開始嘗試對待測圖像進行重構(gòu), 而且在迭代優(yōu)化過程中, 同時優(yōu)化隱變量和生成器內(nèi)部參數(shù), 以此來提升圖像重構(gòu)的質(zhì)量. AnoGAN已經(jīng)在實際檢測任務(wù)中有了相關(guān)的應(yīng)用136, 不過其存在算法效率上的不足. AnoGAN在檢測階段需要進行多次的迭代優(yōu)化來生成合適的正常圖像作為參考, 迭代優(yōu)化的過程會顯著增加算法的執(zhí)行時間, 在一些需要實時檢測的任務(wù)當中就無法應(yīng)用.而更多的方法會將GAN與AE結(jié)合, 將GAN中對抗訓(xùn)練的思想引入到傳統(tǒng)AE的訓(xùn)練

31、框架中, 以此來提升自編碼器的重構(gòu)質(zhì)量.在異常檢測領(lǐng)域, 常見的結(jié)合AE與GAN的方法如圖24所示, 在自編碼器的基礎(chǔ)上增加一個判別器, 用來區(qū)分重構(gòu)后的圖像和輸入的真實圖像, 通過判別器和重構(gòu)網(wǎng)絡(luò)的對抗訓(xùn)練來提升重構(gòu)圖像的質(zhì)量137-139. Baur等140在VAE的基礎(chǔ)上, 增加了對抗損失來對醫(yī)學(xué)圖像進行更為真實的重構(gòu). Akcay等141在傳統(tǒng)重構(gòu)誤差的基礎(chǔ)上, 還統(tǒng)計了重構(gòu)前后圖像經(jīng)編碼器和判別器提取到的特征之間的差異, 通過多角度的約束迫使重構(gòu)后的圖像在特征空間和圖像空間中都能盡量地與原始圖像接近. Schlegl等142直接用GAN中訓(xùn)練好的生成器替換了原始AE中的解碼器, 以一

32、種更為直接的方式利用GAN強大的圖像生成能力來進行圖像重構(gòu). Tang等143將原本僅用來對圖像進行二分類的判別器替換成了一個輔助的圖像重構(gòu)網(wǎng)絡(luò), 原本判別器執(zhí)行的二分類任務(wù)也轉(zhuǎn)換成了一個重構(gòu)任務(wù), 通過這種更為直觀的約束來提升自編碼器的重構(gòu)質(zhì)量. Venkataramanan等144表示, 人們會需要觀察整張圖像來覺察到哪里是有異常的部分, 意味著圖像中所有的區(qū)域都有助于進行異常檢測. 因此, 在結(jié)合了VAE與GAN進行圖像重構(gòu)的基礎(chǔ)上, 計算出了重構(gòu)過程中的注意力圖145, 并期望注意力圖對于所有正常圖像區(qū)域都能輸出高值. 而在檢測階段, 當圖像中出現(xiàn)沒有訓(xùn)練過的異常圖像模式時, 就會表現(xiàn)

33、出低注意力的情況.圖24結(jié)合自編碼器和GAN進行圖像重構(gòu)107Fig.24Image reconstruction based on autoencoder and GAN107不過在實驗過程中, 即便是使用正常樣本訓(xùn)練得到的GAN, 同樣也會生成一些低質(zhì)量的圖像146, 導(dǎo)致在重構(gòu)圖像中可能會殘留異常區(qū)域. 雖然其概率相比于基于自編碼器的方法要小, 但依然不容忽視. Perara等130發(fā)現(xiàn), 自編碼器的這一問題主要是由于中間層對應(yīng)的特征空間中, 還存在著能解碼出其他類型圖像的區(qū)域. 所以, 們提出的單類GAN(One-class GAN, OCGAN)通過一種梯度上升的方法, 主動地探索并

34、消除中間層特征空間內(nèi)能解碼成其他圖像的區(qū)域. 但畢竟中間層特征向量的空間維度較高, 通過這種探索式的策略很難全部覆蓋到, 這種利用梯度上升的方法可能僅能優(yōu)化原始特征向量分布區(qū)域附近的空間. 而且OCGAN在CIFAR-10數(shù)據(jù)集上的實驗表明該方法在較為復(fù)雜的圖像異常檢測任務(wù)中優(yōu)勢并不明顯.此外, 在某些正常樣本數(shù)量也極少的情況下, 經(jīng)典的重構(gòu)網(wǎng)絡(luò)可能會出現(xiàn)過擬合等問題. 而GAN也可能無法獲得生成多樣化數(shù)據(jù)的能力, 因為GAN本身就是一個需要大量數(shù)據(jù)進行訓(xùn)練的模型, 當數(shù)據(jù)量不足時會嚴重影響其圖像生成的能力. 因此, Lu等147借助了小樣本學(xué)習(xí)中元學(xué)習(xí)148的思想來進行異常圖像幀的檢測. 預(yù)

35、先在多個數(shù)據(jù)集上進行元訓(xùn)練, 來得到一組有良好通用性的重構(gòu)網(wǎng)絡(luò)權(quán)重. 而對于新的異常檢測環(huán)境, 僅需要少量正常圖像進行幾次梯度下降優(yōu)化就能得到最適合目標場景的檢測模型.圖像重構(gòu)類方法借助重構(gòu)后的圖像, 無需采用滑窗或者逐區(qū)域分析的方法就可以高效地實現(xiàn)異常區(qū)域的定位.不過, 圖像重構(gòu)類方法也有許多值得進一步研究的內(nèi)容, 如正常區(qū)域重構(gòu)誤差的問題. 由于瓶頸結(jié)構(gòu)的存在, 在重構(gòu)過程中很容易丟失圖像細節(jié), 導(dǎo)致在重構(gòu)前后圖像比較過程中在正常圖像區(qū)域出現(xiàn)較大的差異, 現(xiàn)有方法往往難以解決這一問題, 這一點在結(jié)構(gòu)復(fù)雜多樣的醫(yī)學(xué)圖像中尤為顯著, 如圖25所示虹膜和眼底圖像, 矩形框代表著存在異常的區(qū)域.

36、可以看到重構(gòu)前后的圖像在正常區(qū)域內(nèi)也存在較大的差異, 特別是在具有細致紋理的區(qū)域. 因此也有方法不直接從像素級別的重構(gòu)誤差進行分析, Xia等149針對的是圖像語義分割中的異常檢測任務(wù), 在利用GAN將分割結(jié)果重構(gòu)成正常圖像后, 通過比較重構(gòu)前后圖像特征間的余弦距離來定位異常目標.圖25醫(yī)學(xué)圖像的重構(gòu)16,142Fig.25Reconstruction of medical images16,142此外還有如何進行大尺度下精細重構(gòu)的問題. 上述許多方法在處理大分辨率圖像時大多都會將原圖縮放至較小的分辨率, 此時對于異常較為明顯的自然圖像而言影響不大, 但對于如圖26所示面積占比極小的異常而言,

37、 縮放后不僅在原圖中難以觀測, 而且定位過程容易受到正常區(qū)域重構(gòu)差異的影響. 而這種小面積異常區(qū)域的檢測在工業(yè)領(lǐng)域內(nèi)又有較高的需求, 因此如何實現(xiàn)大尺度下圖像的精細重構(gòu)或許是值得進一步研究的內(nèi)容.圖26工業(yè)圖像中的微小異常146Fig.26Tiny anomaly in industrial image1462.2.4 結(jié)合傳統(tǒng)方法的異常檢測方法結(jié)合傳統(tǒng)方法和深度學(xué)習(xí)來進行異常檢測的方法, 大部分是借助神經(jīng)網(wǎng)絡(luò)來實現(xiàn)特征提取, 然后通過傳統(tǒng)方法對圖像特征進行快速分類以實現(xiàn)圖像異常檢測. Gupta等150借助用ImageNet預(yù)訓(xùn)練的網(wǎng)絡(luò)作為特征提取器, 然后借助OC-SVM實現(xiàn)對異常圖像的分

38、類. Napoletano等151對網(wǎng)絡(luò)提取到的特征利用主成分分析152和聚類算法構(gòu)建特征向量的字典來進行異常檢測. Wang等82在利用預(yù)訓(xùn)練網(wǎng)絡(luò)進行特征提取的基礎(chǔ)上, 使用多個超平面和子空間以獲得比OC-SVM更加貼合正常樣本分布的決策邊界.上述這些方法相比于人工設(shè)計特征具有更好的效果, 不過在自然圖像數(shù)據(jù)集上預(yù)訓(xùn)練的網(wǎng)絡(luò)或許并不適合其他類型比如工業(yè)圖像和醫(yī)學(xué)圖像, 在這種情況下就需要利用目標類型的數(shù)據(jù)集對網(wǎng)絡(luò)進行特征提取的訓(xùn)練. 常用的方式是先利用自編碼器進行特征提取, 然后計算與正常樣本特征向量之間的歐氏距離153以進行異常檢測. Sun等154利用稀疏編碼來學(xué)習(xí)變分自編碼器隱藏層特征

39、向量的表示方法, 通過特征向量的重構(gòu)誤差來進行異常檢測. Alaverdyan等155在自編碼器的基礎(chǔ)上結(jié)合暹羅網(wǎng)絡(luò)的思想進行訓(xùn)練, 在重構(gòu)輸入圖像的同時減小隱變量之間的距離, 隨后在特征圖上構(gòu)建OC-SVM以實現(xiàn)異常區(qū)域的定位. Burlina等156提出了一種更為通用的檢測框架, 除了使用預(yù)訓(xùn)練的網(wǎng)絡(luò), 還結(jié)合GAN作為生成式特征提取器, 而對于得到的圖像特征, 則采用OC-SVM或者孤立森林157等傳統(tǒng)方法進行異常圖像檢測. Kozerawski等158則是利用遷移學(xué)習(xí)的方法學(xué)習(xí)了從圖像特征向量到支持向量機(Support vector machine, SVM)決策面的映射, 然后僅使

40、用一張正常圖像就可以得到SVM的分類面實現(xiàn)異常檢測.大部分上述方法在決策階段采用了傳統(tǒng)的方式, 在檢測速度上會優(yōu)于深度學(xué)習(xí)的方法, 相比于傳統(tǒng)異常檢測方法則有更高的精度和更好的通用性. 然而, 這類方法在檢測精度上要遜于最新的深度學(xué)習(xí)方法, 所以有一種方式是在現(xiàn)有深度學(xué)習(xí)方法的基礎(chǔ)上, 在模型訓(xùn)練過程中結(jié)合傳統(tǒng)方法來進一步提升檢測的精度159, 如Nie等160采用高斯混合模型對自編碼器隱變量的分布進行建模, 在并不顯著影響算法效率的同時提升了模型對全局異常的檢測能力.表3總結(jié)了各類基于深度學(xué)習(xí)的圖像異常檢測方法的設(shè)計思路和優(yōu)缺點. 整體來看, 這些方法得益于神經(jīng)網(wǎng)絡(luò)強大的學(xué)習(xí)能力, 可以適用

41、于各種紋理和結(jié)構(gòu)下圖像的異常檢測, 因此在檢測精度和通用性上要明顯優(yōu)于傳統(tǒng)方法. 不過相對應(yīng)的, 這些方法也更為復(fù)雜, 需要設(shè)計各種策略來保證網(wǎng)絡(luò)的順利訓(xùn)練.表3基于深度學(xué)習(xí)的圖像異常檢測技術(shù)的分類和特點Table3The classification and characteristic of deep learning based image anomaly detection方法類別設(shè)計思路優(yōu)點缺點參考文獻距離度量將正常圖像映射到指定區(qū)域內(nèi), 并減小正常特征之間距離, 根據(jù)待測圖像的特征到聚類中心的距離進行異常檢測模型結(jié)構(gòu)簡單, 適用范圍廣模型可能出現(xiàn)退化, 需要設(shè)計額外的輔助任務(wù), 且

42、無法準確定位異常區(qū)域8898分類面構(gòu)建通過幾何變換增廣現(xiàn)有數(shù)據(jù), 直接訓(xùn)練分類模型并利用置信度來檢測異常模型訓(xùn)練較為簡單, 語義信息提取能力更強, 異常檢測精度很高幾何變換的操作在紋理圖像等場景下并不適用101102尋找與正常樣本近似的圖像作為負樣本來訓(xùn)練二分類網(wǎng)絡(luò), 構(gòu)建正常圖像與潛在異常圖像間的分類面應(yīng)用場景廣泛, 異常檢測精度高需要精心設(shè)計損失函數(shù)和生成的負樣本, 模型設(shè)計復(fù)雜104117圖像重構(gòu)利用自編碼器等模型學(xué)習(xí)正常圖像的表達方式, 并根據(jù)待測圖像的重構(gòu)誤差來進行異常檢測訓(xùn)練階段無需引入額外的樣本, 且應(yīng)用場景廣泛, 速度較快一般的方法重構(gòu)結(jié)果較為模糊, 且缺乏更為高效可靠的方法避

43、免重構(gòu)出異常區(qū)域118134利用GAN來獲得更為清晰的圖像重構(gòu)效果應(yīng)用場景廣泛, 異常區(qū)域定位精度高模型訓(xùn)練復(fù)雜, 而且缺乏理論上的保證135147結(jié)合傳統(tǒng)方法利用預(yù)訓(xùn)練的網(wǎng)絡(luò)或者自編碼器模型對圖像進行特征提取, 在決策階段利用傳統(tǒng)方法進行異常檢測相比傳統(tǒng)方法精度更高通用性更好, 且速度較快在檢測精度上略有不足1501603. 圖像異常檢測數(shù)據(jù)集圖像異常檢測相關(guān)的研究方興未艾, 目前有許多識別定性異常的相關(guān)文章是在傳統(tǒng)圖像分類數(shù)據(jù)集上開展的, 諸如MNIST89、Fashion-MNIST28、CIFAR-1090等等. 而對于定量異常的檢測任務(wù), 所使用的數(shù)據(jù)集就與具體的應(yīng)用領(lǐng)域相關(guān), 如表

44、4所示.在工業(yè)外觀檢測領(lǐng)域, 對于織布檢測, 常用的有TILDA (Textile texture database)161和PFID (Patterned fabric image database)162等數(shù)據(jù)集. TILDA是最為常用的織布圖像數(shù)據(jù)集之一, 包含8種代表性的紋理圖像總計3200張, 每種圖像提供了正常圖像和7種缺陷圖像, 不過沒有提供像素級的標注. PFID則是由香港大學(xué)提供的一個包含3種花紋織布的圖像數(shù)據(jù)集, 每種圖像都提供了數(shù)十張正常和異常圖像, 并且進行了像素級的標注. 對于金屬表面檢測, 有MT (Magnetic tile defect datasets)163

45、、RSDDs (Rail surface discrete defects datasets)164和NEU (Northeastern university surface defect database)165等. MT數(shù)據(jù)集包含5類從不同光照條件下采集到的磁瓦表面缺陷圖像, 每類包含數(shù)十張缺陷圖像并且提供了像素級的標注, 同時提供了大量的正常圖像作為參考. RSDD則是一個鋼軌表面缺陷數(shù)據(jù)集, 包含兩類圖像共計195張并且提供了像素級標注. NEU包含了6類圖像, 每類有300張熱軋帶鋼表面缺陷圖像, 不過僅以邊界框(bounding box)的形式提供標注, Zhou等166則是為其提

46、供了像素級的標注. 而NanoTWICE (Nanocomposite nanofibres for treatment of air and water by an industrial conception of electrospinning)71是一個常用的納米材料圖像數(shù)據(jù)集, 包含45張利用掃描電子顯微鏡得到的納米材料圖像, 其中5張為正常圖像, 其余40張則帶有各種缺陷并且提供了像素級的標注. MVTec AD (MVTec anomaly detection dataset)146是一個綜合了工業(yè)生產(chǎn)中各種常見材質(zhì)的圖像異常檢測數(shù)據(jù)集, 包含了5種紋理圖像和10種物體圖像, 每種

47、圖像包含60至320張正常圖像以及幾十張帶有異常區(qū)域的測試圖像, 并且提供了像素級的人工標注, 常用于異常定位方法的驗證. 而在醫(yī)學(xué)領(lǐng)域, 有BraTS (Brain tumor image segmentation benchmark)167和AMD (Age-related macular degeneration)168等. BraTS包含一共65張低級別和高級別神經(jīng)膠質(zhì)瘤的多模態(tài)核磁共振圖像, 并且提供了精細的人工標注. AMD是杜克大學(xué)整理的一個針對老年性黃斑病變的大型圖像數(shù)據(jù)集, 包含來自115個正常眼部和269個患者眼部的總計38400張譜域光學(xué)相干層析掃描圖像(Spectral

48、 domain optical coherence tomography, SD-OCT), 并且提供了精細的像素級標注. 而對于高光譜圖像則有AVIRIS (Airborne visible infrared imaging spectrometer)169、ABU (Airport-beach-urban)170等常用數(shù)據(jù), 囊括了海岸、城市和機場等各種場景的高光譜圖像.表4圖像異常檢測常用數(shù)據(jù)集Table4Common datasets for image anomaly detection應(yīng)用場景數(shù)據(jù)集名稱參考文獻工業(yè)布匹TILDA161PFID162金屬MT163RSDD164NEU

49、165納米材料NanoTWICE71綜合MVTec AD146醫(yī)學(xué)大腦BraTS167視網(wǎng)膜AMD168高光譜混合AVIRIS169ABU170除了上述這些數(shù)據(jù)集, 還有很多相關(guān)的數(shù)據(jù)集, 但限于篇幅等原因此處不再展示. 而MVTec AD雖然剛剛于CVPR2022上提出但已經(jīng)有許多相關(guān)方法在其上進行了實驗, 如表5所示.表中受試者工作特性曲線下面積(Area under receiver operating characteristic curve, AUROC)和區(qū)域重疊分數(shù)(Per-region-overlap score, PRO-score)是常用的兩個衡量異常定位效果的指標171.

50、 AUROC中的ROC(Receiver operating characteristic curve, ROC)是模型在不同分類閾值下真陽性率和假陽性率的變化曲線, 而AUROC是一個整體的評價指標, 越高說明其模型分類效果越好. 不過有文獻97指出AUROC對于一些面積較大的缺陷會比較寬容, 因此提出了PRO-score. PRO-score同樣也是在一系列閾值下構(gòu)建性能曲線, 并以曲線下面積作為綜合評估指標. 不同的是, PRO-score統(tǒng)計的是不同閾值下的區(qū)域重疊率(Per-region-overlap, PRO), PRO是以二值化后連通域和真值圖之間的相對重疊率作為每一個閾值下的

51、模型分類性能. 從表5中可以看到, 許多方法采用圖像重構(gòu)或者距離度量的方式進行異常區(qū)域的定位. 雖然前者在速度上更有優(yōu)勢, 但精度上往往不如距離度量類的方法, 這可能是源于圖像重構(gòu)對圖像細節(jié)的丟失, 也有可能是自編碼器容易殘留異常區(qū)域的問題所導(dǎo)致的. 而基于距離度量類的方法則沒有上述這些潛在的問題, 特別是Defard等171所提出的方法在兩個指標上都實現(xiàn)了最高的性能. 但從實際的檢測結(jié)果來看, 該方法速度較慢, 而且會更傾向于提高召回率, 在精準率上的優(yōu)勢并不明顯, 特別是在一些微小缺陷的檢測上往往因為異常區(qū)域的響應(yīng)值較低而導(dǎo)致較多的誤檢現(xiàn)象, 這也表明基于距離度量的方法對于一些微弱異常的檢

52、測效果還有待提升.表5各圖像異常定位方法在MVTec AD上的性能Table5Performance of image anomaly localization methods on MVTec AD方法大致思路定位性能AUROCPRO-scoreAE146利用自編碼器進行圖像重構(gòu)0.8170.790AnoGAN15利用GAN中的生成器進行圖像重構(gòu)0.7430.443Iterative Projection134在圖像重構(gòu)基礎(chǔ)上采用迭代優(yōu)化尋找最優(yōu)的正常圖像0.893AESc172利用蒙特卡洛對重構(gòu)網(wǎng)絡(luò)進行Dropout并利用預(yù)測不確定性進行異常定位0.86P-Net16在圖像重構(gòu)過程中添加對

53、紋理結(jié)構(gòu)的約束0.89Uninformed Students97聯(lián)合考慮待測圖特征到目標特征之間的距離和方差進行異常定位0.857CAVGA144在圖像重構(gòu)的基礎(chǔ)上采用注意力圖定位異常區(qū)域0.93FCDD96利用全卷積網(wǎng)絡(luò)提取特征并以偏置項作為特征映射中心0.96Patch SVDD173計算待檢圖像片和最近似的正常圖像片之間的距離進行異常定位0.957PaDiM171用預(yù)訓(xùn)練的網(wǎng)絡(luò)進行特征提取, 利用多維高斯模型進行異常定位0.9750.921SPADE174尋找待測樣本的K-近鄰正常圖像作為參考, 再通過距離度量進行異常檢測0.9650.9174. 圖像異常檢測問題面臨的挑戰(zhàn)異常檢測一般是

54、在沒有真實異常樣本的情況下進行模型訓(xùn)練, 這種特點使得異常檢測任務(wù)面臨著不小的挑戰(zhàn).1)異常樣本的未知性. 在異常檢測當中, 一般僅有正常樣本可供使用, 由于異常樣本的未知性, 傳統(tǒng)的基于監(jiān)督學(xué)習(xí)的目標識別算法難以直接應(yīng)用到異常檢測領(lǐng)域當中. 這使得研究人員需要設(shè)計新的模型建立方法或者網(wǎng)絡(luò)訓(xùn)練方法來進行異常檢測. 而且僅利用正常樣本訓(xùn)練得到的異常檢測模型對實際異常樣本的檢測還存在一定的風(fēng)險, 依然可能會遺漏一些人眼認為較為顯著的異常目標.2)異常定義的不清晰. 由于僅擁有正常樣本, 對于異常的定義存在一定的難度, 比如異常程度到多少為異常, 如果設(shè)定太過嚴苛, 可能會導(dǎo)致很多因噪聲而產(chǎn)生的誤檢

55、出現(xiàn), 而如果太過寬松又會使得一些較微弱的異常項被判定成正常. 但又缺乏足夠的真實異常樣本來輔助這一決策過程, 使得現(xiàn)階段檢測方法往往較為嚴苛, 容易出現(xiàn)較多的誤檢區(qū)域.3)微弱異常的定位. 如第2節(jié)所說, 圖像異常檢測一般有分類和定位兩個類型. 對于異常圖像分類任務(wù)來說, 異常樣本和正常樣本之間存在明顯差異. 利用人工設(shè)計的特征或者預(yù)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進行特征提取就有望將兩者的特征向量區(qū)分開. 但是對于異常定位任務(wù)而言, 圖像中一般只有一部分區(qū)域出現(xiàn)了異常, 而且經(jīng)常會出現(xiàn)面積較小的目標, 比如在工業(yè)外觀檢測過程中可能會出現(xiàn)寬度僅有7個像素的細微異常區(qū)域, 也可能會出現(xiàn)一些對比度較弱的異常區(qū)域

56、146. 在高光譜圖像異常檢測或者醫(yī)學(xué)圖像中病變區(qū)域的定位中, 目標區(qū)域的面積一般都只占整張圖像很小的比例, 使得異常區(qū)域的定位較為困難.4)維數(shù)災(zāi)難. 異常檢測是一個從數(shù)據(jù)挖掘領(lǐng)域中發(fā)展而來的概念, 因此早期的方法也大多是針對低維數(shù)據(jù)設(shè)計的79,81, 而這些方法在面臨高維數(shù)據(jù)時其檢測性能會受到嚴重影響. 而圖像數(shù)據(jù)是一個典型的高維數(shù)據(jù), 即便是最為基礎(chǔ)的Mnist數(shù)據(jù)集, 如果僅僅是直接地將其轉(zhuǎn)換成向量也會形成長達784維的向量, 這使得一些在數(shù)據(jù)挖掘中常用的異常檢測算法很難直接用于圖像數(shù)據(jù).5)算法的通用性. 不同類型的圖像數(shù)據(jù)差別很大, 其實際檢測的目標也不盡相同, 導(dǎo)致現(xiàn)階段許多異常

57、檢測算法是針對某一類圖像而開發(fā)的. 較低的通用性使得現(xiàn)有算法難以應(yīng)用到新的圖像類型當中.5. 展望本文對近年來圖像異常檢測方法的發(fā)展狀況進行了回顧, 可以看到針對這一問題已經(jīng)有了一定數(shù)量的研究. 關(guān)于未來可能的研究方向, 我們認為可以從以下幾個角度進行考慮:1)構(gòu)建更為高效的異常檢測算法. 對于異常檢測而言, 不僅僅需要對待檢圖像進行正常與否的判斷, 往往還需要對異常區(qū)域進行定位. 比如工業(yè)圖像表面的缺陷檢測, 醫(yī)學(xué)圖像中病變區(qū)域的定位等等. 然而, 由于在訓(xùn)練階段沒有任何關(guān)于異常區(qū)域的標注信息, 傳統(tǒng)的目標檢測或者圖像分割的方法無法直接應(yīng)用到異常檢測任務(wù)中. 因此, 現(xiàn)有的方法大多采用的是將待檢圖像切分成一系列的圖像塊, 然后分塊進行異常與否的二分類來進行異常區(qū)域的定位. 而且, 為了獲得異常區(qū)域的準確輪廓, 這種切分的步長一般較小, 會顯著影響算法的效率. 現(xiàn)有的一些方法比如頻譜分析雖然能夠同時處理整張圖像以實現(xiàn)高效的定位, 但該方法對于圖像有一定的要求. 而基于深度學(xué)習(xí)的圖像重構(gòu)方法雖然沒有上述約束, 但重構(gòu)圖