高光譜影像分類的深度少樣例學(xué)習(xí)方法

摘要：針對(duì)高光譜影像分類面臨的小樣本問題，提出了一種深度少樣例學(xué)習(xí)算法，該算法在訓(xùn)練過程中通過模擬小樣本分類的情況來訓(xùn)練深度三維卷積神經(jīng)網(wǎng)絡(luò)提取特征，其提取得到的特征具有較小類內(nèi)間距和較大的類間間距，更適合小樣本分類問題，且能用于不同的高光譜數(shù)據(jù)，具有更好的泛化能力。利用訓(xùn)練好的模型提取目標(biāo)數(shù)據(jù)集的特征，然后結(jié)合最近鄰分類器和支持向量機(jī)分類器進(jìn)行監(jiān)督分類。利用Pavia大學(xué)、IndianPines和Salinas3組高光譜影像數(shù)據(jù)進(jìn)行分類試驗(yàn)，試驗(yàn)結(jié)果表明，該算法能夠在訓(xùn)練樣本較少的情況下(每類地物僅選取5個(gè)標(biāo)記樣本作為訓(xùn)練樣本)取得優(yōu)于傳統(tǒng)半監(jiān)督分類方法的分類精度。關(guān)鍵詞：高光譜影像分類深度少樣例學(xué)習(xí)深度三維卷積網(wǎng)絡(luò)最近鄰分類epfewshotlearningalgorithmforhyperspectralimageAbstract:Forhyperspectralimageclassificationproblemofsmallsample,thispaperproposesadepthoflesssamplelearningalgorithm,thisalgorithmthroughthesimulationofthesmallsampleclassificationintheprocessoftrainingistotrainthedepth3Dconvolutionneuralnetworkfeatureextraction,theextractionofcharacteristicwithsmallerclassspanandlargespacingbetweenclasses,moresuitableforsmallsampleclassificationproblem,andcanbeusedfordifferenthyperspectraldata,hasbettergeneralizationability.Thetrainedmodelisusedtoextractthefeaturesofthetargetdataset,andthenthenearestneighborclassifierandsupportvectormachineclassifierarecombinedforsupervisedclassification.ThreegroupsofhyperspectralimagedataofPaviauniversity,IndianPinesandSalinaswereusedintheclassificationexperiment.Theexperimentalresultsshowedthatthealgorithmcouldachieveabetterclassificationaccuracythanthetraditionalsemi-supervisedclassificationmethodundertheconditionoffewertrainingsamples(only5markedsampleswereselectedforeachtypeoffeatureastrainingsamples).Keywords:hyperspectralimageclassificationdeeplesssamplelearningdeepthree-dimensionalconvolutionalnetworknearestneighborclassification高光譜影像能同時(shí)提供地物豐富的光譜和空間信息，被廣泛應(yīng)用于環(huán)境監(jiān)測、精細(xì)農(nóng)業(yè)等領(lǐng)域。高光譜影像地物分類是高光譜影像處理中極具挑戰(zhàn)性的環(huán)節(jié)，其主要任務(wù)是為圖像中每一個(gè)像元賦予類別標(biāo)記。根據(jù)分類過程中是否利用標(biāo)記樣本，高光譜影像分類方法可分為無監(jiān)督分類、監(jiān)督分類和半監(jiān)督分類。文獻(xiàn)[1]對(duì)常用的監(jiān)督分類器進(jìn)行了詳盡的介紹，包括最近鄰(k-nearestneighbor，KNN)、支持向量機(jī)(supportvectormachine，SVM)、決策樹等。為有效應(yīng)對(duì)維數(shù)災(zāi)難問題，科研人員通過特征提取方法降低特征維度，使用主成分分析[2]、獨(dú)立成分分析[3]等方法實(shí)現(xiàn)數(shù)據(jù)降維。后續(xù)研究表明，綜合利用高光譜影像的空譜信息能有效提高分類精度，因此空間信息被引入到高光譜影像特征提取過程中，常見算法有拓展形態(tài)學(xué)EMAPMRF(LBP)、Gabor濾波器[7]等。此外，波段選擇[8]也被應(yīng)用于影像降維處理。盡管特征提取和波段選擇可以緩解標(biāo)記樣本不足的問題，但在有限的標(biāo)記樣本條件下，監(jiān)督分類仍然很難獲得滿意的分類結(jié)果。由于半監(jiān)督學(xué)習(xí)能同時(shí)利用標(biāo)記樣本和未標(biāo)記樣本改進(jìn)學(xué)習(xí)性能，故成為近年來的研究熱點(diǎn)。常見的半監(jiān)督學(xué)習(xí)算法有半監(jiān)督支持向量機(jī)[9]、協(xié)同訓(xùn)練[10]、主動(dòng)學(xué)習(xí)[11]等。近年來，深度學(xué)習(xí)在高光譜影像處理中取得了廣泛的應(yīng)用，堆棧式自編碼器[12]被率先應(yīng)用于高光譜影像分類。隨后，深度置信網(wǎng)絡(luò)[13]、一維卷積神經(jīng)網(wǎng)絡(luò)[14](1D-CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)[15](RCNN)、二維卷積神經(jīng)網(wǎng)絡(luò)[16](2D-CNN)、三維卷積神經(jīng)網(wǎng)絡(luò)[17](3D-CNN)也相繼應(yīng)用于高光譜影像分類，并取得了較好的分類效果。但是標(biāo)記樣本通常數(shù)量有限且較難獲取，成為制約高光譜影像分類技術(shù)發(fā)展的關(guān)鍵因素之一。為解決小樣本問題，文獻(xiàn)[18]構(gòu)建了像素對(duì)，顯著增加了訓(xùn)練樣本的數(shù)量。文獻(xiàn)[19]設(shè)計(jì)了一種半監(jiān)督CNN，進(jìn)一步提高了有限標(biāo)記樣本情況下的分類精度。文獻(xiàn)[20]構(gòu)造了一種適用于特征學(xué)習(xí)的5層卷積神經(jīng)網(wǎng)絡(luò)(C-CNN)，相比傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)取得了更高的分類精度。盡管上述方法取得了一定進(jìn)展，但模型泛化能力較弱，而且無法有效應(yīng)對(duì)小樣本問題。針對(duì)高光譜影像分類中面臨的小樣本問題和模型泛化能力較弱的問題，本文提出了一種深度少樣例學(xué)習(xí)算法，該算法的核心思想是通過預(yù)先搜集的標(biāo)記數(shù)據(jù)訓(xùn)練深度三維卷積神經(jīng)網(wǎng)絡(luò)[21](Res-3D-CNN)，使其學(xué)習(xí)到一個(gè)能適應(yīng)不同數(shù)據(jù)的度量空間。在該度量空間內(nèi)，同類樣本特征相互聚合，不同類樣本特征彼此遠(yuǎn)離。進(jìn)一步結(jié)合最近鄰分類器和SVM分類器進(jìn)行監(jiān)督分類。最后在Pavia大學(xué)、IndianaPines和Salinas3組高光譜影像數(shù)據(jù)集上驗(yàn)證了本文算法的有效性。1本文算法本文提出了一種深度少樣例學(xué)習(xí)算法，該算法主要由3部分組成。首先利用預(yù)先收集的高光譜影像訓(xùn)練數(shù)據(jù)集通過模擬小樣本分類的情形訓(xùn)練Res-3D-CNN，然后將訓(xùn)練好的模型作為特征提取器，提取測試數(shù)據(jù)集上所有樣本的特征，注意這里的測試數(shù)據(jù)集與訓(xùn)練數(shù)據(jù)集是不同源的，最后在提取的樣本特征中，選取少量樣本作為監(jiān)督樣本，進(jìn)而利用最近鄰分類器完成監(jiān)1.1深度少樣例學(xué)習(xí)及其訓(xùn)練策略少樣例學(xué)習(xí)是指通過少量的標(biāo)記樣本訓(xùn)練模型學(xué)習(xí)識(shí)別物體[22]。受文獻(xiàn)[23—24]少樣例學(xué)習(xí)成功的啟發(fā)，本文提出深度少樣例學(xué)習(xí)算法，即利用一些預(yù)先收集的高光譜影像訓(xùn)練Res-3D-CNN來學(xué)習(xí)一個(gè)度量空間。隨后，將學(xué)習(xí)得到的度量空間拓展到新的高光譜測試數(shù)據(jù)，并提高少樣例(小樣本)條件下的分類精度。其關(guān)鍵是利用預(yù)先收集的標(biāo)記樣本訓(xùn)練Res-3D-CNN學(xué)習(xí)度量空間。為使Res-3D-CNN學(xué)習(xí)到適應(yīng)少樣例分類的度量空間，首先從訓(xùn)練數(shù)據(jù)中隨機(jī)挑選一批樣本來模擬少樣例分類，則要學(xué)習(xí)的度量空間就可以用Res-3D-CNN進(jìn)行參數(shù)化表示，進(jìn)一步Res-3D-CNN可被視為一個(gè)非線性變換函數(shù)f?:，其中?為待學(xué)習(xí)的網(wǎng)圖1深度少樣例學(xué)習(xí)的訓(xùn)練過程Fig.1Thetrainingprocessofdeeplearningwithfewexamples首先，假設(shè)訓(xùn)練數(shù)據(jù)集中共有類地物，則從訓(xùn)練數(shù)據(jù)集中隨機(jī)抽取C(C<K)類地物的樣本作為一批訓(xùn)練樣本，為便于編程實(shí)現(xiàn)，每類地物抽取的樣本數(shù)量均相同。進(jìn)一步將訓(xùn)練樣本隨機(jī)分為支撐樣本集(supportset)和查詢樣本集(queryset)。為更加有效地模擬測試數(shù)據(jù)中的少樣例分類問題，在這批訓(xùn)練樣本中，每類地物隨機(jī)選取1個(gè)樣本作為支撐樣本集，剩余樣本作為查詢樣本集。隨后將支撐樣本集和查詢樣本集均通過Res-3D-CNN進(jìn)行前向傳播，并輸出每個(gè)樣本對(duì)應(yīng)的特征向量。進(jìn)而計(jì)算出查詢樣本特征向量相對(duì)于支撐樣本特征向量的歐氏距離。為使Res-3D-CNN輸出特征具有良好的緊致性，進(jìn)一步按照式(1)計(jì)算不同地物間的特征分布式中，ck為支撐樣本集中第k類地物對(duì)應(yīng)的特征向量；x表示查詢樣本集中樣本對(duì)應(yīng)的特最小化式(2)所示的損失函數(shù)不是訓(xùn)練網(wǎng)絡(luò)學(xué)習(xí)如何預(yù)測樣本標(biāo)記，而是使得查詢樣本集中的樣本經(jīng)網(wǎng)絡(luò)輸出的特征空間與同類的支撐樣本彼此靠近，而與不同類的支撐樣本相互遠(yuǎn)離。深度少樣例學(xué)習(xí)算法的具體訓(xùn)練步驟如算法1所示。算法1：深度少樣例學(xué)習(xí)算法。N和K分別為訓(xùn)練數(shù)據(jù)集中的樣本數(shù)量和樣本類別數(shù)cQ量。N<K為每批訓(xùn)練樣本的類別數(shù)量，cQ類樣本的數(shù)量為1。RandomSample(S,M)指從樣本集合S中隨機(jī)抽取M個(gè)樣本。算法流程如DxyxNy1N)},yi∈{1,…,K}，Dk為包含第k類所有樣本的子樣本集D,(xi,yi=k)。輸出：每批訓(xùn)練樣本的負(fù)對(duì)數(shù)損失函數(shù)值。V←RandomSample({1,…,K},NC)c?隨機(jī)選取N類樣本cforkin{1,…,NC}doSk←RandomSample(DV1k,1)?選取支撐樣本Qk←RandomSample(DV1k\Sk,NQ)?選取查詢樣本?計(jì)算支撐樣本的特征向量endforJ(?)←0?初始化損失函數(shù)為0forkin{1,…,NC}dofor(x,y)inQkdo??更新?lián)p失函數(shù)endforendfor1.2深度三維卷積網(wǎng)絡(luò)考慮到空間信息能有效改善高光譜影像分類精度，且三維卷積網(wǎng)絡(luò)能較好地利用高光譜影像提供的空譜信息，采用文獻(xiàn)[21]中提出的深度三維卷積神經(jīng)網(wǎng)絡(luò)(Res-3D-CNN)作為特征提取2.1試驗(yàn)數(shù)據(jù)的網(wǎng)絡(luò)。具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。與文獻(xiàn)[21]設(shè)計(jì)的Res-3D-CNN不同，本文網(wǎng)絡(luò)輸出的是特征向量而不是類別標(biāo)記，因此去除了最后的全連接層，且沒有應(yīng)用Dropout。圖2深度三維卷積網(wǎng)絡(luò)結(jié)構(gòu)Fig.2Architectureofdeep3Dconvolutionnetwork圖2中，Conv表示卷積核大小為3×3×3的三維卷積層，虛線框內(nèi)為一個(gè)殘差學(xué)習(xí)模塊，每個(gè)殘差學(xué)習(xí)模塊后連接一個(gè)步長為2×2×4的池化層，以減少計(jì)算量，并對(duì)特征進(jìn)行聚合。ReLU(rectifiedlinearunits)激活函數(shù)相比于傳統(tǒng)的Sigmoid和tanh激活函數(shù)具有更快的收斂速度。因此，所有三維卷積層均采用ReLU激活函數(shù)進(jìn)行非線性映射。ReLU激活函數(shù)形式如式(3)所示2試驗(yàn)結(jié)果與分析6GB內(nèi)存，i7-9750H處理器，RTX2070顯卡。試驗(yàn)所有程序均基于Python語言和深度學(xué)習(xí)庫tensorflow開發(fā)實(shí)現(xiàn)。2.1.1訓(xùn)練數(shù)據(jù)筆者搜集了Houston、Botswana、KSC和Chikusei[25]4組高光譜數(shù)據(jù)集用作訓(xùn)練Res-3D-CNN的訓(xùn)練數(shù)據(jù)。表1中給出了4組高光譜訓(xùn)練數(shù)據(jù)集的詳細(xì)信息，其中波段數(shù)指可用于訓(xùn)練的波段數(shù)。表1Houston、Botswana、KSC和Chikusei高光譜數(shù)據(jù)集Tab.1Houston,Botswana,KSCandChikuseihyperspectraldatasets數(shù)據(jù)HoustonBotswanaChikusei影像大小/像素349×19051476×256512×6142517×2335光譜范圍/nm400—2500400—2500波段數(shù)空間分辨率/m2.5302.5傳感器ITRES-CASI1500EO-1AVIRISHyperspec-VNIR-CHoustonBotswanaFloridaChikusei地物類別數(shù)量31表選項(xiàng)表選項(xiàng)4組高光譜數(shù)據(jù)集中共有77類標(biāo)記地物，這些地物類別來自不同的地區(qū)，同時(shí)涵蓋了不同的空間分辨率，從而保障了訓(xùn)練樣本的多樣性。考慮到計(jì)算資源較為有限，且為了便于編程實(shí)現(xiàn)，每類地物隨機(jī)選取200個(gè)標(biāo)記樣本用于訓(xùn)練，并舍棄掉樣本數(shù)量不足200個(gè)的地物類別。因此，最后用于訓(xùn)練Res-3D-CNN的訓(xùn)練數(shù)據(jù)共包含44類地物，每類地物包含200個(gè)標(biāo)記樣本。與此同時(shí)本文還測試了75類地物(每類地物100個(gè)標(biāo)記樣本)和35類地物(每類地物400個(gè)樣本)，在Pavia大學(xué)數(shù)據(jù)上的分類精度，相比于44類地物的分類精度有所下降。這說明地物類別的多樣性和每類地物的樣本數(shù)量均能夠影響最終分類結(jié)果。根據(jù)試驗(yàn)結(jié)果，最終采用較為折中的方案，即44類地物，每類地物隨機(jī)選取200個(gè)標(biāo)記樣本作為訓(xùn)練數(shù)據(jù)。用于訓(xùn)128，為保證輸入樣本特征的維度相同，最終只選擇前100個(gè)波段用于訓(xùn)練Res-3D-CNN。參考文獻(xiàn)[21]，每個(gè)訓(xùn)練樣本輸入Res-3D-CNN網(wǎng)絡(luò)中的特征為數(shù)據(jù)立方體。2.1.2測試數(shù)據(jù)為驗(yàn)證所提方法的有效性，采用Pavia大學(xué)、IndianaPines和Salinas3組高光譜數(shù)據(jù)集作為測試數(shù)據(jù)集。表2給出了這3組高光譜數(shù)據(jù)集的詳細(xì)信息。為簡化測試數(shù)據(jù)的分類過程，將輸入樣本的光譜維度限定在100，這3組測試數(shù)據(jù)的波段數(shù)分別為103、200、204，為充分利用波段信息以提高分類精度，Pavia大學(xué)數(shù)據(jù)只取前100個(gè)波段用于分類，而IndianaPines和Salinas取前200個(gè)波段用于分類，最終將前100個(gè)波段輸出的特征和后100個(gè)波段輸出的特征連接起來用作最終的分類特征。與此同時(shí)，本文還在IndianaPines和Salinas數(shù)據(jù)上分別測試了只取前100個(gè)波段和只取后100個(gè)波段的情況，相比于連接兩者輸出特征的情況有所下降，證明了所提方法的合理性。表2Pavia大學(xué)、IndianPines和Salinas高光譜數(shù)據(jù)集Tab.2Paviauniversity,IndianPinesandSalinashyperspectraldatasets數(shù)據(jù)Pavia大學(xué)IndianaPinesSalinas影像大小/像素610×340145×145512×217光譜范圍/nm430—860400—2500400—2500數(shù)據(jù)Pavia大學(xué)IndianaPinesSalinas波段數(shù)200204空間分辨率/m203.7傳感器ROSISAVIRISAVIRISaIndianaCalifornia地物類別數(shù)量9表選項(xiàng)表選項(xiàng)2.2試驗(yàn)參數(shù)設(shè)置在Res-3D-CNN的網(wǎng)絡(luò)結(jié)構(gòu)中，卷積層使用卷積核的數(shù)量能極大地影響分類結(jié)果。為分析卷積核數(shù)量對(duì)最終分類結(jié)果的影響，本文分別設(shè)置第1個(gè)殘差模塊中的卷積核數(shù)量為2、4、8、16和32，第2個(gè)殘差模塊中卷積核數(shù)量設(shè)置為第1個(gè)殘差模塊卷積核數(shù)量的2倍，最后一個(gè)卷積層中設(shè)置卷積核數(shù)量為第2個(gè)殘差模塊卷積核數(shù)量的2倍。不同卷積核數(shù)量在3組高光譜影像測試數(shù)據(jù)集上的總體分類精度(10次試驗(yàn)結(jié)果的均值和標(biāo)準(zhǔn)差)如表3所示。由表3可知，使用過少的卷積核(例如2或4)會(huì)極大地降低分類精度，設(shè)置卷積核數(shù)量為8或16或32較為合理，但是隨著卷積核數(shù)量的增加，訓(xùn)練時(shí)間也會(huì)相應(yīng)增加，因此最終設(shè)置3個(gè)殘差模塊中使用的卷積核數(shù)量依次為8、16、32。表3不同卷積核數(shù)量對(duì)應(yīng)的總體分類精度Tab.3Overallclassificationaccuracycorrespondingtodifferentnumberofconvolutionkernels(%)數(shù)據(jù)集Pavia大學(xué)261.27±12.47472.61±5.48880.81±3.1281.08±2.203280.55±2.56數(shù)據(jù)集24832IndianaPines49.74±13.4163.50±1.6367.84±1.2968.14±0.9167.53±1.56Salinas81.32±5.2284.68±2.2788.40±1.5488.41±1.2885.99±1.14表表選項(xiàng)Res-3D-CNN的網(wǎng)絡(luò)結(jié)構(gòu)確定后，深度少樣例學(xué)習(xí)算法涉及的參數(shù)還有訓(xùn)練次數(shù)、學(xué)習(xí)CQ率大小、每批訓(xùn)練樣本的類別數(shù)N以及每類地物查詢樣本的數(shù)量CQ訓(xùn)練數(shù)據(jù)集中隨機(jī)采樣得到的，無法判斷是否遍歷所有的訓(xùn)練數(shù)據(jù)。因此設(shè)置每次迭代隨機(jī)抽取10000批訓(xùn)練樣本，共迭代200次，這樣能保證Res-3D-CNN得到充分的訓(xùn)練。為分析學(xué)習(xí)率大小對(duì)最終分類結(jié)果的影響，試驗(yàn)中分別設(shè)置學(xué)習(xí)率為0.01和0.001，圖3所示為不同學(xué)習(xí)率對(duì)應(yīng)的損失函數(shù)曲線，橫坐標(biāo)為迭代次數(shù)，縱坐標(biāo)為損失函數(shù)值。觀察圖3可知使用較大的學(xué)習(xí)率訓(xùn)練Res-3D-CNN不能充分訓(xùn)練網(wǎng)絡(luò)，而較小的學(xué)習(xí)率則能使損失函數(shù)值降低到更小，且上下波動(dòng)范圍較小，因此最終設(shè)置學(xué)習(xí)率為0.001。圖3不同學(xué)習(xí)率對(duì)應(yīng)的損失函數(shù)值曲線Fig.3ThelossfunctioncurvecorrespondingtodifferentlearningratesCN設(shè)置過小會(huì)極大地降低分類精度，3組測試數(shù)據(jù)集中地物類別分別為9、16和16，為CC更好地模擬測試數(shù)據(jù)中的少樣例學(xué)習(xí)問題，每批訓(xùn)練樣本包含的地物類別數(shù)N應(yīng)該大于16。CCQ而考慮到用于訓(xùn)練的樣本類別共44類，最終設(shè)置N=20。此外，理論上CQ練過程越能模擬少樣例學(xué)習(xí)，但計(jì)算機(jī)計(jì)算能力有限，且用于訓(xùn)練的標(biāo)記樣本也較為有限。以QQ每類地物選取不同數(shù)量查詢樣本對(duì)應(yīng)的總體分類精度(10次試驗(yàn)結(jié)果的均值)和訓(xùn)練時(shí)間(10次試驗(yàn)結(jié)果的均值)。觀察圖4可知，Pavia大學(xué)的總體分類精度隨NQ的增加而增加，且很快趨Q于穩(wěn)定，但訓(xùn)練時(shí)間卻隨著N的增加而不斷增加。綜合考慮分類精度和訓(xùn)練時(shí)間，最終設(shè)置QN=19。Q2.4與半監(jiān)督分類算法對(duì)比圖4Pavia大學(xué)數(shù)據(jù)集上每類地物選取不同數(shù)量的查詢樣本對(duì)應(yīng)的總體分類精度和訓(xùn)練時(shí)間Fig.4TheoverallclassificationaccuracyandtrainingtimecorrespondingtodifferentnumberofquerysamplesselectedforeachtypeoffeatureinthePaviauniversitydataset2.3可視化分析為了更加直觀地理解Res-3D-CNN所提取特征的有效性，利用預(yù)訓(xùn)練好的Res-3D-CNN提取Salinas數(shù)據(jù)集的特征，從提取出的特征數(shù)據(jù)中每類地物隨機(jī)選取200個(gè)樣本，并利用t-SNE方法進(jìn)行降維可視化，如圖5所示。觀察圖5(a)可知，原始光譜特征經(jīng)過t-SNE降維后，不同類別的可分性較差，如Follow_smooth和Follow混合在一起無法區(qū)分；而圖5(b)中，經(jīng)過預(yù)訓(xùn)練好的Res-3D-CNN提取后的特征經(jīng)t-SNE降維后，具有較好的可分性，如Follow_smooth和Follow能夠被較好地區(qū)分開。說明預(yù)訓(xùn)練好的Res-3D-CNN提取得到的特征同類樣本相互聚集，不同樣本彼此分離，因而能有效提高影像分類精度。圖5Salinas數(shù)據(jù)集t-SNE特征可視化結(jié)果Fig.5Salinasdatasett-SNEfeaturevisualizationresults半監(jiān)督學(xué)習(xí)算法能有效利用未標(biāo)記樣本來提高小樣本情況下的高光譜影像分類精度。為證明所提出的深度少樣例學(xué)習(xí)(deepfew-shotlearning，DFSL)方法能有效應(yīng)對(duì)高光譜影像分類中面臨的小樣本問題，每類地物分別隨機(jī)選取5、10、15、20、25個(gè)標(biāo)記樣本作為監(jiān)督樣本進(jìn)行分類，并與SVM和半監(jiān)督算法進(jìn)行對(duì)比分析。用作對(duì)比的半監(jiān)督算法包括laplaciansupportvectormachine(LapSVM)[26]、transductivesupportvectormachine(TSVM))[26]、spatial-contextualsemi-supervisedsupportvectormachine(SCS3VM))[26]、spatial-spectrallabelpropagationbasedonthesupportvectormachine(SSLPSVM))[26]、KNN+SNI[27]、MLR+RS[28]和SVM+S-CNN[29]。表4至表6分別給出了DFSL結(jié)合最近鄰分類器(DFSL+NN)和對(duì)比算法在3組用于測試的高光譜影像數(shù)據(jù)集上的總體分類精度(10次試驗(yàn)結(jié)果的均值和標(biāo)準(zhǔn)差)。為說明DFSL+NN的有效性，還同時(shí)給出了DFSL+SVM的分類結(jié)果。DFSL+SVM需要利用4折交叉驗(yàn)證來確定SVM的核函數(shù)參數(shù)和懲罰系數(shù)。而DFSL+NN不需要確定額外的參數(shù)。表4不同算法在Pavia大學(xué)數(shù)據(jù)集上的分類結(jié)果Tab.4ClassificationresultsofdifferentalgorithmsonPaviauniversitydataset(%)方法L0L5L0L5SVM53.73±1.3061.53±1.1460.43±0.9464.89±1.1468.01±2.62LapSVM65.72±0.3468.26±2.2068.34±0.2965.91±0.4568.88±1.34TSVM63.43±1.2263.73±0.4568.45±1.0773.72±0.2769.96±1.39SCS3VM56.76±2.2864.25±0.4066.87±0.3768.24±1.1869.45±2.19SS-LPSVM69.60±2.3075.88±0.2280.67±1.2178.41±0.2685.56±0.09KNN+SNI70.21±1.2978.97±2.3382.56±0.5185.18±0.6586.26±0.37方法L0L5L0L5MLR+RS69.73±3.1580.30±2.5484.10±1.9483.52±2.1387.97±1.69SVM+S-CNN23.68±6.3466.64±2.3768.35±4.7078.43±1.9372.87±7.36DFSL+NN80.81±3.1284.79±2.2786.68±2.6189.59±1.0591.11±0.83DFSL+SVM72.57±3.9384.56±1.8387.23±1.3890.69±1.2993.08±0.92表選項(xiàng)表選項(xiàng)表5不同算法在IndianaPines數(shù)據(jù)集上的分類結(jié)果Tab.5ClassificationresultsofdifferentalgorithmsonIndianaPinesdataset(%)方法L0L5L0L5SVM50.23±1.7455.56±2.0458.58±0.8062.93±0.6465.12±0.63LapSVM52.31±0.6756.36±0.7159.99±0.6564.13±1.1965.36±0.62TSVM62.57±0.2363.45±0.1765.42±0.0264.43±0.2067.68±1.67SCS3VM55.42±0.3560.86±5.0867.24±0.4768.34±1.5772.42±1.21SS-LPSVM56.95±0.9564.74±0.3978.76±0.0480.29±0.8084.11±0.08KNN+SNI56.39±1.0374.88±0.5478.92±0.6180.08±0.5982.60±0.73MLR+RS55.38±3.9869.28±2.6375.15±1.4377.68±1.5779.32±0.88SVM+S-CNN10.02±1.4817.71±4.9044.00±5.7345.08±10.9051.30±10.41DFSL+NN67.84±1.2976.49±1.4478.62±1.5981.74±0.9584.74±1.44DFSL+SVM64.58±2.7875.53±1.8979.98±2.2383.01±1.6785.47±1.21表選項(xiàng)表選項(xiàng)表6不同算法在Salinas數(shù)據(jù)集上的分類結(jié)果Tab.6ClassificationresultsofdifferentalgorithmsonSalinasdataset(%)方法L0L5L0L5SVM73.90±1.9175.62±1.7379.08±1.4577.89±1.2078.05±1.49LapSVM75.31±2.3176.34±1.7777.93±2.4279.40±0.7380.56±1.33TSVM60.43±1.4067.47±1.0569.12±1.3271.03±1.7871.83±1.16SCS3VM74.12±2.4478.49±2.0281.83±0.9381.22±1.2777.08±0.80SS-LPSVM86.79±1.7590.36±1.3590.86±1.3691.77±0.9692.11±1.07KNN+SNI80.39±1.5884.64±1.5486.94±1.5288.28±1.4987.64±1.72MLR+RS78.92±2.1685.03±1.4387.20±1.7488.76±1.8789.42±0.85SVM+S-CNN12.66±2.7550.04±14.3460.72±4.8570.30±2.6171.62±12.05DFSL+NN88.40±1.5489.86±1.6992.15±1.2492.69±0.9893.61±0.83DFSL+SVM85.58±1.8789.73±1.2491.21±1.6493.42±1.2594.28±0.80表選項(xiàng)表選項(xiàng)觀察表4—表6中的試驗(yàn)結(jié)果可知：①所有算法的分類精度大體上隨著監(jiān)督樣本數(shù)量L的增加而提高；②半監(jiān)督算法的分類精度整體上優(yōu)于SVM的分類精度；③SVM+S-CNN在監(jiān)督樣本較少的情況下分類精度極差；④DFSL+NN和DFSL+SVM均取得了較為理想的分類精度，尤其是DFSL+NN在每類地物僅選取5個(gè)標(biāo)記樣本的情況下，均取得了最高的分類精度。前兩個(gè)現(xiàn)象比較容易理解，因?yàn)檫^去大量的研究和實(shí)踐已經(jīng)證明增加監(jiān)督樣本數(shù)量和引入未標(biāo)記樣本都可以提高影像分類精度。SVM+S-CNN和DFSL+NN的基本思想是相似的，即通過訓(xùn)練使CNN學(xué)習(xí)得到一個(gè)度量空間，在該度量空間中的特征具有同類樣本相互靠近，而不同類樣本彼此遠(yuǎn)離的特點(diǎn)，因此即使使用簡單的最近鄰分類器或線性SVM也能夠取得較好的分類結(jié)果。不同的是SVM+S-CNN只針對(duì)一組數(shù)據(jù)進(jìn)行學(xué)習(xí)，因此需要一定數(shù)量的標(biāo)記樣本來保證其泛化能力，且每一組測試數(shù)據(jù)均需要訓(xùn)練一個(gè)CNN來提取相應(yīng)的特征。而當(dāng)標(biāo)記樣本極少的情況下，如每類地物隨機(jī)選取5個(gè)標(biāo)記樣本，SVM+S-CNN會(huì)產(chǎn)生嚴(yán)重的過擬合現(xiàn)象，因此在測試樣本上的分類精度較低。與之對(duì)應(yīng)的DFSL+NN利用一個(gè)預(yù)先搜集好的高光譜數(shù)據(jù)集來訓(xùn)練Res-3D-CNN，訓(xùn)練數(shù)據(jù)中來自不同影像的44類地物能夠保證DFSL+NN的泛化能力，且DFSL只需要訓(xùn)練一次便可應(yīng)用于所有測試數(shù)據(jù)。與此同時(shí)，DFSL的訓(xùn)練過程還模擬了影像的少樣例學(xué)習(xí)問題，因此DFSL+NN取得了優(yōu)于SVM、LapSVM、SCS3VM、SSLPSVM、KNN+SNI、MLR+RS、SVM+S-CNN的分類精度。當(dāng)訓(xùn)練樣本數(shù)量極少時(shí)(L=5)，SVM需要利用交叉驗(yàn)證的方法確定最優(yōu)參數(shù)，極易產(chǎn)生過擬合現(xiàn)象，而最近鄰分類器(NN)則不需要確定額外參數(shù)，因此DFSL+NN的分類精度均優(yōu)于DFSL+SVM。隨著訓(xùn)練樣本數(shù)量的增加，DFSL+SVM和DFSL+NN的分類精度均逐漸增加，且DFSL+SVM的分類精度逐漸接近甚至優(yōu)于DFSL+NN的分類精度。例如當(dāng)L=25時(shí)，DFSL+SVM的分類精度均優(yōu)于DFSL+NN的分類精度。為此，當(dāng)可用的訓(xùn)練樣本極少時(shí)，如每類地物僅有5或10個(gè)標(biāo)記樣本，DFSL應(yīng)結(jié)合NN分類器進(jìn)行分類；而當(dāng)訓(xùn)練樣本數(shù)量的較為合理時(shí)，如每類地物超過25個(gè)標(biāo)記樣本時(shí)，DFSL應(yīng)結(jié)合SVM分類器進(jìn)行分類。為更加直觀地觀察DFSL+NN的分類結(jié)果，圖6—圖8分別給出了選取不同數(shù)量的監(jiān)督樣本DFSL+NN獲得的分類結(jié)果圖。由圖6—圖8可知，隨著標(biāo)記樣本數(shù)量L的增加，分類噪聲逐漸減少，這也直觀地說明了DFSL+NN在小樣本情況下的有效性。圖6Pavia大學(xué)數(shù)據(jù)集上選取不同數(shù)量的監(jiān)督樣本獲得的分類結(jié)果Fig.6ClassificationresultsobtainedbyselectingdifferentNumbersofsupervisedsamplesfromthePaviauniversitydataset圖7IndianaPines數(shù)據(jù)集上選取不同數(shù)量的監(jiān)督樣本獲得的分類結(jié)果Fig.7ClassificationresultsobtainedbyselectingdifferentNumbersofsupervisedsamplesfromtheIndianaPinesdataset圖8Salinas數(shù)據(jù)集上選取不同數(shù)量的監(jiān)督樣本獲得的分類結(jié)果Fig.8ClassificationresultsobtainedbyselectingdifferentnumbersofsupervisedsamplesfromtheSalinasdataset考慮到高光譜數(shù)據(jù)中的類別不平衡情形，進(jìn)一步每類地物分別隨機(jī)選取1%、2%、3%、4%、5%的標(biāo)記樣本作為監(jiān)督樣本進(jìn)行分類。圖9給出了3個(gè)測試數(shù)據(jù)集上的分類結(jié)果，其中橫坐標(biāo)代表每類地物選取的樣本比例，縱坐標(biāo)表示測試數(shù)據(jù)的總體分類精度。分析圖9可知，在每類地物選取相同比例標(biāo)記樣本的情況下，DFSL+NN仍能取得較高的分類精度，進(jìn)一步說明了DFSL+NN在小樣本情況下的有效性。圖9不同測試數(shù)據(jù)集上選取不同樣本比例的監(jiān)督樣本對(duì)應(yīng)的分類精度Fig.9Theclassificationaccuracyofthesupervisedsampleswithdifferentsampleproportionswasselectedfromdifferenttestdatasets2.5與基于CNN的分類算法對(duì)比為進(jìn)一步說明DFSL的有效性，將DFSL+NN和DFSL+SVM與目前最先進(jìn)的基于CNN的高光譜影像分類算法進(jìn)行對(duì)比。對(duì)比算法包括1D-CNN[14]、R-PCA-CNN[30]、CNN-PPF[18]和C-CNN[20]。由于對(duì)比算法均是在每類地物隨機(jī)選取200個(gè)標(biāo)記樣本的情況下取得的最優(yōu)分類結(jié)果，因此，本小節(jié)試驗(yàn)中每類地物隨機(jī)選取200個(gè)標(biāo)記樣本作為監(jiān)督樣本，且IndianaPines只選取了數(shù)量較多的前9類地物進(jìn)行分類。表7—表9給出了不同算法在3組用于測試的高光譜數(shù)據(jù)集上的分類結(jié)果。由試驗(yàn)結(jié)果可知，DFSL+SVM和DFSL+NN在訓(xùn)練樣本數(shù)量進(jìn)一步增加的情況下，能夠取得比目前最先進(jìn)的CNN分類算法更高的分類精度。這也說明了所提出的DFSL方法具有較強(qiáng)的適應(yīng)性。表7不同算法在Pavia大學(xué)數(shù)據(jù)集上的分類結(jié)果Tab.7ClassificationresultsofdifferentalgorithmsonPaviauniversitydataset(%)ClassNo.TrainingTestingCNNR-PCA-CNNCNN-PPFC-CNNDFSL+NNDFSL+SVM1200643185.6292.4397.4297.4095.4997.182200844988.9594.8495.7699.4098.9299.40320080.1590.8994.0594.8497.4797.904200286496.9393.9997.5299.1698.3098.40520099.30000006200482984.3092.8699.1398.7099.4299.56720092.3993.8996.19099.4099.258200348280.7391.1893.6294.5792.5395.52ClassNo.TrainingTestingCNNR-PCA-CNNCNN-PPFC-CNNDFSL+NNDFSL+SVM920074799.2099.3399.6099.8799.6899.68OA87.9094.3896.4898.4197.8598.62AA89.7393.8797.0398.2297.9198.54Kappa系數(shù)83.8192.3295.0997.8997.1598.17表表選項(xiàng)表8不同算法在IndianaPines數(shù)據(jù)集上的分類結(jié)果Tab.8ClassificationresultsofdifferentalgorithmsonIndianaPinesdataset(%)ClassNo.TrainingTestingCNNR-PCA-CNNCNN-PPFC-CNNDFSL+NNDFSL+SVM1200128879.6382.3992.9996.2895.5998.32220063069.4885.4196.6692.2699.1699.76320028385.8095.2498.5899.30100.0100.0420053094.9599.25100.099.2599.86100.0520027898.57100.0100.0100.0100.0100.0620077271.4182.7696.2492.8495.8897.847200225590.4496.2087.8098.2194.9195.93820039370.2682.1498.9892.4599.1699.669200106599.9099.8199.8198.9899.9299.76OA84.4491.0994.3496.7697.3898.35AA84.5091.4796.7896.6298.2899.03Kappa系數(shù)82.5189.1394.7395.9496.9398.07表選項(xiàng)表選項(xiàng)表9不同算法在Salinas數(shù)據(jù)集上的分類結(jié)果Tab.9ClassificationresultsofdifferentalgorithmsonSalinasdataset(%)ClassNo.TrainingTestingCNNR-PCA-CNNCNN-PPFC-CNNDFSL+NNDFSL+SVM120098.7398.8400002200352699.1299.6199.8899.89099.97320096.0899.7599.6099.8900420099.7198.7999.4999.25099.865