Res2-Unet深度學習網(wǎng)絡的RGB-高光譜圖像重建

1、Res2-Unet深度學習網(wǎng)絡的RGB-高光譜圖像重建高光譜圖像（Hyperspectral Image，HSI）的光譜分辨率在0.01量級，在電磁波譜的可見光和近紅外區(qū)域內(nèi)其譜段數(shù)達幾十甚至數(shù)百個。高光譜圖像具有圖譜合一和空譜相關性較強等特性，因此在軍事1-2、農(nóng)業(yè)3、海洋4、環(huán)境監(jiān)測5和醫(yī)學物理研究6-7等領域越來越受到重視。與傳統(tǒng)的RGB三譜段多光譜成像相比，高光譜圖像的主要優(yōu)勢在于能夠在更寬的光譜響應范圍內(nèi)以更高的光譜高分辨率捕獲更多細節(jié)。然而，相對普遍裝備的低成本RGB成像相機，高光譜成像設備價格昂貴，難以廣泛應用，因此，從RGB圖像重建高光譜圖像的技術引起學術界和工業(yè)界的關注8-9

2、。由計算機視覺和模式識別領域的頂級學術會議CVPR（IEEE Conference on Computer Vision and Pattern Recognition）組織的NTIRE（New Trends in Image Restoration and Enhancement）挑戰(zhàn)賽8是近年來計算機視覺領域非常有影響力的賽事，其內(nèi)容包括圖像去模糊、去霧、去噪及超分辨率重建等。RGB-高光譜圖像重建（Challenge on Spectral Reconstruction from an RGB Image）是NTIRE挑戰(zhàn)賽的項目之一，于2022年和2022年成功主辦過兩次8-9。RGB

3、-高光譜圖像重建挑戰(zhàn)賽提供了較大的數(shù)據(jù)集，參賽者基于數(shù)據(jù)集構建從RGB圖像到高光譜圖像的映射方法，以獲得高質量的高光譜重建圖像。較早的圖像重建方法主要集中在建立稀疏表示與壓縮感知（Compressive Sensing，CS），以及淺層網(wǎng)絡學習模型上10-13，泛化能力有限，重建圖像質量較差。在2022年的RGB-高光譜圖像重建挑戰(zhàn)賽上，主辦方提供了包含256個RGB-高光譜圖像對的BGU HS數(shù)據(jù)集。在大數(shù)據(jù)背景下，深度學習神經(jīng)網(wǎng)絡在RGB-高光譜圖像重建方面得到了大量應用。Xiong等14提出了一種由自適應殘差塊組成的深度殘差網(wǎng)絡HSCNN-R。為了進一步提高性能，他們設計了一種基于密集連

4、接結構的更深層次HSCNN-D模型和基于融合的后處理方案，重建精度有所提升，但是網(wǎng)絡參數(shù)量和計算量卻大幅增加。Stiebel等15將語義分割中常用的Unet網(wǎng)絡16引入到這項工作中，考慮到光譜重建的特殊性，刪除了Unet網(wǎng)絡中的池化層和批量歸一化（Batch Normalization，BN）17處理，最終獲得第四名的好成績。為了解決近紅外光譜段信息難以重建的問題，Zhou等構建了包括一個生成器和兩個鑒別器的生成對抗網(wǎng)絡18，其中一個鑒別器關注全光譜段信息，另外一個鑒別器僅關注近紅外光譜段信息，但需要在訓練集中刪除與測試集不匹配的部分數(shù)據(jù)，以避免訓練過程中出現(xiàn)振蕩現(xiàn)象，因此網(wǎng)絡的魯棒性較差。在

5、2022年的RGB-高光譜圖像重建挑戰(zhàn)賽上，一個更大的數(shù)據(jù)集ARAD HS被公開，參賽算法的性能獲得顯著提升。Li等19提出了一種自適應加權注意力機制網(wǎng)絡（Adaptive Weighted Attention Network，AWAN），其中的長短跳躍連接有助于建立遠程像素的相關性，有效提高了重建精度，但需要預先已知光譜響應曲線，實用性較差。Zhao等20提出了一個4級分層回歸網(wǎng)絡（Hierarchical Regression Network，HRNet），使用殘差模塊和密集連接方法，有助于去除重建噪聲和減少重建偽影。Peng等21為光譜重建設計了一個殘差像素注意網(wǎng)絡（Residual P

6、ixel Attention Network，RPAN），可以自適應地重新縮放每個通道中的像素級特征。綜上所述，現(xiàn)有的光譜重建主要通過加深網(wǎng)絡、加寬網(wǎng)絡，以及多網(wǎng)絡融合等方法提升重建性能，但模型參數(shù)量和計算量會成倍增加。由于圖像高頻紋理特征信息會隨著網(wǎng)絡加深而丟失，當網(wǎng)絡結構不能充分保護這些高頻信息時將限制網(wǎng)絡的性能。因此，本文提出了一種基于類Unet結構的RGB-高光譜圖像重建網(wǎng)絡（Res2-Unet）。整個網(wǎng)絡以Unet架構為基礎，引入Res2Net22模塊構建其骨干網(wǎng)絡，利用Res2Net的殘差連接、多尺度融合等特性可更加細粒度地提取圖像的局部和全局特征，同時加入通道注意力機制23-24

7、能自適應調節(jié)通道特征響應，編解碼間的跳躍連接可充分融合不同尺度的高頻信息。最后，在NTIRE 2022挑戰(zhàn)賽提供的ARAD HS數(shù)據(jù)集上進行性能測試，結果表明，Res2-Unet方法無論在客觀評價還是主觀視覺方面均具有較好的結果。2 Res2-Unet深度學習網(wǎng)絡2.1Res2-Unet網(wǎng)絡設計思路RGB-高光譜重建屬于圖像恢復范疇，而回歸是解決圖像恢復的常用方法。Unet16網(wǎng)絡是一種回歸網(wǎng)絡，最早用于醫(yī)療影像分割，包括編碼網(wǎng)絡和解碼網(wǎng)絡兩部分。編碼網(wǎng)絡對輸入圖像進行多次卷積和池化操作，特征圖的分辨率逐步變低，但特征圖的通道數(shù)量不斷增加，以達到整合多尺度上下文信息的目的。解碼網(wǎng)絡對特征圖進行

8、多次上采樣和卷積操作，特征圖的分辨率不斷提高，最終恢復到原始圖像的分辨率。不同于Segnet網(wǎng)絡25，Unet網(wǎng)絡利用圖像的多尺度信息在編碼和解碼通道之間使用跳躍連接融合圖像的淺層與深層特征。Unet的編碼網(wǎng)絡部分采用VGG16作為主干網(wǎng)絡，但是VGG16網(wǎng)絡層數(shù)多、參數(shù)多，所以具有計算量大、訓練收斂慢的缺點。為了解決這一問題，近年來一種結合ResNet26和Unet的Res-Unet27被提出，ResNet網(wǎng)絡的殘差結構不僅在不降低精度的情況下?lián)碛休^少的網(wǎng)絡參數(shù)，而且可以克服梯度發(fā)散問題得到更快的收斂速度。Res2Net是一種新穎的卷積神經(jīng)網(wǎng)絡模塊架構22，其結構如圖1所示。它使用33群卷積

9、層代替ResNet模塊中的一個33卷積層，在物體檢測、面部分析、邊緣檢測、語義分割、顯著性物體檢測和骨架檢測中都能有效提升性能。在Res2Net模塊中，輸入經(jīng)過11卷積后將特征圖按通道平均分為s個子集。除了第一個子集外，其他每個特征圖子集都要經(jīng)過33卷積層處理。由于子集之間的連接操作，每一個33卷積層均接收到它之前所有特征圖子集的信息，因此可以得到更大的感受野。Res2Net模塊的輸出包含了多種大小、尺度和數(shù)量的感受野及其組合。這種分組、合并的策略使得卷積層以更細粒度級別表達多尺度特征，能夠更有效地處理特征圖信息。參數(shù)s用于控制尺度維度，更大的s能提供更多不同尺寸的感受野，但同時也會增加計算量

10、和內(nèi)存消耗，一般選擇s=4。圖1Res2Net模塊Fig.1Res2Net module本文結合Unet和Res2Net的優(yōu)勢，提出了一種稱為Res2-Unet的深度學習網(wǎng)絡以解決RGB-高光譜重建問題。2.2Res2-Unet網(wǎng)絡描述Res2-Unet網(wǎng)絡結構如圖2所示，左側是編碼網(wǎng)絡，右側是解碼網(wǎng)絡，共4個尺度。在編碼網(wǎng)絡部分主要使用33卷積、Res2Net-SE和PixelUnShuffle28等3種模塊。圖2Res2-Unet網(wǎng)絡結構Fig.2Network architecture of Res2-Unet首先，采用33卷積模塊提取圖像淺層特征。輸入RGB圖像x，進行128個通道的3

11、3卷積，即：x1=Conv33,128(x)（1）用卷積建模的多通道之間具有固定的隱式和局部性關系，而高光譜的多通道特性期望以顯式方式改變通道之間的相互依賴性來增強對卷積特征的學習，以增強網(wǎng)絡對捕獲特征的敏感性。由于SE（Squeeze and excitation networks）模塊23具備全局信息嵌入和自適應激勵調節(jié)功能，能有效解決通道依賴性問題，因此提出網(wǎng)絡采用Res2Net-SE模塊進行特征映射。Res2Net-SE模塊結構如圖3（a）所示，它在Res2Net模塊基礎上增加了SE模塊。圖3Res2Net-SE模塊和SE模塊Fig. 3Res2Net-SE module and SE

12、 blockSE模塊首先使用全局平均池化層將全局空間信息壓縮到通道域以實現(xiàn)空間信息的聚合。z(c)=1HWi=1Hj=1Wo(c,i,j)（2）其中：z（c）是通道c的全局平均池化結果，o（c，i，j）是通道c特征圖在空間（i，j）處的值，H和W分別為特征圖在行列方向的數(shù)據(jù)量。然后，使用ReLU和Sigmoid函數(shù)來獲得通道之間的依賴關系，即：s=(W2(W1z)（3）其中：是ReLU函數(shù)，是Sigmoid激活函數(shù)，W1RC/rC和W2RCC/r是線性映射函數(shù)，r為壓縮比，取32。SE模塊具備通道注意力機制，可以保護重要的通道特征。由于高光譜圖像具備多通道特性，引入SE模塊對高光譜圖像的多通道

13、數(shù)據(jù)重建調節(jié)具有一定的作用。因此，Res2Net-SE模塊不僅可以在更加細粒度級別捕捉局部和全局的圖像特征，同時殘差連接也有助于增強上下文信息，且具備多通道自適應調節(jié)能力。于是Res2-Unet編碼網(wǎng)絡的第一尺度特征映射函數(shù)可表示為：x2=Fmap(1)(x1)=FRes2NetSE(FRes2NetSE(x1)（4）其中：Fmap（1）（）為第一尺度特征映射函數(shù)，它由兩個Res2Net-SE模塊級聯(lián)得到，每個通道的特征圖與原始輸入圖像具有相同的分辨率；FRes2Net-SE（）是Res2Net-SE模塊的特征映射函數(shù)。不同于Unet，在Res2-Unet網(wǎng)絡的第二尺度特征映射中采用Pixel

14、UnShuffle取代Maxpooling進行下采樣。PixelUnShuffle的優(yōu)勢在于每經(jīng)過一次操作后特征總量不發(fā)生變化，雖然特征圖的分辨率降低1倍，但特征通道的數(shù)量會變?yōu)樵鹊?倍。Res2-Unet編碼網(wǎng)絡的第二尺度特征映射函數(shù)可表示為：x3=Fmap(2)(x2)=FRes2NetSE(Conv33(FPUS(x2),（5）其中：Fmap（2）（）為第二尺度特征映射函數(shù)，F(xiàn)PUS（）為PixelUnShuffle操作。x3每個通道特征圖的分辨率為x2的一半，通道數(shù)卻增加了一倍。Res2-Unet網(wǎng)絡的第三、四尺度特征映射采用與第二尺度特征映射一樣的處理方法。在解碼網(wǎng)絡部分，首先使用

15、一個11的無填充卷積操作，對所有通道進行加權處理可獲得更佳的深層特征信息表示。另外，使用PixelShuffle層進行上采樣處理，與傳統(tǒng)的最鄰近或雙線性上采樣插值不同，PixelShuffle每經(jīng)過一次操作后特征總量不發(fā)生變化，特征圖分辨率提升1倍，特征通道數(shù)量變?yōu)樵鹊?/4，這樣能有效地保留特征。網(wǎng)絡的最后部分使用兩個33卷積層將特征圖映射到目標高光譜圖像。由于L1損失函數(shù)對異常值不敏感，具有穩(wěn)定的梯度，且相對其他傳統(tǒng)損失函數(shù)產(chǎn)生較弱的空間紋理模糊現(xiàn)象，因此Res2-Unet網(wǎng)絡使用L1損失函數(shù)進行網(wǎng)絡訓練。L1損失函數(shù)定義為：L1=EG(x)y1（6）其中：x和y分別是輸入的RGB圖像和

16、參考的高光譜圖像，G（）是以上提出的重建網(wǎng)絡Res2-Unet。3 實驗與結果分析3.1實驗數(shù)據(jù)集采用來自NTIRE 2022挑戰(zhàn)賽提供的ARAD HS數(shù)據(jù)集8對網(wǎng)絡進行訓練和測試。ARAD HS數(shù)據(jù)集分為兩部分，一部分用于Clean賽道，另一部分用于Real World賽道。每個賽道均包含由450個RGB-HS圖像對組成的訓練集、10個RGB-HS圖像對組成的驗證集，而測試集中僅提供了10幅RGB圖像，但與之對應的高光譜數(shù)據(jù)不可下載。因此，實驗中將驗證集中的10個RGB-HS圖像對作為測試集。其中，高光譜圖像由400700 nm中31個波段的光譜圖像組成，每個波段的圖像尺寸為482512像素

17、，每個波段帶寬為10 nm。Clean賽道中的RGB圖像由對應的高光譜圖像經(jīng)過固定的光譜響應函數(shù)生成，如下：x=yR（7）其中：R為313的矩陣，是由相機的RGB三色光譜響應曲線29離散化處理得到。Real World賽道中的RGB圖像不僅由對應的高光譜圖像經(jīng)過固定的光譜響應函數(shù)進行變換處理，而且疊加了一定強度的高斯噪聲用于模擬相機的電子噪聲，并最終通過了去馬賽克效應運算，整個處理流程更接近實際的RGB成像過程。以上所有的高光譜數(shù)據(jù)均經(jīng)過歸一化處理，數(shù)值為01。3.2評價方法NTIRE 2022挑戰(zhàn)賽主要采用平均相對絕對誤差（Mean of Relative Absolute Error，MR

18、AE）和均方根誤差（Root Mean Square Error，RMSE）來評價網(wǎng)絡的高光譜圖像重建性能，MRAE和RMSE的計算公式如下：MRAE=b=1Bi=1Hj=1W|y(b,i,j)y(b,i,j)|y(b,i,j)+BHW（8）RMSE=b=1Bi=1Hj=1W(y(b,i,j)y(b,i,j)2BHW（9）其中：y=G(x)為網(wǎng)絡生成的高光譜圖像，y（b，i，j）是高光譜圖像中第b個譜段圖像中（i，j）位置的像素值，B是所有譜段數(shù)。為了避免因y（b，i，j）值為0而出現(xiàn)計算異常，在式（8）基礎上增加一個小值，取值為10-10。除此之外，峰值信噪比（Peak Signal-to-

19、Noise Ratio，PSNR）和光譜角制圖平均值（Mean of Spectral Angle Mapper，MSAM）也是常用的評價指標。PSNR=20log10(1RMSE)（10）MSAM=i=1Hj=1WSAM(i,j)HW（11）其中：SAM（i，j）為圖像（i，j）位置的光譜角：SAM(i,j)=180oarccosyTi,jyi,jyTi,jyi,jyTi,jyi,j（12）MRAE，RMSE和MSAM越小，重建性能越好，而PSNR值越大表示重建性能越好。除此之外，統(tǒng)計網(wǎng)絡參數(shù)量用于評價網(wǎng)絡計算空間復雜度。網(wǎng)絡參數(shù)量越多表明存儲網(wǎng)絡所用內(nèi)存空間越大。網(wǎng)絡浮點運算數(shù)（Float

20、ing Point Operations，F(xiàn)LOPs）用于評價網(wǎng)絡計算時間復雜度，F(xiàn)LOPs越大，網(wǎng)絡運算耗時越長。3.3實驗環(huán)境和網(wǎng)絡參數(shù)設計的網(wǎng)絡使用Leaky-ReLU30類型的激活函數(shù)，它相比ReLU具有更好的非線性性并可加速收斂。整個過程未采用BN操作，這是因為BN操作會破壞圖像的對比度信息，不利于圖像重建，且會導致訓練速度緩慢，甚至訓練發(fā)散。網(wǎng)絡中的每個卷積層采用鏡像填充的邊緣填充方式，可以有效降低邊界效應。實驗的所有網(wǎng)絡訓練和測試均是基于Pytorch深度學習平臺，GPU是NVIDIA GeForce RTX 3090，每個網(wǎng)絡訓練10 000個Epoch，初始學習率為10-4，

21、每經(jīng)過2 000個Epoch后學習率減半。訓練過程中，Batch Size設置為16，參數(shù)優(yōu)化算法使用Adam優(yōu)化器，其中1=0.5，2=0.999，e=10-8。3.4實驗結果3.4.1結果比較與NTIRE 2022挑戰(zhàn)賽最優(yōu)秀的兩種網(wǎng)絡AWAN19和HRNet20進行對比實驗，Clean和Real World兩個賽道的測試集各10組數(shù)據(jù)分別進行高光譜圖像重建，將重建圖像與參考圖像代入式（8）式（12），計算得到MRAE，RMSE，PSNR和MSAM的均值和標準偏差，結果如表1和表2所示。在評價結果均值相當?shù)那闆r下，其標準偏差越小表明算法魯棒性越好；而標準偏差較大則說明模型對某些數(shù)據(jù)的重建效

22、果較好，對其他一些數(shù)據(jù)的重建效果較差。表1Clean賽道測試結果比較Tab.1Comparison of test results for Clean trackMethodMRAERMSEPSNRMSAMMeanvalueStandard deviationMeanvalueStandard deviationMeanvalueStandard deviationMeanvalueStandard deviationAWAN0.034 30.017 20.011 80.007 540.260 15.814 42.349 11.046 1HRNet0.039 60.017 60.014 10.

23、009 038.610 95.747 02.680 01.061 8Res2-Unet0.034 00.012 20.011 70.008 240.348 05.759 82.267 60.787 4表2Real World賽道測試結果比較Tab.2Comparison of test results for Real World trackMethodMRAERMSEPSNRMSAMMeanvalueStandard deviationMeanvalueStandard deviationMeanvalueStandard deviationMeanvalueStandard deviati

24、onAWAN0.066 10.019 40.017 80.009 736.119 14.614 93.336 61.181 1HRNet0.071 40.020 20.018 10.009 535.867 24.405 53.636 81.202 9Res2-Unet0.066 10.019 00.016 10.008 236.840 04.233 93.240 11.005 8與AWAN和HRNet兩種優(yōu)秀的方法相比，提出的方法無論是在Clean賽道還是在Real World賽道中各項評價都取得了最好的統(tǒng)計結果。兩個賽道中，提出方法與AWAN方法的MRAE均值相當，但是MRAE的標準偏差更小

25、，表明提出方法在處理各種場景數(shù)據(jù)時性能更為穩(wěn)定。對于PSNR和MSAM兩種評價方法，無論是在均值結果還是標準偏差結果方面，提出方法均獲得較為顯著的優(yōu)勢。在Clean賽道中，提出方法的PSNR平均值相比AWAN，HRNet分別高出0.08 dB和1.73 dB；在Real World賽道中，PSNR平均值分別高出0.72 dB和0.97 dB。AWAN，HRNet和提出網(wǎng)絡的網(wǎng)絡參數(shù)量分別為17.421M，31.705M和34.651M，網(wǎng)絡浮點運算數(shù)分別為1.142T，164.013G和117.481G，單幅圖像的網(wǎng)絡運行時間分別為4.600 8，2.605 8和2.144 7 s。AWAN的

26、網(wǎng)絡參數(shù)量最少，但是網(wǎng)絡浮點運算數(shù)最多且運算時間最長。提出網(wǎng)絡的參數(shù)量較其他方法稍多，但網(wǎng)絡浮點運算數(shù)最少且運算時間最短，表明提出網(wǎng)絡的計算空間復雜度適中，計算時間復雜度最低。表3和表4分別給出了AWAN，HRNet和提出網(wǎng)絡在10組測試數(shù)據(jù)中測得MRAE，RMSE，PSNR和MSAM的相關系數(shù)。當兩種評價方法獲得結果數(shù)據(jù)的相關系數(shù)越大，說明兩者的關系越強，即兩者評價的一致性越好。在3種網(wǎng)絡中，MRAE與MSAM之間的相關系數(shù)均大于0.93，表現(xiàn)出極強的正相關性，評價結果的一致性好。PSNR與RMSE之間的相關系數(shù)均小于-0.94，表現(xiàn)出極強的負相關性，顯然印證了式（10）所表示兩者的負相關關

27、系，它們評價結果的一致性好。因此，MRAE，RMSE，PSNR和MSAM均是有效的評價方法。表3Clean賽道測試結果相關系數(shù)Tab.3Correlation coefficients of test results on Clean trackIndexAWANHRNetRes2-UnetMRAERMSEPSNRMSAMMRAERMSEPSNRMSAMMRAERMSEPSNRMSAMMRAE1.000 00.759 0-0.751 10.964 51.000 00.800 1-0.739 20.977 91.000 00.644 3-0.541 30.958 3RMSE0.759 01.00

28、0 0-0.958 00.743 30.800 11.000 0-0.947 90.752 60.644 31.000 0-0.957 00.653 5PSNR-0.751 1-0.958 01.000 0-0.758 8-0.739 2-0.947 91.000 0-0.728 5-0.541 3-0.957 01.000 0-0.518 0MSAM0.964 50.743 3-0.758 81.000 00.977 90.752 6-0.728 51.000 00.958 30.653 5-0.518 01.000 0表4Real World賽道測試結果相關系數(shù)Tab.4Correlati

29、on coefficients of test results on Real World trackIndexAWANHRNetRes2-UnetMRAERMSEPSNRMSAMMRAERMSEPSNRMSAMMRAERMSEPSNRMSAMMRAE1.000 00.373 7-0.265 50.943 91.000 00.371 7-0.251 50.951 41.000 00.184 2-0.069 60.938 9RMSE0.373 71.000 0-0.983 10.521 40.371 71.000 0-0.986 30.488 40.184 21.000 0-0.987 10.3

30、77 7PSNR-0.265 5-0.983 11.000 0-0.438 7-0.251 5-0.986 31.000 0-0.396 5-0.069 6-0.987 11.000 0-0.286 2MSAM0.943 90.521 4-0.438 71.000 00.951 40.488 4-0.396 51.000 00.938 90.377 7-0.286 21.000 0對比表1和表2，相同網(wǎng)絡在Real World賽道測試結果均差于Clean賽道。對比表3和表4，Real World賽道測試結果相關系數(shù)的絕對值普遍低于Clean賽道。這表明由于Real World賽道的測試數(shù)據(jù)引入

31、了噪聲和JPEG壓縮效應，所有網(wǎng)絡更難以重建光譜信息，且重建結果的穩(wěn)定性較差。圖4圖7是兩個賽道中兩組測試數(shù)據(jù)通過AWAN，HRNet和Res2-Unet 3種網(wǎng)絡獲得重建光譜圖像與參考光譜圖像的光譜角制圖的比較。圖4（a）是輸入的RGB三通道彩色圖像，圖4（b）是二值圖，亮處表明該處由Res2-Unet網(wǎng)絡獲得的SAM值比AWAN網(wǎng)絡獲得的SAM值小，即由Res2-Unet網(wǎng)絡獲得的重建光譜數(shù)據(jù)更接近參考光譜信息；暗處表明該處由Res2-Unet網(wǎng)絡獲得的SAM值比AWAN網(wǎng)絡獲得的SAM值大，即由AWAN網(wǎng)絡獲得的重建光譜數(shù)據(jù)更接近參考光譜信息。圖4（c）所示二值圖是Res2-Unet網(wǎng)絡

32、與HRNet網(wǎng)絡獲得SAM相比較的可視化圖像，圖4（d）所示二值圖是AWAN網(wǎng)絡與HRNet網(wǎng)絡獲得SAM相比較的可視化圖像。圖4Clean賽道ARAD_HS_0451數(shù)據(jù)測試結果的SAM比較Fig.4SAM comparison of ARAD_HS_0451 data on Clean track圖5Clean賽道ARAD_HS_0463數(shù)據(jù)測試結果的SAM比較Fig.5SAM comparison of ARAD_HS_0463 data on Clean track圖6Real World賽道ARAD_HS_0451數(shù)據(jù)測試結果的SAM比較Fig.6SAM comparison of

33、ARAD_HS_0451 data on Real World track圖7Real World賽道ARAD_HS_0463數(shù)據(jù)測試結果的SAM比較Fig.7SAM comparison of ARAD_HS_0463 data on Real World track圖8圖11是兩個賽道中兩組測試數(shù)據(jù)通過AWAN，HRNet及Res2-Unet 3種網(wǎng)絡獲得的重建光譜圖像與參考光譜圖像在5個均勻分布位置處的光譜曲線比較。圖8（a）是輸入的RGB三通道彩色圖像，并在圖中標注了5個位置點。圖8（b）圖8（f）依次給出了這5個位置處的光譜數(shù)據(jù)曲線。圖8Clean賽道ARAD_HS_0451數(shù)據(jù)光譜

34、曲線比較Fig.8Spectral curve comparison of ARAD_HS_0451 on Clean track圖9Clean賽道ARAD_HS_0463數(shù)據(jù)光譜曲線比較Fig.9Spectral curve comparison of ARAD_HS_0463 on Clean track圖10Real World賽道ARAD_HS_0451數(shù)據(jù)光譜曲線比較Fig.10Spectral curve comparison of ARAD_HS_0451 on Real World track圖11Real World賽道ARAD_HS_0463數(shù)據(jù)光譜曲線比較Fig.11Sp

35、ectral curve comparison of ARAD_HS_0463 on Real World track對照圖4和圖8所測試的Clean賽道ARAD_HS_0451數(shù)據(jù)結果，由圖4（b）和圖4（c）可知提出方法在房屋紋理區(qū)獲得更好的SAM評價性能。圖8（d）和圖8（e）分別描繪的位置3和位置4均屬于紋理區(qū)，提出方法獲得的重建光譜數(shù)據(jù)曲線更接近參考光譜數(shù)據(jù)曲線。雖然提出方法在天空所在的平坦區(qū)獲得的SAM評價性能不及AWAN，但是如圖8（b）和8（c）所示，兩種方法重建得到的光譜曲線十分接近，重建結果相當。對照圖5和圖9所測試的Clean賽道ARAD_HS_0463數(shù)據(jù)結果，由圖5（

36、b）和圖5（c）可知提出方法在大部分區(qū)域的SAM評價均不及AWAN和HRNet。但如圖9所示，3種方法重建得到的光譜曲線在400600 nm十分接近，重建結果相當，提出方法僅在600700 nm的重建結果較差。對照圖6和圖10所測試的Real World賽道ARAD_HS_0451數(shù)據(jù)結果，以及圖7和圖11測試的Real World賽道ARAD_HS_0463數(shù)據(jù)結果，由圖6（b）6（c）和圖7（b）7（c）可見提出方法在大部分區(qū)域獲得了更好的SAM評價性能。在圖10和圖11所示的重建光譜曲線比較中，提出方法重建得到的光譜數(shù)據(jù)整體上更接近于參考光譜數(shù)據(jù)。綜上所述，在Clean和Real Wor

37、ld兩個賽道中，無論是采用二值圖進行SAM可視化比較，還是典型位置的重建光譜數(shù)據(jù)曲線比較，提出方法整體上具有優(yōu)勢。但3種方法對于600700 nm近紅外譜段數(shù)據(jù)的重構結果均與目標存在較大差距。3.4.2消融實驗對設計的網(wǎng)絡進行兩種消融實驗，其一是去掉骨干網(wǎng)絡中的SE，以檢驗通道注意力機制對性能的影響，其二是將骨干網(wǎng)絡中的Res2Net-SE模塊替換成33的卷積模塊Conv33，以檢驗Res2Net模塊在整個網(wǎng)絡中的作用。兩個賽道的網(wǎng)絡消融測試結果如表5和表6所示，除此之外Conv33，Res2Net和Res2Net-SE 3種模塊為主構成骨干網(wǎng)絡的網(wǎng)絡參數(shù)量分別為55.580M，34.477M和34.651M，而FLOPs分別為182.549G，117.449G和117.481G。結果表明，相對于Conv33模塊，采用Res2Net模塊后不僅減少了21.103M個網(wǎng)絡參數(shù)，而且重建圖像的4種評價結果均顯著提升，證明了Res2Net模塊的有效性。其性能提升的主要原因在于Res2Net模塊的多尺度處理，以及多子集融合方式更有利于提取局部和全局信息。表5