基于輕量化神經(jīng)網(wǎng)絡(luò)的皮膚病灶分割設(shè)計

[10]的思想,編碼階段，輸入大小為H×W×3的彩色皮膚圖像，經(jīng)過三次二維卷積（核大小為3）和最大池化操作后，再進行三次GHPA和兩次最大池化；同時SCB做橋接，解碼階段進行三次DGA、IEA操作和兩次雙線性插值后，再進行三次二維卷積操作和兩次雙線性插值后，最后最大池化輸出一個二元掩膜分割圖像。1）DGA（DilatedGatedAttentionBlock）圖17DGA模塊示意圖如圖17是DGA模塊示意圖。模塊的前半段SDC（SplitDilatedConvUnit）將輸入圖像按照通道劃分為四個區(qū)域，并利用擴張率分別為7、5、2、1的深度可分離卷積來獲取圖像整體和部分特征；連接操作后，實現(xiàn)圖像尺寸重構(gòu)，卷積再融合信息，后半段GA（GatedAttentionUnit）通過深度可分離卷積（DW）產(chǎn)生符合圖像特征的圖像，去除無關(guān)的信息，使得模型關(guān)注更加關(guān)鍵的信息，最終殘差連通輸出結(jié)果，數(shù)學(xué)公式如公式14-17。 x1,x2 x1' X'= Att=σ(DW(X' Out=DWDWX'其中Clunk4是將輸入圖片沿通道分為4部分（x1,x2,x3,x4），Wi擴張卷積且2）IEA（InvertedExternalAttentionBlock）模塊是基于外界關(guān)注來表征數(shù)據(jù)集,增強樣本之間聯(lián)系。ExternalAttention指的是外部注意力，如圖18是IEA模塊示意圖。圖18IEA模塊示意圖該方法采用兩個儲存單元(Conv1D共用參數(shù))，來描述整體的特性。給定的輸入X（尺寸C×H×W）經(jīng)過1*1卷積核復(fù)制操作后，改變他的大小為C×HW。MemoryUnit1是內(nèi)存單元1，可以將特征圖通道數(shù)量擴大到原來4倍（尺寸變?yōu)?C×HW）。MemoryUnit2還原尺寸大小，再將圖像恢復(fù)到C×HW，最后1*1卷積后殘差運算，將圖像特征信息融合融合特征信息。3）SCB（SpatialandChannelAttentionBridgeBlock）模塊由SAB（SpatialAttentionBridge）和CAB（ChannelAttentionBridgeBlock）兩部分組成，兩部分分別對特征圖進行不同的信息提取和融合操作，從而獲得圖像更有代表性的特征。SAB通過共享二維卷積，對特征圖多階段信息融合，生成空間軸上的特征圖。如圖19是SAB結(jié)構(gòu)圖。圖19SAB示意圖如上圖，每個階段的特征圖，沿通道維度分別采用最大池化和平均池化，再將其串聯(lián)得到具有兩個通道的特征圖（寬度和高度保持不變）。然后，利用共享的擴張卷積（擴張率是3）和sigmoid激活函數(shù)生成每個階段的空間注意力圖，最后空間注意力圖和原始特征圖內(nèi)積后殘差連接輸出。CAB可以將圖像分割過程中各階段特征進行整體和局部融合，生成通道上的特征圖，如圖20是CAB結(jié)構(gòu)示意圖。圖20CAB示意圖如上結(jié)構(gòu)GAP是全局平均池化，Concat連接后，Con1D將多階段信息融合，F(xiàn)C全連接輸出后sigmoid回歸操作，最后殘差輸出。4）GHPA(Groupmulti-axisHadamardProductAttentionmodule) 模塊沿著通道維度將輸入均分為四組，并對前三組的高度-寬度、通道-高度、通道-寬度軸分別進行HPA（HadamardProductAttention），最后一組則只在特征映射上使用DW。最后，沿著通道維度將四組連接起來，并應(yīng)用另外一個DW從不同角度整合信息。其中,DW的所有核大小為3，如公式19-22。 x1,x4= x2=x x3=x Out=DW(LN(cat([x1,x2 其中，BI是雙線性插值（BilinearInterpolation）；permute是將tensor的維度換位的操作；Pxy是隨機初始化張量大小[1,C//4,a,b]；Pzx是隨機初始化張量大小[1,1,C//4,a]；Pzy是隨機初始化張量大小[1,1,C//4,b]；LN如上公式所示，模塊的HPA操作就是給定一個輸入x和一個隨機初始化可學(xué)習(xí)張量p，首先對p進行雙線性插值操作，以調(diào)整p的大小適應(yīng)于x，然后對p進行DW運算，最后x和p進行標(biāo)準(zhǔn)積運算獲得輸出。3.4模型損失函數(shù) 皮膚病分割是一個二分類分類任務(wù)，因此用到的損失函數(shù)是BceLoss（BinaryCrossEntropyLoss），但醫(yī)療圖像中常出現(xiàn)類別不均衡的情況，因此訓(xùn)練結(jié)果常會被像素更多的類別主導(dǎo)，對于較小的類別學(xué)習(xí)不到位，從而降低了網(wǎng)絡(luò)的有效性，而DiceLoss正好可以解決這個問題，但對反向傳播會造成不利影響，因此研究人員將兩者融合在了一切，提出了BceDiceLoss函數(shù)，如公式23-25。 LBce=?1 LDice=1?2 LBceDice=λ其中，λ1和λ4結(jié)果分析本章將使用malunet模型在ISIC2018數(shù)據(jù)集上進行訓(xùn)練，并對訓(xùn)練結(jié)束后的損失函數(shù)和模型性能指標(biāo)進行評價，另外對所使用的四個模塊進行功能對比，證明所用方案的合理性，最后將測試結(jié)果和其他模型比較，驗證所用模型在皮膚病灶分割輕量化方面的優(yōu)勢。4.1數(shù)據(jù)集預(yù)處理Pytorch中的torchvision主要用于對圖像進行處理，為了提高模型的泛化能力，我們使用torchvision中的transforms模塊對數(shù)據(jù)進行預(yù)處理,比如：歸一化（ToTensor）、水平翻轉(zhuǎn)（RandomHorizontalFlip）、垂直翻（RandomVerticalFlip）和縮放（Resize）等。數(shù)據(jù)集結(jié)構(gòu)如圖：，train是訓(xùn)練數(shù)據(jù)集，分為圖像和相應(yīng)二元掩膜存放，測試集和驗證數(shù)據(jù)集共用val文件數(shù)據(jù)。數(shù)據(jù)集結(jié)構(gòu)如圖21。圖21數(shù)據(jù)集結(jié)構(gòu)圖4.2訓(xùn)練和測試4.2.1對比實驗 關(guān)于每個模塊在實驗中的分割效果這里做出可視化對比，如圖。通過圖示對比發(fā)現(xiàn),GHPA、IEA和DGA在提取全局信息上都有一定的優(yōu)勢，但GPHA在局部信息提取優(yōu)勢更加突出，因此GHPA則單獨用于編碼部分，提取更多更據(jù)有代表性的信息，IEA和DGA置于解碼階段，橋接模塊SCB在局部信息提出優(yōu)勢大其余三者，因此保持原有功能結(jié)構(gòu)不變，如圖22是模塊分割效果對比圖。原圖PredDGAIEAGHPASCB組合圖22模塊分割效果對比圖4.2.2訓(xùn)練結(jié)果訓(xùn)練開始前需要設(shè)置的初始參數(shù)如表1。表1網(wǎng)絡(luò)各參數(shù)設(shè)定值超參數(shù)設(shè)定值學(xué)習(xí)率0.005最大訓(xùn)練輪次300批尺寸8優(yōu)化器種類AdamW權(quán)重衰減1e-5損失函數(shù)BceDiceloss訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的實驗后得到的損失和性能指標(biāo)如下：圖23(a)模型訓(xùn)練集和測試集損失變化圖23(b)模型訓(xùn)練集和測試集mIoU變化由圖23(a)模型訓(xùn)練集和測試集損失變化圖可知，隨著訓(xùn)練次數(shù)的增加模型訓(xùn)練損失和測試損失下降速度越來越快，越往后下降速度越來越慢，因為測試數(shù)據(jù)較少，所以兩者的損失差距會比較大。由圖23(b)模型訓(xùn)練集和測試集mIoU變化圖可知，隨著訓(xùn)練次數(shù)增加，模型的mIoU逐漸增加，最終可達(dá)到80%左右，結(jié)果表明，分割結(jié)果和真實情況非常相似。表2各模型在ISIC2018上的性能指標(biāo)對比ModelParamsGFLOPsmIoUDSCUNetUNet++Attention-UnetUNeXt-SMyUnet7.7713.7877.8687.559.1634.9078.3187.838.7316.7478.4387.910.300.1079.0988.330.120.06779.2688.67從表2各模型在ISIC2018上的性能指標(biāo)對比表可知，MUnet的Params和GFLOP相比于Unet縮減了64x和205x，同時相比于近年的輕量化網(wǎng)絡(luò)UNeXt-S減小了0.18M和0.033GFLOPs,而MyUnet的分割精度都比其余網(wǎng)絡(luò)有少量的提升。5總結(jié)與展望5.1總結(jié)本文就目前皮膚病灶分割算法在臨床下的應(yīng)用情況和發(fā)展現(xiàn)狀為依據(jù)，設(shè)計了一套基于多種注意力機制的輕量化分割模型，在原有的Unet框架上加入了四個模塊，作用分別是：1)提取整體和局部特征；2)描述整個數(shù)據(jù)集的特征，加強樣本之間的聯(lián)系；3)將多階段，多尺度的特征信息融合在一起；4）將不同軸的特征信息融合。通過搭建此模型，本文實現(xiàn)了在平衡模型分割精度的同時，降低模型參數(shù)量和計算復(fù)雜度，從而達(dá)到輕量化的目標(biāo)。對訓(xùn)練后的模型進行測試，相比于原始的UNet模型的參數(shù)量降低了64倍，計算復(fù)雜度降低了205倍；同時，mIoU和DSC增加了1.7%和1.27%。5.2展望雖然目前的設(shè)計能夠?qū)崿F(xiàn)輕量化目標(biāo)，但它在分割精度上的提升并不是很顯著，且僅可用于皮膚病灶分割，不可用于其他醫(yī)療分割場景。因此，在未來的研究中，期望能結(jié)合更多優(yōu)越的方法，在其他分割領(lǐng)域設(shè)計出更多性能優(yōu)越的輕量化神經(jīng)網(wǎng)絡(luò)模型模型。參考文獻鄧輝.基于深度學(xué)習(xí)的黑色素瘤分類算法研究[D].南京郵電大學(xué),2023.DOI:10.27251/ki.gnjdc.2023.002076.蔣宏達(dá),葉西寧.一種改進的I-Unet網(wǎng)絡(luò)的皮膚病圖像分割算法[J].現(xiàn)代電子技術(shù),2019,42(12):52-56.DOI:10.16652/j.issn.1004-373x.2019.12.013.LONGJ,SHELHAMERE,DARRELLT.Fullyconvolutionalnetworksforsemanticsegmentation[C];Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition.Piscataway:IEEE,2015:3431-3440.RONNEBERGERO,FISCHERP,BROXT.U-net:Convolutionalnetworksforbiomedicalimagesegmentation[C];Proceedingsofthe2015InternationalConferenceonMedicalImageComputingandComputer-AssistedIntervention.Cham:Springer,2015:234-241.MILLETARIF,NAVABN,AHMADISA.V-net:Fullyconvolutionalneuralnetworksforvolumetricmedicalimagesegmentation[C];Proceedingsofthe2016fourthInternationalConferenceon3DVision(3DV).Piscataway:IEEE,2016:565-571.曹玉紅,徐海,劉蓀傲等.基于深度學(xué)習(xí)的醫(yī)學(xué)影像分割研究綜述[J].計算機應(yīng)用,2021,41(08):2273-2287.高明昊,逯洋.皮膚病灶圖像分割方法的分析與探討[J].福建電腦,2024,40(03):24-29.DOI:10.16707/ki.fjpc.2024.03.005.HuisiW,ShihuaiC,GuilianC,etal.FAT-Net:FeatureAdaptiveTransformersforAutomatedSkinLesionSegmentation[J].MedicalImageAnalysis,2021,76(prepublish):102327-.EGH,SimonO,Yee-WhyeT.Afastlearningalgorithmfordeepbeliefnets.[J].Neuralcomputation,2006,18(7):1527-54.RUANJ,XIANGS,XIEM,etal.MALUNet:AMulti-AttentionandLight-weightUNetforSkinLesionSegmentation[C].2022IEEEInternationalConferenceonBioinformatics