《神經(jīng)網(wǎng)絡(luò)壓縮與加速研究的國內(nèi)外文獻(xiàn)綜述》3400字

神經(jīng)網(wǎng)絡(luò)壓縮與加速研究的國內(nèi)外文獻(xiàn)綜述當(dāng)前，針對深度神經(jīng)網(wǎng)絡(luò)的壓縮與加速，其主要方法有網(wǎng)絡(luò)剪枝、網(wǎng)絡(luò)量化、低秩分解、緊湊卷積核和知識(shí)蒸餾。以下分別對這五種方法研究現(xiàn)狀進(jìn)行介紹。（1）網(wǎng)絡(luò)剪枝網(wǎng)絡(luò)剪枝可以去除深度網(wǎng)絡(luò)模型中冗余的、不重要的參數(shù)來減少模型參數(shù)量。前期的剪枝方法，如基于非結(jié)構(gòu)化的，精度理論上較高但需下層的硬件和計(jì)算庫對其有比較好的支持。而結(jié)構(gòu)化剪枝方法可以很好地解決上述問題，因此近年來的研究很多是集中在結(jié)構(gòu)化上。對于非結(jié)構(gòu)化剪枝，早在20世紀(jì)九十年代LeCun等人[8]提出了最優(yōu)化腦損失策略，該方法基于二階導(dǎo)數(shù)來判定參數(shù)是否裁剪，可以達(dá)到更高的準(zhǔn)確度同時(shí)又降低網(wǎng)絡(luò)復(fù)雜度，確保精度損失最小化。Sriniva等人[9]提出通過建立參數(shù)的顯著性矩陣來刪除不顯著的參數(shù)，該方法無需使用訓(xùn)練數(shù)據(jù)和反向傳播，運(yùn)行速度較快。非結(jié)構(gòu)化剪枝的代表性工作為Han等人[10]的工作，由權(quán)重的大小判斷權(quán)值所含有的信息量進(jìn)行修剪，剪去數(shù)值小于給定閾值的不重要連接及對應(yīng)參數(shù)，大大減少網(wǎng)絡(luò)參數(shù)量，該方法在AlexNet模型上實(shí)現(xiàn)了9倍的壓縮，在VGG－16模型實(shí)現(xiàn)了3倍壓縮。為解決非結(jié)構(gòu)化修剪方法迭代收斂慢，運(yùn)算效率不足的問題，眾多研究開始轉(zhuǎn)向結(jié)構(gòu)化剪枝方法。這類方法通過度量濾波的顯著性，將顯性濾波移除進(jìn)而實(shí)現(xiàn)網(wǎng)絡(luò)預(yù)測加速。Li等人[11]使用濾波器參數(shù)的L1范數(shù)來判斷濾波器權(quán)重的顯著性，刪除不顯著的濾波器，從而達(dá)到模型壓縮的目的。Molchanov等人[12]基于一階泰勒展開尋找使損失函數(shù)變化最小的濾波器，并將其設(shè)定為顯著性濾波器。Luo等人[13]提出了ThiNet網(wǎng)絡(luò)結(jié)構(gòu)，開始研究下一層濾波器輸入通道的重要性，濾波器是否被剪去取決于下一層而不是直接只考慮當(dāng)前層。此方法在ImageNet分類任務(wù)上，在ResNet-50模型中加速了2.26倍，模型大小壓縮了2.06倍，僅增加了0.84%的分類誤差。（2）網(wǎng)絡(luò)量化網(wǎng)絡(luò)模型量化目前包含兩個(gè)研究方向：其一為權(quán)值共享，基本思想就是多個(gè)網(wǎng)絡(luò)連接的權(quán)重共用一個(gè)權(quán)值，如聚類方式共享和哈希方式共享；其二為權(quán)值精簡，即權(quán)值的低比特表示，主要是定點(diǎn)量化。在聚類方式共享方面，Gong等人[14]提出了一個(gè)加速和壓縮CNN的方法（Q-CNN），主要思想是基于k-means聚類算法對模型的卷積層和全連接層中的權(quán)重進(jìn)行量化，且最小化每層的輸出響應(yīng)誤差。在哈希方式共享方面，Chen等人[15]提出了將網(wǎng)絡(luò)權(quán)重隨機(jī)分組到多個(gè)哈希桶中的方法，同個(gè)哈希桶內(nèi)的所有連接共享相同的權(quán)重參數(shù)，從而實(shí)現(xiàn)參數(shù)共享。該法類似特征哈希，即將高維數(shù)據(jù)降到低維空間，以達(dá)到減小模型體積，減小精度損失的目的。

在定點(diǎn)量化中，使用定點(diǎn)數(shù)運(yùn)算來代替浮點(diǎn)數(shù)運(yùn)算，處理相對簡單，執(zhí)行效率也更高。Vanhoucke等人[16]將網(wǎng)絡(luò)參數(shù)由32比特定點(diǎn)量化為8比特進(jìn)行存儲(chǔ)，內(nèi)存占用降低的同時(shí)準(zhǔn)確率基本不受影響。Gupta等人[17]則使用了16比特的定點(diǎn)數(shù)表達(dá)方法，并加入了隨機(jī)約束的方法，使性能損失較小的同時(shí)又降低了模型資源消耗。Courbariaux等人[18]提出了BinaryConnect網(wǎng)絡(luò)，權(quán)值如果大于0為+1，小于0為-1，該二值量化方法可以實(shí)現(xiàn)網(wǎng)絡(luò)的32倍壓縮。2016年，Li等人[19]提出了三值權(quán)值網(wǎng)絡(luò)（TernaryWeightNetwork，TWN），當(dāng)權(quán)值高于某個(gè)閾值為+1，高于正閾值卻小于負(fù)閾值時(shí)為0，其余為-1。（3）低秩分解低秩分解的核心思想是將原來大的權(quán)重矩陣分解成多個(gè)小的矩陣。由于權(quán)值向量多分布于低秩子空間,因此可用少數(shù)的基向量來重構(gòu)卷積核矩陣,達(dá)到減少模型內(nèi)部冗余性的目的。Deni等人[20]最早使用低秩分解的思想來對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行壓縮與加速，即利用低秩分解技術(shù)分析模型的大量冗余信息。在2015年，Kim等人[21]提出基于Tucker分解的方法，通過變分貝葉斯矩陣進(jìn)行Tucker分解，將一個(gè)張量表示成一個(gè)核心張量和若干個(gè)小張量的乘積，大大減少了計(jì)算量。之后，Lieven等人[22]采用張量分解的方法用五層復(fù)雜度更低的網(wǎng)絡(luò)層重構(gòu)原始網(wǎng)絡(luò)，實(shí)現(xiàn)4.5倍的加速。（4）緊湊卷積核對深度網(wǎng)絡(luò)模型的卷積核使用特殊的結(jié)構(gòu)化卷積核或緊性的卷積核能有效地壓縮深度網(wǎng)絡(luò)。2016年，Iandola等人[23]提出SqueezeNet，其核心Fire模塊，主要包含Squeeze層和Expand層。在Squeeze層使用1*1的卷積核減少輸入通道的數(shù)量，在Expand層中把1*1和3*3卷積核得到的特征映射進(jìn)行壓縮，得到不同尺寸的卷積特征。該SqueezeNet在達(dá)到AlexNet識(shí)別精度的同時(shí)模型參數(shù)降低了50倍，大大壓縮了深度網(wǎng)絡(luò)模型。2017年，Howard等人[24]提出了MobileNet，一種專門針對移動(dòng)端和嵌入式設(shè)備開發(fā)的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)，將卷積運(yùn)算分為深度卷積和點(diǎn)卷積，此法可減少大量的參數(shù)量和計(jì)算量。同年，Zhang等人[25]基于組卷積（GroupConvolution，GC）和通道重排（ChannelShuffle，CS）操作，提出了ShuffleNet，相比MobileNet能更好地減少模型的計(jì)算復(fù)雜度。（5）知識(shí)蒸餾知識(shí)蒸餾的核心思想是讓較小的學(xué)生網(wǎng)絡(luò)學(xué)習(xí)大的教師網(wǎng)絡(luò)的輸出類別分布。先將大型復(fù)雜的教師網(wǎng)絡(luò)訓(xùn)練達(dá)到較高的性能，再使用輕量級(jí)學(xué)生網(wǎng)絡(luò)對其進(jìn)行擬合，從而把大型網(wǎng)絡(luò)學(xué)到的知識(shí)遷移到輕量型網(wǎng)絡(luò)中，達(dá)到網(wǎng)絡(luò)壓縮的目的。2006年，Bucilua等人[26]首先提出知識(shí)遷移引入，利用預(yù)訓(xùn)練好的復(fù)雜模型生成偽數(shù)據(jù)，訓(xùn)練帶有偽數(shù)據(jù)標(biāo)記的強(qiáng)分類器的壓縮模型來復(fù)制原始分類器的輸出?；诖耍?015年Hinton等人[27]提出知識(shí)蒸餾的概念，將教師網(wǎng)絡(luò)Softmax層的輸出作為“軟目標(biāo)”加入到學(xué)生網(wǎng)絡(luò)的損失函數(shù)中，指導(dǎo)學(xué)生網(wǎng)絡(luò)訓(xùn)練，達(dá)到知識(shí)遷移的目標(biāo)，Hinton的方法能夠?qū)⒕W(wǎng)絡(luò)有效的壓縮，但基于輸出信息監(jiān)督的蒸餾學(xué)習(xí)方法忽略了對教師網(wǎng)絡(luò)的中間層的特征層信息。因此Romero等人[28]提出了FitNets，該模型同時(shí)融合了教師網(wǎng)絡(luò)的中間特征層信息和教師網(wǎng)絡(luò)的輸出來指導(dǎo)學(xué)生網(wǎng)絡(luò)訓(xùn)練，使學(xué)生網(wǎng)絡(luò)模擬教師網(wǎng)絡(luò)的全部特征映射圖。You等人[29]也利用了中間層信息，他們設(shè)置多個(gè)教師網(wǎng)絡(luò)來同時(shí)訓(xùn)練一個(gè)輕量化的學(xué)生神經(jīng)網(wǎng)絡(luò)。2018年，Heo等人[30]基于分類決策邊界，利用對抗攻擊策略轉(zhuǎn)化樣本以誘導(dǎo)學(xué)生網(wǎng)絡(luò)對決策邊界學(xué)習(xí)。首先利用對抗攻擊策略將基準(zhǔn)類樣本轉(zhuǎn)為目標(biāo)類樣本、且位于決策邊界附近，進(jìn)而利用對抗生成的樣本誘導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練，可有效提升學(xué)生網(wǎng)絡(luò)對決策邊界的鑒別能力。當(dāng)前的模型壓縮與加速方法中，其中低秩分解技術(shù)雖然在某些特定應(yīng)用中效果不錯(cuò)，但由于無法做到一次全局壓縮，增加了網(wǎng)絡(luò)訓(xùn)練時(shí)長。同時(shí)該技術(shù)增加了網(wǎng)絡(luò)的層數(shù)，容易在訓(xùn)練過程時(shí)出現(xiàn)梯度消失的問題，故不具備普適性。而基于緊湊卷積核的神經(jīng)網(wǎng)絡(luò)通過采用緊湊卷積核的方式,大大減少了模型中的參數(shù),降低了模型的大小，但由于難以和其他模型壓縮方法結(jié)合，比原先的網(wǎng)絡(luò)通用性更弱。此外，網(wǎng)絡(luò)剪枝雖然通過修剪一些冗余參數(shù)量降低了網(wǎng)絡(luò)復(fù)雜度，但由于所有的剪枝方法都需要手動(dòng)設(shè)置層的超參數(shù)，且多次迭代模型才能收斂，因此不利于實(shí)際運(yùn)用。網(wǎng)絡(luò)量化通過減少每個(gè)權(quán)重編碼的比特?cái)?shù)來壓縮原始網(wǎng)絡(luò)，可以在準(zhǔn)確率損失極小的同時(shí)實(shí)現(xiàn)網(wǎng)絡(luò)大幅加速，這種硬件適用性的壓縮機(jī)制使該方法非常適合部署在體域網(wǎng)體系的可穿戴移動(dòng)等設(shè)備上。知識(shí)蒸餾法通過遷移學(xué)習(xí)的方法可使深層網(wǎng)絡(luò)變淺,極大地降低了計(jì)算成本。同時(shí)，針對數(shù)據(jù)規(guī)模有限的公開心電數(shù)據(jù)集，知識(shí)蒸餾方法可以在通用任務(wù)上進(jìn)行預(yù)訓(xùn)練后再進(jìn)行實(shí)際模型的訓(xùn)練，從而解決數(shù)量不足的問題。因此，本文分別采用網(wǎng)絡(luò)量化和知識(shí)蒸餾這兩種技術(shù)對模型進(jìn)行壓縮與加速。參考文獻(xiàn)Z.Cai,M.Seyedi,W.Zhang,etal.CharacterizationofImpulseRadioIntrabodyCommunicationSystemforWirelessBodyAreaNetworks[J].JournalofMedicalandBiologicalEngineering,2017,37(1)：74-84.S.Ullah,H.Higgins,B.Braem,etal.Acomprehensivesurveyofwirelessbodyareanetworks[J].JournalofMedicalSystems,2012,36(3):1065-109S.Movassaghi,M.Abolhasan,J.Lipman,etal.Wirelessbodyareanetworks:asurvey[J].IEEECommunicationsSurvey&Tutorials,2014,16(3):1658–168王麗蘋.融合領(lǐng)域知識(shí)的心電圖分類方法研究[D].華東師范大學(xué)，2013.AQO,XuQA,ClA,etal.AutomatedECGclassificationusinganon-localconvolutionalblockattentionmodule[J].ComputerMethodsandProgramsinBiomedicine,2021.AmirshahiA,HashemiM.ECGClassificationAlgorithmBasedonSTDPandR-STDPNeuralNetworksforReal-TimeMonitoringonUltraLow-PowerPersonalWearableDevices[J].IEEETransactionsonBiomedicalCircuitsandSystems,2020,13(6):1483-1493.ShakerAM,TantawiM,ShedeedHA,etal.GeneralizationofConvolutionalNeuralNetworksforECGClassificationUsingGenerativeAdversarialNetworks[J].IEEEAccess,2020,8:35592-35605.YLCun,JSDenker,SASolla.Optimalbraindamage[M].MorganKaufmannPublishersInc.1990.SrinivasS,BabuRV.Data-freeparameterpruningforDeepNeuralNetworks[J].ComputerScience,2015:2830-2838.HanS,PoolJ,TranJ,etal.LearningbothWeightsandConnectionsforEfficientNeuralNetworks[J].MITPress,2015.LiH,KadavA,DurdanovicI,etal.PruningFiltersforEfficientConvNets.2016.MolchanovP,TyreeS,KarrasT,etal.PruningConvolutionalNeuralNetworksforResourceEfficientTransferLearning[J].2016.LuoJH,WuJ,LinW.ThiNet:AFilterLevelPruningMethodforDeepNeuralNetworkCompression[C]//2017IEEEInternationalConferenceonComputerVision(ICCV).IEEE,2017.WuJ,CongL,WangY,etal.QuantizedConvolutionalNeuralNetworksforMobileDevices[J].2016IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2016.WenlinChen,JamesWilson,StephenTyree,KilianWeinberger,andYixinChen.Compressingneuralnetworkswiththehashingtrick.InInternationalConferenceonMachineLearning,pages2285–2294,2015.VanhouckeV,SeniorA,MaoMZ.ImprovingthespeedofneuralnetworksonCPUs[J].2011.GuptaS,AgrawalA,GopalakrishnanK,etal.DeepLearningwithLimitedNumericalPrecision[J].Computerence,2015.MatthieuCourbariaux,YoshuaBengio,andJean-PierreDavid.Binaryconnect:Trainingdeepneuralnetworkswithbinaryweightsduringpropagations.InAdvancesinNeuralInformationProcessingSystems,pages3123–3131,2015.LiF,LiuB.TernaryWeightNetworks[J].2016.DenilM,ShakibiB,DinhL,etal.PredictingParametersinDeepLearning[C]//NIPS.CurranAssociatesInc.2013.KimYD,ParkE,YooS,etal.CompressionofDeepConvolutionalNeuralNetworksforFastandLowPowerMobileApplications[J].ComputerScience,2015,71(2):576-584.De,Lathauwer,Lieven,etal.OntheBestRank-1andRank-(R1,R2.RN)ApproximationofHigher-OrderTensors[J].SIAM.J.MatrixAnal.&Appl.2000,21(4):1324-1342.IandolaFN,HanS,MoskewiczMW,etal.SqueezeNet:AlexNet-lev