CNN基本網(wǎng)絡(luò)結(jié)構(gòu)發(fā)展簡史超全總結(jié)

#CNN基本網(wǎng)絡(luò)結(jié)構(gòu)發(fā)展簡史超全總結(jié)CNN基本部件介紹局部感受野在圖像中局部像素之間的聯(lián)系較為緊密，而距離較遠(yuǎn)的像素聯(lián)系相對較弱。因此，其實每個神經(jīng)元沒必要對圖像全局進(jìn)行感知，只需要感知局部信息，然后在更高層局部信息綜合起來即可得到全局信息。卷積操作即是局部感受野的實現(xiàn)，并且卷積操作因為能夠權(quán)值共享，所以也減少了參數(shù)量。池化池化是將輸入圖像進(jìn)行縮小，減少像素信息，只保留重要信息，主要是為了減少計算量。主要包括最大池化和均值池化。激活函數(shù)激活函數(shù)的用是用來加入非線性。常見的激活函數(shù)有sigmod,tanh,relu，前兩者常用在全連接層，relu常見于卷積層全連接層全連接層在整個卷積神經(jīng)網(wǎng)絡(luò)中起分類器的作用。在全連接層之前需要將之前的輸出展平|經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)1.LeNet5由兩個卷積層，兩個池化層，兩個全連接層組成。卷積核都是5X5，stride=1，池化層使用maxpooling模型共八層（不算input層），包含五個卷積層、三個全連接層。最后一層使用softmax做分類輸出AlexNet使用了ReLU做激活函數(shù)；防止過擬合使用dropout和數(shù)據(jù)增強；雙GPU實現(xiàn)；使用LRNparams4M16M37MAlexNetFLOPS4mFC4096!ReLU16MFC4096!ReLU_|37MMaxPool3x352442K1.3胡984KCow3x3呂1：25砒ReLUConv3x3s1;384fRgLUConv3^3s1.3&4/ReLUMaxPool3x3^274M112^149M307KLocalResponseNormConv5^5s1256/ReLUMaxPool3x3s2223M35KLocalResponseNormConv11x1154,96/ReLUReLU、多個GPU提高訓(xùn)練速度重書池化提高精度,不容易產(chǎn)生過擬合局部歸Tt提高精度數(shù)據(jù)擴(kuò)充、Dropout減少過擬合3.VGG全部使用3X3卷積核的堆疊，來模擬更大的感受野，并且網(wǎng)絡(luò)層數(shù)更深。VGG有五段卷積，每段卷積后接一層最大池化。卷積核數(shù)目逐漸增加?？偨Y(jié)：LRN作用不大；越深的網(wǎng)絡(luò)效果越好；1X1的卷積也很有效但是沒有3X3好

Table2:NumberorpiarAmelcrs[itintillions).MetworkA^LRNBCDEMumberofDaramct-er144rTable2:NumberorpiarAmelcrs[itintillions).MetworkA^LRNBCDEMumberofDaramct-er144ConvMettonfigvraiionAA-LRNBCDE11weightlayers11WCl^bLlawrs13weightlayori16weightlayers16weightlayers19wdgMlayersinput(224x224RGBimagt-conv3-64conv3-6^LRNconv3-64conv3-64cortv3-64cortv3-64eanvJ-64conv3-64conv3-&4eonv3-64nmpoolC0nv3-128toriY3-128cunv3-128conv3-12Scaiv3U28cofiv3-128-128conv3-12buonv3128conv3-12Smaxpoolcotft13*236cou.vV256conv3-256conv3-256ccnv3-25tcanv3-256Cflnv3-256C0nv3-2J6cdhy1-Z56eonv3-256coii￥3'25bC4jhy3-256Cftttv3-25fjconv3-23()conv3-256cmiv3-256maxpnalcomV5)2Lcui￥3-5l2conv3-312tvnv3-512oanY3-312conv3*512oonv3-512eoiiv3-512convl-512conv3-512uoav3-512coni'3-f12convl-512conv3-512cqrv3312c(miv3*5I2maxpoolconv3-512cojrw?512cqhv3-512convS512tonv3-5l2conv3”5l2wjiiy3^512conv3512cnnvl-512conv3"5l2con￥3-5l2conv3-5I2conv3-512conv3512conv3512C0flv3-5iJmapoolFC40%FC-40^FC-10004.GoogLeNet(inceptionvl)從VGG中我們了解到，網(wǎng)絡(luò)層數(shù)越深效果越好。但是隨著模型越深參數(shù)越來越多，這就導(dǎo)致網(wǎng)絡(luò)比較容易過擬合，需要提供更多的訓(xùn)練數(shù)據(jù)；另外，復(fù)雜的網(wǎng)絡(luò)意味更多的計算量，更大的模型存儲，需要更多的資源，且速度不夠快。GoogLeNet就是從減少參數(shù)的角度來設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)的。GoogLeNet通過增加網(wǎng)絡(luò)寬度的方式來增加網(wǎng)絡(luò)復(fù)雜度，讓網(wǎng)絡(luò)可以自己去應(yīng)該如何選擇卷積核。這種設(shè)計減少了參數(shù)，同時提高了網(wǎng)絡(luò)對多種尺度的適應(yīng)性。使用了1X1卷積可以使網(wǎng)絡(luò)在不增加參數(shù)的情況下增加網(wǎng)絡(luò)復(fù)雜度。

Previouslayer1x1convolutionsFilterconcaLenatian1x1convolutions1convolutions3x3convolutions5x5con^clutions3x3maxpooling1x1con\/oiutionsInception—v2Previouslayer1x1convolutionsFilterconcaLenatian1x1convolutions1convolutions3x3convolutions5x5con^clutions3x3maxpooling1x1con\/oiutions在v1的基礎(chǔ)上加入batchnormalization技術(shù)，在tensorflow中，使用BN在激活函數(shù)之前效果更好；將5X5卷積替換成兩個連續(xù)的3X3卷積，使網(wǎng)絡(luò)更深，參數(shù)更少Inception—v3核心思想是將卷積核分解成更小的卷積，如將7X7分解成1X7和7X1兩個卷積核，使網(wǎng)絡(luò)參數(shù)減少，深度加深I(lǐng)nception-v4結(jié)構(gòu)引入了ResNet,使訓(xùn)練加速，性能提升。但是當(dāng)濾波器的數(shù)目過大（〉1000）時，訓(xùn)練很不穩(wěn)定，可以加入activatescaling因子來緩解Xception在Inception-v3的基礎(chǔ)上提出，基本思想是通道分離式卷積，但是又有區(qū)別。模型參數(shù)稍微減少，但是精度更高。Xception先做1X1卷積再做3X3卷積，即先將通道合并，再進(jìn)彳丁空間卷積。depthwise正好相反，先進(jìn)彳丁空間3X3卷積，再進(jìn)行通道1X1卷積。核心思想是遵循一個假設(shè)：卷積的時候要將通道的卷積與空間的卷積進(jìn)行分離。而MobileNet—v1用的就是depthwise的順序，并且加了BN和ReLU。Xception的參數(shù)量與Inception—v3相差不大，其增

加了網(wǎng)絡(luò)寬度，旨在提升網(wǎng)絡(luò)準(zhǔn)確率，而MobileNet-vl旨在減少網(wǎng)絡(luò)參數(shù)，提高效率。ConcatOutputchannelsOutputchannels3x33x35x33x33x33x33x31x1convInputEntryflowMiddleflowExit￡lo^'ISfrpax?Ijl~L2B,~3Kle7ZSutt>apsIUUJ恥出5epdMbL?C?HvL2A,Jx3蘇UJIEntryflowMiddleflowExit￡lo^'ISfrpax?Ijl~L2B,~3Kle7ZSutt>apsIUUJ恥出5epdMbL?C?HvL2A,Jx3蘇UJI"血UJ舉■gdrjibl^CcTj1.7^3,^3lEiic.urE<ndpsCCrtiV]r1itrlde-2i(2lVx】9*72TfEiturcmapsl^Ml9k72-G^eAtukc-aidpj?fl4R-di1IftIOpci&nGLltu.1ly-ceFi'neec#^l*yfrCs)IL4f|i-BCicrtgrssss-ioH-MobileNet系列V1使用depthwiseseparableconvolutions；放棄pooling層，而使用stride=2的卷積。標(biāo)準(zhǔn)卷積的卷積核的通道數(shù)等于輸入特征圖的通道數(shù)；而depthwise卷積核通道數(shù)是1；還有兩個參數(shù)可以控制，a控制輸入輸出通道數(shù)；p控制圖像（特征圖）分辨率。Figure3.LeftStandardconvolutionallayerwithbatchnormandReLU.Right:DepthwiseSeparableconvolutionswithDepthwiseandPoiailwiselayersfollowedbybalchuon?!andReLV

TableI.MobikN&wBodyArchitecrute■<Type/StrideFilterShapeInputSizeConvJs23x3x3x32221x224x3Convdw/si3x3x32dw112x112x32Conv1s11x1x32x64:112x112x32Convdw/s23x3x64dw112x112x64Conv1sLlx1x64x12856x5Gx64Conv/si3x3x128dw56x56x128Conv1s11x1x128x1285Gx56x128Convdw/s23x3x128dw56x5Gx12SConv1s11x1x12Sx2562Sx28x128Convdw/si3x3x256dw28x28x256ConvJsi1x1x256x25628256Convdw/s23x3x256dw28-x2Sx256Conv1si1x1x256x51214x14x256匚C'onvdw/s13x3x512dw14x14x512Conv/si1x1x512x51214x14x512Convdw/s23x3x512dw14x14x512ConvJs11x1x512x10247x7x512Convdw/s23乂3乂1024dw7x7x1024Conv1si1x1x1024x10247x7x1024AvgPool/siPool7x77x7x1024FC/sl1024x10G01x1x1021Sofmax/s1Classifier1x1xV2相比v1有三點不同：1.引入了殘差結(jié)構(gòu)；2.在dw之前先進(jìn)行1X1卷積增加featuremap通道數(shù)，與一般的residualblock是不同的；3.pointwise結(jié)束之后棄用ReLU，改為linear激活函數(shù)，來防止ReLU對特征的破環(huán)。這樣做是因為dw層提取的特征受限于輸入的通道數(shù)，若采用傳統(tǒng)的residualblock，先壓縮那dw可提取的特征就更少了，因此一開始不壓縮，反而先擴(kuò)張。但是當(dāng)采用擴(kuò)張-卷積-壓縮時，在壓縮之后會碰到一個問題，ReLU會破環(huán)特征，而特征本來就已經(jīng)被壓縮，再經(jīng)過ReLU還會損失一部分特征，應(yīng)該采用linear。

1X13x31X1PW7DWIPV■MobileNttV2->MubileNetVI3X3LX1MubileNetVI3X3LX1DWPWFA-ddStricle=lblockDwi5^3x3,s-tride=2,Relu6A-ddStricle=lblock匚cinwIkI.R.elu6Stiide-='2block(d)NlobilenetV2匚cinwIkI.R.elu6Stiide-='2blockV3互補搜索技術(shù)組合：由資源受限的NAS執(zhí)行模塊集搜索，NetAdapt執(zhí)行局部搜索；網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)：將最后一步的平均池化層前移并移除最后一個卷積層，引入h-swish激活函數(shù)，修改了開始的濾波器組。V3綜合了v1的深度可分離卷積，v2的具有線性瓶頸的反殘差結(jié)構(gòu)，SE結(jié)構(gòu)的輕量級注意力模型。LirlxlccnvBNLH-SwiishJFC,FCrReluhardMobilenetV3blockwiseiOriginalLastStage；今3XJIXZO沖6Nr.H-Swiih[EfficientLa^tStage]事Lm1l>nvJiH-5wi^h,z:zrfz71】x'.Cnfiv-mflRM—?丿JH-Swlshj丿InputOperatorexpsize=SENLs2242x3conv2d-16■HS21122x16bneck.3x.31616-RE11122x16bneckT3x36424■RE2562x24bneck,3x37224■RE1562x24bneck,5\57240/REJ282x40bneck,5x512040/RE12S2x40bneck,5x512040/RE1282x40bneck,24080-HS2L42X80bneck,3x320080■HS1142x80bneck,3x318480-HS1142x80bneck,3x318480■HSI1礬x80bneck,3x3480112dHS1142x1L2bneck,3k3672112/HS1142x112bneck,5x5672160/HS1142x112bneck,5x5672160/HS72x160bneck.5x5960160/HS172x160conv2d.!xl—960■HS172x960Pool,7x7■—-HS-I2x960conv2(l1xl,NBN■1280-HS1I2x1280conv2<l1x1,NBNk—7.EffNetEffNet是對MobileNet-vl的改進(jìn)，主要思想是：將MobileNet-1的dw層分解層兩個3X1和1X3的dw層，這樣第一層之后就采用pooling，從而減少第二層的計算量。EffNet比MobileNet-vl和ShuffleNet-vl模型更小，進(jìn)度更高。-viceischannefeffSM^Uicin㈢口aseinewidthxioepth&caing4newlutorscaicngffSM^Uicin㈢口aseinewidthxioepth&caing4newlutorscaicng(ejcompc-undgcsing?hidisf,HKWlutiQnXrelureluweightlayerFQv)weightlayerH(x)=F(x)+XrelureluweightlayerFQv)weightlayerH(x)=F(x)+xidentityXFigure2.Muild.￡舊"川備laiis：ilineLieiwcrkexLviiiple:(bi(diareconventionalMzalincthatonlyincrea-vv]dth.depEh.orresolutton.ie<tsourproposedcompound^^lingR^ihodthatuiLifomiJyscalesallthreedidi吐—訂"押u“.gu9.ResNetVGG證明更深的網(wǎng)絡(luò)層數(shù)是提高精度的有效手段，但是更深的網(wǎng)絡(luò)極易導(dǎo)致梯度彌散，從而導(dǎo)致網(wǎng)絡(luò)無法收斂。經(jīng)測試，20層以上會隨著層數(shù)增加收斂效果越來越差。ResNet可以很好的解決梯度消失的問題(其實是緩解，并不能真正解決)，ResNet增加了shortcut連邊。ResNeXt基于ResNet和Inception的split+transform+concate結(jié)合。但效果卻比ResNet、Inception、Inception-ResNet效果都要好?？梢允褂?/p>

groupconvolution。一般來說增加網(wǎng)絡(luò)表達(dá)能力的途徑有三種：1.增加網(wǎng)絡(luò)深度，如從AlexNet到ResNet,但是實驗結(jié)果表明由網(wǎng)絡(luò)深度帶來的提升越來越?。?.增加網(wǎng)絡(luò)模塊的寬度，但是寬度的增加必然帶來指數(shù)級的參數(shù)規(guī)模提升，也非主流CNN設(shè)計；3.改善CNN網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計，如Inception系列和ResNeXt等。且實驗發(fā)現(xiàn)增加Cardinatity即一個block中所具有的相同分支的數(shù)目可以更好的提升模型表達(dá)能力。4,1x1,256I256-din256-dout43x3,44,礙44,1x1,256I256-din256-dout43x3,44,礙4FigureLLeft:AblockofResNet[14].Right:AblockofResNeXtwithcardinality=32,withroughlythesameity.Alayerisshownas(#inchannels,filtersize.#out

stageoutputResNet-50Re>sNeXt-50(322x4d)COI1V1J12x1127x7.64tstride27x7t64isliide2conv256x563x3maxMride23=擋maxprmLstride21xIh643x3b641xLh256x3lxl+12SW128.-lxi+256x3ci?iiv32&x28Lxl,1233x3,1281xL512x4"lxl\256'3x3+256,U=32IxL512x4C0iiv414X141xI,256'3x3,2561xL1024&'lxlt512'3x3.512.a=32ixl+1024x6conv57x71X1,5123x3.5121x1*2()4KL'1x1,1024'3x3t1024t<7=321^1.2t)4X\31X1glub-tllclVCIclgC1(i()C?-dlcaMTiftmax^Ivbtilaveragepuulfc.sottmax#params.2S^xlOfi2Sg10eFLOPs4-1xWa4^xl09Table1.(Left)ResNet-50.(Right)ResNeXt-50witha32x4dtemplate(usingthereftirmi]iaticminFig.3(cJ).InsidethebracketsaretheshapeofaresidualblockhandoutsidethebracketsistheaiLimberofstackedblocksoil&stageL"Y=32''SLiggestsgroupedconvolutions[24]with32groups.TJjcfiufubcrsofparametersandFLOPstue^i/ttrlarbetweenifiexelwumodelsDenseNetDenseNet通過特征重用來大幅減少網(wǎng)絡(luò)的參數(shù)量，又在一定程度上緩解了梯度消失問題。