卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)概念

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)概念1.概念英文名：convolutionalneuralnetwork是一種前饋神經(jīng)網(wǎng)絡(luò)，即表明沒有環(huán)路，普通神經(jīng)網(wǎng)絡(luò)的BP算法只是用于方便計(jì)算梯度，也是前饋神經(jīng)網(wǎng)絡(luò)。是深度學(xué)習(xí)結(jié)構(gòu)的一種，是一種深度、前饋神經(jīng)網(wǎng)絡(luò)。可以使用BP算法進(jìn)行訓(xùn)練ConvNetarchitecturesmaketheexplicitassumptionthattheinputsareimages,whichallowsustoencodecertainpropertiesintothearchitecture卷積神經(jīng)網(wǎng)絡(luò)的前提：輸入是二維結(jié)構(gòu)或者三維結(jié)構(gòu)，但起比較大作用的是空間維度(spacial)，深度那一維并沒有太明顯的作用。1.1空間維度spacial是寬和高，不包含深度1.2什么是卷積/question/22298352這條知乎解釋得非常清楚！卷積的離散和連續(xù)解釋，其實(shí)就是求和符號(hào)和積分符號(hào)換一下而已CNN中卷積的體現(xiàn)在于，在神經(jīng)元的感受野里的輸入和權(quán)重濾波器做點(diǎn)積，然后權(quán)重濾波器對(duì)整個(gè)輸入在空間維度上一邊移動(dòng)一邊做點(diǎn)積，然后求和，所以跟一般的卷積是在時(shí)間上移動(dòng)不同的是，這里是在空間上移動(dòng)。這是二維離散卷積的表達(dá)方式，因?yàn)闄?quán)重濾波器是在空間上移動(dòng)，空間上是有高和寬兩個(gè)維度的1.3濾波器和輸出數(shù)據(jù)體濾波器是權(quán)重濾波器，是待學(xué)習(xí)的參數(shù)輸出數(shù)據(jù)體才是卷積層神經(jīng)元不同的濾波器的權(quán)重不同，表達(dá)的是對(duì)圖片要素的關(guān)注點(diǎn)不同，比如說如果某個(gè)濾波器對(duì)紅色敏感，即對(duì)于紅色的像素點(diǎn)會(huì)有正向輸出，那么掃描一張大部分是紅色的圖片的時(shí)候，該濾波器得到的activationmap會(huì)有大面積的正向輸出。所以說，濾波器是不同的特征提取器。1.4卷積層的輸出濾波器在輸入數(shù)據(jù)體空間上移動(dòng)，得到一張activationmap，多個(gè)濾波器（個(gè)數(shù)是超參數(shù)）都與輸入數(shù)據(jù)體進(jìn)行卷積，會(huì)得到多張?jiān)谏疃确较蛏隙询B在一起的activationmaps，然后呢，下一層的濾波器會(huì)把這些activationmaps的結(jié)果相結(jié)合作為輸入，而不是把一個(gè)濾波器在空間移動(dòng)后的點(diǎn)積結(jié)果相加，因?yàn)闉V波器在掃描完整個(gè)輸入體之后，得到的是一張activationmap，而不是一個(gè)值哦！所謂卷積中移動(dòng)求和的概念，應(yīng)該是體現(xiàn)在把點(diǎn)積的結(jié)果匯聚成一張activationmap，這也算是求了個(gè)和吧！然后一個(gè)卷積層的輸出就是多個(gè)maps在深度方向上的疊加。一張activationmap其實(shí)就是濾波器權(quán)重參數(shù)與小塊輸入的點(diǎn)積+偏置，然后組在一起!activationmap其實(shí)是這樣的：如圖所示：28×28個(gè)神經(jīng)元的輸出，每個(gè)神經(jīng)元都只看它的感受野的輸入，每個(gè)神經(jīng)元的權(quán)重和偏置相同。神經(jīng)元的輸出也是wx+b上面的圖只說明了一張activationmap，其實(shí)多張activationmaps就是深度方向上堆疊在一起的神經(jīng)元的輸出，只不過深度方向上的神經(jīng)元不會(huì)共享權(quán)重和偏置，但深度方向上重疊的神經(jīng)元的感受野是一樣的。1.5圖片的表達(dá)轉(zhuǎn)換原始圖像假如是一個(gè)32×32×3的輸入數(shù)據(jù)體，經(jīng)過一層卷積層的輸出（假設(shè)有6個(gè)3×3×3的濾波器withpading1），則變成了一個(gè)32326的輸出數(shù)據(jù)體，也就是說，圖片的表達(dá)由原來的輸入數(shù)據(jù)體來表達(dá)，變成了現(xiàn)在的輸出數(shù)據(jù)體來表達(dá)。1.6參數(shù)的個(gè)數(shù)每一個(gè)卷積層的參數(shù)個(gè)數(shù)是（濾波器的感受野×輸入深度+1)×濾波器個(gè)數(shù)，比如濾波器的感受野是3×3×3，個(gè)數(shù)是6，則這一層卷積層的參數(shù)個(gè)數(shù)是(9+1)×6=60個(gè)，其中加的那個(gè)1是偏置，也就是說一個(gè)輸出數(shù)據(jù)體的整個(gè)深度切片上的神經(jīng)元共享同一個(gè)權(quán)重向量，和同一個(gè)偏置，不同的深度切片的權(quán)重和偏置不同1.7卷積層總結(jié)卷積層接受W1×H1×D1的輸入數(shù)據(jù)體(width,height,depth)卷積層輸出W2×H2×D2的輸出數(shù)據(jù)體需要4個(gè)超參數(shù)：K\F\S\PK代表濾波器個(gè)數(shù)，F(xiàn)是神經(jīng)元視野即濾波器大小，S是stride步長(zhǎng)，P是padding根據(jù)超參數(shù)，可以由輸入數(shù)據(jù)體的大小，計(jì)算出輸出數(shù)據(jù)體的大小W2=(W1-F+2P)/S+1H2=(H1-F+2P)/S+1D2=K因?yàn)閰?shù)共享，因此總共有F.F.D1.K個(gè)權(quán)重和K個(gè)偏置參數(shù)1.8補(bǔ)充sc231n視頻中補(bǔ)充了一些可以進(jìn)行卷積層計(jì)算的API，其中提到一些計(jì)算框架Torch是一個(gè)科學(xué)計(jì)算框架，內(nèi)置大量的機(jī)器學(xué)習(xí)算法，GPUfirst特性。LuaJIT語言接口，底層是C/CUDA實(shí)現(xiàn)。Torch–providesaMatlab-likeenvironmentforstate-of-the-artmachinelearningalgorithmsinlua(fromRonanCollobert,ClementFarabetandKorayKavukcuoglu)Caffe是一個(gè)深度學(xué)習(xí)框架，Caffe-Caffeisadeeplearningframeworkmadewithexpression,speed,andmodularityinmindLasagne是Theano中的一個(gè)輕量級(jí)的庫，用于建立和訓(xùn)練神經(jīng)網(wǎng)絡(luò)Theano–CPU/GPUsymbolicexpressioncompilerinpython(fromMILAlabatUniversityofMontreal)。TheanoisaPythonlibrarythatallowsyoutodefine,optimize,andevaluatemathematicalexpressionsinvolvingmulti-dimensionalarraysefficiently2.池化層poolinglayermaxpooling和averagepooling是兩種常見的方法輸入的數(shù)據(jù)體是W1×H1×D1，輸出數(shù)據(jù)體是W2×H2×D2超參數(shù)有兩個(gè)F/S，F(xiàn)是spacialextent，S是stride即步長(zhǎng)W2=(W1-F)/S+1H2=(H1-F)/S+1D2=D1沒有參數(shù)，因?yàn)閜oolinglayer計(jì)算的是afixedfunctionoftheinput對(duì)poolinglayers，不常用zeropadding3.fullconnectinglayer最后是一個(gè)spacialsize減少，但深度依然是濾波器個(gè)數(shù)的全連接層，這一層的數(shù)據(jù)體會(huì)全部和輸出進(jìn)行全連接4.ReLU層無論是教學(xué)視頻還是學(xué)習(xí)資料里都提到了ReLU層，這其實(shí)讓人難以理解，至少給我?guī)砹死_，因?yàn)镽eLU只不過是一種神經(jīng)元激活函數(shù)而已，后來經(jīng)過和大家的討論，得出的結(jié)論是：其實(shí)就是卷積層的神經(jīng)元的激活函數(shù)是ReLU函數(shù)而已，即f(W×X+b)中的f，其中W和X之間是卷積而不是傳統(tǒng)MLP中的點(diǎn)積。5.casestudyAlexNet->ZFNet->VGGNet->GoogLeNet->ResNet6.趨勢(shì)目前的趨勢(shì)是使用更小的filter和更深的結(jié)構(gòu)另外一個(gè)趨勢(shì)是拋棄pooling和FC層，只留下CONV層7.討論根據(jù)另一個(gè)同學(xué)的學(xué)習(xí)結(jié)論，CNN不但可以運(yùn)用于圖像，還可以運(yùn)用于NLP即自然語言處理，不過在卷積層的參數(shù)設(shè)置，以及池化層的參數(shù)設(shè)置上有些不同，如下圖所示。這是對(duì)自然語言語句進(jìn)行二分類的CNN結(jié)構(gòu)圖，論文是《ASensitiveAnalysisOfCNNForSentenceClassification》。①濾波器的空間視野，寬度需要與詞向量的長(zhǎng)度一致，高度可以自由調(diào)節(jié)，由高度的不同形成多個(gè)卷積層，同樣的高度下可以由濾波器個(gè)數(shù)這個(gè)超參數(shù)形成多個(gè)activationmaps②圖中的步長(zhǎng)為1，因此綠色的高度為3的濾波器得到的activationmap的高度就為5，黃色的高度為2的濾波器得到的activationmap的高度就為6，這里的圖像可以認(rèn)為是側(cè)面視角，寬度與濾波器寬度一致，看不到而已。③池化層是1-maxpooling，即整張activationmap中只選擇一個(gè)最大值