深度學(xué)習(xí)理論與實(shí)踐 習(xí)題及答案 第6章

第6章選擇題：通過(guò)池化降低空間維度的做法不但降低了計(jì)算開(kāi)銷(xiāo)，還使得卷積神經(jīng)網(wǎng)絡(luò)對(duì)于噪聲具有（A）。健壯性靜態(tài)性局部性準(zhǔn)確性（B）的主要問(wèn)題是最后的3層全連接層的參數(shù)量過(guò)于龐大。InceptionNetVCG網(wǎng)絡(luò)ResNetAlexNet（C）的殘差結(jié)構(gòu)解決了深度學(xué)習(xí)模型的退化問(wèn)題，在ImageNet的數(shù)據(jù)集上，其Top5準(zhǔn)確率達(dá)到了95.51%。InceptionNetVCG網(wǎng)絡(luò)ResNetD.AlexNet在InceptionNet中，使用（D）和單層的全連接層替換掉了VCG的三層全連接層。全局最大池化層全局最小池化層卷積層全局平均池化層如果前一層有M個(gè)節(jié)點(diǎn)，后一層有N個(gè)節(jié)點(diǎn)，通過(guò)參數(shù)共享，兩層之間的連接權(quán)值減少為c個(gè)，前向傳播和后向傳播過(guò)程中，計(jì)算開(kāi)銷(xiāo)與內(nèi)存開(kāi)銷(xiāo)分別為（A）：O（n）和O（c）O（c）和O（n）O（n）和O（n）O（c）和O（c）判斷題：人們通常采用在輸出張量邊界上填充0的方式，使得卷積核的中心可以從邊界上開(kāi)始掃描，從而保持卷積操作輸入張量和輸出張量大小不變。（×）VCG網(wǎng)絡(luò)在ImageNet的Top5準(zhǔn)確率為93.3%，不僅準(zhǔn)確率高于InceptionNet，推斷速度也更勝一籌。（×）最大池化是指在池化區(qū)域中，取卷積特征值最大的作為所得池化特征值。（√）神經(jīng)網(wǎng)絡(luò)越深，對(duì)復(fù)雜特征的表示能力就越強(qiáng)。（√）兩個(gè)步長(zhǎng)為1的3*3的卷積核和一個(gè)7*7大小的卷積核的感受是一致的。（×）填空題：傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)，以全局連接方式，前一層有M個(gè)節(jié)點(diǎn)，后一層有N個(gè)節(jié)點(diǎn)，就會(huì)有M*N個(gè)連接權(quán)值，每一輪后向傳播更新權(quán)值的時(shí)候都要對(duì)這些權(quán)值進(jìn)行重新計(jì)算，造成了O(M*N)=O(n2)的計(jì)算與內(nèi)存開(kāi)銷(xiāo)局部連接方式把連接限制在空間中相鄰的c個(gè)節(jié)點(diǎn)，把連接權(quán)值降到了c*N，計(jì)算內(nèi)存與開(kāi)銷(xiāo)就降低到了O（c*N）=O（n）離散的卷積操作滿(mǎn)足了局部連接和參數(shù)共享的性質(zhì)。網(wǎng)絡(luò)在達(dá)到一定深度后，模型訓(xùn)練的準(zhǔn)確率也不會(huì)再提升，甚至?xí)_(kāi)始下降，這種現(xiàn)象稱(chēng)為訓(xùn)練準(zhǔn)確率的退化問(wèn)題。ResNet提出了殘差學(xué)習(xí)的方法，用于解決深度學(xué)習(xí)模型的退化問(wèn)題。簡(jiǎn)答題：1.畫(huà)出一個(gè)最基本卷積神經(jīng)網(wǎng)絡(luò)。輸出非線性變換池化層卷積層輸入2.局部連接與全局變量的區(qū)別是什么？局部連接：連接權(quán)值為c*N，計(jì)算與內(nèi)存開(kāi)銷(xiāo)為O（c*n）=O（n）全局連接：連接權(quán)值為M*N，計(jì)算與內(nèi)存開(kāi)銷(xiāo)為O（M*N）=O（n2）3.池化的作用是什么？降低特征空間的維度，還使得卷積神經(jīng)網(wǎng)絡(luò)對(duì)于噪聲具有健壯性。4.簡(jiǎn)述卷積操作。卷積核從輸入向量左邊開(kāi)始掃描，權(quán)值在第一個(gè)位置分別與對(duì)應(yīng)輸入值相乘求和，得到卷積特征值向量的第一個(gè)值，接下來(lái)移動(dòng)一個(gè)步長(zhǎng)，到達(dá)第二個(gè)位置，進(jìn)行相同的操作，以此類(lèi)推。5.比較AlexNet與VCG網(wǎng)絡(luò)VCG全3*3卷積核，AlexNet有大卷積核，兩者整體結(jié)構(gòu)一致，都是先用5層卷積層提取圖像特征，再用3層全連接層作為分類(lèi)器，VCG的層是由幾個(gè)3*3的卷積層疊加起來(lái)的，而AlexNet是一個(gè)大卷積層為一層，所以AlexNet只有八層，而VCG網(wǎng)絡(luò)可多達(dá)19層。應(yīng)用題下表為輸入的三維張量，請(qǐng)你給出其經(jīng)過(guò)一個(gè)大小為2*2，步幅為2，無(wú)填充的平均匯聚層后的結(jié)果。輸入層：123456789卷積層：1001LeNet是一個(gè)十分經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，下圖給出了LeNet的簡(jiǎn)化版本，請(qǐng)你在下圖相應(yīng)層之后寫(xiě)出每一層的輸出形狀，其中卷積層的輸出格式為(a,b,c)，其中a為輸出的通道數(shù)，bc為圖片的長(zhǎng)和寬；全連接層的輸出格式為(a,b)其中a為輸出通道數(shù)，b為輸出向量的長(zhǎng)度。（下圖中括號(hào)內(nèi)的數(shù)字為輸出的通道數(shù)，卷積層除特殊說(shuō)明外，步幅為1、無(wú)填充，匯聚層無(wú)填充，最后一個(gè)匯聚層和全連接層之間有一個(gè)展平層圖中沒(méi)有體現(xiàn)不需要給出計(jì)算結(jié)果）答案1．輸出層的大小為2×2，如下所示：1×1+2×0+4×0+5×1=62×1+3×0+5×0+6×1=84×1+5×0+7×0+8×1=125×1+6×0+8×0+9×1=146812142.從下到上依次為：