常見卷積操作和卷積神經(jīng)網(wǎng)絡

常見卷積操作和卷積神經(jīng)網(wǎng)絡《新一代人工智能：從深度學習到大模型》Part1各種類型的卷積操作講解各種常見的卷積操作的原理及其特點0、卷積操作的三種模式及輸出矩陣尺寸計算(1)Valid不補wo=ceil()3Same補若干圈wo=

ceil(

)卷積的三種padding模式：Full,Same,Valid新一代人工智能：

從深度學習到大模型輸出矩陣

尺寸計算Full

補k-1圈

w

?w+2p

stride詳見本書教材第73-75頁wo

=+1卷積后的輸出矩陣的尺寸計算|W|是輸入矩陣寬，w是卷積核的寬，p是padding的數(shù)值，默認=0；stride是滑動步幅，默認是1；分為兩種參數(shù)情形1)Valid

，無padding,舍棄多出的部分(不足一個窗口)，wo

下取整2)Same

，有padding，補零，不足一個窗口的部分補夠一個窗口，

wo

上取整Stride=1時，valid的意思是滑動窗口一直在實際的矩陣內(nèi)，而沒有超出輸入矩陣same的意思是，經(jīng)過padding，輸出尺寸和輸入Valid:wo=ceil(Same:wo=ceil(

w

?w

+1stride)stride無padding有padding0、卷積操作的三種模式及輸出矩陣尺寸計算(2)如，輸入圖像為2x3,2x2kernel,輸出尺寸無padding有padding新一代人工智能：

從深度學習到大模型[1,

1][1,2]

w

)41x1卷積1x1卷積，又稱為NiN(Networkin

Network)

1x1卷積中，如果輸入只有一個通道，則每個神經(jīng)元乘以相同的權重weight，因此相當于scaling操作24200062200022200220022001210003110001110011001100一、

1x1

卷積操作(1)新一代人工智能：

從深度學習到大模型一般卷積2*=51x1卷積中，如果輸入有多個通道，則相當于降維操作，如下面例子1x1卷積，主要作用在于：1)降維。例如，從26*26*6，到26*26；2)增加非線性激勵。在輸入數(shù)據(jù)分辨率/尺度不損失的前提下，大幅增加神經(jīng)網(wǎng)絡的非線性特性六個2626矩陣一個116卷積核一個2626矩陣一、

1x1

卷積操作(2)新一代人工智能：

從深度學習到大模型*=61x1卷積中，如果輸入有多個通道，則相當于降維操作，同時提高了神經(jīng)網(wǎng)絡的表達能力。1x1卷積，主要作用在于：1)降維。例如，從26*26*192，到26*26*16；1x1卷積是跨通道線性組合，是通道間的信息交互。2)增加非線性激勵。只改變通道數(shù)，不改變圖像的分辨率，大幅增加神經(jīng)網(wǎng)絡的非線性特性；3)減少權重個數(shù)。一、

1x1

卷積操作(3)192個通道的2626矩陣262619216個通道的2626矩陣26261616個11192卷積核多個11的卷積核*=…新一代人工智能：

從深度學習到大模型7Inceptionv3Christian

Szegedy

et

al.Rethinking

the

Inception

Architecture

for

Computer

Vision,CVPR2016.1x1卷積，在經(jīng)典神經(jīng)網(wǎng)絡GoogLeNet(即InceptionNet

v1)和InceptionNet(v2,v3,v4)中得到了應用一、

1x1

卷積操作(4)

Inception

v3(0)(1)(2)(3)新一代人工智能：

從深度學習到大模型8擴張率=2擴張卷積，即空洞卷積、膨脹卷積(Dilated

Convolution,Atrous

Convolution)，在標準卷積中注入空洞

擴張卷積常被用以低成本地增加輸出單元上的感受野，同時還不需要增加卷積核大小二、擴張卷積/膨脹卷積/空洞卷積

(1)空洞卷積的實際卷積核大小/寬：K=w+(w-1)*(r-1)，w為原始卷積核的寬，r為擴張率新一代人工智能：

從深度學習到大模型擴張率=1一般卷積空洞卷積9擴張卷積/空洞卷積，增加了神經(jīng)網(wǎng)絡模型的感受野擴張卷積廣泛應用于語義分割和目標檢測中，如DeepLabv2等采用了ASPP

(金字塔型的空洞池化)二、擴張卷積/膨脹卷積/空洞卷積

(2)ASPP并列使用多個空洞卷積

(不同擴張率)Concat連接使用ASPP的DeepLab

v2新一代人工智能：

從深度學習到大模型DeepLabv210擴張卷積/空洞卷積，優(yōu)點：擴大了神經(jīng)網(wǎng)絡模型的感受野，捕獲更多上下文信息，尤其對大尺寸的物體分割有用缺點：1)局部信息丟失，因為kernel不連續(xù)，損失了信息的連續(xù)性；2)使得遠距離卷積得到的信息之間沒有相關性，影響分類結果；3)

存在棋盤問題/網(wǎng)格效應，空洞卷積的結果中，鄰近的像素相互之間的依賴減少。反卷積后生成的圖像，放大后往往會呈現(xiàn)棋盤外形，深色部分尤為明顯。解決方法之一：確保卷積核能被步長(stride)整除二、擴張卷積/膨脹卷積/空洞卷積

(3)新一代人工智能：

從深度學習到大模型11反卷積又稱為轉(zhuǎn)置卷積或逆卷積，英文為Deconvolution/Transposed

Convolution，是一種上采樣的方法

反卷積是中間填0再卷積；普通的上采樣如果用雙線性插值，中間填相鄰元素的差值 K=W+(W-1)*(stride-1)輸入：2x2矩陣(padding為7x7矩陣)經(jīng)過3x3卷積核輸出：5x5矩陣反卷積是指根據(jù)當前位置的信息,決定周圍區(qū)域的數(shù)據(jù),是上采樣方法。三、反卷積/逆卷積

(1)新一代人工智能：

從深度學習到大模型反卷積/轉(zhuǎn)置卷積有padding無padding12a

b

cd

efg

h

i逆時針旋轉(zhuǎn)180度=反卷積/轉(zhuǎn)置卷積的主要應用是語義分割FCN、UNet等網(wǎng)絡中，及GAN

中的DCGAN將反卷積/轉(zhuǎn)置卷積的計算過程轉(zhuǎn)換為普通卷積

stride=1padding=0三、反卷積/逆卷積

(2)wo=ceil()無padding從2x2矩陣，經(jīng)反卷積到4x4矩陣新一代人工智能：

從深度學習到大模型13反池化/上池化，Unpooling，專指Maxpooling、Avgpooling等的逆過程。池化時，保存了最大值在輸入數(shù)據(jù)中的位置信息矩陣；反池化時，將對應位置上的值置為輸出矩陣的對應值而其他元素置0。如2x2池化上采樣，即Upsampling，本質(zhì)上是插值法，可以采用重復采樣和插值法(如雙線性插值)它沒有Unpooling的每個池化窗口中的最大值在輸入矩陣中的的位置信息廣義上說，Upsampling也包含了Unpooling和Deconvolution/TransposedConvolution兩種方式。上采樣反池化反卷積四、反池化/上池化

Unpooling

與上采樣

Upsampling新一代人工智能：

從深度學習到大模型14ESPCN只在模型末端進行上采樣，可以使得在低分辨率空間保留更多的紋理區(qū)域。使用亞像素卷積的方式來進行上采樣。r為上采樣倍數(shù)，c為最終的通道數(shù)，若RGB輸出c=3。如r=3,c=1，單通道圖的3倍上采樣圖特征圖通道數(shù)中連續(xù)的c個通道作為一個整體，再然后進行像素重排列，得到多通道的上采樣圖。前面都是卷積，只有倒數(shù)第二層才是像素重排列，將一個H

×W

×C·r2

的特征圖，重排列(順序交替排列)為一個rH×rW×C

的特征圖，r個通道作為一組，該組中的像素在一起交替順序排列，一共有r個這樣的組。五、

PixelShuffle

像素重排列上采樣

ESPCN

超分辨率方法64個5*5卷積核32個3*3卷積核r2個3*3卷積核像素重排列/亞像素卷積Real-Time

Single

Image

and

Video

Super-Resolution

Using

an

Efficient

Sub-Pixel

Convolutional

Neural

Network,CVPR2016新一代人工智能：

從深度學習到大模型15六、分組卷積

AlexNet分組卷積，如將所有通道分成2組，則每一組通道分別使用各自對應的D/2個卷積核，最后兩組卷積后特征堆疊作用：1)減少參數(shù)量，參數(shù)為原來的1/G2)加快訓練速度3)有時可以起到正則化效果16詳見本書教材第82-83頁六、分組卷積

(AlexNet)

Grouped

Convolution新一代人工智能：

從深度學習到大模型逐通道卷積Depthwise

Convolution的一個卷積核負責一個通道，一個通道只被一個卷積核卷積(如3x3)輸出的通道數(shù)與輸入相同，但是沒有利用不同通道在相同空間位置上的特征關系信息逐點卷積執(zhí)行1x1卷積，M

為輸入通道數(shù)，進行單點上的特征提取深度可分離卷積

=逐通道卷積+逐點卷積，前后兩個步驟深度可分離卷積將分組卷積推向了極端，此時：分組數(shù)是輸入通道數(shù)目，即每個輸入通道單獨卷積應用：MobileNet

移動端輕量化網(wǎng)絡,參數(shù)少，占用資源少，運算快七、深度可分離卷積

Depthwise

Separable

Convolutions新一代人工智能：

從深度學習到大模型常見卷積神經(jīng)網(wǎng)絡講解從LeNet到ResNet各種通用的卷積神經(jīng)網(wǎng)絡講解Part2一、

LeNet和AlexNet卷積神經(jīng)網(wǎng)絡(1)16個55卷積核

新一代人工智能：

從深度學習到大模型AlexNet神經(jīng)網(wǎng)絡6個55卷積核LeNet神經(jīng)網(wǎng)絡19LeNet(1989):兩個卷積層，兩個池化層，兩個全連接層，一個輸出層AvgPool，Sigmoid激活函數(shù)兩個卷積層都是55窗口兩個全連接層的神經(jīng)元數(shù)量分別為120和84創(chuàng)新性：卷積神經(jīng)網(wǎng)絡的開山之作。完成了CNN從0到1的過程。AlexNet(2012年ImageNet競賽冠軍)：五個卷積層，三個池化層，兩個全連接層，一個輸出層MaxPool，ReLU激活函數(shù)第一層卷積1111窗口，以后55，

33兩個全連接層的神經(jīng)元數(shù)量均為4096兩個全連接層之間使用了Dropout技術，隨機一半隱層節(jié)點值為0(因為當模型的參數(shù)太多，而訓練樣本太少時，易產(chǎn)生過擬合)創(chuàng)新性：AlexNet比LeNet更深一些，但是架構和流程沒變20一、

LeNet和AlexNet卷積神經(jīng)網(wǎng)絡(2)新一代人工智能：

從深度學習到大模型AlexNetLeNetVGG-16有13個卷積層，3個全連接層(含輸出層)，5個池化/下采樣操作創(chuàng)新點：神經(jīng)網(wǎng)絡更深了，深度大約是AlexNet的兩倍

在ResNet

出來之前，是最常用的神經(jīng)網(wǎng)絡模型。特點是采用較小的卷積核，替代之前的大尺度卷積核21詳見本書教材第84-87頁二、

VGG-16

卷積神經(jīng)網(wǎng)絡新一代人工智能：

從深度學習到大模型512個

256個512個

256個512個

256個128個64個128個64個創(chuàng)新點：Inceptionv1引入了1*1卷積和多個Inception塊神經(jīng)網(wǎng)絡結構設計上進行大膽突破和嘗試三、

GoogLeNet

卷積神經(jīng)網(wǎng)絡

Inception

v1Stem模塊，是傳統(tǒng)卷積層，含若干層3*3的卷積，

一個1*1的卷積，若干3*3的卷積2014年ImageNet競賽冠軍新一代人工智能：

從深度學習到大模型2223創(chuàng)新點：使用了多種不同的Inception塊首次使用了批歸一化四、

Inception

v3及后續(xù)衍生版本新一代人工智能：

從深度學習到大模型Reduction

模塊Inceptionv3(1)(2)(3)ResNet創(chuàng)新點：使用了殘差塊--捷徑連接，在輸入激活函數(shù)前，將前層網(wǎng)絡的輸入與當前層網(wǎng)絡層的輸出進