2025神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》2025全連接前饋神經(jīng)網(wǎng)絡(luò)權(quán)重矩陣的參數(shù)非常多局部不變性特征自然圖像中的物體都具有局部不變性特征尺度縮放、平移、旋轉(zhuǎn)等操作不影響其語(yǔ)義信息。全連接前饋網(wǎng)絡(luò)很難提取這些局部不變特征卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN）一種前饋神經(jīng)網(wǎng)絡(luò)受生物學(xué)上感受野（ReceptiveField）的機(jī)制而提出的在視覺(jué)神經(jīng)系統(tǒng)中，一個(gè)神經(jīng)元的感受野是指視網(wǎng)膜上的特定區(qū)域，只有這個(gè)區(qū)域內(nèi)的刺激才能夠激活該神經(jīng)元。卷積神經(jīng)網(wǎng)絡(luò)有三個(gè)結(jié)構(gòu)上的特性：局部連接權(quán)重共享空間或時(shí)間上的次采樣卷積卷積經(jīng)常用在信號(hào)處理中，用于計(jì)算信號(hào)的延遲累積。假設(shè)一個(gè)信號(hào)發(fā)生器每個(gè)時(shí)刻t產(chǎn)生一個(gè)信號(hào)xt

，其信息的衰減率為wk

，即在k?1個(gè)時(shí)間步長(zhǎng)后，信息為原來(lái)的wk

倍假設(shè)w1=1,w2=1/2,w3=1/4時(shí)刻t收到的信號(hào)yt

為當(dāng)前時(shí)刻產(chǎn)生的信息和以前時(shí)刻延遲信息的疊加。卷積卷積經(jīng)常用在信號(hào)處理中，用于計(jì)算信號(hào)的延遲累積。假設(shè)一個(gè)信號(hào)發(fā)生器每個(gè)時(shí)刻t產(chǎn)生一個(gè)信號(hào)xt

，其信息的衰減率為wk

，即在k?1個(gè)時(shí)間步長(zhǎng)后，信息為原來(lái)的wk

倍假設(shè)w1=1,w2=1/2,w3=1/4時(shí)刻t收到的信號(hào)yt

為當(dāng)前時(shí)刻產(chǎn)生的信息和以前時(shí)刻延遲信息的疊加濾波器（filter）或卷積核（convolutionkernel）卷積

Filter:[-1,0,1]

卷積不同的濾波器來(lái)提取信號(hào)序列中的不同特征低頻信息高頻信息

二階微分卷積擴(kuò)展引入濾波器的滑動(dòng)步長(zhǎng)S和零填充P卷積類型卷積的結(jié)果按輸出長(zhǎng)度不同可以分為三類：窄卷積：步長(zhǎng)??=1，兩端不補(bǔ)零??=0，卷積后輸出長(zhǎng)度為?????+1寬卷積：步長(zhǎng)??=1，兩端補(bǔ)零??=???1，卷積后輸出長(zhǎng)度??+???1等寬卷積：步長(zhǎng)??=1，兩端補(bǔ)零??=(???1)/2，卷積后輸出長(zhǎng)度??在早期的文獻(xiàn)中，卷積一般默認(rèn)為窄卷積。而目前的文獻(xiàn)中，卷積一般默認(rèn)為等寬卷積。兩維卷積在圖像處理中，圖像是以二維矩陣的形式輸入到神經(jīng)網(wǎng)絡(luò)中，因此我們需要二維卷積。卷積作為特征提取器二維卷積步長(zhǎng)1，零填充0步長(zhǎng)2，零填充0步長(zhǎng)1，零填充1步長(zhǎng)2，零填充1卷積神經(jīng)網(wǎng)絡(luò)用卷積層代替全連接層互相關(guān)計(jì)算卷積需要進(jìn)行卷積核翻轉(zhuǎn)。卷積操作的目標(biāo)：提取特征。翻轉(zhuǎn)是不必要的！互相關(guān)除非特別聲明，卷積一般指“互相關(guān)”。多個(gè)卷積核

卷積層的映射關(guān)系步長(zhǎng)2

filter3*3

filter個(gè)數(shù)6零填充1卷積層典型的卷積層為3維結(jié)構(gòu)匯聚層卷積層雖然可以顯著減少連接的個(gè)數(shù)，但是每一個(gè)特征映射的神經(jīng)元個(gè)數(shù)并沒(méi)有顯著減少。卷積網(wǎng)絡(luò)結(jié)構(gòu)卷積網(wǎng)絡(luò)是由卷積層、匯聚層、全連接層交叉堆疊而成。趨向于小卷積、大深度趨向于全卷積典型結(jié)構(gòu)一個(gè)卷積塊為連續(xù)M個(gè)卷積層和b個(gè)匯聚層（M通常設(shè)置為2～5，b為0或1）。一個(gè)卷積網(wǎng)絡(luò)中可以堆疊N個(gè)連續(xù)的卷積塊，然后在接著K個(gè)全連接層（N的取值區(qū)間比較大，比如1～100或者更大；K一般為0～2）。表示學(xué)習(xí)表示學(xué)習(xí)其它卷積種類轉(zhuǎn)置卷積/微步卷積低維特征映射到高維特征如何增加輸出單元的感受野增加卷積核的大小增加層數(shù)來(lái)實(shí)現(xiàn)在卷積之前進(jìn)行匯聚操作空洞卷積通過(guò)給卷積核插入“空洞”來(lái)變相地增加其大小?？斩淳矸e典型的卷積網(wǎng)絡(luò)LeNet-5LeNet-5是一個(gè)非常成功的神經(jīng)網(wǎng)絡(luò)模型?；贚eNet-5的手寫數(shù)字識(shí)別系統(tǒng)在90年代被美國(guó)很多銀行使用，用來(lái)識(shí)別支票上面的手寫數(shù)字。LeNet-5共有7層。需要多少個(gè)卷積核？LargeScaleVisualRecognitionChallengeAlexNet2012ILSVRCwinner（top5errorof16%comparedtorunner-upwith26%error）第一個(gè)現(xiàn)代深度卷積網(wǎng)絡(luò)模型首次使用了很多現(xiàn)代深度卷積網(wǎng)絡(luò)的一些技術(shù)方法使用GPU進(jìn)行并行訓(xùn)練，采用了ReLU作為非線性激活函數(shù)，使用Dropout防止過(guò)擬合，使用數(shù)據(jù)增強(qiáng)5個(gè)卷積層、3個(gè)匯聚層和3個(gè)全連接層Inception網(wǎng)絡(luò)2014ILSVRCwinner（22層）參數(shù)：GoogLeNet：4MVSAlexNet：60M錯(cuò)誤率：6.7%Inception網(wǎng)絡(luò)是由有多個(gè)inception模塊和少量的匯聚層堆疊而成。Inception模塊v1在卷積網(wǎng)絡(luò)中，如何設(shè)置卷積層的卷積核大小是一個(gè)十分關(guān)鍵的問(wèn)題。在Inception網(wǎng)絡(luò)中，一個(gè)卷積層包含多個(gè)不同大小的卷積操作，稱為Inception模塊。Inception模塊同時(shí)使用1×1、3×3、5×5等不同大小的卷積核，并將得到的特征映射在深度上拼接（堆疊）起來(lái)作為輸出特征映射。卷積和最大匯聚都是等寬的。Inception模塊v3用多層小卷積核替換大卷積核，以減少計(jì)算量和參數(shù)量。使用兩層3x3的卷積來(lái)替換v1中的5x5的卷積使用連續(xù)的nx1和1xn來(lái)替換nxn的卷積。殘差網(wǎng)絡(luò)殘差網(wǎng)絡(luò)（ResidualNetwork，ResNet）是通過(guò)給非線性的卷積層增加直連邊的方式來(lái)提高信息的傳播效率。假設(shè)在一個(gè)深度網(wǎng)絡(luò)中，我們期望一個(gè)非線性單元（可以為一層或多層的卷積層）f(x,θ)去逼近一個(gè)目標(biāo)函數(shù)為h(x)。將目標(biāo)函數(shù)拆分成兩部分：恒等函數(shù)和殘差函數(shù)殘差單元ResNet2015ILSVRCwinner（152層）錯(cuò)誤率：3.57%Ngram特征與卷積如何用卷積操作來(lái)實(shí)現(xiàn)？文本序列的卷積基于卷積模型的句子表示Y.Kim.“Convolutionalneuralnetworksforsentenceclassification”.In:arXivpreprintarXiv:1408.5882(2014).文本序列的卷積模型Filter輸入卷積層Pooling層輸出CNN可視化：濾波器AlexNet中的濾波器（96filters[11x11x3]）卷積的應(yīng)用AlphaGo分布式系統(tǒng)：1202個(gè)CPU和176塊GPU單機(jī)版：48個(gè)CPU和8塊