計(jì)算機(jī)視覺(jué)與應(yīng)用 課件 10.3 LeNet模型分解

10.3LeNet模型分解CONTENTS目錄LeNet模型簡(jiǎn)介01LeNet模型結(jié)構(gòu)02Tensorflow實(shí)現(xiàn)LeNet03CONTENTS目錄LeNet模型簡(jiǎn)介01LeNet模型結(jié)構(gòu)02Tensorflow實(shí)現(xiàn)LeNet03LeNet是一個(gè)最典型的卷積神經(jīng)網(wǎng)絡(luò)，由卷積層、池化層、全連接層組成。其中卷積層與池化層配合組成多個(gè)卷積組，逐層提取特征，最終通過(guò)若干個(gè)全連接層完成分類。LeNet模型簡(jiǎn)介CONTENTS目錄LeNet模型簡(jiǎn)介01LeNet模型結(jié)構(gòu)02Tensorflow實(shí)現(xiàn)LeNet03LeNet模型結(jié)構(gòu)1、結(jié)構(gòu)模型LeNet模型其結(jié)構(gòu)如圖10-3-1所示。LeNet模型結(jié)構(gòu)（1）INPUT層-輸入層利用實(shí)現(xiàn)手寫(xiě)數(shù)字識(shí)別中，輸入層輸入的是尺寸統(tǒng)一歸一化為32×32的手寫(xiě)體數(shù)字圖像。在每個(gè)卷積層，數(shù)據(jù)都是以三維形式存在的。可以把它看成許多個(gè)二維圖片疊在一起，其中每一個(gè)稱為一個(gè)featuremap。每個(gè)層都含有多個(gè)featuremap，每個(gè)featuremap通過(guò)一種卷積濾波器提取輸入的一種特征，然后每個(gè)featuremap有多個(gè)神經(jīng)元。LeNet模型結(jié)構(gòu)（2）C1層-卷積層C1層-卷積層的組成情況為：輸入圖片：32×32卷積核大小：5×5卷積核種類：6輸出featuremap大?。?8×28神經(jīng)元數(shù)量：28×28×6可訓(xùn)練參數(shù)：（5×5+1)×6（每個(gè)濾波器5×5=25個(gè)unit參數(shù)和一個(gè)bias參數(shù)，一共6個(gè)濾波器）連接數(shù)：（5×5+1）×6×28×28=122304對(duì)輸入圖像進(jìn)行第一次卷積運(yùn)算（使用6個(gè)大小為5×5的卷積核），得到6個(gè)C1特征圖（6個(gè)大小為28×28的featuremaps,32-5+1=28）。卷積核的大小為5×5，總共就有6×（5×5+1）=156個(gè)參數(shù)，其中+1是表示一個(gè)核有一個(gè)bias。對(duì)于卷積層C1，C1內(nèi)的每個(gè)像素都與輸入圖像中的5×5個(gè)像素和1個(gè)bias有連接，所以總共有156×28×28=122304個(gè)連接（connection）。LeNet模型結(jié)構(gòu)（3）S2層-池化層（下采樣層）該層組成情況為：輸入：28×28采樣區(qū)域：2×2采樣方式：4個(gè)輸入相加，乘以一個(gè)可訓(xùn)練參數(shù)，再加上一個(gè)可訓(xùn)練偏置。結(jié)果通過(guò)sigmoid采樣種類：6輸出featureMap大小：14×14（28/2）神經(jīng)元數(shù)量：14×14×6連接數(shù)：（2×2+1）×6×14×14第一次卷積之后緊接著就是池化運(yùn)算，使用2*2核進(jìn)行池化，得到S2，6個(gè)14×14的特征圖（28/2=14）。S2這個(gè)pooling層是對(duì)C1中的2×2區(qū)域內(nèi)的像素求和乘以一個(gè)權(quán)值系數(shù)再加上一個(gè)偏置，然后將這個(gè)結(jié)果再做一次映射。同時(shí)有5×14×14×6=5880個(gè)連接。LeNet模型結(jié)構(gòu)（4）C3層-卷積層該層組成情況為：輸入：S2中所有6個(gè)或者幾個(gè)特征map組合卷積核大?。?×5卷積核種類：16輸出featureMap大?。?0×10(14-5+1)=10C3中的每個(gè)特征map是連接到S2中的所有6個(gè)或者幾個(gè)特征map的，表示本層的特征map是上一層提取到的特征map的不同組合存在的一個(gè)方式是：C3的前6個(gè)特征圖以S2中3個(gè)相鄰的特征圖子集為輸入。接下來(lái)6個(gè)特征圖以S2中4個(gè)相鄰特征圖子集為輸入。然后的3個(gè)以不相鄰的4個(gè)特征圖子集為輸入。最后一個(gè)將S2中所有特征圖為輸入。可訓(xùn)練參數(shù)：6×(3×5×5+1)+6×(4×5×5+1)+3×(4×5×5+1)+1×(6×5×5+1)=1516。連接數(shù)：10×10×1516=151600。LeNet模型結(jié)構(gòu)（5）S4層-池化層該層組成情況為：輸入：10×10采樣區(qū)域：2×2采樣方式：4個(gè)輸入相加，乘以一個(gè)可訓(xùn)練參數(shù)，再加上一個(gè)可訓(xùn)練偏置。結(jié)果通過(guò)sigmoid采樣種類：16輸出featureMap大小：5×5（10/2）神經(jīng)元數(shù)量：5×5×16=400連接數(shù)：16×（5×5）=2000LeNet模型結(jié)構(gòu)（6）F6層-全連接層16層是全連接層。F6層有84個(gè)節(jié)點(diǎn)，對(duì)應(yīng)于一個(gè)7×12的比特圖，-1表示白色，1表示黑色，這樣每個(gè)符號(hào)的比特圖的黑白色就對(duì)應(yīng)于一個(gè)編碼。該層的訓(xùn)練參數(shù)和連接數(shù)是(120+1)×84=10164。（7）RELU層ReLu層：激活函數(shù)層，實(shí)現(xiàn)x=max[0,x]，該層神經(jīng)元數(shù)目和上一層相同，無(wú)權(quán)值參數(shù)。LeNet模型結(jié)構(gòu)（8）Output層-全連接層2Output層也是全連接層，共有10個(gè)節(jié)點(diǎn)，分別代表數(shù)字0到9，且如果節(jié)點(diǎn)i的值為0，則網(wǎng)絡(luò)識(shí)別的結(jié)果是數(shù)字i。采用的是徑向基函數(shù)（RBF）的網(wǎng)絡(luò)連接方式。假設(shè)x是上一層的輸入，y是RBF的輸出，則RBF輸出的計(jì)算方式是：上式Wij的值由i的比特圖編碼確定，i從0到9，j取值從0到7×12-1。RBF輸出的值越接近于0，則越接近于i，即越接近于i的ASCII編碼圖，表示當(dāng)前網(wǎng)絡(luò)輸入的識(shí)別結(jié)果是字符i。該層有84×10=840個(gè)參數(shù)和連接。（9）softmax層實(shí)現(xiàn)分類和歸一化。CONTENTS目錄LeNet模型簡(jiǎn)介01LeNet模型結(jié)構(gòu)02Tensorflow實(shí)現(xiàn)LeNet03（1）導(dǎo)入了3個(gè)包，分別是tensorflow、input＿data以及time。importtensorflowastffromtensorflow.example.tutorials.mnistimportinput_dataimporttime（2）聲明輸入的圖片的數(shù)據(jù)和類別x=tf.placeholder('float',[None,784])y_=tf.placeholder('float',[None,10])Tensorflow實(shí)現(xiàn)LeNet（3）將一維的數(shù)組重新轉(zhuǎn)換為二維圖像矩陣：

x_image=tf.reshape(x,[-1,28,28,1])（4）第一個(gè)卷積層設(shè)置：filter1=tf.Variable(tf.truncated_normal([5,5,1,6]))bias1=tf.Variable(tf.truncated_normal([6]))conv1=tf.nn.conv2d(x_image,filter1,strides=[1,1,1,1],padding='SAME!)h_conv1=tf.nn.sigmoid(conv1+bias1)（5）第一個(gè)池化層設(shè)置：maxPoo12=tf.nn.max_pool(h_conv1,ksize=[1,2,2,11,strides=[1,2,2,1],padding='SAME')Tensorflow實(shí)現(xiàn)LeNet（6）第二個(gè)卷積層設(shè)置：filter2=tf.Variable(tf.truncatednormal([5,5,6,16]))bias2=tf.Variable(tf.truncatednormal([16]))conv2=tf.nn.conv2d(maxPoo12,filter2,strides=[1,1,1,1],padding='SAME'h_conv2=tf.nn.sigmoid(conv2+bias2)（7）第二個(gè)池化層設(shè)置：maxPoo13=tf.nn.max_poo1(h_conv2,ksize=[1,2,2,1],strides=[1,2,2,1]padding='SAME')filter3=tf.Variable(tf.truncatednormal([5,5,16,120]))bias3=tf.Variable(tf.truncatednormal([120]))conv3=tf.nn.conv2d(maxPoo13,filter3,strides=[1,1,1,1],padding='SAME'h_conv3=tf.nn.sigmoid(conv3+bias3)Tensorflow實(shí)現(xiàn)LeNet（8）第一個(gè)全連接層設(shè)置：Wfc1=tf.Variable(tf.truncatednormal([7*7*120,80]))bfc1=tf.Variable(tf.truncatednormal([80]))（9）ReLu層設(shè)置：h_poo12_flat=tf.reshape(hconv3,[-1,7*7*120])h_fc1=tf.nn.sigmoid(tf.matmul(h_pool2flat,Wfc1)+bfc1)（10）第二個(gè)全連接層設(shè)置：Wfc2=tf.Variable(tf.truncatednormal([80,10]))bfc2=tf.Variable(tf.truncatednormal([10]))Tensorflow實(shí)現(xiàn)LeNet（11）使用softmax進(jìn)行多分類，并利用交叉熵作為損失函數(shù)，使用梯度下降算法來(lái)對(duì)模型