27師資培訓(xùn)班講義cv課件7、卷積神經(jīng)網(wǎng)絡(luò)v1.0

1、卷積神經(jīng)網(wǎng)絡(luò)中國(guó)大學(xué)目錄1課程實(shí)踐4目錄1課程實(shí)踐4神經(jīng)網(wǎng)絡(luò)問(wèn)題導(dǎo)入卷積神經(jīng)網(wǎng)絡(luò)概念引出在語(yǔ)音識(shí)別等一維信號(hào)處理領(lǐng)域取得成功的網(wǎng)絡(luò)結(jié)構(gòu)導(dǎo)入ü 如果我們應(yīng)用右圖那樣的網(wǎng)絡(luò)來(lái)處理圖像問(wèn)題會(huì)發(fā)生什導(dǎo)入ü 以1000*1000的灰度圖像作為輸入層ü 希望隱層有和輸入相同的神經(jīng)單元Ø 全連接：ü 106 * 106 = 1M * 1M T個(gè)參數(shù)，一個(gè)參數(shù)以浮點(diǎn)數(shù)4Byte的方式1000-pixels1000-pixels: 這才是第一個(gè)隱層，有什么能受得了這種導(dǎo)入計(jì)算？: 從入門(mén)到放棄系列。ü 以1000*1000的灰度圖像作為輸入層ü

2、; 希望隱層有和輸入相同的神經(jīng)單元Ø 全連接：ü 106 * 106 = 1M * 1M T個(gè)參數(shù)，一個(gè)參數(shù)以浮點(diǎn)數(shù)4Byte的方式1000-pixels1000-pixels: 這才是第一個(gè)隱層，有什么能受得了這種導(dǎo)入計(jì)算？: 從入門(mén)到放棄系列。ü 以1000*1000的灰度圖像作為輸入層ü 希望隱層有和輸入相同的神經(jīng)單元Ø 全連接：ü 106 * 106 = 1M * 1M T個(gè)參數(shù)，一個(gè)參數(shù)以浮點(diǎn)數(shù)4Byte的方式1000-pixels對(duì)于圖像處理，我們是不是可以利用圖像的某些模式10或00-者pixe說(shuō)ls 是特點(diǎn)，簡(jiǎn)化每一層

3、的計(jì)算過(guò)程？圖像模式的特性一Ø 第一個(gè)發(fā)現(xiàn)：鳶尾花僅出現(xiàn)在圖像局部區(qū)域 并不是所有具有相似形態(tài)特征的鳶尾花都位于圖像的同一個(gè)位置Ø 如何應(yīng)用這個(gè)發(fā)現(xiàn)？Ø 可能的做法：1.定義一種提取局部的特征的方法，可有效響應(yīng)特定局部模式用這種方法遍歷整張圖片.: 應(yīng)用一次該方法只能提取一個(gè)特征圖像模式的特性一Ø 第一個(gè)發(fā)現(xiàn)：鳶尾花僅出現(xiàn)在圖像局部區(qū)域 并不是所有具有相似形態(tài)特征的鳶尾花都位于圖像的同一個(gè)位置Ø 如何應(yīng)用這個(gè)發(fā)現(xiàn)？: 所以對(duì)應(yīng)同一張圖片輸入，應(yīng)該應(yīng)用多次該方法Ø 可能的做法：1.定義一種提取局部的特征的方法，可有效響應(yīng)特定局部模式用這

4、種方法遍歷整張圖片.圖像模式的特性二Ø 第二個(gè)發(fā)現(xiàn)：大小改變，鳶尾花仍然可以有效區(qū)分Ø 如何利用這個(gè)特性？Ø 可能的做法：1.在神經(jīng)網(wǎng)絡(luò)逐層累加的過(guò)程中，可以直接對(duì)圖像進(jìn)行縮放縮放到適當(dāng)大小后，可以在特征提取過(guò)程中得到有效響應(yīng).神經(jīng)網(wǎng)絡(luò)問(wèn)題導(dǎo)入卷積神經(jīng)網(wǎng)絡(luò)概念引出卷積神經(jīng)網(wǎng)絡(luò)的誕生圖像模式的特性小結(jié)Ø 第一個(gè)發(fā)現(xiàn)對(duì)應(yīng)的可能的做法：1.定義一種提取局部的特征的方法，可有效響應(yīng)特定局部模式用這種方法遍歷整張圖片.Ø 第二個(gè)發(fā)現(xiàn)對(duì)應(yīng)的可能的做法：在神經(jīng)網(wǎng)絡(luò)逐層累加的過(guò)程中，可以直接對(duì)圖像進(jìn)行縮放池化：下采樣被檢測(cè)物體不變模式卷積：平移不變模式卷積神經(jīng)

5、網(wǎng)絡(luò)的誕生圖像模式的特性小結(jié)Ø 第一個(gè)發(fā)現(xiàn)對(duì)應(yīng)的可能的做法：1.定義一種提取局部的特征的方法，可有效響應(yīng)特定局部模式用這種方法遍歷整張圖片.Ø 第二個(gè)發(fā)現(xiàn)對(duì)應(yīng)的可能的做法：在神經(jīng)網(wǎng)絡(luò)逐層累加的過(guò)程中，可以直接對(duì)圖像進(jìn)行縮放池化：下采樣被檢測(cè)物體不變模式卷積：平移不變模式那是不是卷積和池化操作就夠了？我們是不是還需要更深的模型？基礎(chǔ)結(jié)構(gòu)應(yīng)用圖像模式的一般框架（以分類(lèi)為例）卷積層+激活函數(shù)+池化層+全連接層出現(xiàn)多次，用于提取特征在最后出現(xiàn)一次或多次，用于做分類(lèi)目錄1應(yīng)用與實(shí)踐4貓狗分類(lèi)卷積層激活層輸入層池化層全連接層輸入層輸入層4*4*卷積、stride、padding 如何理

6、解卷積？卷積層激活層輸入層池化層全連接層卷積層卷積的直覺(jué)計(jì)算機(jī)如何能知道圖上有什么物體？檢測(cè)圖像的邊緣卷積計(jì)算= 特征抽取灰度圖像垂直邊緣濾波器結(jié)果圖像10-110-110-10000000000000000101010000101010000101010000101010000101010000101010000卷積：抽取局部模式卷積層灰度圖像上使用單卷積核：?jiǎn)蝹€(gè)特征的抽取Ø 卷積運(yùn)算ü 用同一個(gè)卷積核從左到右Z字形滑動(dòng)遍歷每一個(gè)可能的局部位置ü 在每個(gè)位置計(jì)算卷積核和局部數(shù)據(jù)的點(diǎn)積值Ø 術(shù)語(yǔ)ü 𝑥：輸入，input，imag

7、eü 𝑤：卷積核，filter，kernelü 𝑠：特征，feature map，activation map，convolved featureü 感受野：一個(gè)神經(jīng)元連接到的輸入?yún)^(qū)域，receptive field卷積層RGB圖像上使用單卷積核：?jiǎn)蝹€(gè)特征的抽取Ø Notes 1ü RGB圖像channel =ü 對(duì)RGB圖像進(jìn)行操作的卷積核的深度為ü 右圖以* 的卷積核為例Ø Notes 1 updateü 卷積核有第三個(gè)維度：Depthü 卷積核的深度= 上一

8、層數(shù)據(jù)輸入的深度（channel數(shù)）卷積層RGB圖像上使用多卷積核：多個(gè)不同特征的提取Ø 多個(gè)卷積核ü 一個(gè)卷積核提取一種局部模式ü 在對(duì)每一層的卷積操作中，都要同時(shí)使用多個(gè)卷積核，提取多種不同的局部模式卷積層卷積隱層的堆疊Ø Notesü 卷積核的個(gè)數(shù)= 下一層數(shù)據(jù)的深度= 下一卷積層卷積核的深度ü 卷積核的個(gè)數(shù)= 提取特征的數(shù)量， 超參數(shù)， 可以自己調(diào)節(jié)卷積層隱層的卷積：特征組合ü 多層卷積：一層卷積得到的特征往往是局部的層數(shù)越高，學(xué)到的特征就越全局化卷積層需要注意的參數(shù)：strideStride =1：一次滑動(dòng)1格&#

9、216; Strideü 一次滑動(dòng)的步長(zhǎng)ü 有height上的stride和width上的strideStride =：一次滑動(dòng)格ü 圖片中的stride = , 指在兩個(gè)維度上的stride都為卷積層需要注意的參數(shù)：strideØ Strideü stride設(shè)置為超過(guò)1的參數(shù)，就相當(dāng)于在stride=1的卷積結(jié)果中作了下采樣ü 實(shí)際上是跳過(guò)去不計(jì)算，能夠成倍減少計(jì)算量卷積層需要注意的參數(shù)：paddingØ Padding = validü 不進(jìn)行補(bǔ)零操作，s=1時(shí)，每卷積一次，寬和高方向的數(shù)據(jù)維度下降F-1，其

10、中F為卷積核大小Ø Padding = samepadding：validpadding：same在輸入的周?chē)M(jìn)行0或填充üü卷積前width=卷積后width，卷積前height=卷積后heightF = ，stride =1，pad = 1ü卷積層小結(jié)ü 輸入：W1 × H1 × D1ü 超參數(shù)：the number of filters:Kthe dimension of filters:Fstride步長(zhǎng)paddingSPü 參數(shù)：F × F × D1 + 1× K&

11、#252; 輸出： W × H × DW =W1 +PF+ 1， H= H1+PF + 1， D =KSS卷積層激活層輸入層池化層全連接分層激活函數(shù)激活函數(shù)簡(jiǎn)述往模型中加入非線性元素，能表示更大范圍的函數(shù)一般不在同一個(gè)網(wǎng)絡(luò)中使用多種激活函數(shù)指數(shù)運(yùn)算，效率低指數(shù)運(yùn)算，效率低線性運(yùn)算，效率極高，最常用卷積層激活層輸入層一般意義上的池化典型的池化：平均池化、最大池化池化層全連接層池化層Ø 池化ü 在width和height維度上進(jìn)行下采樣，不改變depth的維度ü 右圖相當(dāng)于對(duì)輸入數(shù)據(jù)使用了* ， stride = 的卷積核，但是該卷積核不是通過(guò)學(xué)習(xí)

12、獲得，而是人為定義的卷積核（不算做參數(shù)）ü 能夠成倍減少計(jì)算量ü 相比stride，池化層可以選擇進(jìn)行下采樣的方式池化層Max-Pooling:對(duì)鄰域內(nèi)特征點(diǎn)取最大作為最后的特征值Mean-Pooling:對(duì)鄰域內(nèi)特征點(diǎn)取平均作為最后的特征值max 0.,0.,0.5,0.6= 0.60. + 0. + 0.5 + 0.6= 0.44池化層小結(jié)ü 輸入：W1 × H1 × D1ü 超參數(shù) ：the dimension of filters:Fstride步長(zhǎng)Sü 參數(shù) ：一些池化方式中是有參數(shù)的max-pooling和mea

13、n-pooling沒(méi)有參數(shù)ü 輸出： W × H × DW =W1 F+ 1 ， H= H1F + 1， D =1DSS卷積層激活層輸入層池化層全連接層中全連接的使用全連接層分類(lèi)Ø Notesü 將多層的特征抻直成一個(gè)一維的向量ü 采用全連接的方式將向量連接向輸出層，打破卷積特征的空間限制對(duì)卷積層獲得的不同的特征進(jìn)行最終目的是得到一個(gè)可以對(duì)不同類(lèi)別進(jìn)行區(qū)分的得分ü 輸出層就是對(duì)應(yīng)每個(gè)類(lèi)別的得分網(wǎng)絡(luò)搭建小結(jié)卷積神經(jīng)網(wǎng)絡(luò)的一般結(jié)構(gòu)1.卷積層+ReLU和 池化層 的組合多次出現(xiàn)提取特征作分類(lèi)器/檢測(cè)器/分割器多個(gè)全連接 或 特殊的

14、結(jié)構(gòu) 作為輸出層模型評(píng)估與正則化損失與誤差的反向損失與誤差反向：在隨機(jī)賦值w,b的情形下，模型的初始計(jì)算結(jié)果必然和多分類(lèi)（打標(biāo)）損失導(dǎo)入對(duì)應(yīng)的不符𝑓？ 1. 如何計(jì)算網(wǎng)絡(luò)得分和的不同？ . 如何根據(jù)上述差異對(duì)網(wǎng)絡(luò)的權(quán)重參數(shù)W進(jìn)行更新𝑓+W:隨機(jī)賦值，待優(yōu)化B:一般初始賦值0， 待優(yōu)化𝑥𝑖的最后一層全連接層：作為分類(lèi)結(jié)果0.00.-0.0.01-0.050.10.050.70.0.050.160.9-0.45-0.0.8-15-4456Cat score Dog score Ship scorescorelabel𝑓

15、 𝑤 𝑥 + 𝑏 , 𝑓: 線性激活函數(shù)100-.850.860.8損失函數(shù)？ 1. 如何計(jì)算網(wǎng)絡(luò)得分和的不同Step1: 將得分轉(zhuǎn)化為概率分布交叉熵?fù)p失 & SoftMax 概率歸一化l1 > 𝑦𝑖 > 0, 𝑦𝑖 = 1概率分布： 𝑖H 𝑝, 𝑞= 𝑝 𝑥 𝑙𝑜𝑔𝑞 𝑥用來(lái)衡量?jī)蓚€(gè)概率分

16、布間的差異性是個(gè)one-hot向量，是個(gè)概率分布網(wǎng)絡(luò)直接輸出的結(jié)果不是概率分布𝑓score1.所以在網(wǎng)絡(luò)中先將得分結(jié)果歸一化為概率分布à SoftMax𝑓 𝑤 𝑥label𝑒𝑖SoftMax的計(jì)算： S =𝑖 𝑗 𝑒𝑗100𝑒.85 = 0.058exp𝑛𝑜𝑟𝑚𝑎𝑙𝑖𝑧𝑒

17、;+ 𝑏1.=0.50.058 + .6 + 1.0.0160.610.50.058.61.-.850.860.8損失函數(shù)？ 1. 如何計(jì)算網(wǎng)絡(luò)得分和的不同Step1: 使用概率分布間的差異度量l 交叉熵?fù)p失 & SoftMax 概率歸一化 log 0.016= 1.796𝑒.85= 0.058H 𝑝, 𝑞= 𝑝 𝑥 𝑙𝑜𝑔𝑞 𝑥用來(lái)衡量?jī)蓚€(gè)分布間的差異性𝑓exp𝑛𝑜

18、;𝑟𝑚𝑎𝑙𝑖𝑧. 根據(jù)輸出和真實(shí)的間的概率分布scorel計(jì)算交叉熵，來(lái)度量輸出結(jié)果和差異情況的𝑓𝑤 𝑥 + 𝑏1. =0.5 0.058 + .6 + 1.x :代表的真實(shí)概率分布üüpqx : 輸出代表的模型概率分布0.058.61.-.850.860.8𝑒labe log 0.61= 0.199 log 0.5= 0.451000.0160.610.5梯度下降？ . 如何根據(jù)上述差異對(duì)網(wǎng)絡(luò)的權(quán)重

19、參數(shù)W進(jìn)行更新Step:權(quán)重根據(jù)差異方向更新Ø 梯度下降的直覺(jué)梯度：參數(shù)更新的方向損失下降最快的方向ü 每一步都沿著損失下降最快的方向進(jìn)行ü 一步一步走下去，直到所在的位置就是最低點(diǎn)，沒(méi)辦法再下降ü 超參：每次更新的步幅大小，更新參數(shù)的方式步長(zhǎng)：參數(shù)每次更新多大梯度下降？ . 如何根據(jù)上述差異對(duì)網(wǎng)絡(luò)的權(quán)重參數(shù)W進(jìn)行更新Step:權(quán)重根據(jù)差異方向更新Ø 梯度下降使用樣本方式的變種ü 批量梯度下降（Batch gradient descent）每次迭代時(shí)使用所有樣本來(lái)進(jìn)行梯度的更新ü 隨機(jī)梯度下降（Stochastic grad

20、ient descent）每次迭代時(shí)使用一個(gè)樣本來(lái)進(jìn)行梯度的更新ü 小批量梯度下降（Mini-batch gradient descent）批量梯度下降和隨機(jī)梯度下降的折中每次迭代時(shí)使用batch-size個(gè)樣本來(lái)進(jìn)行梯度的更新梯度下降？ . 如何根據(jù)上述差異對(duì)網(wǎng)絡(luò)的權(quán)重參數(shù)W進(jìn)行更新Ø 梯度下降方式的優(yōu)化Step:權(quán)重根據(jù)差異方向更新ü Momentum法動(dòng)量項(xiàng)在梯度指向方向相同的方向逐漸增大，對(duì)梯度指向改變的方向逐漸減小ü Nesterov梯度法給予梯度項(xiàng)上述ü Adagrad法功能的方法對(duì)低頻出現(xiàn)的參數(shù)進(jìn)行大的更新，對(duì)高頻出現(xiàn)的參數(shù)進(jìn)行小

21、的更新，適合處理稀疏數(shù)據(jù)ü Adadelta法更新梯度的具體方式上有所差異ü RMSprop法ü Adam法ü 反向？ . 如何根據(jù)上述差異對(duì)網(wǎng)絡(luò)的權(quán)重參數(shù)W進(jìn)行更新Step:將差異告訴權(quán)重求損失對(duì)權(quán)重的梯度Ø 反向算法ü 求解損失對(duì)所有參數(shù)的梯度ü 兩個(gè)過(guò)程：Forward pass: 逐層計(jì)算，并保存每一層的參數(shù)，方便反向計(jì)算梯度時(shí)使用Backward pass：根據(jù)最后的損失倒序逐層計(jì)算每一個(gè)參數(shù)的梯度，為參數(shù)的更新提供依據(jù)【基本原理：鏈?zhǔn)椒▌t】ü 卷積神經(jīng)網(wǎng)絡(luò)的backward pass詳情涉及更復(fù)雜的數(shù)學(xué)

22、推導(dǎo)，出于時(shí)間考慮不再詳述ü 下頁(yè)僅描述單個(gè)神經(jīng)元的反向過(guò)程神經(jīng)元中梯度的計(jì)算？ . 如何根據(jù)上述差異對(duì)網(wǎng)絡(luò)的權(quán)重參數(shù)W進(jìn)行更新以sigmoid損失為例：Step:將差異告訴權(quán)重求損失對(duì)權(quán)重的梯度模型評(píng)估與正則化損失與誤差的反向模型的泛化參數(shù)越多，越容易過(guò)擬合1）學(xué)習(xí)算法的基本假設(shè)用來(lái)訓(xùn)練模型的數(shù)據(jù)（訓(xùn)練集）和真實(shí)數(shù)據(jù)（測(cè)試集）間是同分布的）泛化能力學(xué)習(xí)算法對(duì)未知樣本的適應(yīng)能力I.II.學(xué)到隱含在數(shù)據(jù)集背后的規(guī)律針對(duì)具有同一規(guī)律的訓(xùn)練集以外的數(shù)據(jù)經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)也能給出合適的輸出欠擬合正確擬合過(guò)擬合III.模型的泛化Ø 如何提高學(xué)習(xí)算法效果？1）降低訓(xùn)練誤差訓(xùn)練誤差高：欠擬合

23、表現(xiàn)：訓(xùn)練集和測(cè)試集上精確度都低實(shí)質(zhì)：模型的表示能力不夠）縮小訓(xùn)練誤差和測(cè)試誤差的差距訓(xùn)練誤差和測(cè)試誤差間差距大：過(guò)擬合表現(xiàn)：訓(xùn)練集上精確度高，測(cè)試集上精確度低實(shí)質(zhì)：模型模擬了訓(xùn)練數(shù)據(jù)獨(dú)有的噪聲欠擬合正確擬合過(guò)擬合模型的泛化u 深度神經(jīng)網(wǎng)絡(luò)的泛化能力1）高模型容量高擬合各種函數(shù)的能力，模型偏向于過(guò)擬合）正則化對(duì)學(xué)習(xí)算法的修改，為了減少測(cè)試誤差（泛化誤差）而不是訓(xùn)練誤差欠擬合正確擬合過(guò)擬合模型的正則化Ø 正則化ü Early-stopping（早停法）：檢測(cè)訓(xùn)練集和驗(yàn)證集上的精確度，訓(xùn)練集的精確度下降 but 驗(yàn)證集上的精確度上升 à則停止訓(xùn)練ü 權(quán)重正則

24、化：噪聲相比于正常信號(hào)而言，通常會(huì)在某些點(diǎn)出現(xiàn)較大的峰值，保證權(quán)重系數(shù)在絕對(duì)值意義上足夠小，就能夠保證噪聲被過(guò)度響應(yīng)（模型不應(yīng)過(guò)于復(fù)雜）。L1正則：L正則（weight decay）:𝐽 = 𝐽0 + |𝑤|1𝐽 = 𝐽0 + 𝜆 |𝑤|, 𝐽代表?yè)p失函數(shù)， |𝑤|1 代表參數(shù)向量w的𝐿1范數(shù)，𝐽代表?yè)p失函數(shù)， | 𝑤 | 代表參數(shù)向量w的𝐿范數(shù)將損失函數(shù)改寫(xiě)成上述方式，在最小化損失函數(shù)的

25、過(guò)程中就會(huì)限制權(quán)重w過(guò)大。ü 數(shù)據(jù)增強(qiáng)/ dropout ：AlexNet中會(huì)進(jìn)行講解MNISThtt/exdb/mnist/ü 手寫(xiě)數(shù)字ü 10個(gè)互斥的類(lèi)別，8*8的灰度圖像ü 美國(guó)標(biāo)準(zhǔn)與技術(shù), National Institute ofStandards and Technology (NIST)ü 50 個(gè)人的手寫(xiě)數(shù)字。50%來(lái)自人口普查局50%來(lái)自高中學(xué)生。，ü 訓(xùn)練：60,000個(gè)樣本ü 測(cè)試：10,000個(gè)樣本CIFARü 數(shù)據(jù)集的類(lèi)別分布見(jiàn)右圖ü 60000張*的RGB圖像ü 10

26、個(gè)互斥的類(lèi)別，每類(lèi)6000張圖片ü 訓(xùn)練：50000張，5個(gè)訓(xùn)練批，每批10000張每類(lèi)圖像隨機(jī)抽取，張數(shù)不平均ü 測(cè)試：10000張，單獨(dú)構(gòu)成一批，每類(lèi)1000張ImageNet1）Total number of non-empty synsets: 1841）Total number of images: 14,197,1）Number of images with bounding box annotations:1,04,9084） Number of synsets with SIFT features: 10005） Number of images with

27、SIFT features: 1. millionü 可供用于圖像分類(lèi)、目標(biāo)分割等多個(gè)計(jì)算機(jī)視覺(jué)任務(wù)。、目標(biāo)檢測(cè)、實(shí)例ü ImageNet國(guó)際計(jì)算機(jī)視覺(jué)賽(ILSVRC)通常前三步會(huì)迭代多次，以尋找最佳模型Ø 基礎(chǔ)的訓(xùn)練步驟1. 定義模型的整體框架1）定義網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)前向過(guò)程）定義優(yōu)化算法梯度下降使用方式、參數(shù)更新方式、步長(zhǎng)設(shè)置）定義輸出日志打印訓(xùn)練過(guò)程中得到的模型在驗(yàn)證集上的精確度和在訓(xùn)練集上的精確度，獲知模型是否過(guò)（欠）擬合4）定義最終獲得的模型參數(shù)的保存路徑. 導(dǎo)入數(shù)據(jù)和預(yù)處理處理數(shù)據(jù)集的數(shù)據(jù)，使之適合模型使用. 訓(xùn)練模型把所有的代碼交給平臺(tái)運(yùn)行，我們就

28、可以喝茶加觀察了4. 測(cè)試模型使用新數(shù)據(jù)看一看模型是不是好用使用模型訓(xùn)練模型數(shù)據(jù)準(zhǔn)備定義模型的模型以簡(jiǎn)化版的LeNet-5為例模型詳細(xì)的參數(shù)如下表所示üLayerKernelsStridePadOutputParametersInput*1Conv15*5*1 filters * 01Valid8*8*0(5*5*1+1)*0Pool* filter14*14*0Conv5*5*0 filters * 501Valid10*10*50(5*5*0+1)*50Pool4* filter5*5*50Output10(5*5*50)*10前向過(guò)程ü 定義模型卷積+池化+激活 的運(yùn)

29、算組合ü 定義模型輸入層以MNIST數(shù)據(jù)集為例，手寫(xiě)數(shù)字是灰度圖像所以模型的輸入為* =104維的數(shù)據(jù)，channel = 1前向過(guò)程ü 定義全連接輸出層對(duì)輸出結(jié)果歸一化成概率分布，所以要用Softmax激活函數(shù)損失函數(shù)、反向、正則化ü 訓(xùn)練過(guò)程的定義根據(jù)和網(wǎng)絡(luò)計(jì)算出的值來(lái)定義損失函數(shù)找到需要優(yōu)化的參數(shù)，損失函數(shù)， 和反向 算法的優(yōu)化策略，即可定義一個(gè)優(yōu)化算法，我們定義的優(yōu)化算法就是對(duì)這個(gè)模型的優(yōu)化訓(xùn)練器日志的打印，模型的保存ü 模型的保存每一輪訓(xùn)練結(jié)束后，都保存一次參數(shù)ü 訓(xùn)練日志的輸出每100個(gè)batch輸出一次模型在訓(xùn)練集上的損失，每一輪

30、訓(xùn)練結(jié)束后，統(tǒng)一輸出一次整體的損失，也就是模型能達(dá)到的精度值可以判斷模型擬合程度數(shù)據(jù)，開(kāi)始訓(xùn)練ü 訓(xùn)練數(shù)據(jù)ü Paddle-paddle 在reader中定義數(shù)據(jù)的方式，包括設(shè)置緩沖區(qū)的大小ü 這里是采用批的方式，每批中有18 張圖像ü 調(diào)用trainer.train開(kāi)始訓(xùn)練過(guò)程ü 這里定義算法的迭代輪數(shù)，一共為100輪ü 數(shù)據(jù)的預(yù)處理主要是對(duì)測(cè)試數(shù)據(jù)的處理：RGB空間 à Grey 空間將圖像調(diào)整為 *大小將像素值從0, 55轉(zhuǎn)換到0, 1范圍內(nèi)檢測(cè)過(guò)程/使用過(guò)程I. 從的本地參數(shù)文件中參數(shù)II. 定義好的分類(lèi)網(wǎng)絡(luò)III.

31、 測(cè)試數(shù)據(jù)ü 調(diào)用paddle.infer進(jìn)行ü 最后的分類(lèi)結(jié)果就是概率最高的概率所對(duì)應(yīng)的類(lèi)別目錄1AlexNet，VGG，Inception, ResNetNet/課程實(shí)踐4經(jīng)典早期嘗試歷史DropoutReLU發(fā)展和演化Inception V，BNInception V,V4融合ResNetNINNetVGG增加新的功能單元增強(qiáng)卷積模塊功能網(wǎng)絡(luò)加深LeNetAlexNetHubel & Wiesel經(jīng)典早期嘗試歷史DropoutReLU發(fā)展和演化融合ResNet015年ILSVRC,Classification獲得第一名AlexNet增強(qiáng)卷積模塊功能增加新的功能

32、單元NINNetInception V，BN014 ILSVRC冠軍Inception V,V4網(wǎng)絡(luò)加深014 ILSVRC，圖像識(shí)別略差于Net，但是在很多圖像分析問(wèn)題(比如object detection)上效果好VGG使用MNIST數(shù)據(jù)集，LeNet這是最早用于數(shù)字識(shí)別的Hubel & Wiesel01 ILSVRC 遠(yuǎn)超第名ZF Net，基于AlexNet，01 ILSVRC冠軍AlexNetVGGNet/InceptionResNetAlexNetAlexNetAlexNetAlexNetAlexNetü Details：分組卷積第一次使用ReLU data aug

33、mentation dropout = 0.5batch-size = 18SGD momentum = 0.9learning-rate = 1e-L weight-decay = 5e-4LayerOutputParametersInput7 *7 *Conv155*55*96(11*11*+1)*96=4944MaxPool17*7*960Norm1Conv7*7*56(5*5*48+1)*18*MaxPool1*1*560NormConv1*1*84(*56+1)*84Conv41*1*84(*19+1)*19*Conv51*1*56(*19+1)*18*MaxPool6*6*560F

34、c6+Dropout4096(6*6*18*+1)*4096Fc7+Dropout4096(4096+1)*4096Fc81000(4096+1)*1000AlexNetü Group Convolution（分組卷積）：最早出現(xiàn)于AlexNet硬件有限，卷積操作不能放在同一個(gè)GPU進(jìn)行處理。Intuition：把feature maps分給多個(gè)GPU，對(duì)多個(gè)GPU的結(jié)果進(jìn)行融合。ü Group Convolution的計(jì)算量評(píng)估：每個(gè)GPU的計(jì)算量會(huì)降低到整個(gè)模型的1/groups 整體GPU的計(jì)算量會(huì)下降為1/groupsInput channel = 56 ，Outp

35、ut channel = 56 ，kernel = *不分組的卷積：56*56 parameters分為組的卷積：18 *18 parameters *56 filter*18 filter*18 filterOutput 18dOutput 18dOutput56dInput 18dInput 18dInput56dAlexNetü Dropout原理和使用：引入概率的思想，訓(xùn)練時(shí)節(jié)點(diǎn)是否存在于網(wǎng)絡(luò)中是由隨機(jī)概率決定的1訓(xùn)練時(shí)加入隨機(jī)性，進(jìn)行反向時(shí)，只是用訓(xùn)練好的參數(shù)算法。測(cè)試N個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)，Dropout = 同時(shí)訓(xùn)練n個(gè)網(wǎng)絡(luò)是ensemble在分類(lèi)性能上的一個(gè)近似，減弱了神經(jīng)元

36、節(jié)點(diǎn)間的適應(yīng)性，在不大幅增加計(jì)算量的情形下防止過(guò)擬合，增強(qiáng)了泛化能力dropout = 0.5效果最好，隨機(jī)生成的網(wǎng)絡(luò)結(jié)構(gòu)最多AlexNetü Data Augmentation：擬合自然界中常見(jiàn)的噪聲主要用于數(shù)據(jù)集較小的時(shí)候，可以豐富圖像訓(xùn)練集、防止過(guò)擬合ü 常用的數(shù)據(jù)增強(qiáng)方式有：對(duì)顏色的數(shù)據(jù)增強(qiáng)色彩的飽和度、亮度、對(duì)比度加噪聲（高斯噪聲）水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)隨機(jī)旋轉(zhuǎn)、隨機(jī)裁剪（crop） /aleju/imgaugAlexNetVGGNet/InceptionResNetVGG牛津大學(xué)計(jì)算機(jī)視覺(jué)組深度增加 & 小卷積核 à 對(duì)網(wǎng)絡(luò)最后的分類(lèi)識(shí)別效果有很大

37、作用小卷積核： *：表示上下、左右、中心這些概念的最小卷積核深度：AlexNet 8 層 à VGG最深19層VGGü Details：* conv-filter conv-stride = 1 pad = 1, Same* pool-filterpool-stride =ILSVRC 014LayerOutputParametersInput4 *4 *Note:未計(jì)算偏置Conv-644 *4 *64(*)*64 = 178Conv-644 *4 *64(*64)*64 = 6864Pool11*11*640Conv-1811*11*18(*64)*18 = 778Co

38、nv-1811*11*18(*18)*18 = 147456Pool56*56*180Conv-5656*56*56(*18)*56 = 9491Conv-5656*56*56(*56)*56 = 58984Conv-5656*56*56(*56)*56 = 58984Pool8*8*560Conv-518*8*51(*56)*51 = 1179648Conv-518*8*51(*51)*51 = 5996Conv-518*8*51(*51)*51 = 5996Pool14*14*510Conv-5114*14*51(*51)*51 = 5996Conv-5114*14*51(*51)*51

39、= 5996Conv-5114*14*51(*51)*51 = 5996Pool7*7*510Fc1*1*4096(7*7*51)*4096Fc1*1*40964096*4096Fc1*1*10004096*1000VGGü Small Convolution filter：最早用于VGG，Inception中明確指出該設(shè)計(jì)準(zhǔn)則AlexNet用到一些非常大的卷積核，比如11*11、5*5。Intuition：感受野越大、看到的圖片信息就越多，獲得的特征會(huì)越好 參數(shù)和計(jì)算量的增加，如何衡量該使用多大的卷積核？Methods：使用個(gè)*的卷積核的組合比用1個(gè)5*5的卷積核效果更佳 &

40、;&參數(shù)量降低ü 參數(shù)量的評(píng)估：以56通道的隱層數(shù)據(jù)為例：個(gè)*的卷積核* *56 params 個(gè)*的卷積核* *56 params=1個(gè)5*5的卷積核5*5*56 params=1個(gè)7*7的卷積核7*7*56 paramsAlexNetVGGNet/InceptionResNetNet/Inception提出的神經(jīng)網(wǎng)絡(luò)，一共有V1-V4共4個(gè)不同的模型ü 使用了Inception模塊 可以并行執(zhí)行多個(gè)具有不同尺度的卷積運(yùn)算或池化操作將多個(gè)卷積核卷積的結(jié)果拼接成一個(gè)非常深的特征圖ü 使用了大量的trick提高網(wǎng)絡(luò)性能 Bottleneck（瓶頸）: 1*1

41、的卷積核，借鑒NIN 使用全局平均池化GAP代替全連接 在v中，采用Batch Normalization（批歸一化） 在v中，采用非對(duì)稱(chēng)卷積降低運(yùn)算量 在v4中，結(jié)合了ResNet中的思想，發(fā)現(xiàn)Residual Connections貌似只能加快網(wǎng)絡(luò)收斂速度，是更大的網(wǎng)絡(luò)規(guī)模提高了精度Net/Inceptionü Multi-size filters in one layer（Inception Block）：最早出現(xiàn)于Inception-v1/Net傳統(tǒng)的堆疊式網(wǎng)絡(luò)，每層僅用一個(gè)VGG每層只使用*的卷積核。Intuition：信息位置的巨大差異，的卷積核。ht/使得不同尺度的特征

42、結(jié)合起來(lái)可以得到更好的特征表示卷積核設(shè)為1，5，stride設(shè)為1Methods:可以使用 pad = 0, 1,很方便的對(duì)齊結(jié)合的方式：在depth維度上Concatenation（拼接）Disadvantage：參數(shù)量比使用單個(gè)卷積核要多龐大的計(jì)算量 = 模型效率低下Net/Inceptionü Bottleneck：最早出現(xiàn)于Network in Network在同一層使用多個(gè)不同的卷積核會(huì)導(dǎo)致參數(shù)過(guò)多Intuition：Network in Network中1*1的卷積核的啟發(fā)在原來(lái)的Inception結(jié)構(gòu)中加入1*1的卷積核ü Bottleneck參數(shù)量評(píng)估：Input channel =