深度學習技術基礎與實踐 課件 第5章-卷積神經(jīng)網(wǎng)絡

第5章卷積神經(jīng)網(wǎng)絡授課教師：時

間：01概述卷積神經(jīng)網(wǎng)絡概述重要概念與基本部件卷積神經(jīng)網(wǎng)絡模型編程實戰(zhàn)卷積神經(jīng)網(wǎng)絡概述—歷史溯源卷積神經(jīng)網(wǎng)絡CNN是一類特殊的人工神經(jīng)網(wǎng)絡特點：卷積運算操作應用：圖像分類、目標檢測、圖像語義分割、圖像檢索1959感受野神經(jīng)認知19801987TDNNSIANN19881989LeNetNCR19931998LeNet-5OCR20032006深度學習AlexNet2012ResNet20152014VGGNet重要概念與基本組件—卷積定義：通過一個特定大小的矩陣與上層感受野區(qū)域矩陣做點積運算從而得到下層神經(jīng)元的特征輸出，這個特定大小的矩陣叫做卷積核，也稱濾波器(convolutionkernel或convolutionfilter)

輸入矩陣與卷積核卷積操作示例重要概念與基本組件—感受野定義：CNN每一層輸出的特征圖(featuremap)上每個像素點在原始圖像上映射的區(qū)域大小。神經(jīng)元之所以無法對原始圖像的所有信息進行感知，是因為在卷積神經(jīng)網(wǎng)絡中普遍使用卷積層和池化層，層與層之間均為局部連接。特征圖上的一個點對應輸入圖上的區(qū)域重要概念與基本組件—池化定義：圖像某個領域內只需要一個像素點就能表達整個區(qū)域的信息，因此可以采用類似于圖像壓縮的思想，對圖像進行卷積之后，通過一個下采樣過程，來調整特征圖的大小。通過最大池化，完成特征圖壓縮，規(guī)模減少至4分之1重要概念與基本組件—激活函數(shù)神經(jīng)網(wǎng)絡使用激活函數(shù)來加入非線性因素，以提高模型的表達能力。常見的激活函數(shù)有Sigmoid，Tanh，ReLU等

值域：(0,1)反向傳播中，容易就會出現(xiàn)梯度消失值域：(-1,1)減輕梯度消失問題值域：(0,

x)有助于隨機梯度下降收斂卷積神經(jīng)網(wǎng)絡模型—LeNet典型卷積神經(jīng)網(wǎng)絡由輸入層、卷積層、池化層、全連接層和輸出層堆疊構成。卷積神經(jīng)網(wǎng)絡LeNet結構如下圖自編碼器自編碼器(AutoEncoder，AE)，是一種利用反向傳播算法使得輸出值等于輸入值的神經(jīng)網(wǎng)絡。如下圖所示，構建一個自編碼器需要兩部分:編碼器(Encoder)和解碼器(Decoder)。

自編碼器—特點數(shù)據(jù)相關性。自編碼器只能壓縮與自己此前訓練數(shù)據(jù)類似的數(shù)據(jù)，比如使用mnist訓練出來的自編碼器用來壓縮人臉圖片，效果較差，所以自編碼器需要處理相關聯(lián)的數(shù)據(jù)；數(shù)據(jù)有損性。自編碼器在解壓時得到的輸出與原始輸入相比，存在信息損失，所以自編碼器是一種數(shù)據(jù)有損的壓縮算法；自動學習性。自動編碼器是從數(shù)據(jù)樣本中自動學習的，這意味著很容易對指定類的輸入訓練出一種特定的編碼器，而不需要完成任何新工作。編程實戰(zhàn)通過以下三個任務，完成編程實戰(zhàn)，鞏固前饋神經(jīng)網(wǎng)絡的學習與理解。從頭開始訓練網(wǎng)絡模型。利用Keras或者PyTorch平臺從頭搭建網(wǎng)絡模型，使用少量樣本，完成貓狗圖像的分類任務；使用預訓練模型。預訓練模型在大型數(shù)據(jù)集上已完成訓練，編程實戰(zhàn)中在預訓練模型的基礎上，針對圖像分類問題進行微調，完成預測；構建基本卷積神經(jīng)網(wǎng)絡進行圖像分類數(shù)據(jù)準備使用貓狗大戰(zhàn)過濾數(shù)據(jù)集，來源/birajsth/cats-and-dogs-filtered數(shù)據(jù)集包含了3000張貓和狗的彩色圖片圖像預處理：歸一化、調整大小構建基本卷積神經(jīng)網(wǎng)絡進行圖像分類過擬合問題樣本量太少模型過于復雜訓練回合太多構建基本卷積神經(jīng)網(wǎng)絡進行圖像分類數(shù)據(jù)增強和正則對圖像進行平移/旋轉/縮放等給模型增加Dropout正則化原模型添加Dropout基于預訓練模型進行遷移學習數(shù)據(jù)準備對CATS_VS_DOGS數(shù)據(jù)集進行圖像分類；數(shù)據(jù)集包含了60,000張貓和狗的彩色圖片；如圖中所示貓和狗兩種類別?；陬A訓練模型進行遷移學習準備預訓練模型預訓練的模型是之前在大型數(shù)據(jù)集上訓練過后保存的網(wǎng)絡；可以直接使用預先訓練的模型，也可以使用遷移學習將模型在給定的任務進行自定義。本實驗基于VGG16深度卷積神經(jīng)網(wǎng)絡，以及在ImageNet上的預訓練權重?；陬A訓練模型進行遷移學習準備預訓練模型預訓練的模型是之前在大型數(shù)據(jù)集上訓練過后保存的網(wǎng)絡；可以直接使用預先訓練的模型，也可以使用遷移學習將模型在給定的任務進行自定義。本實驗基于VGG16深度卷積神經(jīng)網(wǎng)絡，以及在ImageNet上的預訓練權重。基于預訓練模型進行遷移學習預訓練模型當作特征提取器權重參數(shù)不變權重參數(shù)變化基于預訓練模型進行遷移學習基于預訓練模型進行微調權重參數(shù)微調編程實戰(zhàn)實驗總結要了解為什么要進行遷移學習；要熟悉遷移學習進行的最基本的方式；要掌握基于Ke