深度學習 實驗指導書 實驗1：手寫數(shù)字識別實驗指導書

深度學習實驗指導書實驗一手寫數(shù)字識別實驗一手寫數(shù)字識別實驗目的掌握卷積神經(jīng)網(wǎng)絡(luò)基本原理；掌握PyTorch（或其他框架）的基本用法以及構(gòu)建卷積網(wǎng)絡(luò)的基本操作；了解PyTorch（或其他框架）在GPU上的使用方法。實驗要求搭建PyTorch（或其他框架）環(huán)境；構(gòu)建一個規(guī)范的卷積神經(jīng)網(wǎng)絡(luò)組織結(jié)構(gòu)；在MNIST手寫數(shù)字數(shù)據(jù)集上進行訓練和評估，實現(xiàn)測試集準確率達到98%及以上；按規(guī)定時間在課程網(wǎng)站提交實驗報告、代碼以及PPT。實驗原理（以PyTorch為例）PyTorch基本用法：使用PyTorch，必須了解PyTorch：張量的創(chuàng)建與使用數(shù)據(jù)創(chuàng)建和數(shù)據(jù)加載數(shù)據(jù)增強網(wǎng)絡(luò)模型創(chuàng)建使用torch.autograd自動求梯度模型參數(shù)優(yōu)化模型加載與保存PyTorch的前身是Torch，其底層和Torch框架一樣，但是使用Python重新寫了很多內(nèi)容，不僅更加靈活，支持動態(tài)圖，而且提供了Python接口。它是由Torch7團隊開發(fā)，是一個以Python優(yōu)先的深度學習框架，不僅能夠?qū)崿F(xiàn)強大的GPU加速，同時還支持動態(tài)神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)：典型的卷積神經(jīng)網(wǎng)絡(luò)由卷積層、池化層、激活函數(shù)層交替組合構(gòu)成，因此可將其視為一種層次模型，形象地體現(xiàn)了深度學習中“深度”之所在。卷積操作卷積運算是卷積神經(jīng)網(wǎng)絡(luò)的核心操作，給定二維的圖像I作為輸入，二維卷積核K，卷積運算可表示為： (1)給定5×5輸入矩陣、3×3卷積核，相應(yīng)的卷積操作如圖1所示。圖1卷積運算在使用TensorFlow等深度學習框架時，卷積層會有padding參數(shù)，常用的有兩種選擇，一個是“valid”，一個是“same”。前者是不進行填充，后者則是進行數(shù)據(jù)填充并保證輸出與輸入具有相同尺寸。構(gòu)建卷積或池化神經(jīng)網(wǎng)絡(luò)時，卷積步長也是一個很重要的基本參數(shù)。它控制了每個操作在特征圖上的執(zhí)行間隔。池化操作池化操作使用某位置相鄰輸出的總體統(tǒng)計特征作為該位置的輸出，常用最大池化（max-pooling）和均值池化（average-pooling）。池化層不包含需要訓練學習的參數(shù)，僅需指定池化操作的核大小、操作步長以及池化類型。池化操作示意如圖2所示。圖2池化操作激活函數(shù)層卷積操作可視為對輸入數(shù)值進行線性計算發(fā)揮線性映射的作用。激活函數(shù)的引入，則增強了深度網(wǎng)絡(luò)的非線性表達能力，從而提高了模型的學習能力。常用的激活函數(shù)有sigmoid、tanh和ReLU函數(shù)。實驗所用工具及數(shù)據(jù)集工具Anaconda、PyTorch（PyTorch安裝教程參考：PyTorch官網(wǎng)：/）數(shù)據(jù)集MNIST手寫數(shù)字數(shù)據(jù)集（下載地址及相關(guān)介紹：/exdb/mnist/）實驗步驟與方法（以PyTorch為例）安裝實驗環(huán)境，包括Anaconda、PyTorch，若使用GPU還需要安裝cuda、cudnn；下載MNIST手寫數(shù)字數(shù)據(jù)集；加載MNIST數(shù)據(jù)；構(gòu)建模型；用class類來建立CNN模型CNN流程： 卷積(Conv2d)->激勵函數(shù)(ReLU)->池化(MaxPooling)->卷積(Conv2d)->激勵函數(shù)(ReLU)-