深度學(xué)習(xí)案例教程 課件3.4.1MNIST數(shù)據(jù)集處理

第四節(jié)

實(shí)踐任務(wù)-手寫(xiě)數(shù)字識(shí)別神經(jīng)網(wǎng)絡(luò)的訓(xùn)練介紹神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是指從訓(xùn)練數(shù)據(jù)中自動(dòng)獲取最優(yōu)權(quán)重參數(shù)的過(guò)程，通常分為兩個(gè)階段：第1階段先通過(guò)前向傳播算法計(jì)算得到預(yù)測(cè)值，并計(jì)算預(yù)測(cè)值與真實(shí)值之間的差距(該差距也稱(chēng)為損失函數(shù))；第2階段通過(guò)反向傳播算法計(jì)算損失函數(shù)對(duì)每一個(gè)參數(shù)的梯度，使用合適的梯度下降算法對(duì)參數(shù)進(jìn)行更新。

第四節(jié)

實(shí)踐任務(wù)-手寫(xiě)數(shù)字識(shí)別神經(jīng)網(wǎng)絡(luò)的訓(xùn)練介紹神經(jīng)網(wǎng)絡(luò)的訓(xùn)練以及參數(shù)更新的全部過(guò)程，如圖表示。

實(shí)踐任務(wù)1-數(shù)據(jù)處理1數(shù)據(jù)集介紹手寫(xiě)數(shù)字識(shí)別采用MNIST數(shù)據(jù)集進(jìn)行訓(xùn)練，MNIST是有YannLeCun等創(chuàng)建的手寫(xiě)數(shù)字識(shí)別數(shù)據(jù)集，簡(jiǎn)單易用，通過(guò)對(duì)該數(shù)據(jù)集可以很好地進(jìn)行手寫(xiě)數(shù)字識(shí)別神經(jīng)網(wǎng)絡(luò)建模。MINIST數(shù)據(jù)集主要是有一些手寫(xiě)的數(shù)字的圖片及對(duì)應(yīng)的標(biāo)簽，該數(shù)據(jù)集的圖片共有10類(lèi)，對(duì)應(yīng)的阿拉伯?dāng)?shù)字為0~9，如圖表示。

實(shí)踐任務(wù)1-數(shù)據(jù)處理1數(shù)據(jù)集介紹在MINIST數(shù)據(jù)集介紹的官網(wǎng)(/exdb/mnist/)中可知，原始的MNIST數(shù)據(jù)集共包含4個(gè)文件，如圖表示。

文件名大小用途train-images-idx3-ubyte.gz9912422bytes訓(xùn)練集圖像train-labels-idx1-ubyte.gz28881bytes訓(xùn)練集標(biāo)簽t10k-images-idx3-ubyte.gz1648877bytes測(cè)試集圖像t10k-labels-idx1-ubyte.gz4542bytes測(cè)試集標(biāo)簽實(shí)踐任務(wù)1-MNIST數(shù)據(jù)處理2導(dǎo)入數(shù)據(jù)集

在PyTorch中，有一個(gè)非常重要并且好用的包是torchvision，該包主要由3個(gè)子包組成，分別是models、datasets和transforms。

models定義了許多用來(lái)完成圖像方面深度學(xué)習(xí)的任務(wù)模型。

datasets中包含MINIST、FakeData、COCO、LSUN、ImageFolder、DatasetFolder、ImageNet、CIFAR等一些常用的數(shù)據(jù)集，并且提供了數(shù)據(jù)集設(shè)置的一些重要參數(shù)，可以通過(guò)簡(jiǎn)單數(shù)據(jù)集設(shè)置來(lái)進(jìn)行數(shù)據(jù)集的調(diào)用。

transforms用來(lái)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，預(yù)處理會(huì)加快神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，常見(jiàn)的預(yù)處理包括從數(shù)組轉(zhuǎn)成張量(tensor)、歸一化等。

實(shí)踐任務(wù)1-MNIST數(shù)據(jù)處理2導(dǎo)入數(shù)據(jù)集importnumpyasnp

importtorch

fromtorchvisionimportdatasets,transforms

importmatplotlib.pyplotasplt

importtorchvision導(dǎo)入所需要的python包：實(shí)踐任務(wù)1-MNIST數(shù)據(jù)處理2導(dǎo)入數(shù)據(jù)集導(dǎo)入MNIST訓(xùn)練集數(shù)據(jù)：#1導(dǎo)入數(shù)據(jù)集

train_loader=torch.utils.data.DataLoader(

datasets.MNIST(root='./data',#root表示數(shù)據(jù)加載的相對(duì)目錄

train=True,#train表示是否加載數(shù)據(jù)庫(kù)的訓(xùn)練集，F(xiàn)alse時(shí)加載測(cè)試集

download=True,#download表示是否自動(dòng)下載

transform=transforms.Compose([#transform表示對(duì)數(shù)據(jù)進(jìn)行預(yù)處理的操作

transforms.ToTensor(),

transforms.Normalize((0.1307,),(0.3081,))

])),batch_size=64,shuffle=True)#batch_size表示該批次的數(shù)據(jù)量shuffle表示是否洗牌實(shí)踐任務(wù)1-MNIST數(shù)據(jù)處理2導(dǎo)入數(shù)據(jù)集導(dǎo)入MNIST測(cè)試集數(shù)據(jù)：test_loader=torch.utils.data.DataLoader(

datasets.MNIST('./data',train=False,transform=transforms.Compose([

transforms.ToTensor(),

transforms.Normalize((0.1307,),(0.3081,))

])),batch_size=64,shuffle=True)實(shí)踐任務(wù)1-MNIST數(shù)據(jù)處理2導(dǎo)入數(shù)據(jù)集數(shù)據(jù)可視化：defimshow(img):

img=img/2+0.5#逆歸一化

npimg=img.numpy()

plt.imshow(np.transpose(npimg,(1,2,0)))

plt.show()

#得到batch中的數(shù)據(jù)

dataiter=iter(train_loade