人工智能原理第5章：MNIST數(shù)據(jù)集簡介課件

1、張明 副教授 人工智能原理：基于Python語言和TensorFlow第五章：MNIST機(jī)器學(xué)習(xí)MNIST數(shù)據(jù)集簡介MNIST數(shù)據(jù)下載softmax回歸模型簡介模型的訓(xùn)練與評(píng)估TensorFlow模型基本步驟構(gòu)建softmax回歸模型5.1：MNIST數(shù)據(jù)集簡介1 MNIST數(shù)據(jù)集的概念2 MNIST數(shù)據(jù)集功能3 MNIST數(shù)據(jù)集組成1：MNIST數(shù)據(jù)集的概念當(dāng)學(xué)習(xí)任意一門計(jì)算機(jī)語言進(jìn)行編程時(shí)，首先接觸的第一個(gè)程序就是打印“Hello World”。大家接觸每一種編程語言都會(huì)有Hello World作為第一個(gè)編程任務(wù)，在人工智能機(jī)器學(xué)習(xí)領(lǐng)域也不例外。學(xué)習(xí)人工智能的初學(xué)者，通過使用MNIST（M

2、ixed National Institute of Standards and Technology database）手寫數(shù)字識(shí)別任務(wù)的練習(xí)，來對(duì)人工智能TensorFlow進(jìn)行最初步的應(yīng)用。1：MNIST數(shù)據(jù)集的概念手寫數(shù)字的MNIST數(shù)據(jù)集手寫數(shù)字的MNIST數(shù)據(jù)集來自于美國國家標(biāo)準(zhǔn)與技術(shù)研究所（NIST），它是一個(gè)龐大的手寫數(shù)字?jǐn)?shù)據(jù)庫，也是網(wǎng)上著名的公開數(shù)據(jù)集之一。包含了60,000個(gè)訓(xùn)練示例圖片以及10,000個(gè)測(cè)試圖片，數(shù)據(jù)集的圖片分別代表了阿拉伯?dāng)?shù)字0阿拉伯?dāng)?shù)字9中的任意一個(gè)數(shù)字，圖片只包含灰度值信息，規(guī)格尺寸為2828，所以每一張圖片就是擁有784（2828）列的數(shù)據(jù)，數(shù)字位

3、于整張圖片的最中央位置，它是NIST提供的更大集合的一個(gè)子集。訓(xùn)練集（training set）由來自250個(gè)不同人手寫的數(shù)字構(gòu)成，其中50%是高中學(xué)生，50%來自人口普查局（the Census Bureau）的工作人員。測(cè)試集（test set）也是同樣比例的手寫數(shù)字?jǐn)?shù)據(jù)。5.1：MNIST數(shù)據(jù)集簡介1 MNIST數(shù)據(jù)集的概念2 MNIST數(shù)據(jù)集功能3 MNIST數(shù)據(jù)集組成2：MNIST數(shù)據(jù)集功能數(shù)據(jù)集有兩個(gè)功能：（1）提供了大量的數(shù)據(jù)作為訓(xùn)練集和測(cè)試集，為一些興趣愛好者和學(xué)習(xí)者提供了豐富的資源信息。（2）形成一個(gè)業(yè)界領(lǐng)域具有一定對(duì)比程度的項(xiàng)目，不同的研究者使用了相同的數(shù)據(jù)集，從而可以更加

4、方便地將結(jié)果進(jìn)行對(duì)比，從而驗(yàn)證出哪種設(shè)計(jì)的程序識(shí)別率更高。MNIST是一個(gè)簡單的計(jì)算機(jī)視覺數(shù)據(jù)集。它由圖5-1所示的手寫數(shù)字的圖像組成。它還包括每個(gè)圖像的標(biāo)簽，以便清楚地告訴我們出現(xiàn)的是什么數(shù)字。例如，上述圖像的標(biāo)簽分別是5、2、5、3，所以，MNIST數(shù)據(jù)集中的每張數(shù)據(jù)圖片都被事先標(biāo)注了相應(yīng)的阿拉伯?dāng)?shù)字。5.1：MNIST數(shù)據(jù)集簡介1 MNIST數(shù)據(jù)集的概念2 MNIST數(shù)據(jù)集功能3 MNIST數(shù)據(jù)集組成3：MNIST數(shù)據(jù)集組成將MNIST數(shù)據(jù)集從官方網(wǎng)站下載完畢，下載下來的數(shù)據(jù)集圖片被分成兩部分：包含了60000張圖片的訓(xùn)練數(shù)據(jù)集（mnist.train）包含了10000張圖片的測(cè)試數(shù)據(jù)集

5、（mnist.test）其中，訓(xùn)練數(shù)據(jù)集用來提供給使用者進(jìn)行模型的訓(xùn)練，以期訓(xùn)練出合適的模型；測(cè)試數(shù)據(jù)集用來提供給使用者對(duì)前一個(gè)階段訓(xùn)練出的模型進(jìn)行性能上的測(cè)試，在機(jī)器學(xué)習(xí)模型設(shè)計(jì)階段，必須要設(shè)置一個(gè)單獨(dú)的測(cè)試數(shù)據(jù)集用來評(píng)估模型的性能，這個(gè)測(cè)試數(shù)據(jù)集不用于訓(xùn)練。3：MNIST數(shù)據(jù)集組成MNIST數(shù)據(jù)單元分為兩個(gè)部分： 一張包含手寫數(shù)字的圖片一個(gè)對(duì)應(yīng)的標(biāo)簽我們把圖片設(shè)為“xs”，把這些標(biāo)簽設(shè)為“ys”。訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集都含有xs和ys，可以將訓(xùn)練數(shù)據(jù)集的圖片名稱設(shè)定為mnist.train.images，將訓(xùn)練數(shù)據(jù)集的標(biāo)簽設(shè)定為mnist.train.labels。3：MNIST數(shù)據(jù)集組成

6、每一張圖片包含28像素28個(gè)像素點(diǎn)，可以用一個(gè)數(shù)字?jǐn)?shù)組來表示這張圖片，如圖5-2所示。將這個(gè)數(shù)字?jǐn)?shù)組展開成一個(gè)向量，長度是2828 = 784。數(shù)字間的順序不重要，只要保持各個(gè)圖片采用相同的方式展開。圖5-23：MNIST數(shù)據(jù)集組成MNIST數(shù)據(jù)集的圖片就是在784維向量空間里面的點(diǎn)，并且擁有比較復(fù)雜的結(jié)構(gòu)。在MNIST訓(xùn)練數(shù)據(jù)集中，mnist.train.images是一個(gè)形狀為60000, 784的張量，第一個(gè)維度數(shù)字用來索引圖片，第二個(gè)維度數(shù)字用來索引每張圖片中的像素點(diǎn)。在此張量里的每一個(gè)元素，都表示某張圖片里的某個(gè)像素的強(qiáng)度值，值介于0和1之間，如圖5-3所示：圖5-33：MNIST數(shù)

7、據(jù)集組成MNIST數(shù)據(jù)集的標(biāo)簽mnist.train.labels是介于0到9的數(shù)字，用來描述給定的訓(xùn)練圖片里所表示的數(shù)字。標(biāo)簽數(shù)據(jù)用“one-hot vectors”的形式來表示，所謂的one-hot是指一位有效編碼，即，我們使用n維度的向量來表示n個(gè)類別，這其中，每一個(gè)類別都會(huì)占據(jù)相對(duì)獨(dú)立的一個(gè)位置，因此，一個(gè)one-hot向量即為除了某一特定位置的數(shù)字是1以外，其余各維度數(shù)字都是0。數(shù)字n將表示成一個(gè)只有在第n維度（從0開始）數(shù)字為1的10維向量。3：MNIST數(shù)據(jù)集組成因此，mnist.train.labels是一個(gè)60000, 10的10維度數(shù)字矩陣，如圖5-4所示。圖5-4第五章：

8、MNIST機(jī)器學(xué)習(xí)MNIST數(shù)據(jù)集簡介MNIST數(shù)據(jù)下載softmax回歸模型簡介模型的訓(xùn)練與評(píng)估TensorFlow模型基本步驟構(gòu)建softmax回歸模型5.2：MNIST數(shù)據(jù)下載1 數(shù)據(jù)的準(zhǔn)備2 數(shù)據(jù)重構(gòu)3 數(shù)據(jù)集對(duì)象1：數(shù)據(jù)的準(zhǔn)備下載MNIST數(shù)據(jù)集，需要到它的官方網(wǎng)站進(jìn)行下載，如圖5-5所示：圖5-51：數(shù)據(jù)的準(zhǔn)備MNIST數(shù)據(jù)集是一個(gè)完全公開的數(shù)據(jù)集，任何的算法都可以拿來并應(yīng)用MNIST數(shù)據(jù)集進(jìn)行測(cè)試，如圖5-6所示。圖5-61：數(shù)據(jù)的準(zhǔn)備MNIST數(shù)據(jù)集官方網(wǎng)站上下載以下四種數(shù)據(jù)文件作為訓(xùn)練集與測(cè)試集：Train-images-idx3-ubyte.gz: 訓(xùn)練集圖片55000張訓(xùn)

9、練圖片和5000張驗(yàn)證圖片。Train-labels-idx1-ubyte.gz: 訓(xùn)練集圖片對(duì)應(yīng)的數(shù)字標(biāo)簽。 t10k-images-idx3-ubyte.gz: 測(cè)試集圖片-10000張測(cè)試圖片。t10k-labels-idx1-ubyte.gz: 測(cè)試集圖片對(duì)應(yīng)的數(shù)字標(biāo)簽。1：數(shù)據(jù)的準(zhǔn)備通過Python源代碼可以進(jìn)行數(shù)據(jù)集的自動(dòng)下載和安裝，然后使用下列程序代碼內(nèi)容將之導(dǎo)入到項(xiàng)目里面，代碼如下所示。1：數(shù)據(jù)的準(zhǔn)備接下來繼續(xù)通過代碼的具體內(nèi)容來分析MNIST內(nèi)容，代碼如下所示。1：數(shù)據(jù)的準(zhǔn)備最后通過下列代碼可以查看相關(guān)數(shù)據(jù)集信息，代碼如下所示。2：數(shù)據(jù)重構(gòu)MNIST數(shù)據(jù)集中的四種數(shù)據(jù)文件沒有

10、使用標(biāo)準(zhǔn)的圖片格式儲(chǔ)存，需要使用extract_images()和extract_labels()函數(shù)進(jìn)行手動(dòng)解壓。圖片數(shù)據(jù)會(huì)被解壓成二維的張量：image index, pixel index，其中每一項(xiàng)表示圖片中特定像素的強(qiáng)度值，范圍從0255縮放到到-0.50.5。其中image index代表數(shù)據(jù)集中圖片的編號(hào)，從0到數(shù)據(jù)集的上限數(shù)值。pixel index代表圖片中像素點(diǎn)的個(gè)數(shù)，從0到圖片的像素上限數(shù)值。以train-開頭的文件中包含60000個(gè)樣本，其中55000個(gè)樣本作為訓(xùn)練集，5000個(gè)作為驗(yàn)證集。2：數(shù)據(jù)重構(gòu)數(shù)據(jù)集中的灰度圖片是28*28像素圖片，它們的尺寸是784，即訓(xùn)練數(shù)

11、據(jù)集內(nèi)的每張圖片都是由一個(gè)784維度的向量來表示的，訓(xùn)練集輸出的張量格式是55000,784。數(shù)字標(biāo)簽數(shù)據(jù)被解壓為一維的張量：image index，它定義了每個(gè)樣本數(shù)值的類別分類。即訓(xùn)練集的標(biāo)簽的數(shù)據(jù)規(guī)模是55000。 3：數(shù)據(jù)集對(duì)象底層的源代碼將會(huì)執(zhí)行下載、解壓、重構(gòu)圖片和標(biāo)簽數(shù)據(jù)來組成以下三種數(shù)據(jù)集對(duì)象。l data_sets.train：55000組圖片和標(biāo)簽，用于訓(xùn)練。l data_sets.validation：5000組圖片和標(biāo)簽，用于迭代驗(yàn)證訓(xùn)練的準(zhǔn)確性。l data_sets.test：10000組圖片和標(biāo)簽，用于最終測(cè)試訓(xùn)練的準(zhǔn)確性。執(zhí)行read_data_sets()函數(shù)

12、將會(huì)返回一個(gè)DataSet實(shí)例，其中包含了上述的三種數(shù)據(jù)集。函數(shù)DataSet.next_batch()用于獲取以batch_size為大小的一個(gè)包含了圖片和標(biāo)簽的元祖，該元祖會(huì)被用于當(dāng)前的TensorFlow運(yùn)算Session中代碼如下所示。images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size)第五章：MNIST機(jī)器學(xué)習(xí)MNIST數(shù)據(jù)集簡介MNIST數(shù)據(jù)下載softmax回歸模型簡介模型的訓(xùn)練與評(píng)估TensorFlow模型基本步驟構(gòu)建softmax回歸模型5.3：softmax回歸模型簡介softmax回歸模型是一個(gè)線

13、性的多類分類模型，用來給不同的圖片對(duì)象分配概率。softmax回歸應(yīng)用通常要先對(duì)圖片像素值進(jìn)行加權(quán)求和，從而得到一張給定圖片屬于某個(gè)特定數(shù)字類的證據(jù)（evidence）。如果這個(gè)像素能夠有證據(jù)來證明這張圖片不屬于該類別，相應(yīng)的權(quán)值就會(huì)用負(fù)數(shù)來進(jìn)行標(biāo)注；反之，如果這個(gè)像素?fù)碛凶銐虻淖C據(jù)來證明這張圖片屬于這個(gè)類別，那么相應(yīng)的權(quán)值就會(huì)用正數(shù)來進(jìn)行標(biāo)注。5.3：softmax回歸模型簡介softmax回歸應(yīng)用通常要先對(duì)圖片像素值進(jìn)行加權(quán)求和，從而得到一張給定圖片屬于某個(gè)特定數(shù)字類的證據(jù)（evidence）。如果這個(gè)像素能夠有證據(jù)來證明這張圖片不屬于該類別，相應(yīng)的權(quán)值就會(huì)用負(fù)數(shù)來進(jìn)行標(biāo)注；反之，如果這個(gè)

14、像素?fù)碛凶銐虻淖C據(jù)來證明這張圖片屬于這個(gè)類別，那么相應(yīng)的權(quán)值就會(huì)用正數(shù)來進(jìn)行標(biāo)注。如圖5-7所示的圖片顯示了一個(gè)模型學(xué)習(xí)到的圖片上每個(gè)像素對(duì)于特定數(shù)字類的權(quán)值。紅色代表的權(quán)值為負(fù)數(shù)，藍(lán)色代表的權(quán)值為正數(shù)。5.3：softmax回歸模型簡介對(duì)所有特征計(jì)算softmax，給定一張圖片，它對(duì)于每一個(gè)數(shù)字的契合度可以被softmax函數(shù)轉(zhuǎn)換成為一個(gè)概率值，使得所有類別輸出的概率值和為1。softmax函數(shù)可以定義如下：5.3：softmax回歸模型簡介將等號(hào)右邊的式子展開，可得到判定為第i類的概率：因此，可以將輸入值作為冪指數(shù)來進(jìn)行求值運(yùn)算，然后，再將這些結(jié)果值進(jìn)行一定程度的正則化。5.3：softm

15、ax回歸模型簡介將softmax回歸模型整個(gè)計(jì)算過程進(jìn)行可視化，如圖5-8所示。5.3：softmax回歸模型簡介對(duì)于輸入的xs進(jìn)行加權(quán)求和，再分別對(duì)其加上一個(gè)偏置項(xiàng)，最后再輸入至softmax函數(shù)中，將上述內(nèi)容的連線部分變?yōu)楣剑傻贸鋈鐖D5-9所示的內(nèi)容。5.3：softmax回歸模型簡介另外，還可將整個(gè)計(jì)算過程使用向量的方式來進(jìn)行表示，即將元素相乘變?yōu)橛镁仃嚦朔ê拖蛄肯嗉?。這樣做既是一種有效的思考方式，也有助于提高計(jì)算效率，如圖所示。第五章：MNIST機(jī)器學(xué)習(xí)MNIST數(shù)據(jù)集簡介MNIST數(shù)據(jù)下載softmax回歸模型簡介TensorFlow模型基本步驟構(gòu)建softmax回歸模型5.4：

16、TensorFlow模型基本步驟使用TensorFlow實(shí)現(xiàn)簡單的機(jī)器學(xué)習(xí)算法softmax回歸，基本步驟分為以下四個(gè)部分。定義算法模型，代碼如下所示。定義loss，指定優(yōu)化器來優(yōu)化loss，代碼如下所示。5.4：TensorFlow模型基本步驟傳入數(shù)據(jù)并進(jìn)行迭代訓(xùn)練，代碼如下所示。使用測(cè)試集或者驗(yàn)證集對(duì)準(zhǔn)確率進(jìn)行評(píng)測(cè)，代碼如下所示。第五章：MNIST機(jī)器學(xué)習(xí)MNIST數(shù)據(jù)集簡介MNIST數(shù)據(jù)下載softmax回歸模型簡介TensorFlow模型基本步驟構(gòu)建softmax回歸模型5.5：構(gòu)建softmax回歸模型建立一個(gè)softmax回歸模型，且具備單個(gè)線性層。通過為輸入圖像和目標(biāo)輸出類別創(chuàng)建

17、節(jié)點(diǎn)，來完成計(jì)算圖的構(gòu)建工作，代碼如下所示。代碼里所出現(xiàn)的x和y并不是一個(gè)特定的值，它們僅僅代表著一個(gè)占位符，并且可以在TensorFlow運(yùn)行某一個(gè)計(jì)算時(shí)根據(jù)該占位符的位置輸入一個(gè)具體的數(shù)值。為模型定義權(quán)重W和偏置項(xiàng)b，并且可將它們作為額外的輸入量進(jìn)行數(shù)據(jù)輸入，機(jī)器學(xué)習(xí)的應(yīng)用過程中，模型參數(shù)一般是采用Variable來進(jìn)行表示，代碼如下所示。5.5：構(gòu)建softmax回歸模型變量首先會(huì)通過seesion進(jìn)行初始化，然后，再將之應(yīng)用在session中，代碼如下所示。輸入一行代碼內(nèi)容的運(yùn)行來實(shí)現(xiàn)回歸模型，代碼如下所示。5.5：構(gòu)建softmax回歸模型另外，可以為訓(xùn)練過程指定最小化誤差用的損失函數(shù)：這個(gè)損失函數(shù)是目標(biāo)類別和預(yù)測(cè)類別之間的交叉熵，代碼如下所示