人工智能深度學(xué)習(xí)綜合實(shí)踐 課件1.深度學(xué)習(xí)全連接神經(jīng)網(wǎng)絡(luò)應(yīng)用-深度學(xué)習(xí)分類任務(wù)、2.深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用-卷積神經(jīng)網(wǎng)絡(luò)的基本原理

深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)實(shí)戰(zhàn)深度學(xué)習(xí)模型訓(xùn)練項(xiàng)目目標(biāo)（1）熟悉卷積神經(jīng)網(wǎng)絡(luò)的基本概念。（2）了解卷積神經(jīng)網(wǎng)絡(luò)的組成結(jié)構(gòu)和基本原理。（3）掌握卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程。（4）能夠基于手寫(xiě)數(shù)字識(shí)別案例搭建卷積神經(jīng)網(wǎng)絡(luò)。項(xiàng)目描述在本項(xiàng)目中，首先回顧深度學(xué)習(xí)的分類任務(wù)，接著對(duì)全連接層、激活函數(shù)和交叉熵?fù)p失做了詳細(xì)的介紹，最后將會(huì)以手寫(xiě)數(shù)字識(shí)別任務(wù)來(lái)詳細(xì)介紹全連接神經(jīng)網(wǎng)絡(luò)及其訓(xùn)練流程。讀取數(shù)據(jù)初步處理抽象處理進(jìn)一步抽象處理卷積神經(jīng)網(wǎng)絡(luò)的基本原理1981年諾貝爾醫(yī)學(xué)獎(jiǎng)得主：DavidHubel和TorstenWiesel發(fā)現(xiàn)了視覺(jué)系統(tǒng)的信息處理規(guī)律：可視皮層是分級(jí)的。例如當(dāng)我們的眼睛看到一張人臉圖像到大腦最終識(shí)別為人臉的過(guò)程中，將經(jīng)過(guò)以下幾個(gè)步驟：卷積神經(jīng)網(wǎng)絡(luò)的基本原理（1）讀取數(shù)據(jù)：瞳孔從光源中攝入圖像中的像素信息。（2）初步處理：大腦皮層某些細(xì)胞發(fā)現(xiàn)像素信息中的邊緣和方向等。（3）抽象處理：大腦判定眼前的圖像中的特征，如鼻子、眼睛等。（4）進(jìn)一步抽象處理：大腦進(jìn)一步將特征進(jìn)行組合，判定特征組合是人臉。LeNet-5卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)的基本原理如圖所示，LeNet-5一共包含7層網(wǎng)絡(luò)結(jié)構(gòu)，分別由2個(gè)卷積層、2個(gè)池化層和3個(gè)連接層組成。圖像數(shù)據(jù)將通過(guò)卷積計(jì)算逐層提取出圖像的特征，同時(shí)通過(guò)池化縮小數(shù)據(jù)的規(guī)模。同時(shí)卷積計(jì)算使網(wǎng)絡(luò)的權(quán)值能夠共享，有效減少了網(wǎng)絡(luò)的參數(shù)，也使到參數(shù)的使用更加高效，減輕了訓(xùn)練的負(fù)擔(dān)。卷積神經(jīng)網(wǎng)絡(luò)的基本原理如下圖，對(duì)于不同的物體，人類視覺(jué)也是通過(guò)這樣逐層分級(jí)來(lái)進(jìn)行認(rèn)知的。從處理過(guò)程中可以看到，在最底層特征基本上是類似的，就是各種邊緣。越進(jìn)行抽象處理，就越能提取出此類物體的一些特征，如眼睛、輪子、軀干等。到最上層，不同的高級(jí)特征最終組合成相應(yīng)的圖像，從而能夠讓人類準(zhǔn)確的區(qū)分不同的物體?！竽X對(duì)像素信息的分層處理?卷積神經(jīng)網(wǎng)絡(luò)的基本原理結(jié)合視覺(jué)系統(tǒng)的信息處理規(guī)律，LeCun提出了一種用于識(shí)別手寫(xiě)數(shù)字和機(jī)器印刷字符的卷積神經(jīng)網(wǎng)絡(luò)：LeNet-5。LeNet-5神經(jīng)網(wǎng)絡(luò)組合了卷積、池化和激活函數(shù)的特性，通過(guò)參數(shù)共享的卷積操作提取圖像中像素特征之間的相關(guān)性。LeNet-5卷積池化激活函數(shù)卷積層卷積核對(duì)目標(biāo)數(shù)據(jù)的處理，其實(shí)就是使目標(biāo)矩陣與卷積核相同位置上的元素相乘之后求和。將卷積核“蓋”在目標(biāo)矩陣上，并使兩個(gè)矩陣相同位置上的元素相乘再求和，便能得到處理后的結(jié)果。卷積核運(yùn)作的過(guò)程1卷積層處理完一處數(shù)據(jù)后，卷積核將向其他區(qū)域繼續(xù)滑動(dòng)，直到“掃描”完整個(gè)目標(biāo)矩陣為止，這個(gè)過(guò)程就是“卷積”。如圖所示，6×6的矩陣經(jīng)過(guò)尺寸為3×3的卷積核處理后，將生成

4×4的矩陣結(jié)果。對(duì)比卷積處理前后的矩陣，可以看到原先左右分布的數(shù)字矩陣變成了中間分布的數(shù)字矩陣。卷積核運(yùn)作的過(guò)程2卷積層在滑動(dòng)卷積核的過(guò)程中，卷積核每次滑動(dòng)的行數(shù)或列數(shù)稱為步長(zhǎng)。前面所介紹的卷積計(jì)算例子的默認(rèn)步長(zhǎng)都為1，實(shí)際上可以設(shè)置步長(zhǎng)為其他值。如圖所示，使用3×3的卷積核對(duì)

6×6的輸入矩陣進(jìn)行卷積，如果步長(zhǎng)為3，則輸出為2×2的矩陣。步長(zhǎng)為3的卷積核運(yùn)作的過(guò)程卷積層在下圖卷積計(jì)算的例子中，目標(biāo)矩陣在經(jīng)過(guò)卷積核卷積之后，矩陣中的元素變少了，從6×6的矩陣變成了4×4的矩陣。假設(shè)再進(jìn)行一次卷積操作，那么目標(biāo)矩陣就變成了2×2的矩陣，此時(shí)將無(wú)法繼續(xù)卷積。同時(shí)相比于圖像中間的點(diǎn)，圖像邊緣的點(diǎn)在卷積中被計(jì)算的次數(shù)相對(duì)較少，這將導(dǎo)致圖像邊緣的信息丟失。圖像邊緣信息丟失卷積層填充后的卷積核運(yùn)作的過(guò)程卷積層根據(jù)輸入與輸出環(huán)節(jié)，多通道卷積可以分為多輸入通道環(huán)節(jié)與多輸出通道環(huán)節(jié)。圖像通道卷積層根據(jù)輸入與輸出環(huán)節(jié)，多通道卷積可以分為多輸入通道環(huán)節(jié)與多輸出通道環(huán)節(jié)。01多輸入通道環(huán)節(jié)02多輸出通道環(huán)節(jié)卷積層多通道卷積核卷積層多通道卷積核運(yùn)作的過(guò)程卷積層多卷積核的工作過(guò)程池化層卷積核在滑動(dòng)的過(guò)程中，實(shí)際上重復(fù)計(jì)算了很多冗余的數(shù)據(jù)。為了去除這些冗余數(shù)據(jù)，可以通過(guò)池化層的池化核對(duì)數(shù)據(jù)進(jìn)行池化操作，進(jìn)而提取對(duì)應(yīng)區(qū)域的主要特征，防止過(guò)擬合。類似于卷積核，池化核也是矩陣。根據(jù)池化方式的不同，池化可以分為最大值池化與平均值池化。池化層的工作過(guò)程如何訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)準(zhǔn)備01模型訓(xùn)練04模型設(shè)計(jì)02訓(xùn)練設(shè)置03通過(guò)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別手寫(xiě)數(shù)字實(shí)施思路030501040602導(dǎo)入相關(guān)庫(kù)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)模型訓(xùn)練數(shù)據(jù)準(zhǔn)備訓(xùn)練設(shè)置模型應(yīng)用知識(shí)拓展不同層次的卷積對(duì)應(yīng)的特征類型知識(shí)拓展卷積核及其對(duì)應(yīng)的作用深度學(xué)習(xí)全連接神經(jīng)網(wǎng)絡(luò)實(shí)戰(zhàn)深度學(xué)習(xí)基礎(chǔ)應(yīng)用項(xiàng)目目標(biāo)（1）熟悉全連接神經(jīng)網(wǎng)絡(luò)和分類任務(wù)的基本概念。（2）了解分類任務(wù)與回歸任務(wù)的區(qū)別。（3）了解激活函數(shù)及交叉熵函數(shù)的基本概念。（4）掌握全連接神經(jīng)網(wǎng)絡(luò)的搭建與訓(xùn)練流程。（5）能夠應(yīng)用深度學(xué)習(xí)框架搭建全連接神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)分類任務(wù)二分類任務(wù)多分類任務(wù)多標(biāo)簽分類任務(wù)深度學(xué)習(xí)的分類任務(wù)與機(jī)器學(xué)習(xí)一樣，是通過(guò)學(xué)習(xí)樣本中的規(guī)律，建立一個(gè)從輸入到輸出的映射，其中輸出值為離散值。深度學(xué)習(xí)中的分類任務(wù)中，根據(jù)類別標(biāo)簽可分為二分類任務(wù)、多分類任務(wù)和多標(biāo)簽分類任務(wù)，接下來(lái)對(duì)這3種分類任務(wù)進(jìn)行了解。深度學(xué)習(xí)分類任務(wù)二分類任務(wù)二分類任務(wù)是指具有兩個(gè)類別標(biāo)簽的分類任務(wù)，判斷一個(gè)樣本是否屬于某一類的問(wèn)題，通常將屬于某一類別的樣本記為正常狀態(tài)，賦予標(biāo)簽1；將不屬于某一類別的樣本記為異常狀態(tài)，賦予標(biāo)簽0。如以判斷新聞?lì)愋褪欠駷轶w育新聞為目的，將新聞分為體育新聞和非體育新聞兩類，則體育新聞屬于正常狀態(tài)的類別。？深度學(xué)習(xí)分類任務(wù)常見(jiàn)的分類任務(wù)多分類任務(wù)多分類任務(wù)是指具有兩個(gè)以上類別標(biāo)簽的分類任務(wù)，其中每個(gè)樣本只能有一個(gè)標(biāo)簽。與二分類任務(wù)不同，多分類任務(wù)沒(méi)有正常和異常狀態(tài)的概念，樣本被分類為屬于一系列已知類別中的一個(gè)。在某些問(wèn)題上，類別標(biāo)簽的數(shù)量的可能很大，常見(jiàn)的多分類問(wèn)題有鳶尾花分類和手寫(xiě)數(shù)字識(shí)別等。鳶尾花分類手寫(xiě)數(shù)字識(shí)別深度學(xué)習(xí)分類任務(wù)多標(biāo)簽分類任務(wù)多標(biāo)簽分類任務(wù)是指具有兩個(gè)或多個(gè)分類標(biāo)簽的分類任務(wù)，其中每個(gè)樣本可以預(yù)測(cè)為一個(gè)或多個(gè)分類標(biāo)簽。例如圖像中給定多個(gè)對(duì)象，且模型可預(yù)測(cè)照片中各個(gè)已知對(duì)象，像“自行車”、“汽車”和“行人”等。用于二分類或多分類任務(wù)的分類算法不能直接用于多標(biāo)簽分類任務(wù)。行人自行車汽車深度學(xué)習(xí)分類任務(wù)分類任務(wù)與回歸任務(wù)的區(qū)別分類任務(wù)與回歸任務(wù)的區(qū)別，主要在于需要預(yù)測(cè)的值的類型不同。分類任務(wù)的預(yù)測(cè)結(jié)果處于離散區(qū)間，預(yù)測(cè)該值屬不屬于或者屬于哪一類，如預(yù)測(cè)一個(gè)人健康還是不健康，明天是陰天、晴天還是雨天。這種預(yù)測(cè)結(jié)果就只有有限個(gè)數(shù)的值，再把每一個(gè)值當(dāng)作一個(gè)類別，所以分類任務(wù)就是預(yù)測(cè)對(duì)象所屬類別的任務(wù)?；貧w任務(wù)的預(yù)測(cè)結(jié)果處于連續(xù)區(qū)間，如要通過(guò)一個(gè)人的飲食情況預(yù)測(cè)體重。體重的數(shù)值可以有無(wú)窮多個(gè)，有的人50Kg，有的人51Kg，在50和51之間存在無(wú)窮多個(gè)數(shù)值，這種對(duì)于連續(xù)的數(shù)值進(jìn)行預(yù)測(cè)的任務(wù)就是回歸任務(wù)。全連接神經(jīng)網(wǎng)絡(luò)神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本組成單元。神經(jīng)元排成一列，每一列相互連接起來(lái)，便構(gòu)成神經(jīng)網(wǎng)絡(luò)。如果某一層的每一個(gè)神經(jīng)元都與上一層的所有神經(jīng)元相連，便是全連接神經(jīng)網(wǎng)絡(luò)。全連接神經(jīng)網(wǎng)絡(luò)全連接神經(jīng)網(wǎng)絡(luò)全連接神經(jīng)網(wǎng)絡(luò)3層網(wǎng)絡(luò)的作用如下?！褫斎雽樱贺?fù)責(zé)接收輸入數(shù)據(jù)。輸入層節(jié)點(diǎn)的個(gè)數(shù)就是特征的數(shù)量，又稱維度?！耠[藏層：用于增加網(wǎng)絡(luò)深度和復(fù)雜度。隱藏層的層數(shù)和維度是可以調(diào)整的，層數(shù)和維度越多，模型的能力越強(qiáng)，參數(shù)量也會(huì)增加?！褫敵鰧樱贺?fù)責(zé)輸出神經(jīng)網(wǎng)絡(luò)的計(jì)算結(jié)果。輸出層的維度是固定的，如果是回歸問(wèn)題，則維度量為1；如果是分類問(wèn)題，則維度量為類別標(biāo)簽的數(shù)量。激活函數(shù)常用的激活函數(shù)包括Sigmoid()函數(shù)、ReLU()函數(shù)和Softmax()函數(shù)。Sigmoid()函數(shù)是常見(jiàn)的激活函數(shù)，取值范圍為(0,1)，用于隱藏層的神經(jīng)元輸出。它可以將一個(gè)實(shí)數(shù)x映射到(0,1)上，用來(lái)處理二分類任務(wù)。其數(shù)學(xué)公式如下。激活函數(shù)ReLU()函數(shù)也是激活函數(shù)的一種，也能夠提高神經(jīng)網(wǎng)絡(luò)的非線性表達(dá)能力。ReLU()函數(shù)的數(shù)學(xué)公式如下，其中，x為輸入的數(shù)據(jù)。激活函數(shù)Softmax()函數(shù)可以把輸入處理成0～1的數(shù)值，并且能夠使輸出歸一化，使輸出值總和為1。Softmax()函數(shù)的數(shù)學(xué)公式如下。Softmax()函數(shù)的意義在于為每個(gè)輸出分類的結(jié)果都賦予一個(gè)概率值，用于表示屬于每個(gè)類別的可能性。因此Softmax()函數(shù)也多用于處理多分類任務(wù)中的神經(jīng)網(wǎng)絡(luò)的輸出。交叉熵?fù)p失函數(shù)使用激活函數(shù)將神經(jīng)網(wǎng)絡(luò)的輸入經(jīng)過(guò)非線性轉(zhuǎn)化得到預(yù)測(cè)結(jié)果后，需要度量該預(yù)測(cè)結(jié)果與實(shí)際結(jié)果之間的差距。在分類任務(wù)中，常用交叉熵?fù)p失函數(shù)來(lái)度量預(yù)測(cè)結(jié)果與實(shí)際結(jié)果之間的差距。當(dāng)數(shù)據(jù)的種類為N時(shí)，交叉熵?fù)p失函數(shù)C的數(shù)學(xué)公式如下，其中i表示數(shù)據(jù)的標(biāo)號(hào)。交叉熵?fù)p失函數(shù)y為期望輸出，a為神經(jīng)元的真實(shí)輸出。交叉熵?fù)p失函數(shù)具有如下兩個(gè)性質(zhì)?！窠徊骒?fù)p失函數(shù)的結(jié)果總為負(fù)數(shù)?！癞?dāng)期望輸出y與真實(shí)輸出a接近的時(shí)候，交叉熵?fù)p失函數(shù)的結(jié)果接近0。比如“期望輸出y為0，真實(shí)輸出a接近0”或“期望輸出y為1，真實(shí)輸出a接近1”時(shí)，交叉熵?fù)p失函數(shù)的結(jié)果都接近0。手寫(xiě)數(shù)字識(shí)別數(shù)據(jù)集

本項(xiàng)目將通過(guò)手寫(xiě)數(shù)字識(shí)別分類任務(wù)，來(lái)詳細(xì)介紹全連接神經(jīng)網(wǎng)絡(luò)的搭建與訓(xùn)練方法。手寫(xiě)數(shù)字識(shí)別數(shù)據(jù)集是由6萬(wàn)個(gè)訓(xùn)練圖像和1萬(wàn)個(gè)測(cè)試圖像構(gòu)成的，每個(gè)圖像都是28像素×28像素的灰度圖像，這些圖像中是由不同的人手寫(xiě)的0～9的數(shù)字。

下圖展示了手寫(xiě)數(shù)字圖像在計(jì)算機(jī)中的存儲(chǔ)方式。存儲(chǔ)在計(jì)算機(jī)中的圖像并不是傳統(tǒng)意義上的PNG或者JPG格式的圖像，這些圖像會(huì)被處理成很簡(jiǎn)易的二維數(shù)組。而在數(shù)據(jù)集中，每個(gè)圖像的二維數(shù)組通過(guò)一個(gè)長(zhǎng)度為784的向量來(lái)表示。手寫(xiě)數(shù)字識(shí)別數(shù)據(jù)集手寫(xiě)數(shù)字圖像在計(jì)算機(jī)中的存儲(chǔ)方式全連接神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法●數(shù)據(jù)準(zhǔn)備：讀取數(shù)據(jù)，并預(yù)處理數(shù)據(jù)?！衲Ｐ驮O(shè)計(jì)：設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，包括模型的輸入、輸出和架構(gòu)?！裼?xùn)練配置：設(shè)定模型優(yōu)化器，并配置計(jì)算資源。●模型訓(xùn)練：循環(huán)調(diào)用訓(xùn)練過(guò)程，每輪均包括前向傳播、調(diào)用損失函數(shù)和后向傳播這3個(gè)步驟?！衲Ｐ蛻?yīng)用：保存訓(xùn)練好的模型，以備預(yù)測(cè)時(shí)調(diào)用。通過(guò)全連接神經(jīng)網(wǎng)絡(luò)識(shí)別手寫(xiě)數(shù)字實(shí)施思路01導(dǎo)入項(xiàng)目所需庫(kù)02加載手寫(xiě)數(shù)字識(shí)別數(shù)據(jù)集03設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)04訓(xùn)練配置及模型訓(xùn)練05應(yīng)用模型通過(guò)全連接神經(jīng)網(wǎng)絡(luò)識(shí)別手寫(xiě)數(shù)字實(shí)施步驟步驟1：導(dǎo)入項(xiàng)目所需庫(kù)步驟2：加載手寫(xiě)數(shù)字識(shí)別數(shù)據(jù)集圖像數(shù)據(jù)形狀和對(duì)應(yīng)數(shù)據(jù)為:(28,28)圖像標(biāo)簽形狀和對(duì)應(yīng)數(shù)據(jù)為:(1,)[5]輸出第一個(gè)批次的第一個(gè)圖像，對(duì)應(yīng)標(biāo)簽數(shù)字為[5]數(shù)字“5”圖像通過(guò)全連接神經(jīng)網(wǎng)絡(luò)識(shí)別手寫(xiě)數(shù)字步驟3：設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化后的全連接神經(jīng)網(wǎng)絡(luò)