人工智能算法與實踐-第15章 卷積神經(jīng)網(wǎng)絡

15.1算法概述15.2構(gòu)造過程15.3實踐應用目錄第十五章卷積神經(jīng)網(wǎng)絡人工智能算法與實踐—1

—

0115.1算法概述PartTHREE起源與應用結(jié)構(gòu)特點核心概念—2

—

15.1.1起源與應用第十五章卷積神經(jīng)網(wǎng)絡—3

—

本章在全連接神經(jīng)網(wǎng)絡基礎(chǔ)上引入卷積神經(jīng)網(wǎng)絡的介紹，使讀者進一步學習卷積神經(jīng)網(wǎng)絡的實現(xiàn)流程和特殊結(jié)構(gòu)；通過對

Cifar10數(shù)據(jù)集進行實驗操作，訓練卷積神經(jīng)網(wǎng)絡模型進行圖片分類，幫助讀者更深入了解該算法。卷積神經(jīng)網(wǎng)絡是深度學習的核心算法之一，通過輸入文字、圖像等數(shù)據(jù)信息，自動訓練優(yōu)化網(wǎng)絡模型結(jié)構(gòu)，實現(xiàn)分類、預測等功能，經(jīng)常與圖像識別、情感分析、負荷辨識等應用緊密結(jié)合，實現(xiàn)“智慧分析”、“智能識別”等智能應用。15.1.1起源與應用—4

—

卷積神經(jīng)網(wǎng)絡的起源與應用1998年，YannLecun提出了LeNet-5模型。2012年，ImageNet圖像識別大賽中Hinton組提出Alexnet，

引入了深層結(jié)構(gòu)和Dropout方法。2013年，Lecun等提出一個Dropconnect，同時顏水成等則提出了NetworkinNetwork（NIN）。2015年，MSRA的任少卿、何凱明、孫劍等把Identity加入到神經(jīng)網(wǎng)絡。20世紀60年代初，DavidHubel

和TorstenWiesel等提出了感受場的概念。1980年，日本科學家福島邦彥提出卷積神經(jīng)網(wǎng)絡的認知控制和深度學習中的注意力。卷積神經(jīng)網(wǎng)絡的模型和參數(shù)調(diào)優(yōu)便隨著人工智能的火速發(fā)展而不斷進化和更新，逐漸應用到我們的生活，尤其是醫(yī)療、自然語言處理以及計算機視覺等領(lǐng)域。ResNeXt、Residual-Attention、DenseNet、SENet等也各有貢獻。第十五章卷積神經(jīng)網(wǎng)絡15.1.2結(jié)構(gòu)特點—5

—

局部連接1卷積神經(jīng)網(wǎng)絡的結(jié)構(gòu)體現(xiàn)了局部連接特性，尤其是在進行圖像識別的時候不需要對整個圖像進行處理，只需要關(guān)注圖像中某些特殊的區(qū)域。全連接神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡的神經(jīng)元接收信息情況如圖所示。第十五章卷積神經(jīng)網(wǎng)絡—6

—

權(quán)重共享2卷積神經(jīng)網(wǎng)絡的部分神經(jīng)元參數(shù)權(quán)重相同，都為相同的w1,

w2,

…,

wn，這也是卷積神經(jīng)網(wǎng)絡模型訓練速度較快的原因。權(quán)值共享詳細說明就是當給一張輸入圖片時，用一個過濾器去掃這張圖，而過濾器里面的數(shù)就叫權(quán)重，由于這張圖每個位置是被同樣的過濾器掃的，因此每次掃的時候權(quán)重是一樣的，也就是權(quán)重共享。在卷積神經(jīng)網(wǎng)絡處理圖像時，對圖像像素進行下采樣，井不會對物體進行改變，雖然下采樣之后的圖像尺寸變小了，但是并不影響對圖像中物體的識別。使用卷積神經(jīng)網(wǎng)絡的目的：特征提取，降低過擬合。下采樣315.1.2結(jié)構(gòu)特點15.1.3核心概念—7

—

卷積計算1卷積神經(jīng)網(wǎng)絡的計算過程如圖所示，通過一個3×3的矩陣對應輸入圖像進行卷積運算，即對矩陣內(nèi)積的結(jié)果進行相加，最后對應得到一個輸出，以此類推。如圖所示，其具體計算過程為，每次卷積計算的結(jié)果會作為輸出特征圖像的一個點，而特征圖像在進行卷積后輸出新的特征圖像。卷積矩陣會對應在輸入的特征圖像上進行滑動，其滑動的大小稱為步數(shù)，一般是沿著從左到右、從上到下這樣的次序。第十五章卷積神經(jīng)網(wǎng)絡感受野（ReceptiveField）：卷積神經(jīng)網(wǎng)絡各輸出特征圖像中的每個像素點，在原始輸入圖像上映射區(qū)域的大小。左圖所示是一個微型的CNN結(jié)構(gòu)，它表示的是兩個3×3的卷積核進行卷積成為了一個5×5的卷積核。15.1.3核心概念感受野2如圖所示，其中第2層左下角的值，是第1層左下中3×3區(qū)域的值經(jīng)過卷積，也就是乘加運算計算出來的，即第2層左下角位置的感受野是第1層左下區(qū)域。第3層唯一值，是第2層所有3×3區(qū)域卷積得到的，即第3層唯一位置的感受野是第2層所有3×3區(qū)域。以此類推。15.1.3核心概念—8

—

第十五章卷積神經(jīng)網(wǎng)絡：批標準化前，第k個卷積核，輸出特征圖中第i個像素點；標準化：使數(shù)據(jù)符合均值為0，標準差為1的分布。批標準化：對一小批數(shù)據(jù)（Batch），做標準化處理。批標準化后，第k個卷積核的輸出特征圖像（FeatureMap）中第

i個像素點為：批標準化4：批標準化前，第k個卷積核，

batch張輸出特征圖中所有像素點平均值。：批標準化前，第k個卷積核，batch張輸出特征圖中所有像素點標準差。15.1.3核心概念15.1.3核心概念第十五章卷積神經(jīng)網(wǎng)絡池化5池化用于減少特征數(shù)據(jù)量，最大池化可提取圖片紋理，均值池化可保留背景特征。對卷積結(jié)果進行池化，分為兩種形式即最大池化和均值池化，如圖所示。15.1.3核心概念15.1.3核心概念第十五章卷積神經(jīng)網(wǎng)絡舍棄6在神經(jīng)網(wǎng)絡訓練時，將一部分神經(jīng)元按照一定概率從神經(jīng)網(wǎng)絡中暫時舍棄。神經(jīng)網(wǎng)絡使用時，被舍棄的神經(jīng)元恢復連接。這一過程讀者可自行選擇是否使用，因為當構(gòu)建網(wǎng)絡模型存在過擬合的風險時，需要對其進行正則化的相關(guān)操作。過擬合現(xiàn)象通常是在網(wǎng)絡模型太大，訓練時間過長，或者沒有足夠多的數(shù)據(jù)時發(fā)生。Dropout技術(shù)確實提升了模型的性能，一般是添加到卷積神經(jīng)網(wǎng)絡模型的全連接層中，如圖所示。15.1.3核心概念15.1.3核心概念第十五章卷積神經(jīng)網(wǎng)絡0215.2構(gòu)造過程PartTHREE激活函數(shù)損失函數(shù)參數(shù)調(diào)優(yōu)—12

—

激活函數(shù)名稱激活函數(shù)圖像原函數(shù)導函數(shù)LogisticsTanhArcTanReLUPReLU15.2.1激活函數(shù)第十五章卷積神經(jīng)網(wǎng)絡損失函數(shù)（loss）：用以計算預測值與真實值之間的差距，模型訓練的過程就是通過不斷對神經(jīng)網(wǎng)絡優(yōu)化使得損失函數(shù)減小，損失函數(shù)越小則與預測結(jié)果越相近，效果越好。損失函數(shù)用來評價模型的預測值和真實值不一樣的程度，損失函數(shù)越好，通常模型的性能越好的模型用。在這里介紹較為常用的幾種損失函數(shù)。0-1損失是指預測值和真實值不相等時為1，否則為0。該損失函數(shù)的計算方式如式所示。0-1損失函數(shù)直接對應分類判斷錯誤的個數(shù)，感知機就是用的這種損失函數(shù)，但是由于條件太過嚴格，因此放寬條件，即|Y-f(x)|<T時認為相等，如式所示。0-1損失函數(shù)絕對值損失函數(shù)絕對值損失函數(shù)是計算預測值與真實值的差的絕對值，如式所示。15.2.2損失函數(shù)第十五章卷積神經(jīng)網(wǎng)絡log

對數(shù)損失函數(shù)的標準形式如式所示。log

對數(shù)損失函數(shù)能非常好地表征概率，尤其是在多分類場景下，求解置信度問題上非常合適；但其健壯性不強，相比Hinge

損失函數(shù)對噪聲更敏感。邏輯回歸的損失函數(shù)就是log

對數(shù)損失函數(shù)。log對數(shù)損失函數(shù)平方損失函數(shù)平方損失函數(shù)的標準形式如式所示，經(jīng)常應用于回歸問題。指數(shù)損失函數(shù)指數(shù)損失函數(shù)的特點是對離群點、噪聲比較敏感，經(jīng)常應用于AdaBoost算法中，其標準形式為：15.2.2損失函數(shù)第十五章卷積神經(jīng)網(wǎng)絡Hinge損失函數(shù)標準形式為：其特點是，Hinge損失函數(shù)表示如果被分類正確，損失為0，否則就為1-yf(x)，SVM就是使用這個損失函數(shù)；一般的f(x)是預測值，在-1到1之間，y

是目標值（-1或1）。其含義是，f(x)的值在-1和+1之間。y

是目標值（-1或1

）。其含義是，f(x)

的值在-1和+1之間就可以了，并不鼓勵f(x)>1，即并不鼓勵分類器過度自信，讓某個正確分類的樣本離分割線超過1

并不會有任何獎勵，從而使分類器可以更專注于整體的誤差。Hinge損失函數(shù)感知損失函數(shù)感知損失函數(shù)是Hinge

損失函數(shù)的一個變種，Hinge

損失函數(shù)對判定邊界附近的點（正確端）懲罰力度很高。而感知損失函數(shù)只要樣本的判定類別正確，不管其判定邊界的距離。它比Hinge

損失函數(shù)簡單，因其不考慮最大邊界樣本點的處理問題，所以模型的泛化能力沒Hinge

損失函數(shù)強，其標準形式為：15.2.2損失函數(shù)第十五章卷積神經(jīng)網(wǎng)絡交叉熵損失函數(shù)交叉熵損失函數(shù)本質(zhì)上也是一種對數(shù)似然函數(shù)，可用于二分類和多分類任務中。其具有“誤差大的時候，權(quán)重更新快；誤差小的時候，權(quán)重更新慢”的良好性質(zhì)。當使用Sigmoid

作為激活函數(shù)的時候，常用交叉熵損失函數(shù)而不用均方誤差損失函數(shù)，因為它可以完美解決平方損失函數(shù)權(quán)重更新過慢的問題。其公式為：其中，x

表示樣本，y

表示實際的標簽，a

表示預測的輸出，n

表示樣本總數(shù)量。二分類問題中時，loss

函數(shù)（輸入數(shù)據(jù)是softmax

或者Sigmoid

函數(shù)的輸出）為：當應用于多分類問題中時，loss

函數(shù)（輸入數(shù)據(jù)是softmax

或者Sigmoid

函數(shù)的輸出）為：15.2.2損失函數(shù)第十五章卷積神經(jīng)網(wǎng)絡梯度下降算法1梯度下降算法的原理如圖所示，在網(wǎng)絡初始化時會自動生成隨機的權(quán)重

w

與偏置b，根據(jù)損失函數(shù)計算得到損失值。根據(jù)梯度調(diào)節(jié)權(quán)重和偏置。通過損失函數(shù)計算出其實值與預測值之間的差距之后，便需要對網(wǎng)絡模型進行調(diào)整，最終目標是實現(xiàn)預測數(shù)據(jù)與真實數(shù)據(jù)的貼近。其關(guān)鍵是通過對網(wǎng)絡模型初始化的參數(shù)進行調(diào)整，使得總損失最小。本結(jié)節(jié)將簡單介紹兩種參數(shù)學習方法：梯度下降與反向傳播算法。15.2.3參數(shù)調(diào)優(yōu)第十五章卷積神經(jīng)網(wǎng)絡調(diào)節(jié)神經(jīng)網(wǎng)絡內(nèi)的參數(shù)：其取值使得總損失值越來越小。計算梯度值：若梯度值為負則增加w，反之減小w：

其中代表“學習率”，學習率設(shè)置過大有可能會跳過總損失最小點，若是過小則可能停留在局域內(nèi)損失最小。梯度下降算法115.2.3參數(shù)調(diào)優(yōu)第十五章卷積神經(jīng)網(wǎng)絡計算：；求解：，圖中的值等于從a到e的路徑上的偏導值的乘積。，的值等于從b到e路徑（b-c-e）上的偏導值的乘積加上路徑（b-d-e）上的偏導值的乘積。反向傳播顧名思義是從模型結(jié)尾倒著反饋到前端，其過程遵循鏈式法則，從后向前實現(xiàn)參數(shù)的不斷更新。反向傳播算法215.2.3參數(shù)調(diào)優(yōu)第十五章卷積神經(jīng)網(wǎng)絡若自下而上求解，很多路徑被重復訪向。比如圖中，求需要計算路徑a-c-e，求都需要計算路徑b-c-e和b-d-e，路徑c-e被訪問了兩次。自上而下：從最上層的節(jié)點e開始，對于e的下一層的所有子節(jié)點，將e的值（e是最頂點，值=1)乘以到某個節(jié)點路徑上的偏導值，井將結(jié)果發(fā)送到該子節(jié)點中。該子節(jié)點的值被設(shè)為“發(fā)送過來的值”，繼使此過程向下傳播。第一層：節(jié)點e初始值為1。第二層：節(jié)點e向節(jié)點c發(fā)送1*2,節(jié)點e向節(jié)點得d發(fā)送1*3,節(jié)點c值為2.節(jié)點d值為3。第三層：節(jié)點c向a發(fā)送2*1，節(jié)點c向b發(fā)送2*1,節(jié)點d向b發(fā)送3*1，節(jié)點a值為2。節(jié)點b值為為2*1+3*1=5。即頂點e對a的偏導數(shù)為2，頂點e對b的偏導數(shù)為5。反向傳播算法215.2.3參數(shù)調(diào)優(yōu)第十五章卷積神經(jīng)網(wǎng)絡0315.3實踐應用PartTHREECifar10數(shù)據(jù)集模型訓練模型預測—22

—

第十五章卷積神經(jīng)網(wǎng)絡本次使用的數(shù)據(jù)集為Cifar10數(shù)據(jù)集，其提供5萬張32×32像素點的十分類彩色圖片和標簽用于訓練；提供1萬張32×32