《人工智能技術(shù)基礎(chǔ)》課件 第2章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

人工智能技術(shù)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)第二章

人的大腦中有近860億個(gè)神經(jīng)元，每個(gè)神經(jīng)元都與其它103~105個(gè)神經(jīng)元相連，組成巨大的復(fù)雜的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，支配人的行為和思想活動(dòng)。受到大腦神經(jīng)系統(tǒng)的啟發(fā)，人工智能的研究人員通過(guò)建立神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型來(lái)近似模擬大腦的神經(jīng)系統(tǒng)，這類(lèi)數(shù)學(xué)模型稱(chēng)為人工神經(jīng)網(wǎng)絡(luò)。

含有多隱層的深度神經(jīng)網(wǎng)絡(luò)已成為當(dāng)今人工智能的核心技術(shù)。在許多任務(wù)中，例如聽(tīng)覺(jué)、視覺(jué)和自然語(yǔ)言理解上，該網(wǎng)絡(luò)已取得重大突破，達(dá)到甚至超越普通人的水平，解決了人工智能應(yīng)用中的很多疑難問(wèn)題。

本章從生物神經(jīng)網(wǎng)絡(luò)出發(fā)，介紹人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的核心算法-誤差反向傳播算法以及訓(xùn)練神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理和常用技巧。2神經(jīng)網(wǎng)絡(luò)基礎(chǔ)簡(jiǎn)介學(xué)習(xí)目標(biāo)2神經(jīng)網(wǎng)絡(luò)基礎(chǔ)1.了解生物神經(jīng)元與生物神經(jīng)網(wǎng)絡(luò)；2.掌握人工神經(jīng)元模型，以及以人工神經(jīng)元模型為基礎(chǔ)的人工神經(jīng)網(wǎng)絡(luò)的類(lèi)型；3.學(xué)習(xí)前向神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)；4.學(xué)習(xí)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的誤差反向傳播算法；5.了解神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方面處理數(shù)據(jù)和訓(xùn)練模型的技巧。目錄Contents2.12.22.32.42.5人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)

生物神經(jīng)元與生物神經(jīng)網(wǎng)絡(luò)前向神經(jīng)網(wǎng)絡(luò)2.6反向傳播算法處理數(shù)據(jù)和訓(xùn)練模型的技巧本章小結(jié) 01生物神經(jīng)元與生物神經(jīng)網(wǎng)絡(luò)2.1生物神經(jīng)元與生物神經(jīng)網(wǎng)絡(luò)2.1.1生物神經(jīng)元圖2-1生物神經(jīng)元

圖2-2突觸結(jié)構(gòu)2.1生物神經(jīng)元與生物神經(jīng)網(wǎng)絡(luò)2.1.2生物神經(jīng)網(wǎng)絡(luò)

生物神經(jīng)網(wǎng)絡(luò)(BiologicalNeuralNetwork)是由許多生物神經(jīng)元互相連接，以拓?fù)浣Y(jié)構(gòu)形成的網(wǎng)絡(luò)結(jié)構(gòu)。在生物神經(jīng)網(wǎng)絡(luò)中，大腦的記憶主要源自于無(wú)數(shù)神經(jīng)元之間的突觸聯(lián)系。這些突觸聯(lián)系大部分是由生物出生后受到的外界刺激而生長(zhǎng)起來(lái)的。外界刺激會(huì)不斷地激活神經(jīng)元，導(dǎo)致各個(gè)神經(jīng)元之間的連接強(qiáng)度發(fā)生相應(yīng)變化。正因?yàn)槿绱?，大腦才有學(xué)習(xí)和存儲(chǔ)信息的能力。

這種生物學(xué)上的奇妙設(shè)計(jì)也啟發(fā)了人工智能研究者，人工神經(jīng)網(wǎng)絡(luò)就是對(duì)生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的一種抽象、簡(jiǎn)化和模擬。02人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)2.2人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)2.2.1人工神經(jīng)元

人工神經(jīng)元(ArtificialNeuron)是組成人工神經(jīng)網(wǎng)絡(luò)的基本單元。1943年，McCulloch和Pitts根據(jù)生物神經(jīng)元的基本特性，提出了M-P模型，是當(dāng)前人工神經(jīng)網(wǎng)絡(luò)中人工神經(jīng)元模型。圖2-3人工神經(jīng)元2.2人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)2.2.1人工神經(jīng)元2.2人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)2.2.2激活函數(shù)

最初引入激活函數(shù)(ActivationFunction)的目的是反映生物神經(jīng)元的抑制和興奮兩種狀態(tài)，隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的進(jìn)步，激活函數(shù)不再僅采用階躍函數(shù)，而是發(fā)展出了Sigmoid函數(shù)和ReLU函數(shù)等多種形式，從而提高了人工神經(jīng)網(wǎng)絡(luò)的可訓(xùn)練性和非線(xiàn)性表示能力，使得人工神經(jīng)網(wǎng)絡(luò)在解決特征提取、分類(lèi)和預(yù)測(cè)等諸多實(shí)際問(wèn)題上取得非常好的效果。常用的激活函數(shù)有以下幾種：常見(jiàn)的激活函數(shù)Sigmoid函數(shù)

Tanh函數(shù)

ReLU函數(shù)

LeakyReLU函數(shù)

Maxout單元

激活函數(shù)

Sigmoid函數(shù)Tanh激活函數(shù)是Sigmoid函數(shù)的變形

圖2-4Sigmoid和Tanh激活函數(shù)激活函數(shù)ReLU激活函數(shù)

LeakyReLU激活函數(shù)圖2-5ReLU函數(shù)和Leaky

ReLU函數(shù)激活函數(shù)GeLU函數(shù)是某些函數(shù)（比如雙曲正切函數(shù)

tanh）與近似數(shù)值的組合。圖2-6GeLU函數(shù)曲線(xiàn)2.2人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)2.2.3人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是由大量人工神經(jīng)元按一定規(guī)則連接構(gòu)建成的網(wǎng)絡(luò)結(jié)構(gòu)，是一種模仿生物神經(jīng)網(wǎng)絡(luò)行為特征具有分布式并行信息處理能力的數(shù)學(xué)模型。

人工神經(jīng)網(wǎng)絡(luò)主要分為以下3種類(lèi)型：（a）前饋型網(wǎng)絡(luò)

（b）反饋型網(wǎng)絡(luò)

（c）自組織神經(jīng)網(wǎng)絡(luò)圖2-7三種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)03前向神經(jīng)網(wǎng)絡(luò)2.3前向神經(jīng)網(wǎng)絡(luò)

前向神經(jīng)網(wǎng)絡(luò)（FeedforwardNeuralNetwork，F(xiàn)NN）是最早提出的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，是最常見(jiàn)和常用的前饋型網(wǎng)絡(luò)，具有很強(qiáng)的擬合能力，常見(jiàn)的連續(xù)非線(xiàn)性函數(shù)都可以用前向神經(jīng)網(wǎng)絡(luò)來(lái)逼近。

多層前向神經(jīng)網(wǎng)絡(luò)又稱(chēng)多層感知機(jī)(Multi-LayerPerceptron，MLP)，是由輸入層、輸出層和多個(gè)隱層組成。圖2-8多層前向神經(jīng)網(wǎng)絡(luò)2.3前向神經(jīng)網(wǎng)絡(luò)

多層前向網(wǎng)絡(luò)可以看作輸入到輸出的映射函數(shù)：

。評(píng)判一個(gè)模型的好壞，應(yīng)判斷這個(gè)模型是否與真實(shí)數(shù)據(jù)保持一致。04反向傳播算法2.4反向傳播算法反向傳播（BP）算法，即誤差反向傳播（ErrorBack-Propagation），是用于訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的常見(jiàn)方法。最早由ArthurE.Bryson等人在1969年提出。1974年Werbos在哈佛大學(xué)的博士論文中也研究了誤差反向傳播。Parker在1985年發(fā)表的技術(shù)報(bào)告也論述了誤差反向傳播算法。1986年Rumelhart等發(fā)表了誤差反向傳播算法，有力的推動(dòng)了人工神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用。2.4反向傳播算法2.4.1鏈?zhǔn)椒▌t2.4反向傳播算法2.4.1鏈?zhǔn)椒▌t2.4反向傳播算法2.4.1鏈?zhǔn)椒▌t2.4反向傳播算法2.4.2梯度下降法2.4反向傳播算法2.4.3反向傳播算法第n次迭代，第k個(gè)神經(jīng)元的期望輸出圖2-8誤差反向傳播示意圖2.4反向傳播算法

傳統(tǒng)的誤差反向傳播有兩種實(shí)現(xiàn)方式：

第一種方法稱(chēng)為單樣本修正法，即針對(duì)每一個(gè)送入網(wǎng)絡(luò)的訓(xùn)練樣本，通過(guò)網(wǎng)絡(luò)前向傳播計(jì)算得到網(wǎng)絡(luò)輸出與期望輸出的誤差來(lái)更新權(quán)重；第一種方法，針對(duì)每個(gè)樣本都更新參數(shù)，計(jì)算量大，穩(wěn)定性差。

第二種方法稱(chēng)為批量梯度下降法，即每一次迭代時(shí)使用所有樣本進(jìn)行梯度的更新。第二種方法每次更新參數(shù)時(shí)都需要遍歷訓(xùn)練集中的所有樣本，計(jì)算量比第一種方法小，穩(wěn)定性更好。2.4.4反向傳播算法2.4反向傳播算法2.4.4反向傳播算法的改進(jìn)算法1.動(dòng)量法(Momentum)2.4反向傳播算法2.4.4反向傳播算法的改進(jìn)算法2.自適應(yīng)學(xué)習(xí)率法在BP算法中，學(xué)習(xí)率

的作用在于控制權(quán)重更新的幅度非常重要。學(xué)習(xí)率

越大則網(wǎng)絡(luò)收斂的越快。但學(xué)習(xí)率也并非越大越好，因?yàn)閷W(xué)習(xí)率取值過(guò)大有可能造成網(wǎng)絡(luò)無(wú)法收斂。學(xué)習(xí)率

過(guò)小，雖然可以有效避免網(wǎng)絡(luò)振蕩或發(fā)散，會(huì)導(dǎo)致訓(xùn)練網(wǎng)絡(luò)時(shí)的收斂速度變慢1）Adagrad算法2.4反向傳播算法2.4.4反向傳播算法的改進(jìn)算法2.自適應(yīng)學(xué)習(xí)率法2）RMSprop算法2.4反向傳播算法2.4.4反向傳播算法的改進(jìn)算法2.自適應(yīng)學(xué)習(xí)率法3）Adam算法Adam算法是一種綜合型的學(xué)習(xí)方法，可以看成是RMSprop和動(dòng)量法結(jié)合的學(xué)習(xí)方法，可以達(dá)到比RMSprop更好的效果。在實(shí)際訓(xùn)練中，一般將Adam作為默認(rèn)算法。2.4反向傳播算法2.4.4反向傳播算法的改進(jìn)算法3.隨機(jī)梯度下降法（SGD）

隨機(jī)梯度下降法是梯度下降法的一個(gè)變形，是針對(duì)目前大數(shù)據(jù)量情況下有效訓(xùn)練神經(jīng)網(wǎng)絡(luò)的一種BP算法的優(yōu)化方法。與常規(guī)的梯度下降法不同的是，要累積一個(gè)批次（Batchsize）的數(shù)據(jù)后再計(jì)算梯度，進(jìn)行參數(shù)更新。采用隨機(jī)梯度下降法可以降低運(yùn)算時(shí)間，且在極大程度上避免了計(jì)算時(shí)容易陷入局部極值的問(wèn)題。05處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.1數(shù)據(jù)預(yù)處理-數(shù)據(jù)標(biāo)準(zhǔn)化（1）Z-Score標(biāo)準(zhǔn)化2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.1數(shù)據(jù)預(yù)處理-數(shù)據(jù)標(biāo)準(zhǔn)化1.Z-Score標(biāo)準(zhǔn)化（a）

（b）

（c）圖2-9Z-Score標(biāo)準(zhǔn)化2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.2數(shù)據(jù)預(yù)處理-數(shù)據(jù)標(biāo)準(zhǔn)化最小最大標(biāo)準(zhǔn)化2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.2權(quán)重初始化1.隨機(jī)數(shù)初始化隨機(jī)數(shù)權(quán)重初始化的實(shí)現(xiàn)方法是生成符合標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)數(shù)，并適當(dāng)縮?。ǔ艘砸粋€(gè)小于1的數(shù)）。公式如下所示。其中

為生成的符合標(biāo)準(zhǔn)正態(tài)分布的權(quán)重向量。隨機(jī)數(shù)權(quán)重初始可以保證每個(gè)人工神經(jīng)元的權(quán)重向量都被初始化為一個(gè)服從高斯分布的隨機(jī)向量。2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.2權(quán)重初始化2.校準(zhǔn)方差2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.2權(quán)重初始化2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.2權(quán)重初始化2）Xavier初始化2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.2權(quán)重初始化3）He初始化2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.2權(quán)重初始化數(shù)據(jù)增強(qiáng)解決過(guò)擬合最有效的方法就是盡可能的擴(kuò)充數(shù)據(jù)集，但大幅度的增加數(shù)據(jù)是比較困難的。因此可以通過(guò)一定規(guī)則擴(kuò)充數(shù)據(jù)，例如采用平移、翻轉(zhuǎn)、縮放、切割等手段成倍擴(kuò)充數(shù)據(jù)庫(kù)。網(wǎng)絡(luò)結(jié)構(gòu)

過(guò)擬合主要是由于數(shù)據(jù)太少以及模型太復(fù)雜兩個(gè)原因造成的，可以通過(guò)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，減少網(wǎng)絡(luò)層數(shù)、神經(jīng)元的個(gè)數(shù)來(lái)限制網(wǎng)絡(luò)的擬合能力。訓(xùn)練時(shí)間

在初始化網(wǎng)絡(luò)時(shí)，一般都是初始為較小的權(quán)值。訓(xùn)練時(shí)間越長(zhǎng)，部分網(wǎng)絡(luò)權(quán)值可能越大。如果在合適的時(shí)間停止訓(xùn)練，就可以將網(wǎng)絡(luò)的能力限制在一定范圍內(nèi)。

2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.3防止過(guò)擬合的常用方法正則化Dropout

Dropout方法由Hinton等人提出，該方法在單個(gè)訓(xùn)練批次中將一半左右的隱層節(jié)點(diǎn)值設(shè)為0，使得網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)在每次訓(xùn)練時(shí)都與不同的節(jié)點(diǎn)相連，削弱人工神