《大數(shù)據(jù)挖掘與統(tǒng)計(jì)機(jī)器學(xué)習(xí)（第3版）》 課件8-神經(jīng)網(wǎng)絡(luò)

1第8章神經(jīng)網(wǎng)絡(luò)什么是神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetworks,ANN),簡稱神經(jīng)網(wǎng)絡(luò)(NeuralNetworks,NN),是通過對(duì)人腦神經(jīng)系統(tǒng)的抽象和建模而得到的簡化模型,是一種具有大量連接的并行分布式處理器,由簡單的處理單元組成,具有通過學(xué)習(xí)來獲取知識(shí)并解決問題的能力。[Kohonen,1988]經(jīng)典定義：“神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)”

。2神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史人工神經(jīng)網(wǎng)絡(luò)研究的先驅(qū)是生理學(xué)家McCulloch和數(shù)學(xué)家Pitts,他們于1943年在神經(jīng)細(xì)胞生物學(xué)基礎(chǔ)上,從信息處理的角度出發(fā)提出形式神經(jīng)元的數(shù)學(xué)模型(McCullochandPitts,1943),開啟了神經(jīng)網(wǎng)絡(luò)研究的第一個(gè)熱潮。1969年人工智能創(chuàng)始人之一Minsky和計(jì)算機(jī)科學(xué)家Papert在《感知器》一書(MinskyandPapert,1969)中指出感知器模型的缺陷,由此引發(fā)了神經(jīng)網(wǎng)絡(luò)發(fā)展史上長達(dá)十幾年的低潮時(shí)期。1982年美國物理學(xué)家Hopfield提出了一種新穎的Hopfield網(wǎng)絡(luò)模型(Hopfield,1982;Hopfield,1984),標(biāo)志著人工神經(jīng)網(wǎng)絡(luò)研究工作的復(fù)蘇。3神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史以Rumelhart和McClelland為首的科學(xué)家小組于1986年發(fā)表了《并行分布式處理》一書的前兩卷(Rumelhart,1986),該書介紹了并行分布式處理網(wǎng)絡(luò)思想,發(fā)展了適用于多層神經(jīng)網(wǎng)絡(luò)模型的反向傳播算法,

由此引發(fā)了神經(jīng)網(wǎng)絡(luò)研究的第二個(gè)熱潮。人工神經(jīng)網(wǎng)絡(luò)的巨大計(jì)算量和優(yōu)化求解難度使其只能包含少量隱層,從而限制了在實(shí)際應(yīng)用中的性能，且伴隨以支持向量機(jī)和組合算法為代表的統(tǒng)計(jì)學(xué)習(xí)的興起,

90年代起,人工神經(jīng)網(wǎng)絡(luò)又逐漸受到冷落。2006年，多倫多大學(xué)計(jì)算機(jī)系教授GeoffreyHinton和其學(xué)生Salakhutdinov在《科學(xué)》上發(fā)表文章(HintonandSalakhutdinov),認(rèn)為多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力,而對(duì)于多隱層神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的困難,可以通過“逐層初始化”（通過無監(jiān)督學(xué)習(xí)實(shí)現(xiàn)）來有效克服,由此Hinton開啟了深度學(xué)習(xí)的研究浪潮。4深度學(xué)習(xí)與淺層學(xué)習(xí)當(dāng)前多數(shù)分類、回歸等學(xué)習(xí)方法為淺層結(jié)構(gòu)算法，其局限性在于有限樣本和計(jì)算單元情況下對(duì)復(fù)雜函數(shù)的表示能力有限，針對(duì)復(fù)雜分類問題其泛化能力受到一定制約。深度學(xué)習(xí)可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強(qiáng)大的從少數(shù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。5神經(jīng)網(wǎng)絡(luò)用來做什么就領(lǐng)域而言，目前,深度學(xué)習(xí)引起學(xué)術(shù)界與工業(yè)界的廣泛關(guān)注,在語音識(shí)別、圖像識(shí)別、自然語言處理等領(lǐng)域獲得了突破性進(jìn)展。就問題本身而言，神經(jīng)網(wǎng)絡(luò)可以解決解決回歸問題（如：函數(shù)逼近）,也可以分析分類問題?；貧w問題中,輸出神經(jīng)元的個(gè)數(shù)是1,數(shù)據(jù)類型是連續(xù)型;分類問題可以分為二分類問題和多分類問題。二分類問題中,輸出神經(jīng)元的個(gè)數(shù)是1,數(shù)據(jù)類型是0—1型(或正負(fù)1)。多分類問題有兩種處理方式：第一種處理方式(也是最基本的處理方式)是多輸出型；第二種處理方式是單輸出（多網(wǎng)絡(luò)）的形式。68.1前饋神經(jīng)網(wǎng)絡(luò)8.1.1生物神經(jīng)元神經(jīng)元分為樹突、突觸、細(xì)胞體和軸突。樹突為神經(jīng)元的輸入通道，其功能是將其它神經(jīng)元的動(dòng)作電位傳遞至細(xì)胞體。其它神經(jīng)元的動(dòng)作電位借由位于樹突分支上的多個(gè)突觸傳遞至樹突上。神經(jīng)細(xì)胞可以視為有兩種狀態(tài)的機(jī)器，激活時(shí)為“是”，不激活時(shí)為“否”。神經(jīng)細(xì)胞的狀態(tài)取決于從其他神經(jīng)細(xì)胞接收到的信號(hào)量，以及突觸的性質(zhì)（抑制或加強(qiáng)）。當(dāng)信號(hào)量超過某個(gè)閾值時(shí)，細(xì)胞體就會(huì)被激活，產(chǎn)生電脈沖。電脈沖沿著軸突并通過突觸傳遞到其它神經(jīng)元。78.1.2人工神經(jīng)元同理，人工神經(jīng)元模型就是為了模擬上述過程，典型的神經(jīng)元模型如下：每個(gè)神經(jīng)元都接受來自其它神經(jīng)元的輸入信號(hào)，每個(gè)信號(hào)都通過一個(gè)帶有權(quán)重的連接傳遞，神經(jīng)元把這些信號(hào)加起來得到一個(gè)總輸入值，然后將總輸入值與神經(jīng)元的閾值(偏置)進(jìn)行對(duì)比（模擬閾值電位），然后通過一個(gè)“激活函數(shù)”處理得到最終的輸出（模擬細(xì)胞的激活），這個(gè)輸出又會(huì)作為之后神經(jīng)元的輸入一層一層傳遞下去。8引入激活函數(shù)的目的是在模型中引入非線性。如果沒有激活函數(shù)，無論神經(jīng)網(wǎng)絡(luò)有多少層，最終都是一個(gè)線性映射，單純的線性映射無法解決線性不可分問題，只相當(dāng)于有一個(gè)隱層的神經(jīng)網(wǎng)絡(luò)。引入非線性可以讓模型解決線性不可分問題。（隨著網(wǎng)絡(luò)的加深，通過非線性映射可以構(gòu)造出各種有趣的函數(shù)）（1）閾值函數(shù)——階躍函數(shù)和對(duì)稱型階躍函數(shù)（2）分段線性函數(shù)——分段線性函數(shù)和對(duì)稱型分段線性函數(shù)

（3）sigmoid函數(shù)

（4）雙曲正切函數(shù)tanh（5）ReLu函數(shù)（RectifiedLinearUnits）

9閾值函數(shù)——階躍函數(shù)和對(duì)稱型階躍函數(shù)這是最簡單的激活函數(shù),其輸出狀態(tài)取二值(1與0,或+1與-1),用來簡單模擬生物神經(jīng)元“興奮—抑制”的二值狀態(tài)。10分段線性函數(shù)——分段線性函數(shù)和對(duì)稱型分段線性函數(shù)自變量與函數(shù)值在一定區(qū)間內(nèi)滿足線性關(guān)系11sigmoid函數(shù)具有非線性、單調(diào)性和可微性,在線性和非線性之間具有較好的平衡,是人工神經(jīng)網(wǎng)絡(luò)中最常用的一種激活函數(shù)。兩個(gè)缺點(diǎn)：均值不是0；梯度消失——后面解釋當(dāng)z值非常大或者非常小時(shí)，sigmoid函數(shù)的導(dǎo)數(shù)g′(z)將接近0。這會(huì)導(dǎo)致權(quán)重W的梯度將接近0，使得梯度更新十分緩慢，即梯度消失。12雙曲正切函數(shù)tanhtanh函數(shù)在0附近很短一段區(qū)域內(nèi)可看做線性的。由于tanh函數(shù)均值為0，因此彌補(bǔ)了sigmoid函數(shù)均值為0.5的缺點(diǎn)。缺點(diǎn)：梯度消失——后面解釋當(dāng)z很大或很小時(shí),g′(z)接近于0,會(huì)導(dǎo)致梯度很小,權(quán)重更新非常緩慢，即梯度消失問題13ReLu函數(shù)彌補(bǔ)了sigmoid函數(shù)以及tanh函數(shù)的梯度消失問題。計(jì)算速度要快很多。ReLU函數(shù)只有線性關(guān)系，不管是前向傳播還是反向傳播，都比sigmod和tanh要快很多。（sigmod和tanh要計(jì)算指數(shù)，計(jì)算速度會(huì)比較慢）缺點(diǎn)：當(dāng)輸入為負(fù)時(shí)，梯度為0，會(huì)產(chǎn)生梯度消失問題。148.1.3前饋網(wǎng)絡(luò)在前向網(wǎng)絡(luò)中神經(jīng)元是分層排列的,每層神經(jīng)元只接收來自前一層神經(jīng)元的輸入信號(hào),并將信號(hào)處理后輸出至下一層,網(wǎng)絡(luò)中沒有任何回環(huán)和反饋。前向網(wǎng)絡(luò)的層按功能可分為輸入層、隱層和輸出層。輸入層負(fù)責(zé)接收來自外界的輸入信號(hào),并傳遞給下一層神經(jīng)元。隱層可沒有,也可有一層或多層,它是神經(jīng)網(wǎng)絡(luò)的內(nèi)部處理層,負(fù)責(zé)進(jìn)行信息變換。輸出層負(fù)責(zé)向外界輸出信息處理結(jié)果。

“5—3—4—2”結(jié)構(gòu)的網(wǎng)絡(luò)15神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)有監(jiān)督學(xué)習(xí)(有導(dǎo)師學(xué)習(xí))：在這種學(xué)習(xí)方式下,神經(jīng)網(wǎng)絡(luò)外部需提供訓(xùn)練向量(樣例)和相應(yīng)的期望輸出(目標(biāo)值)。神經(jīng)網(wǎng)絡(luò)計(jì)算當(dāng)前參數(shù)下訓(xùn)練向量的實(shí)際輸出與期望輸出間的差值,根據(jù)差值的方向和大小,依據(jù)一定的規(guī)則調(diào)整網(wǎng)絡(luò)權(quán)值,使調(diào)整后的網(wǎng)絡(luò)的實(shí)際輸出結(jié)果與期望輸出更接近。這種調(diào)整逐步反復(fù)進(jìn)行,直至系統(tǒng)達(dá)到穩(wěn)定狀態(tài)。無監(jiān)督學(xué)習(xí)(無導(dǎo)師學(xué)習(xí))。在這種學(xué)習(xí)方式下,神經(jīng)網(wǎng)絡(luò)外部只提供訓(xùn)練向量,而不提供期望輸出。此時(shí)神經(jīng)網(wǎng)絡(luò)按照自己的結(jié)構(gòu)和學(xué)習(xí)規(guī)則,通過調(diào)節(jié)網(wǎng)絡(luò)的參數(shù)來挖掘數(shù)據(jù)中可能存在的模式或統(tǒng)計(jì)規(guī)律,使神經(jīng)網(wǎng)絡(luò)的輸入與輸出之間的模式或統(tǒng)計(jì)規(guī)律與之盡可能一致。強(qiáng)化學(xué)習(xí)。強(qiáng)化學(xué)習(xí)介于有監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)之間,強(qiáng)化學(xué)習(xí)中環(huán)境對(duì)訓(xùn)練向量給出評(píng)價(jià)信息(獎(jiǎng)勵(lì)或懲罰),而不給出具體的期望輸出。然后神經(jīng)網(wǎng)絡(luò)通過強(qiáng)化受激勵(lì)的動(dòng)作來調(diào)節(jié)網(wǎng)絡(luò)參數(shù),改善自身性能。

168.2反向傳播（BP）算法BP算法由信號(hào)的正向傳播與誤差的反向傳播兩部分組成。在正向傳播過程中,信號(hào)由網(wǎng)絡(luò)的輸入層經(jīng)隱層逐層傳遞至輸出層,得到網(wǎng)絡(luò)的實(shí)際輸出。若此實(shí)際輸出與期望輸出不一致,則轉(zhuǎn)入誤差反向傳播階段。在反向傳播階段,將輸出誤差經(jīng)由隱層向輸入層反傳,從而獲得各層各單元的誤差信號(hào),依此信號(hào)對(duì)網(wǎng)絡(luò)連接權(quán)值進(jìn)行調(diào)整。反復(fù)執(zhí)行信號(hào)的正向傳播與誤差的反向傳播