《機(jī)器學(xué)習(xí)與Python實(shí)踐》課件-09-人工神經(jīng)網(wǎng)絡(luò)

本章目錄01

發(fā)展歷史02感知機(jī)算法03BP算法1.人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史01

發(fā)展歷史02感知機(jī)算法03BP算法1.人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史發(fā)展歷史1943年，心理學(xué)家McCulloch和邏輯學(xué)家Pitts建立神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型，MP模型神經(jīng)元數(shù)學(xué)模型神經(jīng)元生理結(jié)構(gòu)輸入層輸出層隱藏層1.人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史1960年代，人工網(wǎng)絡(luò)得到了進(jìn)一步地發(fā)展感知機(jī)和自適應(yīng)線性元件等被提出。M.Minsky仔細(xì)分析了以感知機(jī)為代表的神經(jīng)網(wǎng)絡(luò)的局限性，指出了感知機(jī)不能解決非線性問題，這極大影響了神經(jīng)網(wǎng)絡(luò)的研究。單層感知機(jī)的數(shù)學(xué)模型......

1.人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史1982年，加州理工學(xué)院J.J.Hopfield教授提出了Hopfield神經(jīng)網(wǎng)絡(luò)模型，引入了計(jì)算能量概念，給出了網(wǎng)絡(luò)穩(wěn)定性判斷。離散Hopfield神經(jīng)網(wǎng)絡(luò)模型……1.人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史1986年，Rumelhart和McClelland為首的科學(xué)家提出了BP（BackPropagation）神經(jīng)網(wǎng)絡(luò)的概念，是一種按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，目前是應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)模型輸入層輸出層隱層..................1.人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史極限學(xué)習(xí)機(jī)(ExtremeLearningMachine,ELM)，是由黃廣斌提出的用于處理單隱層神經(jīng)網(wǎng)絡(luò)的算法優(yōu)點(diǎn)：1.學(xué)習(xí)精度有保證2.學(xué)習(xí)速度快

11

1個(gè)輸出層神經(jīng)元

2.感知器算法01

發(fā)展歷史02感知機(jī)算法03BP算法2.感知機(jī)算法

需要學(xué)習(xí)的目標(biāo)函數(shù)是

......輸入權(quán)重偏置求和求和輸出

2.感知機(jī)算法

2.感知機(jī)算法算法演示分類問題

單層感知機(jī)只能處理線性問題，無法處理非線性問題??！2.感知器算法01

發(fā)展歷史02感知機(jī)算法03BP算法3.BP算法輸入層輸出層隱層..................

隱層神經(jīng)元激活函數(shù)神經(jīng)網(wǎng)絡(luò)模型3.BP算法常見激活函數(shù)選擇：Sigmoid函數(shù)Tanh函數(shù)ReLU函數(shù)LeakyReLU函數(shù)激活函數(shù)3.BP算法最常用Sigmoid函數(shù)的優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：1.函數(shù)處處連續(xù)，便于求導(dǎo)2.可將函數(shù)值的范圍壓縮至[0,1]，可用于壓縮數(shù)據(jù)，且幅度不變3.便于前向傳輸缺點(diǎn)：1.在趨向無窮的地方，函數(shù)值變化很小，容易出現(xiàn)梯度消失，不利于深層神經(jīng)

的反饋傳輸2.冪函數(shù)的梯度計(jì)算復(fù)雜3.收斂速度比較慢3.BP算法主要步驟

第一步，對樣本明確預(yù)測輸出值與損失函數(shù)第二步，明確參數(shù)調(diào)整策略第三步，計(jì)算輸出層閾值的梯度第四步，計(jì)算隱層到輸出層連接權(quán)值的梯度第五步，計(jì)算隱層閾值的梯度第六步，計(jì)算輸入層到隱層連接權(quán)值的梯度第七步，引出歸納結(jié)論3.BP算法第一步，明確損失函數(shù)

輸入層輸出層隱層..................

預(yù)測均方誤差

3.BP算法算法步驟

第二步，明確參數(shù)調(diào)整策略輸入層輸出層隱層..................3.BP算法

利用鏈?zhǔn)椒▌t，可得

其中，所以，更新公式

輸入層輸出層隱層..................

對閾值求導(dǎo)

3.BP算法

利用鏈?zhǔn)椒▌t，可得

其中，可得綜上可得

輸入層輸出層隱層............

......

對權(quán)重求導(dǎo)誤差

3.BP算法

利用鏈?zhǔn)椒▌t，可得

其中，所以有令更新公式輸入層輸出層隱層..................

對閾值求導(dǎo)

誤差

3.BP算法

輸入層輸出層隱層..................

對權(quán)重求導(dǎo)

誤差

3.BP算法第七步，引出結(jié)論

3.BP算法第七步，引出結(jié)論只要知道上一層神經(jīng)元的閾值梯度，即可計(jì)算當(dāng)前層神經(jīng)元閾值梯度和連接權(quán)值梯度。隨后可以計(jì)算輸出層神經(jīng)元閾值梯度，從而計(jì)算出全網(wǎng)絡(luò)的神經(jīng)元閾值和連接權(quán)值梯度。最終達(dá)到訓(xùn)練網(wǎng)絡(luò)的目的。3.BP算法算法流程回顧：1.將輸入樣本提供給輸入層神經(jīng)元2.逐層將信號(hào)前傳至隱層、輸出層，產(chǎn)生輸出層的結(jié)果3.計(jì)算輸出層誤差4.將誤差反向傳播至隱藏層神經(jīng)元5.根據(jù)隱層神經(jīng)元對連接權(quán)重和閾值進(jìn)行調(diào)整6.上述過程循環(huán)進(jìn)行，直至達(dá)到某些停止條件為止輸入層輸出層隱層..................信號(hào)前傳誤差后傳3.BP算法優(yōu)點(diǎn)：1.能夠自適應(yīng)、自主學(xué)習(xí)。BP可以根據(jù)預(yù)設(shè)參數(shù)更新規(guī)則，通過不斷調(diào)整神經(jīng)網(wǎng)絡(luò)中的參數(shù)，已達(dá)到最符合期望的輸出。2.擁有很強(qiáng)的非線性映射能力。3.誤差的反向傳播采用的是成熟的鏈?zhǔn)椒▌t，推導(dǎo)過程嚴(yán)謹(jǐn)且科學(xué)。4.算法泛化能力很強(qiáng)。缺點(diǎn)：1.BP神經(jīng)網(wǎng)絡(luò)參數(shù)眾多，每次迭代需要更新較多數(shù)量的閾值和權(quán)值，故收斂速度比較慢。2.網(wǎng)絡(luò)中隱層含有的節(jié)點(diǎn)數(shù)目沒有明確的準(zhǔn)則，需要不斷設(shè)置節(jié)點(diǎn)數(shù)字試湊，根據(jù)網(wǎng)絡(luò)誤差結(jié)果最終確定隱層節(jié)點(diǎn)個(gè)數(shù)3.BP算法是一種速度較快的梯度下降算法，容易陷入局部極小值的問題。參考文獻(xiàn)

[1]李航.統(tǒng)計(jì)學(xué)習(xí)方法[M].北京:清華大學(xué)出版社,2019.[2]周志華.機(jī)器學(xué)習(xí)[M].北京:清華大學(xué)出版社,2016.[3]AndrewNg.MachineLearning[EB/OL].StanfordUniversity,2014./course/ml[4]CHRISTOPHERM.BISHOP.PatternRecognitionandMachineLearning[M].NewYork:Springer,2006.[5]MINSKY,MARVIN,PAPERT,etal.Perceptrons?:AnIntroductiontoComputationalGeometry[J].TheMITPress,1969.[6]DERumelhart,HintonGE,WilliamsRJ.LearningRepresentationsbyBackPropagatingErrors[J].Nature,1986,323(6088):533-536.[7]BishopCM.NeuralNetworksforPatternRecognition[J].AdvancesinComputers,1993,3