智能控制理論及應(yīng)用 課件 第8章-BP神經(jīng)網(wǎng)絡(luò)

主要內(nèi)容8.1BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過程8.3BP神經(jīng)網(wǎng)絡(luò)設(shè)計中的幾個問題8.4反向傳播算法的改進(jìn)算法8.5BP神經(jīng)網(wǎng)絡(luò)仿真示例多層前向BP網(wǎng)絡(luò)MultilayerFeedforwardNeuralNetwork1980年代中期，由Rumelhart等人提出。RumelhartDE,HintonGE,WilliamsRJ.Learningrepresentationsbyback-propagatingerrors[J].nature,1986,323(6088):533-536.Rumelhart,D.E.,Hinton,G.E.,&Williams,R.J.(1985).

Learninginternalrepresentationsbyerrorpropagation

(No.ICS-8506).CaliforniaUnivSanDiegoLaJollaInstforCognitiveScience.DavidEverettRumelhart

(1942-2011)第8章8.1BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)8.1BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)……輸入層隱含層輸出層…XYx1xny1ym全連接

n個輸入

m個輸出包含至少一個隱含層x2第8章8.1BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)8.1BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)BP神經(jīng)網(wǎng)絡(luò)一般使用sigmoid函數(shù)或線性函數(shù)作為激勵函數(shù)。根據(jù)輸出值是否包含負(fù)值，sigmoid函數(shù)又可分為logsig和tansig兩種。兩種函數(shù)的表達(dá)式分別如下：第8章8.1BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過程第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過程一

個

示

例第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過程前向計算隱含層輸出輸出層輸出(1)前向計算第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過程誤差計算(2)損失計算第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過程(3)反向傳播第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過程(3)反向傳播第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過程(3)反向傳播廣義誤差第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過程反向傳播(3)反向傳播第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過程(3)反向傳播第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過程BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過程8.3BP神經(jīng)網(wǎng)絡(luò)設(shè)計中的幾個問題1.網(wǎng)絡(luò)結(jié)構(gòu)的選擇2.學(xué)習(xí)算法的收斂性3.網(wǎng)絡(luò)的泛化能力第8章8.3BP神經(jīng)網(wǎng)絡(luò)設(shè)計中的幾個問題1.網(wǎng)絡(luò)結(jié)構(gòu)的選擇【例8.1】用BP神經(jīng)網(wǎng)絡(luò)逼近如下函數(shù)：1-3-1BP網(wǎng)絡(luò)第8章8.3BP神經(jīng)網(wǎng)絡(luò)設(shè)計中的幾個問題網(wǎng)絡(luò)結(jié)構(gòu)的選擇1-S-1BP網(wǎng)絡(luò)一個隱含層采用sigmoid型神經(jīng)元，輸出層采用線性神經(jīng)元的1-S-1網(wǎng)絡(luò)，其響應(yīng)曲線由S個sigmoid函數(shù)疊加構(gòu)成。如果要逼近一個具有大量拐點的函數(shù)，就需要隱含層中有足夠的神經(jīng)元。第8章8.3BP神經(jīng)網(wǎng)絡(luò)設(shè)計中的幾個問題隨著函數(shù)復(fù)雜程度的增加，需要增加隱層節(jié)點數(shù)以保證網(wǎng)絡(luò)收斂。2.學(xué)習(xí)算法的收斂性【例8.2】用BP神經(jīng)網(wǎng)絡(luò)逼近如下函數(shù)。1-3-1BP網(wǎng)絡(luò)第8章8.3BP神經(jīng)網(wǎng)絡(luò)設(shè)計中的幾個問題采用隨機函數(shù)初始化權(quán)值和偏置量，運行若干次，選取其中4次的仿真結(jié)果如右圖所示。圖中黑色曲線為原曲線，紅色曲線為網(wǎng)絡(luò)的擬合曲線。對于上述函數(shù)，1-3-1的網(wǎng)絡(luò)結(jié)構(gòu)已經(jīng)足夠，但有時依然無法準(zhǔn)確逼近該函數(shù)，這是因為每次運行權(quán)值和偏置的初始值不同，導(dǎo)致均方誤差的收斂結(jié)果不同，從一個初始條件開始算法收斂到全局最小點，而從另一個初始條件開始算法卻可能收斂到局部極小點。3.網(wǎng)絡(luò)的泛化能力泛化能力是指模型對未知數(shù)據(jù)的預(yù)測能力給定11個樣本一個網(wǎng)絡(luò)的泛化能力強，它包含的參數(shù)個數(shù)應(yīng)該小于訓(xùn)練集中數(shù)據(jù)點的個數(shù)。因此，在實際建模問題中，我們需要選擇能充分表示訓(xùn)練集的最簡單的網(wǎng)絡(luò)，如果小規(guī)模的網(wǎng)絡(luò)能夠勝任就不需要用大規(guī)模的網(wǎng)絡(luò)。第8章8.3BP神經(jīng)網(wǎng)絡(luò)設(shè)計中的幾個問題【例8.3】假設(shè)對于要擬合的理想函數(shù)我們只能通過在處得到的11個采樣點作為訓(xùn)練樣本進(jìn)行訓(xùn)練。分別采用1-1-1和1-12-1的網(wǎng)絡(luò)（激勵函數(shù)同前）進(jìn)行訓(xùn)練，訓(xùn)練結(jié)果如下圖所示。8.4反向傳播算法的改進(jìn)算法8.4.1動量BP法8.4.2可變學(xué)習(xí)率BP法8.4.3LM(Levenberg-Marquardt)算法第8章8.4反向傳播算法的改進(jìn)算法8.4.1動量BP法第8章8.4反向傳播算法的改進(jìn)算法稱作動量因子標(biāo)準(zhǔn)GDBP算法動量BP算法8.4.2可變學(xué)習(xí)率BP法第8章8.4反向傳播算法的改進(jìn)算法8.4.3LM(Levenberg-Marquardt)算法第8章8.4反向傳播算法的改進(jìn)算法LM算法根據(jù)下式修正網(wǎng)絡(luò)權(quán)值：J為性能函數(shù)對網(wǎng)絡(luò)權(quán)值一階導(dǎo)數(shù)的雅克比矩陣1.模式分類8.5BP神經(jīng)網(wǎng)絡(luò)仿真示例第8章8.5BP神經(jīng)網(wǎng)絡(luò)仿真示例BP神經(jīng)網(wǎng)絡(luò)選用單隱層，隱層節(jié)點數(shù)為2，MATLAB程序代碼