第34章_BP神經(jīng)網(wǎng)絡(luò)模型

1、BP神經(jīng)網(wǎng)絡(luò)模型第1節(jié)基本原理簡(jiǎn)介近年來(lái)全球性的神經(jīng)網(wǎng)絡(luò)研究熱潮的再度興起，不僅僅是因?yàn)樯窠?jīng)科學(xué)本身取得了巨大的進(jìn)展更主要的原因在于發(fā)展新型計(jì)算機(jī)和人工智能新途徑的迫切需要迄今為止在需要人工智能解決的許多問(wèn)題中，人腦遠(yuǎn)比計(jì)算機(jī)聰明的多，要開(kāi)創(chuàng)具有智能的新一代計(jì)算機(jī)，就必須了解人腦，研究人腦神經(jīng)網(wǎng)絡(luò)系統(tǒng)信息處理的機(jī)制另一方面，基于神經(jīng)科學(xué)研究成果基礎(chǔ)上發(fā)展出來(lái)的人工神經(jīng)網(wǎng)絡(luò)模型，反映了人腦功能的若干基本特性，開(kāi)拓了神經(jīng)網(wǎng)絡(luò)用于計(jì)算機(jī)的新途徑它對(duì)傳統(tǒng)的計(jì)算機(jī)結(jié)構(gòu)和人工智能是一個(gè)有力的挑戰(zhàn)，引起了各方面專家的極大關(guān)注目前，已發(fā)展了幾十種神經(jīng)網(wǎng)絡(luò)，例如Hopficld模型，F(xiàn)eldmann等的連接型網(wǎng)

2、絡(luò)模型，Hinton等的玻爾茨曼機(jī)模型，以及Rumelhart等的多層感知機(jī)模型和Kohonen的自組織網(wǎng)絡(luò)模型等等。在這眾多神經(jīng)網(wǎng)絡(luò)模型中，應(yīng)用最廣泛的是多層感知機(jī)神經(jīng)網(wǎng)絡(luò)。多層感知機(jī)神經(jīng)網(wǎng)絡(luò)的研究始于50年代，但一直進(jìn)展不大。直到1985年，Rumelhart等人提出了誤差反向傳遞學(xué)習(xí)算法（即BP算），實(shí)現(xiàn)了Minsky的多層網(wǎng)絡(luò)設(shè)想，如圖34-1所示。輸入層中間層輸出層圖34-1 BP神經(jīng)網(wǎng)絡(luò)模型BP算法不僅有輸入層節(jié)點(diǎn)、輸出層節(jié)點(diǎn)，還可有1個(gè)或多個(gè)隱含層節(jié)點(diǎn)。對(duì)于輸入信號(hào)，要先向前傳播到隱含層節(jié)點(diǎn)，經(jīng)作用函數(shù)后，再把隱節(jié)點(diǎn)的輸出信號(hào)傳播到輸出節(jié)點(diǎn)，最后給出輸出結(jié)果。節(jié)點(diǎn)的作用的激勵(lì)函數(shù)

3、通常選取S型函數(shù)，如式中Q為調(diào)整激勵(lì)函數(shù)形式的Sigmoid參數(shù)。該算法的學(xué)習(xí)過(guò)程由正向傳播和反向傳播組成。在正向傳播過(guò)程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層。每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果輸出層得不到期望的輸出，則轉(zhuǎn)入反向傳播，將誤差信號(hào)沿原來(lái)的連接通道返回，通過(guò)修改各層神經(jīng)元的權(quán)值，使得誤差信號(hào)最小。社含有n個(gè)節(jié)點(diǎn)的任意網(wǎng)絡(luò)，各節(jié)點(diǎn)之特性為Sigmoid型。為簡(jiǎn)便起見(jiàn)，指定網(wǎng)絡(luò)只有一個(gè)輸出y,任一節(jié)點(diǎn)i的輸出為Oi,并設(shè)有N個(gè)樣本(xk,yk)(k=1,2,3,N),對(duì)某一輸入xk，網(wǎng)絡(luò)輸出為yk節(jié)點(diǎn)i的輸出為Oik,節(jié)點(diǎn)j的輸入為netjk=并將誤差函數(shù)定

4、義為其中為網(wǎng)絡(luò)實(shí)際輸出，定義Ek=(yk-k)2, ,且Ojk=f(netjk),于是=jkOik當(dāng)j為輸出節(jié)點(diǎn)時(shí)，Ojk=k(34.1)若j不是輸出節(jié)點(diǎn)，則有 因此(34.2)如果有M層，而第M層僅含輸出節(jié)點(diǎn)，第一層為輸入節(jié)點(diǎn)，則BP算法為：第一步，選取初始權(quán)值W。第二步，重復(fù)下述過(guò)程直至收斂：a. a. 對(duì)于k=1到Na). 計(jì)算Oik, netjk和k的值(正向過(guò)程)；b). 對(duì)各層從M到2反向計(jì)算(反向過(guò)程)；b. b. 對(duì)同一節(jié)點(diǎn)jM,由式(34.1)和(34.2)計(jì)算jk;第三步，修正權(quán)值，Wij=Wij-, 0, 其中。從上述BP算法可以看出，BP模型把一組樣本的I/O問(wèn)題變?yōu)橐?/p>

5、個(gè)非線性優(yōu)化問(wèn)題，它使用的是優(yōu)化中最普通的梯度下降法。如果把神經(jīng)網(wǎng)絡(luò)的看成輸入到輸出的映射，則這個(gè)映射是一個(gè)高度非線性映射。設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)重點(diǎn)在于模型的構(gòu)成和學(xué)習(xí)算法的選擇。一般來(lái)說(shuō)，結(jié)構(gòu)是根據(jù)所研究領(lǐng)域及要解決的問(wèn)題確定的。通過(guò)對(duì)所研究問(wèn)題的大量歷史資料數(shù)據(jù)的分析及目前的神經(jīng)網(wǎng)絡(luò)理論發(fā)展水平，建立合適的模型，并針對(duì)所選的模型采用相應(yīng)的學(xué)習(xí)算法，在網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中，不斷地調(diào)整網(wǎng)絡(luò)參數(shù)，直到輸出結(jié)果滿足要求。第2節(jié) DPS數(shù)據(jù)處理系統(tǒng)操作步驟 在DPS數(shù)據(jù)處理系統(tǒng)中，數(shù)據(jù)的輸入格式是一行為一個(gè)樣本，一列為一個(gè)變量，輸入節(jié)點(diǎn)(變量)放在數(shù)據(jù)塊左邊，輸出節(jié)點(diǎn)(因變量)放在數(shù)據(jù)塊右邊，輸完一個(gè)

6、樣本后再輸下一個(gè)樣本。對(duì)于待識(shí)別(預(yù)測(cè))的樣本，不需要輸入輸出變量(因變量)。數(shù)據(jù)輸入完畢后，定義數(shù)據(jù)塊。如有待識(shí)別(預(yù)測(cè))的樣本，可在按下Ctrl鍵時(shí)再按下并拖動(dòng)鼠標(biāo)，將待預(yù)測(cè)的樣本定義成第二個(gè)數(shù)據(jù)塊。在進(jìn)行神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)之前，系統(tǒng)出現(xiàn)如圖34-2所示界面，這時(shí)需要你提供若干參數(shù)，各個(gè)參數(shù)取值的基本原則是：圖34-2 神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置對(duì)話框網(wǎng)絡(luò)參數(shù)確定原則：、網(wǎng)絡(luò)節(jié)點(diǎn) 網(wǎng)絡(luò)輸入層神經(jīng)元節(jié)點(diǎn)數(shù)就是系統(tǒng)的特征因子(自變量)個(gè)數(shù)，輸出層神經(jīng)元節(jié)點(diǎn)數(shù)就是系統(tǒng)目標(biāo)個(gè)數(shù)。隱層節(jié)點(diǎn)選按經(jīng)驗(yàn)選取，一般設(shè)為輸入層節(jié)點(diǎn)數(shù)的75%。如果輸入層有7個(gè)節(jié)點(diǎn)，輸出層1個(gè)節(jié)點(diǎn)，那么隱含層可暫設(shè)為5個(gè)節(jié)點(diǎn)，即構(gòu)成一個(gè)7-5-

7、1 BP神經(jīng)網(wǎng)絡(luò)模型。在系統(tǒng)訓(xùn)練時(shí)，實(shí)際還要對(duì)不同的隱層節(jié)點(diǎn)數(shù)4、5、6個(gè)分別進(jìn)行比較，最后確定出最合理的網(wǎng)絡(luò)結(jié)構(gòu)。、初始權(quán)值的確定 初始權(quán)值是不應(yīng)完全相等的一組值。已經(jīng)證明，即便確定 存在一組互不相等的使系統(tǒng)誤差更小的權(quán)值，如果所設(shè)Wji的的初始值彼此相等，它們將在學(xué)習(xí)過(guò)程中始終保持相等。故而，在程序中，我們?cè)O(shè)計(jì)了一個(gè)隨機(jī)發(fā)生器程序，產(chǎn)生一組一0.5+0.5的隨機(jī)數(shù)，作為網(wǎng)絡(luò)的初始權(quán)值。、最小訓(xùn)練速率 在經(jīng)典的BP算法中，訓(xùn)練速率是由經(jīng)驗(yàn)確定，訓(xùn)練速率越大，權(quán)重變化越大，收斂越快；但訓(xùn)練速率過(guò)大，會(huì)引起系統(tǒng)的振蕩，因此，訓(xùn)練速率在不導(dǎo)致振蕩前提下，越大越好。因此，在DPS中，訓(xùn)練速率會(huì)自動(dòng)調(diào)

8、整，并盡可能取大一些的值，但用戶可規(guī)定一個(gè)最小訓(xùn)練速率。該值一般取0.9。、動(dòng)態(tài)參數(shù) 動(dòng)態(tài)系數(shù)的選擇也是經(jīng)驗(yàn)性的，一般取0.6 0.8。、允許誤差 一般取0.0010.00001，當(dāng)2次迭代結(jié)果的誤差小于該值時(shí)，系統(tǒng)結(jié)束迭代計(jì)算，給出結(jié)果。、迭代次數(shù) 一般取1000次。由于神經(jīng)網(wǎng)絡(luò)計(jì)算并不能保證在各種參數(shù)配置下迭代結(jié)果收斂，當(dāng)?shù)Y(jié)果不收斂時(shí)，允許最大的迭代次數(shù)。、Sigmoid參數(shù) 該參數(shù)調(diào)整神經(jīng)元激勵(lì)函數(shù)形式，一般取0.91.0之間。、數(shù)據(jù)轉(zhuǎn)換。在DPS系統(tǒng)中，允許對(duì)輸入層各個(gè)節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，提供轉(zhuǎn)換的方法有取對(duì)數(shù)、平方根轉(zhuǎn)換和數(shù)據(jù)標(biāo)準(zhǔn)化轉(zhuǎn)換。第3節(jié) 應(yīng)用實(shí)例原始數(shù)據(jù)整理：本例令影響棉

9、鈴蟲(chóng)發(fā)生程度的因素指標(biāo)集序列由麥田1代幼蟲(chóng)量、6月降水天數(shù)、5月積溫、6月積溫、5月相對(duì)濕度、5月降水天數(shù)和6月相對(duì)濕度等7個(gè)生態(tài)和生物因子構(gòu)成，2代發(fā)生程度按照全國(guó)植保站頒發(fā)的標(biāo)準(zhǔn)分級(jí)，并規(guī)定發(fā)生程度重、偏重、中、偏輕和輕分別賦值為0.9、0.7、0.5、0.3和0.1。在建立BP神經(jīng)網(wǎng)絡(luò)模型時(shí)，取19821991年的數(shù)據(jù)作為學(xué)習(xí)、訓(xùn)練樣本，1992和1993年為試報(bào)樣本。在數(shù)據(jù)分析前將數(shù)據(jù)定義成數(shù)據(jù)塊(圖34-3).圖34-3 BP神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)編輯定義示意圖進(jìn)入BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí), 系統(tǒng)會(huì)顯示如圖34-3所示界面。這時(shí)我們可按網(wǎng)絡(luò)的結(jié)構(gòu)確定網(wǎng)絡(luò)的參數(shù)，這里輸入層節(jié)點(diǎn)數(shù)為7，隱含層1層，最小

10、訓(xùn)練速率取0.1，動(dòng)態(tài)參數(shù)0.7，Sigmoid參數(shù)為0.9, 允許誤差0.00001，最大迭代次數(shù)1000。并對(duì)輸入節(jié)點(diǎn)的數(shù)值進(jìn)行標(biāo)準(zhǔn)化轉(zhuǎn)換。點(diǎn)擊“確定”按鈕后，設(shè)置隱層的神經(jīng)元個(gè)數(shù)(這里取5)，運(yùn)行1000次后，樣本誤差等于0.。輸出各個(gè)神經(jīng)元(節(jié)點(diǎn))的權(quán)值如下：第1隱含層各個(gè)結(jié)點(diǎn)的權(quán)重矩陣1.2.3.0.5.1.2.1.5.3.1.2.5.0.0.1.3.2.3.0.1.1.0.0.2.1.1.0.1.2.1.4.1.0.2.輸出層各個(gè)結(jié)點(diǎn)的權(quán)重矩陣-1.-4.-5.5.4.學(xué)習(xí)樣本的擬合值和實(shí)際觀察值, 以及根據(jù)BP神經(jīng)網(wǎng)絡(luò)對(duì)1992、1993年2代棉鈴蟲(chóng)發(fā)生程度進(jìn)行預(yù)測(cè)的結(jié)果與實(shí)際值的比較列于表34-1。結(jié)果表明，應(yīng)用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行二代棉鈴蟲(chóng)發(fā)生程度預(yù)測(cè),不僅歷史資料的擬合率高,而且2年的試報(bào)結(jié)果與實(shí)際完全符合。表34-1 神經(jīng)元網(wǎng)絡(luò)訓(xùn)練結(jié)果及試報(bào)結(jié)果年份198219831984198519861987訓(xùn)練輸出值0.69970.89520.50040.30000.89000.1