精品BP神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用

1、bp神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用1 人工神經(jīng)網(wǎng)絡(luò)簡介1.1生物神經(jīng)元模型神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元（神經(jīng)細(xì)胞），它是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。據(jù)神經(jīng)生物學(xué)家研究的結(jié)果表明，人的大腦一般有個(gè)神經(jīng)元。每個(gè)神經(jīng)元都由一個(gè)細(xì)胞體，一個(gè)連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支樹突組成。軸突的功能是將本神經(jīng)元的輸出信號(hào)（興奮）傳遞給別的神經(jīng)元。其末端的許多神經(jīng)末梢使得興奮可以同時(shí)送給多個(gè)神經(jīng)元。樹突的功能是接受來自其它神經(jīng)元的興奮。神經(jīng)元細(xì)胞體將接受到的所有信號(hào)進(jìn)行簡單地處理后由軸突輸出。神經(jīng)元的樹突與另外的神經(jīng)元的神經(jīng)末梢相連的部分稱為突觸。1.2人工神經(jīng)元模型神經(jīng)網(wǎng)絡(luò)是由許多相互連接的

2、處理單元組成。這些處理單元通常線性排列成組，稱為層。每一個(gè)處理單元有許多輸入量，而對(duì)每一個(gè)輸入量都相應(yīng)有一個(gè)相關(guān)聯(lián)的權(quán)重。處理單元將輸入量經(jīng)過加權(quán)求和，并通過傳遞函數(shù)的作用得到輸出量，再傳給下一層的神經(jīng)元。目前人們提出的神經(jīng)元模型已有很多，其中提出最早且影響最大的是1943年心理學(xué)家mcculloch和數(shù)學(xué)家pitts在分析總結(jié)神經(jīng)元基本特性的基礎(chǔ)上首先提出的m-p模型，它是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。 （1.1）式(1.1)中,qj為神經(jīng)元單元的偏置（閾值），為連接權(quán)系數(shù)（對(duì)于激發(fā)狀態(tài)，取正值，對(duì)于抑制狀態(tài)，取負(fù)值），n為輸入信號(hào)數(shù)目，為神經(jīng)元輸出，t為時(shí)間，f()為輸出變換函數(shù)，有時(shí)叫做激發(fā)

3、或激勵(lì)函數(shù)，往往采用0和1二值函數(shù)或形函數(shù)。1.3人工神經(jīng)網(wǎng)絡(luò)的基本特性人工神經(jīng)網(wǎng)絡(luò)由神經(jīng)元模型構(gòu)成；這種由許多神經(jīng)元組成的信息處理網(wǎng)絡(luò)具有并行分布結(jié)構(gòu)。每個(gè)神經(jīng)元具有單一輸出，并且能夠與其它神經(jīng)元連接；存在許多（多重）輸出連接方法，每種連接方法對(duì)應(yīng)一個(gè)連接權(quán)系數(shù)。嚴(yán)格地說，人工神經(jīng)網(wǎng)絡(luò)是一種具有下列特性的有向圖：（）對(duì)于每個(gè)節(jié)點(diǎn)存在一個(gè)狀態(tài)變量xi；（）從節(jié)點(diǎn)i至節(jié)點(diǎn)j，存在一個(gè)連接權(quán)系數(shù)wji；（）對(duì)于每個(gè)節(jié)點(diǎn)，存在一個(gè)閾值qj；（）對(duì)于每個(gè)節(jié)點(diǎn)，定義一個(gè)變換函數(shù),對(duì)于最一般的情況，此函數(shù)取形式。1.4 人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)主要通過兩種學(xué)習(xí)算法進(jìn)行訓(xùn)練，即指導(dǎo)式（有師）學(xué)習(xí)算

4、法和非指導(dǎo)式（無師）學(xué)習(xí)算法。此外，還存在第三種學(xué)習(xí)算法，即強(qiáng)化學(xué)習(xí)算法；可把它看做有師學(xué)習(xí)的一種特例。（）有師學(xué)習(xí) 有師學(xué)習(xí)算法能夠根據(jù)期望的和實(shí)際的網(wǎng)絡(luò)輸出(對(duì)應(yīng)于給定輸入)間的差來調(diào)整神經(jīng)元間連接的強(qiáng)度或權(quán)。因此，有師學(xué)習(xí)需要有個(gè)老師或?qū)焷硖峁┢谕蚰繕?biāo)輸出信號(hào)。有師學(xué)習(xí)算法的例子包括d 規(guī)則、廣義d 規(guī)則或反向傳播算法以及l(fā)vq算法等。（）無師學(xué)習(xí) 無師學(xué)習(xí)算法不需要知道期望輸出。在訓(xùn)練過程中，只要向神經(jīng)網(wǎng)絡(luò)提供輸入模式，神經(jīng)網(wǎng)絡(luò)就能夠自動(dòng)地適應(yīng)連接權(quán)，以便按相似特征把輸入模式分組聚集。無師學(xué)習(xí)算法的例子包括kohonen算法和carpenter-grossberg自適應(yīng)共振理論（a

5、rt）等。（）強(qiáng)化學(xué)習(xí) 如前所述，強(qiáng)化學(xué)習(xí)是有師學(xué)習(xí)的特例。它不需要老師給出目標(biāo)輸出。強(qiáng)化學(xué)習(xí)算法采用一個(gè)“評(píng)論員”來評(píng)價(jià)與給定輸入相對(duì)應(yīng)的神。2 bp神經(jīng)網(wǎng)絡(luò)原理2.1 基本bp算法公式推導(dǎo)基本bp算法包括兩個(gè)方面：信號(hào)的前向傳播和誤差的反向傳播。即計(jì)算實(shí)際輸出時(shí)按從輸入到輸出的方向進(jìn)行，而權(quán)值和閾值的修正從輸出到輸入的方向進(jìn)行。輸出變量輸入變量輸入層隱含層輸出層圖2-1 bp網(wǎng)絡(luò)結(jié)構(gòu)fig.2-1 structure of bp network圖中：表示輸入層第個(gè)節(jié)點(diǎn)的輸入，j=1,m；表示隱含層第i個(gè)節(jié)點(diǎn)到輸入層第j個(gè)節(jié)點(diǎn)之間的權(quán)值；表示隱含層第i個(gè)節(jié)點(diǎn)的閾值；表示隱含層的激勵(lì)函數(shù)；表示

6、輸出層第個(gè)節(jié)點(diǎn)到隱含層第i個(gè)節(jié)點(diǎn)之間的權(quán)值，i=1,q；表示輸出層第k個(gè)節(jié)點(diǎn)的閾值,k=1,l；表示輸出層的激勵(lì)函數(shù)；表示輸出層第個(gè)節(jié)點(diǎn)的輸出。（1）信號(hào)的前向傳播過程隱含層第i個(gè)節(jié)點(diǎn)的輸入neti： （3-1）隱含層第i個(gè)節(jié)點(diǎn)的輸出yi： （3-2）輸出層第k個(gè)節(jié)點(diǎn)的輸入netk： （3-3）輸出層第k個(gè)節(jié)點(diǎn)的輸出ok： （3-4）（2）誤差的反向傳播過程誤差的反向傳播，即首先由輸出層開始逐層計(jì)算各層神經(jīng)元的輸出誤差，然后根據(jù)誤差梯度下降法來調(diào)節(jié)各層的權(quán)值和閾值，使修改后的網(wǎng)絡(luò)的最終輸出能接近期望值。 對(duì)于每一個(gè)樣本p的二次型誤差準(zhǔn)則函數(shù)為ep： （3-5）系統(tǒng)對(duì)p個(gè)訓(xùn)練樣本的總誤差準(zhǔn)則函數(shù)

7、為： （3-6）根據(jù)誤差梯度下降法依次修正輸出層權(quán)值的修正量wki，輸出層閾值的修正量ak，隱含層權(quán)值的修正量wij，隱含層閾值的修正量。； （3-7）輸出層權(quán)值調(diào)整公式： （3-8）輸出層閾值調(diào)整公式： （3-9）隱含層權(quán)值調(diào)整公式： （3-10）隱含層閾值調(diào)整公式： （3-11）又因?yàn)椋?（3-12）， （3-13） （3-14） （3-15） （3-16）所以最后得到以下公式： （3-17） （3-18） （3-19） （3-20）結(jié) 束參數(shù)初始化：最大訓(xùn)練次數(shù)，學(xué)習(xí)精度，隱節(jié)點(diǎn)數(shù)，初始權(quán)值、閾值，初始學(xué)習(xí)速率等批量輸入學(xué)習(xí)樣本并且對(duì)輸入和輸出量進(jìn)行歸一化處理計(jì)算各層的輸入和輸出值計(jì)算輸

8、出層誤差e(q)e(q)<修正權(quán)值和閾值yesnyes開 始圖2-2 bp算法程序流程圖fig.2-2 the flowchart of the bp algorithm program2.2 基本bp算法的缺陷bp算法因其簡單、易行、計(jì)算量小、并行性強(qiáng)等優(yōu)點(diǎn)，目前是神經(jīng)網(wǎng)絡(luò)訓(xùn)練采用最多也是最成熟的訓(xùn)練算法之一。其算法的實(shí)質(zhì)是求解誤差函數(shù)的最小值問題，由于它采用非線性規(guī)劃中的最速下降方法，按誤差函數(shù)的負(fù)梯度方向修改權(quán)值，因而通常存在以下問題：（1） 學(xué)習(xí)效率低，收斂速度慢（2） 易陷入局部極小狀態(tài)2.3 bp算法的改進(jìn)2.3.1附加動(dòng)量法附加動(dòng)量法使網(wǎng)絡(luò)在修正其權(quán)值時(shí)，不僅考慮誤差在梯度

9、上的作用，而且考慮在誤差曲面上變化趨勢的影響。在沒有附加動(dòng)量的作用下，網(wǎng)絡(luò)可能陷入淺的局部極小值，利用附加動(dòng)量的作用有可能滑過這些極小值。該方法是在反向傳播法的基礎(chǔ)上在每一個(gè)權(quán)值（或閾值）的變化上加上一項(xiàng)正比于前次權(quán)值（或閾值）變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值（或閾值）變化。帶有附加動(dòng)量因子的權(quán)值和閾值調(diào)節(jié)公式為：其中k為訓(xùn)練次數(shù)，mc為動(dòng)量因子，一般取0.95左右。附加動(dòng)量法的實(shí)質(zhì)是將最后一次權(quán)值（或閾值）變化的影響，通過一個(gè)動(dòng)量因子來傳遞。當(dāng)動(dòng)量因子取值為零時(shí)，權(quán)值（或閾值）的變化僅是根據(jù)梯度下降法產(chǎn)生；當(dāng)動(dòng)量因子取值為1時(shí)，新的權(quán)值（或閾值）變化則是設(shè)置為最后一次權(quán)值（或閾值）

10、的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了。以此方式，當(dāng)增加了動(dòng)量項(xiàng)后，促使權(quán)值的調(diào)節(jié)向著誤差曲面底部的平均方向變化，當(dāng)網(wǎng)絡(luò)權(quán)值進(jìn)入誤差曲面底部的平坦區(qū)時(shí)， di將變得很小，于是,從而防止了的出現(xiàn)，有助于使網(wǎng)絡(luò)從誤差曲面的局部極小值中跳出。根據(jù)附加動(dòng)量法的設(shè)計(jì)原則，當(dāng)修正的權(quán)值在誤差中導(dǎo)致太大的增長結(jié)果時(shí)，新的權(quán)值應(yīng)被取消而不被采用，并使動(dòng)量作用停止下來，以使網(wǎng)絡(luò)不進(jìn)入較大誤差曲面；當(dāng)新的誤差變化率對(duì)其舊值超過一個(gè)事先設(shè)定的最大誤差變化率時(shí)，也得取消所計(jì)算的權(quán)值變化。其最大誤差變化率可以是任何大于或等于1的值。典型的取值取1.04。所以，在進(jìn)行附加動(dòng)量法的訓(xùn)練程序設(shè)計(jì)時(shí)，必須加進(jìn)條件判斷以正

11、確使用其權(quán)值修正公式。訓(xùn)練程序設(shè)計(jì)中采用動(dòng)量法的判斷條件為： ， e（k）為第k步誤差平方和。2.3.2自適應(yīng)學(xué)習(xí)速率對(duì)于一個(gè)特定的問題，要選擇適當(dāng)?shù)膶W(xué)習(xí)速率不是一件容易的事情。通常是憑經(jīng)驗(yàn)或?qū)嶒?yàn)獲取，但即使這樣，對(duì)訓(xùn)練開始初期功效較好的學(xué)習(xí)速率，不見得對(duì)后來的訓(xùn)練合適。為了解決這個(gè)問題，人們自然想到在訓(xùn)練過程中，自動(dòng)調(diào)節(jié)學(xué)習(xí)速率。通常調(diào)節(jié)學(xué)習(xí)速率的準(zhǔn)則是：檢查權(quán)值是否真正降低了誤差函數(shù)，如果確實(shí)如此，則說明所選學(xué)習(xí)速率小了，可以適當(dāng)增加一個(gè)量；若不是這樣，而產(chǎn)生了過調(diào)，那幺就應(yīng)該減少學(xué)習(xí)速率的值。下式給出了一個(gè)自適應(yīng)學(xué)習(xí)速率的調(diào)整公式： ， e（k）為第k步誤差平方和。初始學(xué)習(xí)速率h(0)的

12、選取范圍可以有很大的隨意性。2.3.3動(dòng)量-自適應(yīng)學(xué)習(xí)速率調(diào)整算法當(dāng)采用前述的動(dòng)量法時(shí)，bp算法可以找到全局最優(yōu)解，而當(dāng)采用自適應(yīng)學(xué)習(xí)速率時(shí)，bp算法可以縮短訓(xùn)練時(shí)間， 采用這兩種方法也可以用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，該方法稱為動(dòng)量-自適應(yīng)學(xué)習(xí)速率調(diào)整算法。2.4 網(wǎng)絡(luò)的設(shè)計(jì)2.4.1網(wǎng)絡(luò)的層數(shù)理論上已證明：具有偏差和至少一個(gè)s型隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理數(shù)。增加層數(shù)可以更進(jìn)一步的降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。而誤差精度的提高實(shí)際上也可以通過增加神經(jīng)元數(shù)目來獲得，其訓(xùn)練效果也比增加層數(shù)更容易觀察和調(diào)整。所以一般情況下，應(yīng)優(yōu)先考慮增加隱含層中

13、的神經(jīng)元數(shù)。2.4.2隱含層的神經(jīng)元數(shù)網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過采用一個(gè)隱含層，而增加神經(jīng)元數(shù)了的方法來獲得。這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加隱含層數(shù)要簡單得多。那么究竟選取多少隱含層節(jié)點(diǎn)才合適？這在理論上并沒有一個(gè)明確的規(guī)定。在具體設(shè)計(jì)時(shí)，比較實(shí)際的做法是通過對(duì)不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練對(duì)比，然后適當(dāng)?shù)丶由弦稽c(diǎn)余量。2.4.3初始權(quán)值的選取由于系統(tǒng)是非線性的，初始值對(duì)于學(xué)習(xí)是否達(dá)到局部最小、是否能夠收斂及訓(xùn)練時(shí)間的長短關(guān)系很大。如果初始值太大，使得加權(quán)后的輸入和n落在了s型激活函數(shù)的飽和區(qū)，從而導(dǎo)致其導(dǎo)數(shù)f(n)非常小，而在計(jì)算權(quán)值修正公式中，因?yàn)?，?dāng)f(n)時(shí)，則有。這使得，從而使得調(diào)節(jié)過程幾乎停頓下

14、來。所以一般總是希望經(jīng)過初始加權(quán)后的每個(gè)神經(jīng)元的輸出值都接近于零，這樣可以保證每個(gè)神經(jīng)元的權(quán)值都能夠在它們的s型激活函數(shù)變化最大之處進(jìn)行調(diào)節(jié)。所以，一般取初始權(quán)值在（-1，1）之間的隨機(jī)數(shù)。2.4.4學(xué)習(xí)速率學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定；但小的學(xué)習(xí)速率導(dǎo)致較長的訓(xùn)練時(shí)間，可能收斂很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率的選取范圍在0.01-0.8之間。3 bp神經(jīng)網(wǎng)絡(luò)的應(yīng)用現(xiàn)給出一藥品商店一年當(dāng)中12個(gè)月的藥品銷售量（單位：箱）如下：2056

15、2395 2600 2298 1634 1600 1873 1487 1900 1500 2046 1556訓(xùn)練一個(gè)bp網(wǎng)絡(luò)，用當(dāng)前的所有數(shù)據(jù)預(yù)測下一個(gè)月的藥品銷售量。有兩種方法實(shí)現(xiàn)，一種是編寫matlab程序，一種是使用nntool工具箱。3.1 matlab程序?qū)崿F(xiàn)我們用前三個(gè)月的銷售量預(yù)測下一個(gè)月的銷售量，也就是用1-3月的銷售量預(yù)測第4個(gè)月的銷售量，用2-4個(gè)月的銷售量預(yù)測第5個(gè)月的銷售量，如此循環(huán)下去，直到用9-11月預(yù)測12月份的銷售量。這樣訓(xùn)練bp神經(jīng)網(wǎng)絡(luò)后，就可以用10-12月的數(shù)據(jù)預(yù)測來年一月的銷售量。實(shí)現(xiàn)程序如下：p=2056 2395 2600; 2395 2600 22

16、98; 2600 2298 1634; 2298 1634 1600; 1634 1600 1873; 1600 1873 1478; 1873 1478 1900; 1478 1900 1500; 1900 1500 2046;t=2298 1634 1600 1873 1487 1900 1500 2046 1556;pmax=max(p);pmax1=max(pmax);pmin=min(p);pmin1=min(pmin);for i=1:9 %歸一化處理 p1(i,:)=(p(i,:)-pmin1)/(pmax1-pmin1);endt1=(t-pmin1)/(pmax1-pmin1

17、);t1=t1'net=newff(0 1;0 1;0 1,7 1,'tansig','logsig','traingd'); for i=1:9net.trainparam.epochs=15000;net.trainparam.goal=0.01;lp.lr=0.1;net=train(net,p1(i,:)',t1(i);endy=sim(net,1500 2046 1556');y1=y*(pmax1-pmin1)+pmin1;如果神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)使用trainlm，則仿真步驟會(huì)很少，但需要較大的系統(tǒng)內(nèi)存。經(jīng)預(yù)測

18、，來年一月的銷售量（y1）為1.4848e+003箱（每次運(yùn)行后的結(jié)果可能不同）。3.2 nntool神經(jīng)網(wǎng)絡(luò)工具箱的使用1)在matlab（7.4）命令窗口鍵入nntool命令打開神經(jīng)網(wǎng)絡(luò)工具箱。如圖：2)點(diǎn)擊import按鈕兩次，分別把輸入向量和目標(biāo)輸出加入到對(duì)應(yīng)的窗口（inputs和targets）中，有兩種可供選擇的加入對(duì)象（點(diǎn)擊import后可以看見），一種是把當(dāng)前工作區(qū)中的某個(gè)矩陣加入，另一種是通過.mat文件讀入。3)點(diǎn)擊new network按鈕，填入各參數(shù)：（以最常用的帶一個(gè)隱層的3層神經(jīng)網(wǎng)絡(luò)為例說明，下面沒有列出的參數(shù)表示使用默認(rèn)值就可以了，例如network type為默

19、認(rèn)的bp神經(jīng)網(wǎng)絡(luò)）；i)input range這個(gè)通過點(diǎn)擊get from input下拉框選擇你加入的輸入向量便可自動(dòng)完成，當(dāng)然也可以自己手動(dòng)添加。 ii) training function最好使用trainscg，即共軛梯度法，其好處是當(dāng)訓(xùn)練不收斂時(shí)，它會(huì)自動(dòng)停止訓(xùn)練，而且耗時(shí)較其他算法（trainlm，traingd）少，也就是收斂很快（如果收斂的話），而且train parameters輸入不多，也不用太多的技巧調(diào)整，一般指定迭代次數(shù)、結(jié)果顯示頻率和目標(biāo)誤差就可以了（詳見下文）。 iii) layer 1 number of neurons隱層的神經(jīng)元個(gè)數(shù)，這是需要經(jīng)驗(yàn)慢慢嘗試并調(diào)整

20、的，大致上由輸入向量的維數(shù)、樣本的數(shù)量和輸出層（layer2）的神經(jīng)元個(gè)數(shù)決定。一般來說，神經(jīng)元越多，輸出的數(shù)值與目標(biāo)值越接近，但所花費(fèi)的訓(xùn)練時(shí)間也越長，反之，神經(jīng)元越少，輸出值與目標(biāo)值相差越大，但訓(xùn)練時(shí)間會(huì)相應(yīng)地減少，這是由于神經(jīng)元越多其算法越復(fù)雜造成的，所以需要自己慢慢嘗試，找到一個(gè)合適的中間點(diǎn)。比如輸入是3行5000列的0-9的隨機(jī)整數(shù)矩陣，在一開始選擇1000個(gè)神經(jīng)元，雖然精度比較高，但是花費(fèi)的訓(xùn)練時(shí)間較長，而且這樣神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與算法都非常復(fù)雜，不容易在實(shí)際應(yīng)用中實(shí)現(xiàn)，嘗試改為100個(gè)，再調(diào)整為50個(gè)，如果發(fā)現(xiàn)在50個(gè)以下時(shí)精度較差，則可最后定為50個(gè)神經(jīng)元，等等。 iv)layer 1 transfer function一般用tansig（當(dāng)然也可以logsig），即表示隱層輸出是-1,1之間的實(shí)數(shù)，與logsig相比范圍更大。 v) layer 2 number of neurons輸出層的神經(jīng)元個(gè)數(shù)，需要與輸出的矩陣行數(shù)對(duì)應(yīng)，比如設(shè)置為3，等等。vi) layer 2 transfe