人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用

人工神經(jīng)網(wǎng)絡(luò)

及其應(yīng)用1、神經(jīng)網(wǎng)絡(luò)概念2、感知器模型3、BP神經(jīng)網(wǎng)絡(luò)4、神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例1神經(jīng)網(wǎng)絡(luò)概念2.1生物神經(jīng)元模型腦神經(jīng)元由細(xì)胞體、樹突和軸突構(gòu)成。細(xì)胞體是神經(jīng)元的中心，它一般又由細(xì)胞核、細(xì)胞膜和細(xì)胞質(zhì)組成。樹突胞體上短而多分支的突起，相當(dāng)于神經(jīng)元的輸入端，是神經(jīng)元的主要接受器，它主要用來接受信息。軸突是胞體上最長(zhǎng)枝的突起，也稱神經(jīng)纖維。它的端部有很多神經(jīng)末梢，傳出神經(jīng)沖動(dòng)。軸突的作用主要是傳導(dǎo)信息，它將信息從軸突起點(diǎn)傳到軸突末梢（精神末梢）。軸突末梢與另一個(gè)神經(jīng)元的樹突或胞體構(gòu)成一種突觸的機(jī)構(gòu)。通過突觸實(shí)現(xiàn)神經(jīng)元之間的信息傳遞。突觸是神經(jīng)元之間的連接接口，每一個(gè)神經(jīng)元約有104~105個(gè)突觸。一個(gè)神經(jīng)元，通過其軸突的神經(jīng)末梢，經(jīng)突觸，與另一個(gè)神經(jīng)元的樹突連接，以實(shí)現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，隨著神經(jīng)沖動(dòng)傳遞方式的變化，傳遞作用強(qiáng)弱不同，形成了神經(jīng)元之間連接的柔性，稱為結(jié)構(gòu)的可塑性。1.2生物神經(jīng)元工作狀態(tài)神經(jīng)元具有兩種常規(guī)工作狀態(tài)：興奮與抑制。當(dāng)傳入的神經(jīng)沖動(dòng)經(jīng)整合后使細(xì)胞膜電位升高，超過動(dòng)作電位的閾值時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)并由軸突經(jīng)神經(jīng)末梢傳出；當(dāng)傳入的神經(jīng)沖動(dòng)經(jīng)整合后使膜電位下降低于閾值時(shí)，細(xì)胞進(jìn)入抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動(dòng)。由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)與減弱，因此神經(jīng)元具有學(xué)習(xí)與遺忘的功能。

1.3人工神經(jīng)元模型（MP模型）1943年，美國(guó)心理學(xué)家McCulloch和數(shù)學(xué)家Pitts共同提出“模擬生物神經(jīng)元”的被稱為MP的人工神經(jīng)元模型。它是一個(gè)多輸入/多輸出的非線性信息處理單元。1人工神經(jīng)元的輸入與輸出關(guān)系:其中：

為閾值為連接權(quán)值為激活函數(shù)2.常用的作用函數(shù)神經(jīng)元模型的作用函數(shù)，用以模擬神經(jīng)細(xì)胞的興奮、抑制以及閾值等非線性特性。

3.學(xué)習(xí)規(guī)則MP模型在發(fā)表時(shí)并沒有給出一個(gè)學(xué)習(xí)算法來調(diào)整神經(jīng)元之間的來連接權(quán)值。但是，我們可以根據(jù)需要，采用一些常見的算法來調(diào)整神經(jīng)元連接權(quán)，以達(dá)到學(xué)習(xí)的目的。下面介紹的Hebb學(xué)習(xí)規(guī)則就是一個(gè)常見學(xué)習(xí)算法。Hebb學(xué)習(xí)規(guī)則：神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能。對(duì)于人工神經(jīng)網(wǎng)絡(luò)而言，這種學(xué)習(xí)歸結(jié)為：若第i個(gè)和第j個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài)，則它們之間的連接應(yīng)當(dāng)加強(qiáng)，即：這一規(guī)則與”條件反射“學(xué)說一致，并已得到神經(jīng)細(xì)胞學(xué)說的證實(shí)。α是表示學(xué)習(xí)速率的比例常數(shù)。1.4神經(jīng)網(wǎng)絡(luò)的互聯(lián)模式根據(jù)連接方式的不同，神經(jīng)網(wǎng)絡(luò)的神經(jīng)元之間的連接有如下幾種形式。1）前向網(wǎng)絡(luò)前向網(wǎng)絡(luò)結(jié)構(gòu)如下圖。神經(jīng)元分層排列，分別組成輸入層、中間層（也稱為隱含層，可以由若干層組成）和輸出層。每一層的神經(jīng)元只接受來自前一層神經(jīng)元的輸入，后面的層對(duì)前面的層沒有信號(hào)反饋。輸入模式經(jīng)過各層次的順序傳播，最后在輸出層上得到輸出。感知器網(wǎng)絡(luò)和BP網(wǎng)絡(luò)均屬于前向網(wǎng)絡(luò)。2）有反饋的前向網(wǎng)路其結(jié)構(gòu)如下圖。輸出層對(duì)輸入層有信息反饋，這種網(wǎng)絡(luò)可用于存儲(chǔ)某種模式序列。如神經(jīng)認(rèn)知機(jī)和回歸BP網(wǎng)絡(luò)都屬于這種類型。3）層內(nèi)有相互結(jié)合的前向網(wǎng)絡(luò)其結(jié)構(gòu)如下圖。通過層內(nèi)神經(jīng)元的相互結(jié)合，可以實(shí)現(xiàn)同一層內(nèi)神經(jīng)元之間的橫向抑制或興奮抑制。這樣可以限制每層內(nèi)可以同時(shí)動(dòng)作的神經(jīng)元素，或者把每層內(nèi)的神經(jīng)元分為若干組，讓每一組作為一個(gè)整體進(jìn)行運(yùn)作。例如，可以利用橫向抑制機(jī)理把某層內(nèi)具有最大輸出的神經(jīng)元挑選出來，從而抑制其他神經(jīng)元，使之處于無輸出的狀態(tài)。4）相互結(jié)合型網(wǎng)絡(luò)（全互聯(lián)或部分互聯(lián)）相互結(jié)合型網(wǎng)絡(luò)結(jié)構(gòu)如下圖。這種網(wǎng)絡(luò)在任意兩個(gè)神經(jīng)元之間都可能有連接。在無反饋的前向網(wǎng)絡(luò)中，信號(hào)一旦通過，某神經(jīng)元，該神經(jīng)元的處理就結(jié)束了。而在相互結(jié)合的網(wǎng)絡(luò)中，信號(hào)要在神經(jīng)元之間反復(fù)傳遞，網(wǎng)絡(luò)處于一種不斷改變狀態(tài)的動(dòng)態(tài)之中。信號(hào)從某初始狀態(tài)開始，經(jīng)過若干次變化，才會(huì)達(dá)到某種平衡狀態(tài)。根據(jù)網(wǎng)絡(luò)的結(jié)構(gòu)和神經(jīng)元的特性，網(wǎng)絡(luò)的運(yùn)行還有可能進(jìn)入周期震蕩或其他如混沌等平衡狀態(tài)。1.5神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也成為訓(xùn)練，指的是通過神經(jīng)網(wǎng)絡(luò)所在環(huán)境的刺激作用調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)（權(quán)值和域值），使神經(jīng)網(wǎng)絡(luò)以一種新的方式對(duì)外部環(huán)境做出反應(yīng)的一個(gè)過程。能夠從環(huán)境中學(xué)習(xí)和在學(xué)習(xí)中提高自身性能是神經(jīng)網(wǎng)絡(luò)的最有意義的性質(zhì)。根據(jù)學(xué)習(xí)過程的組織方式不同，學(xué)習(xí)方式分為兩類：有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。1）有監(jiān)督學(xué)習(xí)：對(duì)于監(jiān)督學(xué)習(xí)，網(wǎng)絡(luò)訓(xùn)練往往要基于一定數(shù)量的訓(xùn)練樣本。訓(xùn)練樣本通常由輸入矢量和目標(biāo)矢量組成。在學(xué)習(xí)和訓(xùn)練過程中，網(wǎng)絡(luò)根據(jù)實(shí)際輸出與期望輸出的比較，進(jìn)行連接權(quán)值和域值的調(diào)節(jié)。通過將期望輸出成為導(dǎo)師信號(hào)，它是評(píng)價(jià)學(xué)習(xí)的標(biāo)準(zhǔn)。最典型的有監(jiān)督學(xué)習(xí)算法是BP算法，即誤差反向傳播算法。2）無監(jiān)督學(xué)習(xí)：對(duì)于無監(jiān)督學(xué)習(xí)，則無教師信號(hào)提供給網(wǎng)絡(luò)，網(wǎng)絡(luò)能夠根據(jù)其特有的結(jié)構(gòu)和學(xué)習(xí)規(guī)則，進(jìn)行連接權(quán)值和域值的調(diào)整。此時(shí)，網(wǎng)絡(luò)的學(xué)習(xí)評(píng)價(jià)標(biāo)準(zhǔn)隱含于其內(nèi)部。1.6神經(jīng)網(wǎng)絡(luò)的特性神經(jīng)網(wǎng)絡(luò)的全稱是人工神經(jīng)網(wǎng)絡(luò)，它采用物理上可實(shí)現(xiàn)的器件或采用計(jì)算機(jī)來模擬生物體中神經(jīng)網(wǎng)絡(luò)的某些結(jié)構(gòu)和功能，并應(yīng)用于工程領(lǐng)域。神經(jīng)網(wǎng)絡(luò)的著眼點(diǎn)不在于利用物理器件完整地復(fù)制生物體中的神經(jīng)細(xì)胞網(wǎng)絡(luò)，而是抽取其中可利用的部分來克服目前計(jì)算機(jī)或其他系統(tǒng)不能解決的問題，如學(xué)習(xí)、控制、識(shí)別和專家系統(tǒng)等。隨著生物和認(rèn)知科學(xué)的發(fā)展，人們對(duì)大腦的認(rèn)識(shí)和了解越來越深入，神經(jīng)網(wǎng)絡(luò)必然會(huì)獲得更加廣闊的發(fā)展空間和應(yīng)用范圍。雖然ANN與真正的生物神經(jīng)網(wǎng)絡(luò)有差別，但由于它汲取了生物神經(jīng)網(wǎng)絡(luò)的部分有點(diǎn)，因此具有一些固有的特性。1、ANN在結(jié)構(gòu)上與目前的計(jì)算機(jī)本質(zhì)不同，它是由很多小得處理單元互相連接而成的，每個(gè)處理單元的功能簡(jiǎn)單，但大量簡(jiǎn)單的處理單元集體的、并行的活動(dòng)得到預(yù)期的識(shí)別、計(jì)算的結(jié)果，具有較快的速度。2、ANN具有非常強(qiáng)的容錯(cuò)性，即局部的或部分的神經(jīng)元損壞后，不會(huì)對(duì)全局的活動(dòng)造成很大的影響。3、ANN記憶的信息存儲(chǔ)在神經(jīng)元之間的連接權(quán)值上，從單個(gè)權(quán)值中看不出存儲(chǔ)信息的內(nèi)容，因而是分布式的存儲(chǔ)方式。4、ANN的學(xué)習(xí)能力十分強(qiáng)大，它的連接權(quán)值和連接的結(jié)構(gòu)都可以通過學(xué)習(xí)得到。1.7神經(jīng)網(wǎng)絡(luò)在控制領(lǐng)域取得的進(jìn)展1、基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí)基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí)，就是將神經(jīng)網(wǎng)絡(luò)作為被辨識(shí)系統(tǒng)P的模型，逆模型。（1）可在已知常規(guī)模型結(jié)構(gòu)的情況下，估計(jì)模型的參數(shù)。（2）利用神經(jīng)網(wǎng)絡(luò)的線性、非線性，可建立線性、非線性系統(tǒng)的靜態(tài)、動(dòng)態(tài)、逆動(dòng)態(tài)和預(yù)測(cè)模型，重點(diǎn)在于非線性系統(tǒng)的建模與辨識(shí)。2、神經(jīng)網(wǎng)絡(luò)控制器神經(jīng)網(wǎng)絡(luò)作為實(shí)時(shí)控制系統(tǒng)的控制器，對(duì)于不確定、不確知系統(tǒng)及擾動(dòng)進(jìn)行有效的控制，使控制系統(tǒng)達(dá)到所要求的動(dòng)態(tài)、靜態(tài)特性。3、神經(jīng)網(wǎng)絡(luò)與其它算法相結(jié)合神經(jīng)網(wǎng)絡(luò)與專家系統(tǒng)、模糊邏輯、遺傳算法、小波理論等相結(jié)合由于控制系統(tǒng)，可為系統(tǒng)提供參數(shù)和非參數(shù)?？刂破髂Ｐ?。4、優(yōu)化計(jì)算在常規(guī)控制系統(tǒng)的設(shè)計(jì)中，常遇到求解約束優(yōu)化問題，神經(jīng)網(wǎng)絡(luò)為這類問題提供了有效的途徑。5、控制系統(tǒng)的故障診斷隨著對(duì)控制系統(tǒng)安全性、可靠性、可維護(hù)性要求的提高，對(duì)系統(tǒng)的故障檢測(cè)與診斷問題的研究不斷深入。近年來，神經(jīng)網(wǎng)絡(luò)在這方面的應(yīng)用研究取得了相應(yīng)的進(jìn)展。2感知器模型感知器是一種早期的神經(jīng)網(wǎng)絡(luò)模型，由美國(guó)學(xué)者F.Rosenblatt于1957年提出。感知器中第一次引入了學(xué)習(xí)的概念，使人腦所具備的學(xué)習(xí)功能在一定的程度上得到了模擬，所以引起了廣泛的關(guān)注。下面介紹一下單層感知器單層感知器分為：?jiǎn)螌訂紊窠?jīng)元感知器和單層多神經(jīng)元感知器。我們?cè)谶@里只介紹前者。單神經(jīng)元感知器具有一個(gè)處理單元，非線性作用函數(shù)f（·）是非對(duì)稱型階躍函數(shù)，見下式：其結(jié)構(gòu)如下圖所示：設(shè)感知器的權(quán)系W，輸入向量u為感知器的輸出為（uj：感知器的第j個(gè)輸入；w0=-θ；u0=1）f（x）xyu1ujun

∑

θw1ujwn它與MP模型不同之處是，權(quán)值可以進(jìn)行調(diào)整，學(xué)習(xí)是采用有導(dǎo)師的學(xué)習(xí)算法?；緦W(xué)習(xí)算法步驟如下：（1）設(shè)置權(quán)系的初值，為較小的隨機(jī)非零值。（2）給定輸入/輸出樣本對(duì)，即導(dǎo)師信號(hào)，（3）求感知器的輸出（4）權(quán)值調(diào)整式中，t：第t次調(diào)整向量。（5）若，則學(xué)習(xí)結(jié)束；否則，返回（3）?？梢?，學(xué)習(xí)算法結(jié)束后，將樣本模式，以連接權(quán)值和閾值的形式，分布記憶（存儲(chǔ)）與感知器中。單層感知器（單、多神經(jīng)元）的局限性：只能解決簡(jiǎn)單的分類問題，也就是只有在輸入矢量是線性可分時(shí)，單層感知器才對(duì)輸入模式進(jìn)行有效的分類有效。線性不可分問題只能用多層感知器來解決。3線性神經(jīng)網(wǎng)絡(luò)自適應(yīng)線性神經(jīng)元，是由美國(guó)Standford大學(xué)Widrow教授于20世紀(jì)60年代初提出的。與感知器不同的是主要在于其神經(jīng)元有一個(gè)線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1。學(xué)習(xí)算法為δ規(guī)則。δ規(guī)則也稱為最小方差法，其算法步驟如下：（1）設(shè)置初始權(quán)系W(0)。（2）給定輸入/輸出樣本對(duì)，即導(dǎo)師信號(hào)（3）計(jì)算網(wǎng)絡(luò)的目標(biāo)函數(shù)J：神經(jīng)元在第p組樣本輸入下的輸出yp為（4）δ規(guī)則：用于權(quán)值調(diào)整的自適應(yīng)學(xué)習(xí)算法為將代入上式可得式中，α為常值，0<α<2，可使算法收斂。

η隨著輸入樣本up自適應(yīng)地調(diào)整。（5）當(dāng)時(shí)，算法結(jié)束。線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如下（m個(gè)線性神經(jīng)元）：網(wǎng)絡(luò)的輸出為y=Wu-θ權(quán)值系數(shù)調(diào)整算法為∑f（x）∑f（x）w11-θ1-θmx1xmy1ymwmnu1unujW-θm×1m×nm×1xn×1u1m×1y3BP神經(jīng)網(wǎng)絡(luò)3.1BP神經(jīng)網(wǎng)路簡(jiǎn)介反向傳播網(wǎng)絡(luò)(Back-PropagationNetwork，簡(jiǎn)稱BP網(wǎng)絡(luò))是將W-H學(xué)習(xí)規(guī)則一般化，對(duì)非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)。權(quán)值的調(diào)整采用反向傳播(Back-propagation）的學(xué)習(xí)算法。它是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是S型函數(shù)。輸出量為0到1之間的連續(xù)量，它可實(shí)現(xiàn)從輸入到輸出的任意的非線性映射。BP網(wǎng)絡(luò)主要用于下述方面：函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個(gè)網(wǎng)絡(luò)來逼近一個(gè)函數(shù)。模式識(shí)別和分類：用一個(gè)特定的輸出矢量將它與輸入矢量聯(lián)系起來；把輸入矢量以所定義的合適方式進(jìn)行分類。數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于數(shù)據(jù)傳輸或存儲(chǔ)。具有較強(qiáng)的泛化性能：使網(wǎng)絡(luò)平滑的學(xué)習(xí)函數(shù)，使網(wǎng)絡(luò)能夠合理地響應(yīng)被訓(xùn)練以外的輸入。泛化性能只對(duì)被訓(xùn)練的輸入／輸出對(duì)最大值范圍內(nèi)的數(shù)據(jù)有效，即網(wǎng)絡(luò)具有內(nèi)插值特性，不具有外插值特性。超出最大訓(xùn)練值的輸入必將產(chǎn)生較大的輸出誤差。3.2BP神經(jīng)網(wǎng)絡(luò)模型前、后層之間各神經(jīng)元實(shí)現(xiàn)全聯(lián)接；每層各神經(jīng)元之間無聯(lián)接?！ぁぁぁぁぁぁぁぁぁぁぁy輸入層節(jié)點(diǎn)隱層節(jié)點(diǎn)輸出層節(jié)點(diǎn)BP網(wǎng)絡(luò)與感知器和自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)的比較：感知器和自適應(yīng)線性元件的主要差別在激活函數(shù)上：前者是二值型的，后者是線性的BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù){0，1}或符號(hào)函數(shù)

{－1，1}。BP網(wǎng)絡(luò)經(jīng)常使用的是S型的對(duì)數(shù)或正切激活函數(shù)和線性函數(shù)。BP網(wǎng)絡(luò)特點(diǎn)：輸入和輸出是并行的模擬量；網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒有固定的算法；權(quán)因子通過學(xué)習(xí)信號(hào)調(diào)節(jié)。學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明；隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個(gè)別權(quán)因子的損壞不會(huì)對(duì)網(wǎng)絡(luò)輸出產(chǎn)生大的影響；只有當(dāng)希望對(duì)網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制在0和1之間，那么在輸出層應(yīng)當(dāng)包含S型激活函數(shù)；在一般情況下，均是在隱含層采用S型激活函數(shù)，而輸出層采用線性激活函數(shù)。S型激活函數(shù)：S型函數(shù)具有非線性放大系數(shù)功能，可以把輸入從負(fù)無窮大到正無窮大的信號(hào)，變換成-1到l之間輸出。對(duì)較大的輸入信號(hào)，放大系數(shù)較小；而對(duì)較小的輸入信號(hào)，放大系數(shù)則較大。采用S型激活函數(shù)可以處理和逼近非線性輸入/輸出關(guān)系。3.3BP學(xué)習(xí)規(guī)則BP算法屬于δ算法，是一種監(jiān)督式的學(xué)習(xí)算法。BP算法是由兩部分組成,信息的正向傳遞與誤差的反向傳播正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層計(jì)算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)如果在輸出層未得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號(hào)沿原來的連接通路反傳回來修改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo)3.4BP網(wǎng)絡(luò)訓(xùn)練訓(xùn)練BP網(wǎng)絡(luò)，需要計(jì)算網(wǎng)絡(luò)加權(quán)輸入矢量以及網(wǎng)絡(luò)輸出和誤差矢量，然后求誤差平方和。當(dāng)所訓(xùn)練矢量的誤差平方和小于誤差目標(biāo)，訓(xùn)練停止；否則在輸出層計(jì)算誤差變化，且采用反向傳播學(xué)習(xí)規(guī)則來調(diào)整權(quán)值，然后重復(fù)此過程。網(wǎng)絡(luò)完成訓(xùn)練后，對(duì)網(wǎng)絡(luò)輸入一個(gè)不是訓(xùn)練集合中的矢量，網(wǎng)絡(luò)將以泛化方式給出輸出結(jié)果。3.5BP網(wǎng)絡(luò)設(shè)計(jì)1、輸入和輸出層的設(shè)計(jì)輸入的神經(jīng)元可以根據(jù)要求求解的問題和數(shù)據(jù)表示方式確定。如果輸入的是模擬信號(hào)波形，那么輸入層可以根據(jù)波形的采樣點(diǎn)數(shù)目決定輸入單元的維數(shù)，也可以用一個(gè)單元輸入，這時(shí)輸入樣本為采樣的時(shí)間序列；如果輸入為圖像，則輸入單元可以為圖像的像素，也可以是經(jīng)過處理的圖像特征。輸出層的維數(shù)可根據(jù)使用者的要求確定。如果將BP網(wǎng)絡(luò)用作分類器，類別模式一共有m個(gè)，那么輸出層神經(jīng)元的個(gè)數(shù)為m或log2m。2、隱含層的設(shè)計(jì)對(duì)于BP網(wǎng)絡(luò)，有一個(gè)非常重要的定理。即對(duì)于任何在閉區(qū)間的一個(gè)連續(xù)函數(shù)都可以用單隱層的BP網(wǎng)絡(luò)逼近，因而一個(gè)三層BP網(wǎng)絡(luò)就可以完成任意的n維到m維德映射。隱層的神經(jīng)元數(shù)目選擇是一個(gè)十分復(fù)雜的問題，往往需要根據(jù)設(shè)計(jì)者的經(jīng)驗(yàn)和多次試驗(yàn)來確定，因而不存在一個(gè)理想的解析式來表示。隱單元的數(shù)目與問題的要求、輸入/輸出單元的數(shù)目都有著直接關(guān)系。隱單元數(shù)目太多會(huì)導(dǎo)致學(xué)習(xí)時(shí)間過長(zhǎng)、誤差不一定最佳，也會(huì)導(dǎo)致容錯(cuò)性差、不能識(shí)別以前看到的樣本，因此一定存在一個(gè)最佳的隱單元數(shù)。以下3個(gè)公式可用于選擇最佳隱單元時(shí)的參考公式：（1），其中，k為樣本數(shù)，n1為隱單元數(shù)，n為輸入單元數(shù)。如果i>n1，（2），其中，m為輸出神經(jīng)元數(shù)，n為輸入神經(jīng)元數(shù)，a為[0,10]之間的常數(shù)。（3），其中，n為輸入單元數(shù)。還有一種途徑可用于確定隱單元的數(shù)目。首先使隱單元的數(shù)目可變，或者放入足夠多的隱單元，通過學(xué)習(xí)將那些不起作用的隱單元剔除，直到不可收縮為止。同樣，也可以在開始時(shí)放入比較少的神經(jīng)元，學(xué)習(xí)到一定次數(shù)后，如果不成功的話則增加隱單元的數(shù)目，直到達(dá)到比較合理的隱單元數(shù)目為止。3.6初始值的選取由于系統(tǒng)是非線性的，初始值對(duì)于學(xué)習(xí)能否達(dá)到局部最小和是否能夠收斂的結(jié)果關(guān)系很大。一個(gè)重要的要求是：初始權(quán)值在輸入累加時(shí)使每個(gè)神經(jīng)元的狀態(tài)值接近零，權(quán)值一般取隨機(jī)數(shù)，數(shù)值要比較小。輸入樣本也同樣希望進(jìn)行歸一化處理，使那些較大的輸入仍落在傳遞函數(shù)梯度大的地方。一般取初始權(quán)值在(-1，1)之間的隨機(jī)數(shù)3.7期望誤差的選取在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也應(yīng)當(dāng)通過對(duì)比訓(xùn)練后確定一個(gè)合適的值。這個(gè)所謂的“合適”，是相對(duì)于所需要的隱含層的節(jié)點(diǎn)數(shù)來確定，因?yàn)檩^小的期望誤差值是要靠增加隱含層的節(jié)點(diǎn)，以及訓(xùn)練時(shí)間來獲得的。一般情況下，作為對(duì)比，可以同時(shí)對(duì)兩個(gè)不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過綜合因素的考慮來確定采用哪一個(gè)網(wǎng)絡(luò)。3.8應(yīng)用舉例例1：求解函數(shù)逼近問題有21組單輸入矢量和相對(duì)應(yīng)的目標(biāo)矢量，試設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)這對(duì)數(shù)組的函數(shù)關(guān)系。P=-2:0.2:2；T=[1.00001.76002.44003.04003.56004.00004.36004.64004.84004.96005.00004.96004.84004.64004.36004.00003.56003.04002.44001.76001.0000]；測(cè)試集P—test=-2:0.1:2；T—test=[1.3900

2.1100

2.7500

3.3100

3.7900

4.1900

4.5100

4.7500

4.9100

4.9900

4.9900

4.9100

4.7500

4.5100

4.1900

3.7900

3.31002.7500

2.1100

1.3900]；目標(biāo)矢量相對(duì)于輸入矢量的圖形如下：測(cè)試矢量與實(shí)際測(cè)試矢量的圖形如下：目標(biāo)矢量與實(shí)際目標(biāo)矢量的圖形如下：在上述圖形中，BP網(wǎng)絡(luò)取N1，8，1，訓(xùn)練目標(biāo)為0.01，訓(xùn)練次數(shù)為4，網(wǎng)絡(luò)誤差為0.3847目標(biāo)矢量與實(shí)際目標(biāo)矢量的誤差圖形如下：

測(cè)試矢量與實(shí)際測(cè)試矢量的圖形如下：目標(biāo)矢量與實(shí)際目標(biāo)矢量的圖形如下：在上述圖形中，BP網(wǎng)絡(luò)取N1，8，1訓(xùn)練目標(biāo)為0.001訓(xùn)練次數(shù)為6網(wǎng)絡(luò)誤差為0.1281目標(biāo)矢量與實(shí)際目標(biāo)矢量的誤差圖形如下：

測(cè)試矢量與實(shí)際測(cè)試矢量的圖形如下：目標(biāo)矢量與實(shí)際目標(biāo)矢量的圖形如下：在上述圖形中，BP網(wǎng)絡(luò)取N1，8，1訓(xùn)練目標(biāo)為0.0001訓(xùn)練次數(shù)為9網(wǎng)絡(luò)誤差為0.0207目標(biāo)矢量與實(shí)際目標(biāo)矢量的誤差圖形如下：

測(cè)試矢量與實(shí)際測(cè)試矢量的圖形如下：目標(biāo)矢量與實(shí)際目標(biāo)矢量的圖形如下：在上述圖形中，BP網(wǎng)絡(luò)取N1，2，1訓(xùn)練目標(biāo)為0.001訓(xùn)練次數(shù)為29網(wǎng)絡(luò)誤差為0.1327目標(biāo)矢量與實(shí)際目標(biāo)矢量的誤差圖形如下：測(cè)試矢量與實(shí)際測(cè)試矢量的圖形如下：目標(biāo)矢量與實(shí)際目標(biāo)矢量的圖形如下：在上述圖形中，BP網(wǎng)絡(luò)取N1，5，1訓(xùn)練目標(biāo)為0.001訓(xùn)練次數(shù)為7網(wǎng)絡(luò)誤差為0.0396目標(biāo)矢量與實(shí)際目標(biāo)矢量的誤差圖形如下：上表表明：在經(jīng)過2000次訓(xùn)練后（訓(xùn)練函數(shù)為trainlm），隱含層神經(jīng)元為5個(gè)的BP網(wǎng)絡(luò)對(duì)函數(shù)的逼近效果最好，因?yàn)樗木W(wǎng)絡(luò)誤差也比較小，而且網(wǎng)絡(luò)經(jīng)過7次訓(xùn)練就達(dá)到了目標(biāo)誤差。隱含層為3的網(wǎng)絡(luò)誤差也比較小，但他們所需要的訓(xùn)練時(shí)間比較長(zhǎng)（10次）?？紤]網(wǎng)絡(luò)性能的訓(xùn)練速度，這里將網(wǎng)絡(luò)隱含層的神經(jīng)元數(shù)目設(shè)定為5。從上表還可以發(fā)現(xiàn)：就是并不是隱含層神經(jīng)元的個(gè)數(shù)越多，網(wǎng)絡(luò)的性能就越好神經(jīng)元個(gè)數(shù)2345678網(wǎng)絡(luò)誤差0.13270.11790.14350.03960.14020.12380.1281網(wǎng)絡(luò)的訓(xùn)練誤差在上述的幾種情況中，網(wǎng)絡(luò)的隱含層神經(jīng)元的傳遞函數(shù)為tansig，輸出層神經(jīng)元的傳遞函數(shù)為purelin，網(wǎng)絡(luò)的訓(xùn)練函數(shù)為trainlm。下面我們研究一下不同訓(xùn)練函數(shù)對(duì)網(wǎng)絡(luò)性能的影響，比如收斂速度和網(wǎng)絡(luò)推廣能力等。為了比較，下面采用不同的訓(xùn)練函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并觀察結(jié)果。以上都是采用函數(shù)trainlm對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，該函數(shù)的學(xué)習(xí)算法為L(zhǎng)evenberg-Marquadt反傳算法，該訓(xùn)練函數(shù)的優(yōu)點(diǎn)在于收斂速度很快。當(dāng)隱含層神經(jīng)元數(shù)目為8，訓(xùn)練目標(biāo)為0.001時(shí)，網(wǎng)絡(luò)的逼近誤差為0.1281，訓(xùn)練次數(shù)為6次。接下來我們采用traingdx函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，該函數(shù)的學(xué)習(xí)算法是梯度下降動(dòng)量法，而且學(xué)習(xí)速率是自適應(yīng)的。此函數(shù)的訓(xùn)練結(jié)果如下圖所示：測(cè)試矢量與實(shí)際測(cè)試矢量的圖形如下：目標(biāo)矢量與實(shí)際目標(biāo)矢量的圖形如下：在上述圖形中，BP網(wǎng)絡(luò)取N1，8，1訓(xùn)練目標(biāo)為0.001訓(xùn)練次數(shù)為867網(wǎng)絡(luò)誤差為0.1449目標(biāo)矢量與實(shí)際目標(biāo)矢量的誤差圖形如下：由此可以看出此訓(xùn)練函數(shù)traingdx相對(duì)于訓(xùn)練函數(shù)trainlm來說，在同等條件下（隱含層神經(jīng)元數(shù)目為8，訓(xùn)練目標(biāo)為0.001時(shí)），它的網(wǎng)絡(luò)的訓(xùn)練次數(shù)大大的增加了，而且網(wǎng)絡(luò)誤差也略有增大。最后，我們采用traingd訓(xùn)練函數(shù)來對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，該函數(shù)所用的學(xué)習(xí)算法就是普通的梯度下降法。此函數(shù)的訓(xùn)練結(jié)果如下圖所示：測(cè)試矢量與實(shí)際測(cè)試矢量的圖形如下：目標(biāo)矢量與實(shí)際目標(biāo)矢量的圖形如下：在上述圖形中，BP網(wǎng)絡(luò)取N1，8，1訓(xùn)練目標(biāo)為0.001訓(xùn)練次數(shù)為2000網(wǎng)絡(luò)誤差為0.3005目標(biāo)矢量與實(shí)際目標(biāo)矢量的誤差圖形如下：由此可以看出此訓(xùn)練函數(shù)traingd相對(duì)于訓(xùn)練函數(shù)trainlgdx來說，在同等條件下（隱含層神經(jīng)元數(shù)目為8，訓(xùn)練目標(biāo)為0.001時(shí)），經(jīng)過了2000次訓(xùn)練后，網(wǎng)絡(luò)目標(biāo)誤差依然沒有被滿足，而且通過觀察網(wǎng)絡(luò)的訓(xùn)練曲線，它的收斂過程也非常緩慢。而且訓(xùn)練誤差大大增加了（0.3005）。綜合分析以上3種訓(xùn)練過程，我們認(rèn)為，函數(shù)trainlm收斂速度最快，網(wǎng)路的訓(xùn)練誤差也比較小。因此，這里采用trainlm訓(xùn)練函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過訓(xùn)練好的網(wǎng)絡(luò)對(duì)其它的測(cè)試數(shù)據(jù)進(jìn)行仿真，得到網(wǎng)絡(luò)對(duì)函數(shù)的逼近情況。4神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例——地震預(yù)報(bào)的MATLAB實(shí)現(xiàn)地震預(yù)報(bào)是地理問題研究領(lǐng)域中的一個(gè)重要課題,準(zhǔn)確的地震預(yù)報(bào)可以幫助人們及時(shí)采取有效措施，降低人員傷亡和經(jīng)濟(jì)損失。引發(fā)地震的相關(guān)性因素很多。在實(shí)際地震預(yù)報(bào)中，前兆與未來地震震級(jí)大小有一定關(guān)系。但是異常與地震之間有較強(qiáng)的不確定性，同樣一種預(yù)報(bào)方法或前兆在一些地震前可能異常很突出，但在另一些地震前則可能表現(xiàn)得很不明顯甚至根本不出現(xiàn)。這種孕育過程的非線性和認(rèn)識(shí)問題的困難性使得人們很難建立較完善的物理理論模型，并通過某種解析表達(dá)式進(jìn)行表達(dá)。而神經(jīng)網(wǎng)絡(luò)是一種高度自適應(yīng)的非線性動(dòng)力系統(tǒng)，通過BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)可以得到輸入與輸出之間的高度非線性映射，因此使用神經(jīng)網(wǎng)絡(luò)可以建立起輸入與輸出之間的非線性關(guān)系。本節(jié)將根據(jù)某地的地震資料，研究如何利用神經(jīng)網(wǎng)絡(luò)工具箱，實(shí)現(xiàn)基于神經(jīng)網(wǎng)絡(luò)的地震預(yù)報(bào)。以我國(guó)西南某地震常發(fā)地區(qū)的地震資料作為樣本來源，實(shí)現(xiàn)基于神經(jīng)網(wǎng)絡(luò)的地震預(yù)測(cè)。根據(jù)這些地震資料，提取出7個(gè)預(yù)報(bào)因子和實(shí)際發(fā)生的震級(jí)M作為輸入和目標(biāo)向量。預(yù)報(bào)因子為：（1）半年內(nèi)M≥3的地震累計(jì)頻度（2）半年內(nèi)能量釋放累計(jì)值（3）b值（4）異常地震群個(gè)數(shù)（5）地震條帶數(shù)（6）是否處于活動(dòng)區(qū)（7）相關(guān)地震區(qū)地震震級(jí)一共收集了10個(gè)學(xué)習(xí)樣本，如下表：學(xué)習(xí)樣本地震累計(jì)頻度累計(jì)釋放能量b值異常地震群個(gè)數(shù)地震條帶個(gè)數(shù)活動(dòng)周期相關(guān)區(qū)震級(jí)實(shí)際震級(jí)000.62000000.39150.47410.770.50.510.31580.53130.28350.54020.6800.510.31580.59380.62101.00000.6310.511.00000.93750.41850.41830.670.5010.73680.43750.21600.49480.710010.26320.50000.99900.03830.750.5110.94741.00000.58050.49250.710000.36840.37500.08100.06920.760000.05260.31250.39150.12300.980.5000.89740.6563上表中的前7項(xiàng)為學(xué)習(xí)樣本的輸入因子，輸出因子為實(shí)際震級(jí)。利用上表中的學(xué)習(xí)樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。在訓(xùn)練前，應(yīng)該對(duì)數(shù)據(jù)進(jìn)行歸一化處理。上表已經(jīng)是對(duì)已化后的數(shù)據(jù)了。BP網(wǎng)絡(luò)的設(shè)計(jì)還是采用單隱層的BP網(wǎng)絡(luò)進(jìn)行地震預(yù)測(cè)。由于輸入樣本為7維的輸入向量，因此，輸入層一共有7個(gè)神經(jīng)元，則中間層應(yīng)該有15個(gè)神經(jīng)元。網(wǎng)絡(luò)只有1個(gè)輸出數(shù)據(jù)，則輸出層只有1個(gè)神經(jīng)元。因此，網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)該為7×15×1的結(jié)構(gòu)。按照BP網(wǎng)絡(luò)的設(shè)計(jì)原則，中間層神經(jīng)元的傳遞函數(shù)為S型正切函數(shù)。由于輸出已被歸一化到區(qū)間[0,1]中，因此，輸出神經(jīng)元的傳遞函數(shù)可以設(shè)定為