神經(jīng)網(wǎng)絡(luò)及BP與RBF比較

-CAL-FENGHAI.-(YICAI)-CompanyOne1-CAL-FENGHAI.-(YICAI)-CompanyOne1神經(jīng)網(wǎng)絡(luò)及BP與RBF比較機器學習第四章神經(jīng)網(wǎng)絡(luò)報告一、神經(jīng)網(wǎng)絡(luò)概述1.簡介人工神經(jīng)網(wǎng)絡(luò)是模仿腦細胞結(jié)構(gòu)和功能、腦神經(jīng)結(jié)構(gòu)以及思維處理問題等腦功能的信息處系統(tǒng)，它從模仿人腦智能的角度出發(fā)，探尋新的信息表示、存儲和處理方式，這種神經(jīng)網(wǎng)絡(luò)依靠系統(tǒng)的復雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關(guān)系，從而達到處理信息的目的，它采用了與傳統(tǒng)人工智能和信息處理技術(shù)完全不同的機理，克服了傳統(tǒng)的基于邏輯符號的人工智能在處理直覺、非結(jié)有針對性化信息方面的缺陷，具有自適應、自組織和實時學習的特點，它通過預先提供的一批相互對應的輸入和輸出數(shù)據(jù)，分析掌握兩者之間潛在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)來推算輸出結(jié)果。人工神經(jīng)網(wǎng)絡(luò)（ANN）學習對于訓練數(shù)據(jù)中的錯誤健壯性很好，且已被成功地應用到很多領(lǐng)域，例如視覺場景分析、語音識別、機器人控制以及醫(yī)學圖像處理等。人工神經(jīng)網(wǎng)絡(luò)2.人工神經(jīng)網(wǎng)絡(luò)的特點及功能人工神經(jīng)網(wǎng)絡(luò)具有以下幾個突出的優(yōu)點：（1）能充分逼近復雜的非線性關(guān)系。只有當神經(jīng)元對所有輸入信號的綜合處理結(jié)果超過某一個限值后才能輸出一個信號。（2）所有定量或定性的信息都等勢分布貯存于網(wǎng)絡(luò)內(nèi)的各神經(jīng)元，每個神經(jīng)元及其連線只能表示一部分信息，因此當有節(jié)點斷裂時也不影響總體運行效果，具有很強的魯棒性和容錯能力。（3）采用并行分布處理方法，使得快速進行大量運算成為可能。（4）可學習和自適應不知道或不確定的系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)的特點和優(yōu)越性，使其具有以下三個顯著的功能：（1）具有自學習功能：這種功能在圖像識別和處理以及未來預測方面表現(xiàn)得尤為明顯。自學習功能在未來預測方面也意義重大，隨著人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，未來它將在更多的領(lǐng)域，比如經(jīng)濟預測、市場預測、效益預測等等，發(fā)揮更好的作用。（2）具有聯(lián)想存儲功能：人的大腦能夠?qū)σ恍┫嚓P(guān)的知識進行歸類劃分，進而具有聯(lián)想的功能，當我們遇到一個人或者一件事情的時候，跟此人或者此事相關(guān)的一些信息會浮現(xiàn)在你的腦海，而人工神經(jīng)網(wǎng)絡(luò)則通過它的反饋網(wǎng)絡(luò)，實現(xiàn)一些相關(guān)事物的聯(lián)想。（3）具有高速尋找優(yōu)化解的功能：人工神經(jīng)網(wǎng)絡(luò)利用反饋型網(wǎng)絡(luò)，通過發(fā)揮計算機快速和高效的計算能力，結(jié)合針對解決某一問題的算法，往往能快速找到針對某些復雜問題的優(yōu)化解此外，ANN還存在著很多問題：如訓練時間長，需大量訓練數(shù)據(jù)，不能保證最佳結(jié)果和完全可靠，容易陷入局部極小，不具備增量學習能力，聯(lián)想存儲網(wǎng)絡(luò)容量小，所存儲的信息相互干擾和退化，不適合高精度計算，沒有很完善的學習方法，經(jīng)驗參數(shù)太多等。在實際應用中也存在著難以設(shè)計通用的神經(jīng)網(wǎng)絡(luò)芯片，大量的、動態(tài)的神經(jīng)無互聯(lián)實現(xiàn)困難等問題。因此，還需對ANN進行現(xiàn)深更進一步的研究。二RBF神經(jīng)網(wǎng)絡(luò)介紹徑向基函數(shù)（RBF）神經(jīng)網(wǎng)絡(luò)是一種新穎有效的前饋式神經(jīng)網(wǎng)絡(luò)，它具有最佳逼近和全局最優(yōu)的性能，同時訓練方法快速易行，不存在局部最優(yōu)問題，這些優(yōu)點使得RBF網(wǎng)絡(luò)在非線性時間序列預測中得到了廣泛的應用。1985年，Powell提出了多變量插值的徑向基函數(shù)（Radial-BasisFunction,RBF）方法。1988年，Broomhead和Lowe首先將RBF應用于神經(jīng)網(wǎng)絡(luò)設(shè)計，構(gòu)成了徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，對輸入矢量進行一次變換，將低維的模式輸入數(shù)據(jù)變換到高維空間內(nèi)，通過對隱單無輸出的加權(quán)求和得到輸出，這就是RBF網(wǎng)絡(luò)的基本思想。RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原理RBF函數(shù)網(wǎng)絡(luò)從結(jié)構(gòu)上看是一個3層前饋網(wǎng)絡(luò)，包括一個輸入層、一個輸出層和一人隱含層。輸入層節(jié)點的作用是將輸入數(shù)據(jù)傳遞到隱含層節(jié)點。隱含層節(jié)點稱為RBF節(jié)點，其激活函數(shù)為輻射狀函數(shù)的神經(jīng)元構(gòu)成，下面是單輸出的RBF網(wǎng)絡(luò)的拓撲圖：通常采用高斯型函數(shù)：u其中x=(x1,x2,…,xm)RBF網(wǎng)絡(luò)中所用的非線性函數(shù)的形式對網(wǎng)絡(luò)性能的影響并不是至關(guān)重要的，關(guān)鍵因素是基函數(shù)中心的選取，中心選取不當構(gòu)造出來的RBF網(wǎng)絡(luò)的性能一般不能令人滿意。例如，某些中心靠的太近，會產(chǎn)生近似線性相關(guān)，從而帶來數(shù)值上的病變條件。通常使用的RBF有：高斯函、多二次函數(shù)、逆多二次函數(shù)、薄板樣條函數(shù)等。普通RBF網(wǎng)絡(luò)采用的是高斯函數(shù)。“基函數(shù)”采用的高斯基函數(shù)具備如下的優(yōu)點：表示形式簡單，即使對于多變量輸入也不增加太多的復雜性；徑向?qū)ΨQ；光滑性好，任意階導數(shù)均存在；由于該基函數(shù)表示簡單且解析性好，因而便于進行理論分析。最近鄰聚類學習算法按RBF中心選取方法的不同來分可將RBF網(wǎng)絡(luò)的學習算法分為隨機選取中心、自組織選取中心、有監(jiān)督選取中心、正交最小二乘等方法。下面對最近鄰聚類學習算法選取RBF基函數(shù)中心進行介紹；該算法是一種在線自適應聚類學習算法，不需要事先確定隱單元的個數(shù)，完成聚類所得到RBF網(wǎng)絡(luò)是最優(yōu)的，并且此算法可以在線學習。該算法具體過程如下：（1）選擇一個適當?shù)母咚购瘮?shù)寬度r，定義一個矢量Λ(l)用于存放屬于各類的輸出矢量之各，定義一個計數(shù)器B(l)用于統(tǒng)計屬于各類的樣本個數(shù)，其中（2）從第一個數(shù)據(jù)對（x1,y1）開始，在x1上建立一個聚類中心，令c1=（3）考慮第2個樣本數(shù)據(jù)對（x2,y2），求出x2到c1這個聚類中心的距離｜x2-c1｜。如果｜x2-c1｜≤r（4）假設(shè)我們考慮第k個樣本數(shù)據(jù)對（xk,yk）時，k=3,4,…,N存在M個聚類中心，其中心點分別為c1,c2,如果｜xk-ci｜>r，則將xk作為一個新聚類中心，并令cM+如查如果｜xk-ci｜≤r，作如下計算Λj=Λj+y（5）根據(jù)上述規(guī)則建立的RBF網(wǎng)絡(luò)其輸出應為f半徑r的大小決定了動態(tài)自適應RBF網(wǎng)絡(luò)的復雜程度。r越小，所得到的聚類數(shù)目就越多，計算量也越大。但由于r是一個一維參數(shù)，通?？梢酝ㄟ^實驗和誤差信息找到一個適當?shù)膔，這比同時確定隱單元的個數(shù)和一個合適的范數(shù)要方便的多。由于每一個輸入-輸出數(shù)據(jù)對都可能產(chǎn)生一個新的聚類。因此，這種動態(tài)自適應RBF網(wǎng)絡(luò)，實際上同時在進行參數(shù)和結(jié)構(gòu)兩個過程的自適應調(diào)整。三BP神經(jīng)網(wǎng)絡(luò)介紹BP（BackPropagation）網(wǎng)絡(luò)是1986年由Rumclhart和McCelland為首的科學家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ柧毜亩鄬忧梆伨W(wǎng)絡(luò)，是目前應用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學習和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學方程。它的學習規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓撲結(jié)構(gòu)包括輸入層（input）、隱藏層（hidelayer）和輸出層（outputlayer）。每一層由一定數(shù)量的神經(jīng)元構(gòu)成，如下圖所示：當學習模式供給網(wǎng)絡(luò)后，神經(jīng)元激活值從輸出層傳播，在輸出層各神經(jīng)元輸出對應的值，然后按照減少與期望輸出與實際輸出的準則，從輸出層回到隱含層，再回到輸入層修正各個網(wǎng)絡(luò)系數(shù)。由于BP網(wǎng)絡(luò)有處于中間的隱藏層，并有相應的學習規(guī)則可循，可以訓練這種網(wǎng)絡(luò)，使其具有對非線性模式的識別能力。常用于信息處理、模式識別、智能控制及系統(tǒng)建模領(lǐng)域。BP網(wǎng)絡(luò)主要罝入模式順傳播，輸出誤差逆?zhèn)鞑?，循環(huán)記憶訓練，學習結(jié)果判別四個部分組成。下面是BP算法的學習過程：BPTrain{初始化network的權(quán)和閾值。While終止條件不滿足{ forsamples中的每個訓練樣本X{ //向前傳播輸入 For隱藏或輸出層每個單元j{Ij=i } //后向傳播誤差 for輸出層每個單元j{ Errj } for由最后一個到第一個隱藏層，對于隱藏層每個單元j{ Errj }fornetwork中每個權(quán)ωij ωij ωij}fornetwork中每個偏差θj θj θj}}}算法基本流程就是：初始化網(wǎng)絡(luò)權(quán)值和神經(jīng)元的閾值（最簡單的辦法就是隨要初始化）前向傳播：按照公式一層一層的計算隱藏層神經(jīng)元和輸出層神經(jīng)元的輸入和輸出。反向傳播：根據(jù)公式修正權(quán)值和閾值直到滿足終止條件。四RBF神經(jīng)網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)的比較RBF神經(jīng)網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)都是非線性多層前向網(wǎng)絡(luò)，它們都是通用逼近器。對于任一個BP神經(jīng)網(wǎng)絡(luò)，總存在一個RBF神經(jīng)網(wǎng)絡(luò)可以代替它，反之亦然。但是這兩個網(wǎng)絡(luò)也存在著很多不同點，這里從網(wǎng)絡(luò)結(jié)構(gòu)、訓練算法、網(wǎng)絡(luò)資源的利用及逼近性能等方面對RBF神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)進行比較研究。（1）從網(wǎng)絡(luò)結(jié)構(gòu)上看。BP神經(jīng)網(wǎng)絡(luò)實行權(quán)連接，而RBF神經(jīng)網(wǎng)絡(luò)輸入層到隱層單元之間為直接連接，隱層到輸出層實行權(quán)連接。BP神經(jīng)網(wǎng)絡(luò)隱層單元的轉(zhuǎn)移函數(shù)一般選擇非線性函數(shù)（如反正切函數(shù)），RBF神經(jīng)網(wǎng)絡(luò)隱層單元的轉(zhuǎn)移函數(shù)是關(guān)于中心對稱的RBF（如高斯函數(shù)）。BP神經(jīng)網(wǎng)絡(luò)是三層或三層以上的靜態(tài)前饋神經(jīng)網(wǎng)絡(luò)，其隱層和隱層節(jié)點數(shù)不容易確定，沒有普遍適用的規(guī)律可循，一旦網(wǎng)絡(luò)的結(jié)構(gòu)確定下來，在訓練階段網(wǎng)絡(luò)結(jié)構(gòu)將不再變化；RBF神經(jīng)網(wǎng)絡(luò)是三層靜態(tài)前饋神經(jīng)網(wǎng)絡(luò)，隱層單元數(shù)也就是網(wǎng)絡(luò)的結(jié)構(gòu)可以根據(jù)研究的具體問題，在訓練階段自適應地調(diào)整，這樣網(wǎng)絡(luò)的適用性就更好了。（2）從訓練算法上看。BP神經(jīng)網(wǎng)絡(luò)需要確定的參數(shù)是連接權(quán)值和閾值，主要的訓練算法為BP算法和改進的BP算法。但BP算法存在許多不足之處，主要表現(xiàn)為易限于局部極小值，學習過程收斂速度慢，隱層和隱層節(jié)點數(shù)難以確定；更為重要的是，一個新的BP神經(jīng)網(wǎng)絡(luò)能否經(jīng)過訓練達到收斂還與訓練樣本的容量、選擇的算法及事先確定的網(wǎng)絡(luò)結(jié)構(gòu)（輸入節(jié)點、隱層節(jié)點、輸出節(jié)點及輸出節(jié)點的傳遞函數(shù)）、期望誤差和訓練步數(shù)有很大的關(guān)系。RBF神經(jīng)網(wǎng)絡(luò)的訓練算法在前面已做了論述，目前，很多RBF神經(jīng)網(wǎng)絡(luò)的訓練算法支持在線和離線訓練，可以動態(tài)確定網(wǎng)絡(luò)結(jié)構(gòu)和隱層單元的數(shù)據(jù)中心和擴展常數(shù)，學習速度快，比BP算法表現(xiàn)出更好的性能。（3）從網(wǎng)絡(luò)資源的利用上看。RBF神經(jīng)網(wǎng)絡(luò)原理、結(jié)構(gòu)和學習算法的特殊性決定了其隱層單元的分配可以根據(jù)訓練樣本的容量、類別和分布來決定。如采用最近鄰聚類方式訓練網(wǎng)絡(luò)，網(wǎng)絡(luò)隱層單元的分配就僅與訓練樣本的分布及隱層單元的寬度有關(guān)，與執(zhí)行的任務無關(guān)。在隱層單元分配的基礎(chǔ)上，輸入與輸出之間的映射關(guān)系，通過調(diào)整隱層單元和輸出單元之間的權(quán)值來實現(xiàn)，這樣，不同的任務之間的影響就比較小，網(wǎng)絡(luò)的資源就可以得到充分的利用。這一點和BP神經(jīng)網(wǎng)絡(luò)完全不同，BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值的確定由每個任務（輸出節(jié)點）均方差的總和直接決定，這樣，訓練的網(wǎng)絡(luò)只能是不同任務的折中，對于某個任務來說，就無法達到最佳的效果。而RBF神經(jīng)網(wǎng)絡(luò)則可以使每個任務之間的影響降到較低的水平，從而每個任務都能達到較好的效果，這種并行的多任務