RBF神經(jīng)網(wǎng)絡(luò)概述

1、RBF神經(jīng)網(wǎng)絡(luò)概述1RBF神經(jīng)網(wǎng)絡(luò)的基本原理2RBF神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)3RBF神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)1 RBF神經(jīng)網(wǎng)絡(luò)的基本原理人工神經(jīng)網(wǎng)絡(luò)以其獨(dú)特的信息處理能力在許多領(lǐng)域得到了成功的應(yīng)用。它不僅具有強(qiáng)大的非線性映射能力，而且具有自適應(yīng)、自學(xué)習(xí)和容錯(cuò)性等，能夠從大量的歷史數(shù)據(jù)中進(jìn)行聚類和學(xué)習(xí)，進(jìn)而找到某些行為變化的規(guī)律。徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡(luò)是一種新穎有效的前饋式神經(jīng)網(wǎng)絡(luò)，它具有最佳逼近和全局最優(yōu)的性能，同時(shí)訓(xùn)練方法快速易行，不存在局部最優(yōu)問(wèn)題，這些優(yōu)點(diǎn)使得RBF網(wǎng)絡(luò)在非線性時(shí)間序列預(yù)測(cè)中得到了廣泛的應(yīng)用。1985年,Powell提出了多變量插值的徑向基函數(shù)(Radial-BasisFuncti

2、on,RBF)方法。1988年，Broomhead和Lowe首先將RBF應(yīng)用于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，構(gòu)成了徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，即RBF神經(jīng)網(wǎng)絡(luò)。用徑向基函數(shù)(RBF)作為隱單元的“基”構(gòu)成隱含層空間，對(duì)輸入矢量進(jìn)行一次變換，將低維的模式輸入數(shù)據(jù)變換到高維空間內(nèi)，通過(guò)對(duì)隱單元輸出的加權(quán)求和得到輸出，這就是RBF網(wǎng)絡(luò)的基本思想。2 RBF神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)RBF網(wǎng)絡(luò)是一種三層前向網(wǎng)絡(luò)：第一層為輸入層，由信號(hào)源節(jié)點(diǎn)組成。第二層為隱含層，隱單元的變換函數(shù)是一種局部分布的非負(fù)非線性函數(shù)，他對(duì)中心點(diǎn)徑向?qū)ΨQ且衰減。隱含層的單元數(shù)由所描述問(wèn)題的需要確定。第三層為輸出層，網(wǎng)絡(luò)的輸出是隱單元輸出的線性加權(quán)。RBF網(wǎng)絡(luò)的

3、輸入空間到隱含層空間的變換是非線性的，而從隱含層空間到輸出層空間的變換是線性。不失一般性，假定輸出層只有一個(gè)隱單元，令網(wǎng)絡(luò)的訓(xùn)練樣本對(duì)為X,d(n二1,2,.,N),其中nnX=x,x，,xT,(n=1,2,.,N)為訓(xùn)練樣本的輸入，d(n=1,2,.,N)為訓(xùn)練樣nn1n2nMn本的期望輸出，對(duì)應(yīng)的實(shí)際輸出為Y(n二1,2,.,N);基函數(shù)申(X,t)為第i個(gè)隱單元ni的輸出t二t,t,.,t,.,t(i二1,2,.,I)為基函數(shù)的中心；w(i=1,2,.,I)為第iii1i2imiMi個(gè)隱單元與輸出單元之間的權(quán)值。單輸出的RBF網(wǎng)絡(luò)的拓?fù)鋱D如圖1所示：圖1RBF網(wǎng)絡(luò)的拓?fù)鋱D當(dāng)網(wǎng)絡(luò)輸入訓(xùn)練樣

4、本X時(shí)，網(wǎng)絡(luò)的實(shí)際輸出為：Y(X)=w申(X,t)nini通常使用的RBF有：高斯函數(shù)、多二次函數(shù)(multiquadricfunction)、逆多二次函數(shù)、薄板樣條函數(shù)等。普通RBF網(wǎng)絡(luò)采用的是高斯函數(shù)。當(dāng)“基函數(shù)”采用的高斯基函數(shù)具備如下的優(yōu)點(diǎn)： 表示形式簡(jiǎn)單，即使對(duì)于多變量輸入也不增加太多的復(fù)雜性； 徑向?qū)ΨQ； 光滑性好，任意階導(dǎo)數(shù)均存在； 由于該基函數(shù)表示簡(jiǎn)單且解析性好，因而便于進(jìn)行理論分析。RBF網(wǎng)絡(luò)具有良好的逼近任意非線性函數(shù)和表達(dá)系統(tǒng)內(nèi)在的難以解析的規(guī)律性的能力，并且具有極快的學(xué)習(xí)收斂速度?；趶较蚧瘮?shù)網(wǎng)絡(luò)的上述優(yōu)點(diǎn)，我們將其應(yīng)用于對(duì)非線性函數(shù)的模擬當(dāng)中。3RBF神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)

5、RBF神經(jīng)網(wǎng)絡(luò)(RadialBasisFunctionNeuralNetwork)是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，全稱基于誤差反向傳播算法的人工神經(jīng)網(wǎng)絡(luò)。拓?fù)浣Y(jié)構(gòu)的單隱層前饋網(wǎng)絡(luò)，一般稱為三層前饋網(wǎng)或三層感知器，即：輸入層、中間層(也稱隱層)和輸出層。它的特點(diǎn)是：各層神經(jīng)元僅與相鄰層神經(jīng)元之間相互全連接，同層內(nèi)神經(jīng)元之間無(wú)連接，各層神經(jīng)元之間無(wú)反饋連接，構(gòu)成具有層次結(jié)構(gòu)的前饋型神經(jīng)網(wǎng)絡(luò)系統(tǒng)。單計(jì)算層前饋神經(jīng)網(wǎng)絡(luò)只能求解線性可分問(wèn)題，能夠求解非線性問(wèn)題的網(wǎng)絡(luò)必須是具有隱層的多層神經(jīng)網(wǎng)絡(luò)。傳統(tǒng)的RBF網(wǎng)絡(luò)以及改進(jìn)的RBF網(wǎng)絡(luò)在時(shí)間序列預(yù)測(cè)中的應(yīng)用較多，但是存在局部最優(yōu)問(wèn)題、訓(xùn)練速度慢、效率低，在某種程度上

6、限制了其應(yīng)用范圍。RBF神經(jīng)網(wǎng)絡(luò)的產(chǎn)生具有很強(qiáng)的生物學(xué)背景。在人的大腦皮層區(qū)域中，局部調(diào)節(jié)及交疊的感覺(jué)域(ReceptiveField)是人腦反應(yīng)的特點(diǎn)。RBF網(wǎng)絡(luò)具有以下特點(diǎn)： 前向網(wǎng)絡(luò)； 隱單元的激活函數(shù)通常為具有局部接受域的函數(shù)，即僅當(dāng)輸入落在輸入空間中一個(gè)很小的指定區(qū)域中時(shí)，隱單元才做出有意義的非零響應(yīng)。因此，RBF網(wǎng)絡(luò)有時(shí)也稱為局部接受域網(wǎng)絡(luò)(LocalizedReceptiveFieldNetwork)。 BRF網(wǎng)絡(luò)的局部接受特性使得其決策時(shí)隱含了距離的概念，即只有當(dāng)輸入接近RBF網(wǎng)絡(luò)的接受域時(shí)，網(wǎng)絡(luò)才會(huì)對(duì)之做出響應(yīng)。這就避免了BP網(wǎng)絡(luò)超平面分割所帶來(lái)的任意劃分特性。在RBF網(wǎng)絡(luò)中

7、，輸入層至輸出層之間的所有權(quán)值固定為1，隱層RBF單元的中心及半徑通常也預(yù)先確定，僅隱層至輸出層之間的權(quán)值可調(diào)。RBF網(wǎng)絡(luò)的隱層執(zhí)行一種固定不變的非線性變換，將輸入空間映射到一個(gè)新的隱層空間，輸出層在該新的空間中實(shí)現(xiàn)線性組合。顯然由于輸出單元的線性特性，其參數(shù)調(diào)節(jié)極為簡(jiǎn)單，且不存在局部極小問(wèn)題。 另外，研究還表明，一般BRF網(wǎng)絡(luò)所利用的非線性激活函數(shù)形式對(duì)網(wǎng)絡(luò)性能的影響并非至關(guān)重要，關(guān)鍵因素是基函數(shù)中心的選取。因此，與BP網(wǎng)絡(luò)同屬前饋神經(jīng)網(wǎng)絡(luò)的BRF網(wǎng)絡(luò)在一定程度上克服了BP網(wǎng)絡(luò)所存在的一些問(wèn)題。徑向基函數(shù)網(wǎng)絡(luò)包括兩層：隱單元層和線性單元層，下圖為徑向基函數(shù)網(wǎng)絡(luò)的結(jié)構(gòu)圖:RBF網(wǎng)絡(luò)具有最佳逼近

8、的特性，它可以用局部逼近的總和達(dá)到對(duì)訓(xùn)練數(shù)據(jù)的全局逼近，因此利用低階局部逼近的總和可以完成對(duì)訓(xùn)練數(shù)據(jù)的擬合。對(duì)于BRF網(wǎng)絡(luò)而言，其輸出節(jié)點(diǎn)計(jì)算由隱層節(jié)點(diǎn)給出的基函數(shù)的線性組合，其隱層中的基函數(shù)對(duì)輸入激勵(lì)產(chǎn)生一個(gè)局部化的響應(yīng)，即每一個(gè)隱節(jié)點(diǎn)有一個(gè)參數(shù)矢量c，稱之為中心，該中心用來(lái)與網(wǎng)絡(luò)輸入樣本矢量相比較，以產(chǎn)生徑向?qū)ΨQ響應(yīng)，僅當(dāng)輸入樣本落在輸入空間的某個(gè)局部區(qū)域時(shí)，隱節(jié)點(diǎn)才做出有意義的非零響應(yīng)值，響應(yīng)值在0到1之間，輸入與基函數(shù)中心的距離越近，隱節(jié)點(diǎn)響應(yīng)越大，而輸出單元一般是線性的，即輸出單元對(duì)隱節(jié)點(diǎn)輸出進(jìn)行線性加權(quán)組合。因此只有少數(shù)幾個(gè)權(quán)值影響網(wǎng)絡(luò)的輸出，在訓(xùn)練時(shí)也只有少數(shù)權(quán)值需要進(jìn)行調(diào)整，從

9、而使得RBF網(wǎng)絡(luò)的學(xué)習(xí)速度大大提高。利用徑向基函數(shù)網(wǎng)絡(luò)來(lái)完成函數(shù)逼近任務(wù)，并且將結(jié)果與BP網(wǎng)絡(luò)以及采用改進(jìn)BP算法的前向網(wǎng)絡(luò)的訓(xùn)練結(jié)果作比較，發(fā)現(xiàn)徑向基函數(shù)網(wǎng)絡(luò)所用時(shí)間最短。這個(gè)例子揭示了如何用徑向基函數(shù)網(wǎng)絡(luò)來(lái)進(jìn)行函數(shù)逼近，當(dāng)誤差指標(biāo)取0到1時(shí)，采用不同的方法逼近同一個(gè)函數(shù)，其性能對(duì)比結(jié)果如表2.1所示：表1性能對(duì)比結(jié)果訓(xùn)練函數(shù)網(wǎng)絡(luò)類型時(shí)間(秒)訓(xùn)練步數(shù)trainbpBP網(wǎng)絡(luò)247.34127Trainbpx采用快速BP算法的前向網(wǎng)絡(luò)41.2571trainlm米用L一M算法的前向網(wǎng)絡(luò)3.15solverb徑向基函數(shù)網(wǎng)絡(luò)1.75由對(duì)比結(jié)果可以看出，RBF網(wǎng)絡(luò)確實(shí)比BP網(wǎng)絡(luò)體現(xiàn)出更強(qiáng)的函數(shù)逼近和

10、分類能力。而且訓(xùn)練速度明顯提高，訓(xùn)練步數(shù)顯著減少。由此，可以看出RBF網(wǎng)絡(luò)具有下列優(yōu)點(diǎn): 它具有唯一最佳逼近的特性，且無(wú)局部極小問(wèn)題存在。 RBF神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的輸入和輸出映射功能，并且理論證明在前向網(wǎng)絡(luò)中RBF網(wǎng)絡(luò)是完成映射功能的最優(yōu)網(wǎng)絡(luò)。 網(wǎng)絡(luò)連接權(quán)值與輸出呈線性關(guān)系。 分類能力好。 學(xué)習(xí)過(guò)程收斂速度快。從函數(shù)逼近功能來(lái)分，神經(jīng)網(wǎng)絡(luò)可分為全局逼近神經(jīng)網(wǎng)絡(luò)和局部逼近神經(jīng)網(wǎng)絡(luò)。如果網(wǎng)絡(luò)的一個(gè)或多個(gè)權(quán)值或自適應(yīng)可調(diào)參數(shù)在輸入空間的每一個(gè)點(diǎn)對(duì)任何一個(gè)輸出都有影響，則稱神經(jīng)網(wǎng)絡(luò)為全局逼近神經(jīng)網(wǎng)絡(luò)。多層前饋網(wǎng)絡(luò)是全局逼近網(wǎng)絡(luò)的典型例子。對(duì)于每個(gè)輸入輸出數(shù)據(jù)，網(wǎng)絡(luò)的每一個(gè)權(quán)值均需要調(diào)整，從而導(dǎo)致全局逼近網(wǎng)絡(luò)學(xué)習(xí)速度很慢。若對(duì)與輸入空間的某個(gè)