RBF神經(jīng)網(wǎng)絡(luò)設(shè)計

1、1會計學(xué)RBF神經(jīng)網(wǎng)絡(luò)設(shè)計神經(jīng)網(wǎng)絡(luò)設(shè)計目 錄 RBF神經(jīng)網(wǎng)絡(luò)簡介徑向基函數(shù)的網(wǎng)絡(luò)結(jié)構(gòu) 徑向基函數(shù)網(wǎng)絡(luò)參數(shù)選擇RBF網(wǎng)絡(luò)應(yīng)用于模式分類總結(jié) 一一. RBF神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)簡介簡介u從對函數(shù)的逼近功能而言，神經(jīng)網(wǎng)絡(luò)可分為全局逼近和局部逼近。局部逼近網(wǎng)絡(luò)具有學(xué)習(xí)速度快的優(yōu)點。徑向基函數(shù)（Radial Basis Function，RBF）就屬于局部逼近神經(jīng)網(wǎng)絡(luò)。u徑向基函數(shù)RBF神經(jīng)網(wǎng)絡(luò)（簡稱徑向基網(wǎng)絡(luò)）是由J.Moody和C.Darken于20世紀(jì)80年代末提出的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，RBF神經(jīng)網(wǎng)絡(luò)是一種性能良好的前向網(wǎng)絡(luò)，具有最佳逼近及克服局部極小值問題的性能。二二.徑向基函數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)徑向基函數(shù)的

2、網(wǎng)絡(luò)結(jié)構(gòu)徑向基函數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)二二.徑向基函數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)徑向基函數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)輸入層到隱含層為非線性映射,基函數(shù)是高斯函數(shù)： 2i2ii2|c-x|-expxR二二.徑向基函數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)徑向基函數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)RBF神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是一種三層前向網(wǎng)絡(luò)： 輸入層由信號源結(jié)點構(gòu)成，僅起到數(shù)據(jù)信息的傳遞作用，對輸入信息不進(jìn)行任何變換； 第二層為隱含層，結(jié)點數(shù)視需要而定，隱含層神經(jīng)元的核函數(shù)（作用函數(shù)）為高斯函數(shù)，對輸入信息進(jìn)行空間映射變換； 第三層為輸出層，它對輸入模式做出響應(yīng)，輸出層神經(jīng)元的作用函數(shù)為線性函數(shù)，對隱含層神經(jīng)元輸出的信息進(jìn)行線性加權(quán)后輸出，作為整個神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果。三三.徑向徑向基函數(shù)網(wǎng)

3、絡(luò)參數(shù)選擇基函數(shù)網(wǎng)絡(luò)參數(shù)選擇 四四、RBF網(wǎng)絡(luò)網(wǎng)絡(luò)應(yīng)用應(yīng)用于模式分類于模式分類 以酒瓶分類三元色數(shù)據(jù)為例，希望將數(shù)據(jù)按照顏色數(shù)據(jù)所表征的特點，將數(shù)據(jù)按各自所屬的類別歸類。其中，前29組數(shù)據(jù)已確定類別，后30組數(shù)據(jù)待確定類別。（1）從樣本數(shù)據(jù)庫中獲取訓(xùn)練數(shù)據(jù) 取前29組數(shù)據(jù)作為訓(xùn)練樣本。為了編程方便，先對這29組數(shù)據(jù)按類別進(jìn)行升序排序。重新排序后的數(shù)據(jù)如下表所示。序 號ABC分 類 結(jié) 果4864.451647.312665.916877.882031.663071.181161418.791775.892772.91251449.581641.583405.12182352.122557.04

4、1411.532142297.283340.14535.622152092.623177.21584.322182205.363243.741202.692192949.163244.44662.422222802.883017.111984.982242063.543199.761257.21211739.941675.152395.96331756.7716521514.98371803.581583.122163.053111571.171731.041735.333171845.591918.812226.493201692.621867.52108.973211680.671575.

5、781725.13261651.521713.281570.3832373.33087.052429.4745222.853059.542002.3349401.33259.942150.98410363.343477.952462.86412104.83389.832421.83413499.853305.752196.22423172.783084.492328.65427341.593076.622438.63428291.023095.682088.95429237.633077.782251.964 四四、RBF網(wǎng)絡(luò)網(wǎng)絡(luò)應(yīng)用應(yīng)用于模式分類于模式分類 將排序后的數(shù)據(jù)及其類別繪制在三維圖

6、中直觀地表示出來，作為RBF網(wǎng)絡(luò)訓(xùn)練時應(yīng)達(dá)到的目標(biāo)。排序后的數(shù)據(jù)及其類別的三維圖如下圖所示。 四四、RBF網(wǎng)絡(luò)網(wǎng)絡(luò)應(yīng)用應(yīng)用于模式分類于模式分類將樣本數(shù)據(jù)及分類結(jié)果分別存放到“.dat”文件中。數(shù)據(jù)文件內(nèi)容及格式如下圖所示。rbf_train_sample_data.dat文件內(nèi)容及格式rbf_simulate_data.dat文件內(nèi)容及格式rbf_train_target_data.dat文件內(nèi)容及格式 四四、RBF網(wǎng)絡(luò)網(wǎng)絡(luò)應(yīng)用應(yīng)用于模式分類于模式分類（2）設(shè)置徑向基函數(shù)的分布密度 Spread為徑向基層的分布密度，又稱散布常數(shù)，默認(rèn)值為1。散布常數(shù)是RBF網(wǎng)絡(luò)設(shè)計過程中一個非常重要的參數(shù)。一

7、般情況下，散布常數(shù)應(yīng)該足夠大，使得神經(jīng)元響應(yīng)區(qū)域覆蓋所有輸入?yún)^(qū)間。（3）調(diào)用newrb構(gòu)建并訓(xùn)練徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)；在MATLAB中，構(gòu)建徑向基函數(shù)網(wǎng)絡(luò)的函數(shù)文件有兩個，分別為newrbe( )函數(shù)和newrb()函數(shù)。應(yīng)用newrbe( )函數(shù)可以快速設(shè)計一個徑向基函數(shù)網(wǎng)絡(luò)，并且使得設(shè)計誤差為0，調(diào)用方式如下：net=newrbe(p,t,spread);其中，p為輸入向量；t為期望輸出向量（目標(biāo)值），spread為徑向基層的散布常數(shù)，默認(rèn)值為1。輸出為一個徑向基網(wǎng)絡(luò)，其權(quán)值和閾值完全滿足輸入和期望值關(guān)系要求。 由newrbe( )函數(shù)構(gòu)建的徑向基函數(shù)網(wǎng)絡(luò)，其徑向基層（第一層）神經(jīng)元數(shù)目等于

8、輸入向量的個數(shù)，那么在輸入向量較多的情況下，則需要很多的神經(jīng)元，這就給網(wǎng)絡(luò)設(shè)計帶來一定的難度。函數(shù)newrb( )則可自動增加網(wǎng)絡(luò)的隱含層神經(jīng)元數(shù)目，直到均方差滿足精度或神經(jīng)元數(shù)目達(dá)到最大為止。 四四、RBF網(wǎng)絡(luò)網(wǎng)絡(luò)應(yīng)用應(yīng)用于模式分類于模式分類 newrb定義為net= newrb(p,t,GOAL,SPREAD,MN,DF)，各個參數(shù)的定義如下：u PQ個輸入向量的RQ維矩陣。這里Q=29，R=3u TQ個目標(biāo)類別向量的SQ維矩陣。這里S=1u GOAL期望的均方誤差值，默認(rèn)時為0.0。這里選擇默認(rèn)值u SPREAD徑向基函數(shù)的散布常數(shù)，默認(rèn)時為1.0u MN神經(jīng)元的最大數(shù)目，默認(rèn)時等于Q。

9、這里設(shè)置為28u DF每次顯示時增加的神經(jīng)元數(shù)目，默認(rèn)時為25，并且返回一個新的徑向基函數(shù)網(wǎng)絡(luò)。這里設(shè)置為2。（4）調(diào)用sim，測試RBF網(wǎng)絡(luò)的訓(xùn)練效果（5）再次調(diào)用sim識別樣本所屬類別 四四、RBF網(wǎng)絡(luò)網(wǎng)絡(luò)應(yīng)用應(yīng)用于模式分類于模式分類基于MATLAB的RBF模式分類程序如下：clear;clc;%網(wǎng)絡(luò)訓(xùn)練目標(biāo)pConvert=importdata(C:UsersAdministratorDesktopRBFrbf_train_sample_data.dat);p=pConvert;t=importdata(C:UsersAdministratorDesktopRBFrbf_train_ta

10、rget_data.dat);plot3(p(1,:),p(2,:),p(3,:),o);grid;box;for i=1:29,text(p(1,i),p(2,i),p(3,i),sprintf( %g,t(i),endhold offf=t;index1=find(f=1);index2=find(f=2);index3=find(f=3);index4=find(f=4); 四四、RBF網(wǎng)絡(luò)網(wǎng)絡(luò)應(yīng)用應(yīng)用于模式分類于模式分類 line(p(1,index1),p(2,index1),p(3,index1),linestyle,none,marker,*,color,g);line(p(1,

11、index2),p(2,index2),p(3,index2),linestyle,none,marker,*,color,r);line(p(1,index3),p(2,index3),p(3,index3),linestyle,none,marker,+,color,b);line(p(1,index4),p(2,index4),p(3,index4),linestyle,none,marker,+,color,y);box;grid on;hold on;axis(0 3500 0 3500 0 3500);title(訓(xùn)練用樣本及其類別);xlabel(A);ylabel(B);zla

12、bel(C);% RBF網(wǎng)絡(luò)的創(chuàng)建和訓(xùn)練過程net=newrb(p,t,0,410,28,2);A=sim(net,p)plot3(p(1,:),p(2,:),p(3,:),r .),grid;box;axis(0 3500 0 3500 0 3500)for i=1:29,text(p(1,i),p(2,i),p(3,i),sprintf( %g,A(i),endhold offf=A; 四四、RBF網(wǎng)絡(luò)網(wǎng)絡(luò)應(yīng)用應(yīng)用于模式分類于模式分類index1=find(f=1);index2=find(f=2);index3=find(f=3);index4=find(f=4);line(p(1,in

13、dex1),p(2,index1),p(3,index1),linestyle,none,marker,*,color,g);line(p(1,index2),p(2,index2),p(3,index2),linestyle,none,marker,*,color,r);line(p(1,index3),p(2,index3),p(3,index3),linestyle,none,marker,+,color,b);line(p(1,index4),p(2,index4),p(3,index4),linestyle,none,marker,+,color,y);box;grid on;hol

14、d on;title(網(wǎng)絡(luò)訓(xùn)練結(jié)果);xlabel(A);ylabel(B);zlabel(C);%對測試樣本進(jìn)行分類pConvert=importdata(C:UsersAdministratorDesktopRBFrbf_simulate_data.dat);p=pConvert;a=sim(net,p) 四四、RBF網(wǎng)絡(luò)網(wǎng)絡(luò)應(yīng)用應(yīng)用于模式分類于模式分類 運行程序后，系統(tǒng)首先輸出訓(xùn)練用樣本及其類別分類圖，如下圖a所示。 接著輸出RBF網(wǎng)絡(luò)的訓(xùn)練結(jié)果圖，如下圖b所示。圖a 訓(xùn)練用樣本及其類別分類圖圖b RBF網(wǎng)絡(luò)的訓(xùn)練結(jié)果圖 四四、RBF網(wǎng)絡(luò)網(wǎng)絡(luò)應(yīng)用應(yīng)用于模式分類于模式分類RBF網(wǎng)絡(luò)結(jié)果網(wǎng)絡(luò)

15、結(jié)果與原始數(shù)據(jù)對比與原始數(shù)據(jù)對比序 號ABC目 標(biāo) 結(jié) 果RBF網(wǎng)絡(luò)分類結(jié)果4864.451647.312665.9116877.882031.663071.1811161418.791775.892772.911251449.581641.583405.121182352.122557.041411.5322142297.283340.14535.6222152092.623177.21584.3222182205.363243.741202.6922192949.163244.44662.4222222802.883017.111984.9822242063.543199.761257.2

16、12211739.941675.152395.963331756.7716521514.9833RBF網(wǎng)絡(luò)結(jié)果網(wǎng)絡(luò)結(jié)果與原始數(shù)據(jù)對比與原始數(shù)據(jù)對比71803.581583.122163.0533111571.171731.041735.3333171845.591918.812226.4933201692.621867.52108.9733211680.671575.781725.133261651.521713.281570.38332373.33087.052429.47445222.853059.542002.33449401.33259.942150.984410363.343477.

17、952462.864412104.83389.832421.834413499.853305.752196.224423172.783084.492328.654427341.593076.622438.634428291.023095.682088.954429237.633077.782251.9644RBF網(wǎng)絡(luò)網(wǎng)絡(luò)分類結(jié)果分析分類結(jié)果分析訓(xùn)練后的RBF網(wǎng)絡(luò)對訓(xùn)練數(shù)據(jù)進(jìn)行分類后的結(jié)果與目標(biāo)結(jié)果完全吻合，可見RBF網(wǎng)絡(luò)訓(xùn)練效果良好。以下為神經(jīng)元逐漸增加的過程及對應(yīng)輸出的均方誤差。NEWRB, neurons = 0, MSE = 1.1082NEWRB, neurons = 2, MSE =

18、 0.262521NEWRB, neurons = 4, MSE = 0.188316NEWRB, neurons = 6, MSE = 0.104082NEWRB, neurons = 8, MSE = 0.0794035NEWRB, neurons = 10, MSE = 0.0524248NEWRB, neurons = 12, MSE = 0.0377437NEWRB, neurons = 14, MSE = 0.0302773NEWRB, neurons = 16, MSE = 0.0209541NEWRB, neurons = 18, MSE = 0.0124128NEWRB, n

19、eurons = 20, MSE = 0.000818943NEWRB, neurons = 22, MSE = 0.000771163NEWRB, neurons = 24, MSE = 0.000131081NEWRB, neurons = 26, MSE = 7.66274e-07NEWRB, neurons = 28, MSE = 3.75729e-31RBF網(wǎng)絡(luò)網(wǎng)絡(luò)分類結(jié)果分析分類結(jié)果分析 從運行過程可以看出，隨著神經(jīng)元數(shù)目的逐漸增加，均方誤差逐漸減小。當(dāng)神經(jīng)元數(shù)目增加到28時，誤差已經(jīng)很接近0，基本可以達(dá)到要求。 繼續(xù)執(zhí)行程序，系統(tǒng)將給出訓(xùn)練后的RBF網(wǎng)絡(luò)對訓(xùn)練樣本數(shù)據(jù)的識別結(jié)果圖

20、，如圖所示。RBF網(wǎng)絡(luò)網(wǎng)絡(luò)分類結(jié)果分析分類結(jié)果分析繼續(xù)執(zhí)行程序，可得到測試樣本的分類結(jié)果：a =1 至 9 列1.0000 1.0000 1.0000 1.0000 2.0000 2.0000 2.0000 2.0000 2.000010 至 18 列2.0000 2.0000 3.0000 3.0000 3.0000 3.0000 3.0000 3.0000 3.000019 至 27 列3.0000 4.0000 4.0000 4.0000 4.0000 4.0000 4.0000 4.0000 4.000028 至 36 列4.0000 4.0000 2.8969 3.2124 2.92

21、32 4.0000 2.2147 2.4485 3.055037 至 45 列4.0009 2.6013 3.1286 3.1476 1.3241 2.1283 4.0008 3.6605 3.9999RBF網(wǎng)絡(luò)網(wǎng)絡(luò)分類結(jié)果分析分類結(jié)果分析 46 至 48 列3.1801 3.9996 1.8306a為測試數(shù)據(jù)的分類結(jié)果，對a進(jìn)行近似處理后可得最終的分類結(jié)果：a =1 至 9 列1 1 1 1 2 2 2 2 210 至 18 列2 2 3 3 3 3 3 3 319 至 27 列3 4 4 4 4 4 4 4 428 至 36 列4 4 3 3 3 4 2 2.4485 337 至 45 列

22、4 2.6013 3 3 1 2 4 3.6605 446 至 48 列3 4 2五、總結(jié)五、總結(jié) 綜上可以發(fā)現(xiàn)，在未對數(shù)據(jù)進(jìn)行近似處理之前，類別均為小數(shù)。而且對于某些數(shù)據(jù)，分類的結(jié)果介于兩類之間，無法人為決定其所屬類別。這是因為： 其一，雖然目前已經(jīng)證明徑向基函數(shù)網(wǎng)絡(luò)能夠以任意精度逼近任意連續(xù)函數(shù)，但對于本例的離散數(shù)據(jù)，理論上就不能做到完全逼近； 其二，徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的輸出層為線性層，神經(jīng)元層的輸出乘以輸出層權(quán)值之后直接輸出結(jié)果，輸出層不會計算某一數(shù)據(jù)屬于某一類別的概率。由徑向基函數(shù)神經(jīng)元與競爭神經(jīng)元一起構(gòu)成的另一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)概率神經(jīng)網(wǎng)絡(luò)（PNN）可以解決這個問題。一一. RBF神經(jīng)網(wǎng)

23、絡(luò)神經(jīng)網(wǎng)絡(luò)簡介簡介u從對函數(shù)的逼近功能而言，神經(jīng)網(wǎng)絡(luò)可分為全局逼近和局部逼近。局部逼近網(wǎng)絡(luò)具有學(xué)習(xí)速度快的優(yōu)點。徑向基函數(shù)（Radial Basis Function，RBF）就屬于局部逼近神經(jīng)網(wǎng)絡(luò)。u徑向基函數(shù)RBF神經(jīng)網(wǎng)絡(luò)（簡稱徑向基網(wǎng)絡(luò)）是由J.Moody和C.Darken于20世紀(jì)80年代末提出的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，RBF神經(jīng)網(wǎng)絡(luò)是一種性能良好的前向網(wǎng)絡(luò)，具有最佳逼近及克服局部極小值問題的性能。 將排序后的數(shù)據(jù)及其類別繪制在三維圖中直觀地表示出來，作為RBF網(wǎng)絡(luò)訓(xùn)練時應(yīng)達(dá)到的目標(biāo)。排序后的數(shù)據(jù)及其類別的三維圖如下圖所示。 四四、RBF網(wǎng)絡(luò)網(wǎng)絡(luò)應(yīng)用應(yīng)用于模式分類于模式分類將樣本數(shù)據(jù)及分類結(jié)

24、果分別存放到“.dat”文件中。數(shù)據(jù)文件內(nèi)容及格式如下圖所示。rbf_train_sample_data.dat文件內(nèi)容及格式rbf_simulate_data.dat文件內(nèi)容及格式rbf_train_target_data.dat文件內(nèi)容及格式 四四、RBF網(wǎng)絡(luò)網(wǎng)絡(luò)應(yīng)用應(yīng)用于模式分類于模式分類 line(p(1,index1),p(2,index1),p(3,index1),linestyle,none,marker,*,color,g);line(p(1,index2),p(2,index2),p(3,index2),linestyle,none,marker,*,color,r);line(p(1,index3),p(2,index3),p(3,index3),linestyle,none,marker,+,color,b);line(p(1,index4),p(2,index4),p(3,index4),linestyle,none,marker,+,color,y);box;grid on;hold on;axis(0 3500 0 3500 0 3500)