徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)

徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)2022/11/172徑向基函數(shù)(RBF)網(wǎng)絡(luò)是以函數(shù)逼近理論為基礎(chǔ)而構(gòu)造的一類前向網(wǎng)絡(luò)，網(wǎng)絡(luò)的學(xué)習(xí)等價(jià)于在多維空間中習(xí)找訓(xùn)練數(shù)據(jù)的最佳擬合平面。徑向基函數(shù)網(wǎng)絡(luò)的每個(gè)隱層傳遞函數(shù)都構(gòu)成了擬合平面的一個(gè)基函數(shù)。徑向基函數(shù)網(wǎng)絡(luò)是一種局部逼近網(wǎng)絡(luò)，即對(duì)于輸入空間的某一個(gè)局部區(qū)域只存在少數(shù)的神經(jīng)元用于決定網(wǎng)絡(luò)的輸出。BP網(wǎng)絡(luò)是典型的全局逼近網(wǎng)絡(luò)，即對(duì)每一個(gè)輸入/輸出數(shù)據(jù)對(duì)，網(wǎng)絡(luò)的所有參數(shù)均要調(diào)整。1徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介2022/11/173由于二者的構(gòu)造本質(zhì)不問，徑向基函數(shù)網(wǎng)絡(luò)與BP網(wǎng)絡(luò)相比規(guī)模通常較大，但學(xué)習(xí)速度較快，并且網(wǎng)絡(luò)的函數(shù)逼近能力、模式識(shí)別與分類能力都優(yōu)于后者。

MATLAB神經(jīng)網(wǎng)絡(luò)工具箱提供了徑向基函數(shù)網(wǎng)絡(luò)以及它的兩種重要變型——廣義回歸網(wǎng)絡(luò)和概率神經(jīng)網(wǎng)絡(luò)，其中，廣義回歸網(wǎng)絡(luò)適用于解決函數(shù)逼近問題，概率神經(jīng)網(wǎng)絡(luò)多用來解決分類問題。1徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介2022/11/1742徑向基函數(shù)網(wǎng)絡(luò)

2.1徑向基函數(shù)神經(jīng)元模型一個(gè)具有R維輸入的徑向基函數(shù)神經(jīng)元模型如下圖所示。圖中的dist模塊表示求取輸入矢量和權(quán)值矢量的距離。此模型中采用高斯函數(shù)radbas作為徑向基神經(jīng)元的傳遞函數(shù)，其輸入n為輸入矢量p和權(quán)值矢量w的距離乘以閾值b。2022/11/1752.1徑向基函數(shù)神經(jīng)元模型高斯函數(shù)radbas是典型的徑向基函數(shù)，其表達(dá)式為其函數(shù)曲線如下圖所示。2022/11/1762.1徑向基函數(shù)神經(jīng)元模型中心與寬度是徑向基函數(shù)神經(jīng)元的兩個(gè)重要參數(shù)。神經(jīng)元的權(quán)值矢量w確定了徑向基函數(shù)的中心，當(dāng)輸入矢量p與w重合時(shí)，徑向基函數(shù)神經(jīng)元的輸出達(dá)到最大值，當(dāng)輸入矢量p距離w越遠(yuǎn)時(shí)，神經(jīng)元輸出就越小。神經(jīng)元的閾值b確定了徑向基函數(shù)的寬度，b越大，則輸入矢量p在遠(yuǎn)離w時(shí)函數(shù)的衰減幅度就越大。2022/11/1772徑向基函數(shù)網(wǎng)絡(luò)

2.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)一個(gè)典型的徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)包括兩層，即隱層和輸出層。下圖是一個(gè)徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖。圖中，網(wǎng)絡(luò)輸入維數(shù)為R，隱層神經(jīng)元個(gè)數(shù)為S1，輸出個(gè)數(shù)為S2。2022/11/1782.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)隱層神經(jīng)元采用高斯函數(shù)作為傳遞函數(shù)，輸出層的傳遞函數(shù)為線性函數(shù)。ai1表示隱層輸入矢量a1的i個(gè)元素，wi1表示第i個(gè)隱層神經(jīng)元的權(quán)值矢量，即隱層神經(jīng)元權(quán)值矩陣W1的第i行。2022/11/1792.3徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)函數(shù)newrbe可用來精確設(shè)計(jì)徑向基函數(shù)網(wǎng)絡(luò)，所謂精確，是指該函數(shù)生成的網(wǎng)絡(luò)對(duì)于訓(xùn)練樣本數(shù)據(jù)達(dá)到了零誤差。函數(shù)newrbe的調(diào)用形式為

net=newrbe(P,T,SPREAD)其中，P、T分別為輸入樣本矢量集和輸出目標(biāo)矢量集構(gòu)成的矩陣；SPREAD是擴(kuò)展常數(shù)，其缺省值為1；函數(shù)返回值net為生成的網(wǎng)絡(luò)對(duì)象，net中的權(quán)值和閾值使得神經(jīng)網(wǎng)絡(luò)在輸入為P時(shí)可以精確輸出T。2022/11/17102.3徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)函數(shù)newrbe在建立網(wǎng)絡(luò)時(shí)生成的隱層神經(jīng)元個(gè)數(shù)與矩陣P中的輸入矢量個(gè)數(shù)相同，隱層神經(jīng)元閾值取為0.8632/SPREAD，一般SPREAD的選取要足夠大，以保證徑向基神經(jīng)元的響應(yīng)在輸入空間能夠交迭。當(dāng)輸入矢量個(gè)數(shù)過多時(shí)，利用newrb生成的網(wǎng)絡(luò)會(huì)過于龐大，從而使網(wǎng)絡(luò)實(shí)用性變差，因此在實(shí)際應(yīng)用中使用更為廣泛的徑向基函數(shù)網(wǎng)絡(luò)設(shè)計(jì)函數(shù)是newrb函數(shù)。2022/11/17112.4徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的更有效設(shè)計(jì)函數(shù)newrb利用迭代方法設(shè)計(jì)徑向基函數(shù)網(wǎng)絡(luò)，該方法每迭代一次就增加一個(gè)神經(jīng)元，直到平方和誤差下降到目標(biāo)誤差以下或隱層神經(jīng)元個(gè)數(shù)達(dá)到最大值時(shí)迭代停止。函數(shù)newrb的調(diào)用形式為

net=newrb(P,T,GOAL,SPREAD,MN,DF)其中，GOAL表示目標(biāo)誤差，MN表示最大神經(jīng)元個(gè)數(shù)，DF表示迭代過程的顯示頻率。2022/11/17123

應(yīng)用舉例例1利用徑向基函數(shù)網(wǎng)絡(luò)實(shí)現(xiàn)函數(shù)逼近。輸入矢量：P＝[-1:0.1:1]

目標(biāo)矢量：T＝sin(5*P)+cos(3*P))2022/11/1713六、內(nèi)容小結(jié)反向傳播法沿著誤差表面的梯度下降，使網(wǎng)絡(luò)誤差最小，網(wǎng)絡(luò)有可能陷入局部極小值附加動(dòng)量法使反向傳播減少了網(wǎng)絡(luò)在誤差表面陷入低谷的可能性并有助于減少訓(xùn)練時(shí)間太大的學(xué)習(xí)速率導(dǎo)致學(xué)習(xí)的不穩(wěn)定，太小