絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)培訓(xùn)課件

1.Gauss（高斯）函數(shù)：2.反演S型函數(shù)：3.擬多二次函數(shù)：σ

稱為基函數(shù)的擴(kuò)展常數(shù)或?qū)挾?，σ越小，徑向基函?shù)的寬度越小，基函數(shù)就越有選擇性。徑向基函數(shù)（RBF）1絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/2024全局逼近和局部逼近全局逼近網(wǎng)絡(luò)局部逼近網(wǎng)絡(luò)當(dāng)神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)可調(diào)參數(shù)(權(quán)值和閾值)對(duì)任何一個(gè)輸出都有影響，則稱該神經(jīng)網(wǎng)絡(luò)為全局逼近網(wǎng)絡(luò)。對(duì)網(wǎng)絡(luò)輸入空間的某個(gè)局部區(qū)域只有少數(shù)幾個(gè)連接權(quán)影響網(wǎng)絡(luò)的輸出，則稱該網(wǎng)絡(luò)為局部逼近網(wǎng)絡(luò)學(xué)習(xí)速度很慢，無(wú)法滿足實(shí)時(shí)性要求的應(yīng)用學(xué)習(xí)速度快，有可能滿足有實(shí)時(shí)性要求的應(yīng)用2絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/2024RBF網(wǎng)絡(luò)的工作原理函數(shù)逼近：以任意精度逼近任一連續(xù)函數(shù)。一般函數(shù)都可表示成一組基函數(shù)的線性組合，RBF網(wǎng)絡(luò)相當(dāng)于用隱層單元的輸出構(gòu)成一組基函數(shù)，然后用輸出層來(lái)進(jìn)行線性組合，以完成逼近功能。分類：解決非線性可分問(wèn)題。RBF網(wǎng)絡(luò)用隱層單元先將非線性可分的輸入空間設(shè)法變換到線性可分的特征空間（通常是高維空間），然后用輸出層來(lái)進(jìn)行線性劃分，完成分類功能。3絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/2024RBF神經(jīng)網(wǎng)絡(luò)兩種模型正規(guī)化網(wǎng)絡(luò)RN廣義網(wǎng)絡(luò)GN通用逼近器模式分類基本思想：通過(guò)加入一個(gè)含有解的先驗(yàn)知識(shí)的約束來(lái)控制映射函數(shù)的光滑性，若輸入一輸出映射函數(shù)是光滑的，則重建問(wèn)題的解是連續(xù)的，意味著相似的輸入對(duì)應(yīng)著相似的輸出。基本思想：用徑向基函數(shù)作為隱單元的“基”，構(gòu)成隱含層空間。隱含層對(duì)輸入向量進(jìn)行變換，將低維空間的模式變換到高維空間內(nèi)，使得在低維空間內(nèi)的線性不可分問(wèn)題在高維空間內(nèi)線性可分。4絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/2024兩種模型的比較隱節(jié)點(diǎn)=輸入樣本數(shù)隱節(jié)點(diǎn)＜輸入樣本數(shù)

所有輸入樣本設(shè)為徑向基函數(shù)的中心徑向基函數(shù)的中心由訓(xùn)練算法確定徑向基函數(shù)取統(tǒng)一的擴(kuò)展常數(shù)徑向基函數(shù)的擴(kuò)展常數(shù)不再統(tǒng)一由訓(xùn)練算法確定沒(méi)有設(shè)置閾值輸出函數(shù)的線性中包含閾值參數(shù)，用于補(bǔ)償基函數(shù)在樣本集上的平均值與目標(biāo)值之平均值之間的差別。RNGN5絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/2024函數(shù)逼近問(wèn)題（內(nèi)插值）

一般函數(shù)都可表示成一組基函數(shù)的線性組合，RBF網(wǎng)絡(luò)相當(dāng)于用隱層單元的輸出構(gòu)成一組基函數(shù)，然后用輸出層來(lái)進(jìn)行線性組合，以完成逼近功能。①給定樣本數(shù)據(jù)

②尋找函數(shù)，使其滿足：6絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/20241.網(wǎng)絡(luò)隱層使用Ｑ個(gè)隱節(jié)點(diǎn)。2.把所有Ｑ個(gè)樣本輸入分別作為Ｑ個(gè)隱節(jié)點(diǎn)的中心。3.各基函數(shù)取相同的擴(kuò)展常數(shù)。4.確定權(quán)值可解線性方程組：設(shè)第j

個(gè)隱節(jié)點(diǎn)在第i個(gè)樣本的輸出為：可矩陣表示：,若R可逆，則解為 根據(jù)Micchelli定理可得，如果隱節(jié)點(diǎn)激活函數(shù)采用徑向基函數(shù)，且各不相同，則線性方程組有唯一解。

RBF網(wǎng)絡(luò)輸出7絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/2024舉例：RBF網(wǎng)絡(luò)實(shí)現(xiàn)函數(shù)逼近

1.問(wèn)題的提出：假設(shè)如下的輸入輸出樣本，輸入向量為[-11]區(qū)間上等間隔的數(shù)組成的向量P,相應(yīng)的期望值向量為T。P=-1:0.1:1;T=[-0.9602-0.5770-0.07290.37710.64050.66000.46090.1336-0.2013-0.4344-0.5000-0.3930-0.16470.09880.30720.39600.34490.1816-0.0312-0.2189-0.3201];%以輸入向量為橫坐標(biāo)，期望值為縱坐標(biāo)，繪制訓(xùn)練用樣本的數(shù)據(jù)點(diǎn)。figure;plot(P,T,'+')title('訓(xùn)練樣本')xlabel('輸入矢量P')ylabel('目標(biāo)矢量T')gridon%目的是找到一個(gè)函數(shù)能夠滿足這21個(gè)數(shù)據(jù)點(diǎn)的輸入/輸出關(guān)系，其中一個(gè)方法是通過(guò)構(gòu)建徑向基函數(shù)網(wǎng)絡(luò)來(lái)進(jìn)行曲線擬合8絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/20242.網(wǎng)絡(luò)設(shè)計(jì)：設(shè)計(jì)一個(gè)徑向基函數(shù)網(wǎng)絡(luò)，網(wǎng)絡(luò)有兩層，隱含層為徑向基神經(jīng)元，輸出層為線性神經(jīng)元。

p=-3:0.1:3;

a=radbas(p);

figure;

plot(p,a)

title('徑向基傳遞函數(shù)')

xlabel('輸入p')

ylabel('輸出a')gridon%每一層神經(jīng)元的權(quán)值和閾值都與徑向基函數(shù)的位置和寬度有關(guān)系，輸出層的線性神經(jīng)元將這些徑向基函數(shù)的權(quán)值相加。如果隱含層神經(jīng)元的數(shù)目足夠，每一層的權(quán)值和閾值正確，那么徑向基函數(shù)網(wǎng)絡(luò)就完全能夠精確的逼近任意函數(shù)。

a2=radbas(p-1.5);

a3=radbas(p+2);

a4=a+a2*1+a3*0.5;

figure;

plot(p,a,'b-',p,a2,'b-',p,a3,'b-',p,a4,'m--');

title('徑向基傳遞函數(shù)之和')

xlabel('輸入p')

ylabel('輸出a')gridon%應(yīng)用newb()函數(shù)可以快速構(gòu)建一個(gè)徑向基神經(jīng)網(wǎng)絡(luò)，并且網(wǎng)絡(luò)自動(dòng)根據(jù)輸入向量和期望值進(jìn)行調(diào)整，從而進(jìn)行函數(shù)逼近，預(yù)先設(shè)定均方差精度為eg以及散布常數(shù)sc。

eg=0.02;

sc=1;

net=newrb(P,T,eg,sc);9絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/20243.網(wǎng)絡(luò)測(cè)試：將網(wǎng)絡(luò)輸出和期望值隨輸入向量變化的曲線繪制在一張圖上，就可以看出網(wǎng)絡(luò)設(shè)計(jì)是否能夠做到函數(shù)逼近。

figure;

plot(P,T,'+');

xlabel('輸入');

X=-1:0.01:1;

Y=sim(net,X);

holdon;

plot(X,Y);

holdoff;

legend('目標(biāo)','輸出')

gridon

10絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/2024分類問(wèn)題低維空間：線性不可分高維空間：線性可分

空間轉(zhuǎn)換關(guān)于對(duì)單層感知器的討論可知，若N維輸入樣本空間的樣本模式是線性可分的，總存在一個(gè)用線性方程描述的超平面，使兩類線性可分樣本截然分開(kāi)。若兩類樣本是非線性可分的，則不存在一個(gè)這樣的分類超平面。但根據(jù)Cover定理，非線性可分問(wèn)題可能通過(guò)非線性變換獲得解決。Cover定理可以定性地表述為：將復(fù)雜的模式分類問(wèn)題非線性地投射到高維空間將比投射到低維空間更可能是線性可分的11絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/2024Φ1(x)∑X2X1Φ2(x)w11w11Outputy舉例：邏輯運(yùn)算異或的分類X1X2X1X2000011101110XOR異或空間變換前12絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/2024X1X2000.13531010.36790.3679100.36790.36791110.1353基函數(shù)空間變換后13絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/2024RBF學(xué)習(xí)算法RBF學(xué)習(xí)的三個(gè)參數(shù)：①基函數(shù)的中心②方差（擴(kuò)展常數(shù)）③隱含層與輸出層間的權(quán)值當(dāng)采用正歸化RBF網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，隱節(jié)點(diǎn)數(shù)即樣本數(shù)，基函數(shù)的數(shù)據(jù)中心即為樣本本身，參數(shù)設(shè)計(jì)只需考慮擴(kuò)展常數(shù)和輸出節(jié)點(diǎn)的權(quán)值。當(dāng)采用廣義RBF網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，RBF網(wǎng)絡(luò)的學(xué)習(xí)算法應(yīng)該解決的問(wèn)題包括：如何確定網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)，如何確定各徑向基函數(shù)的數(shù)據(jù)中心及擴(kuò)展常數(shù)，以及如何修正輸出權(quán)值。14絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/2024兩種方法中心的選取1.中心從樣本輸入中選取2.中心自組織選取常采用各種動(dòng)態(tài)聚類算法對(duì)數(shù)據(jù)中心進(jìn)行自組織選擇，在學(xué)習(xí)過(guò)程中需對(duì)數(shù)據(jù)中心的位置進(jìn)行動(dòng)態(tài)調(diào)節(jié)。常用的方法是K-means聚類，其優(yōu)點(diǎn)是能根據(jù)各聚類中心之間的距離確定各隱節(jié)點(diǎn)的擴(kuò)展常數(shù)。由于RBF網(wǎng)的隱節(jié)點(diǎn)數(shù)對(duì)其泛化能力有極大的影響，所以尋找能確定聚類數(shù)目的合理方法，是聚類方法設(shè)計(jì)RBF網(wǎng)時(shí)需首先解決的問(wèn)題。除聚類算法外，還有梯度訓(xùn)練方法、資源分配網(wǎng)絡(luò)(RAN)等一般來(lái)說(shuō)，樣本密集的地方中心點(diǎn)可以適當(dāng)多些，樣本稀疏的地方中心點(diǎn)可以少些；若數(shù)據(jù)本身是均勻分布的，中心點(diǎn)也可以均勻分布?？傊x出的數(shù)據(jù)中心應(yīng)具有代表性。徑向基函數(shù)的擴(kuò)展常數(shù)是根據(jù)數(shù)據(jù)中心的散布而確定的，為了避免每個(gè)徑向基函數(shù)太尖或太平，一種選擇方法是將所有徑向基函數(shù)的擴(kuò)展常數(shù)設(shè)為15絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/2024一.自組織中心選取法

1989年，Moody和Darken提出了一種由兩個(gè)階段組成的混合學(xué)習(xí)過(guò)程的思路。兩個(gè)步驟：①無(wú)監(jiān)督的自組織學(xué)習(xí)階段

②有監(jiān)督學(xué)習(xí)階段

其任務(wù)是用自組織聚類方法為隱層節(jié)點(diǎn)的徑向基函數(shù)確定合適的數(shù)據(jù)中心，并根據(jù)各中心之間的距離確定隱節(jié)點(diǎn)的擴(kuò)展常數(shù)。一般采用Duda和Hart1973年提出的k-means聚類算法。其任務(wù)是用有監(jiān)督學(xué)習(xí)算法訓(xùn)練輸出層權(quán)值，一般采用梯度法進(jìn)行訓(xùn)練。16絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/2024

在聚類確定數(shù)據(jù)中心的位置之前，需要先估計(jì)中心的個(gè)數(shù)(從而確定了隱節(jié)點(diǎn)數(shù))，一般需要通過(guò)試驗(yàn)來(lái)決定。由于聚類得到的數(shù)據(jù)中心不是樣本數(shù)據(jù)本身，因此用表示第n次迭代時(shí)的中心。應(yīng)用K-means聚類算法確定數(shù)據(jù)中心的過(guò)程如下。（1）初始化。選擇個(gè)互不相同的向量作為初始聚類中心（2）計(jì)算輸入空間各樣本點(diǎn)與聚類中心點(diǎn)的歐式距離1.中心學(xué)習(xí)17絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/2024(3)相似匹配。令代表競(jìng)爭(zhēng)獲勝隱節(jié)點(diǎn)的下標(biāo)，對(duì)每一個(gè)輸入樣本根據(jù)其與聚類中心的最小歐式距離確定其歸類,即當(dāng)時(shí)，被歸為第類，從而將全部樣本劃分為個(gè)子集每個(gè)子集構(gòu)成一個(gè)以聚類中心為典型代表的聚類域。18絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/2024（4)更新各類的聚類中心。采用競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則進(jìn)行調(diào)整將n值加1，轉(zhuǎn)到第(2)步。重復(fù)上述過(guò)程直到。其他19絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/20242.確定擴(kuò)展常數(shù)各聚類中心確定后，可根據(jù)各中心之間的距離確定對(duì)應(yīng)徑向基函數(shù)的擴(kuò)展常數(shù)。令則擴(kuò)展常數(shù)可取為為重疊系數(shù)20絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/20243.學(xué)習(xí)權(quán)值權(quán)值的學(xué)習(xí)可以用LMS學(xué)習(xí)算法注意：①LMS算法的輸入為RBF網(wǎng)絡(luò)隱含層的輸出②RBF網(wǎng)絡(luò)輸出層的神經(jīng)元只是對(duì)隱含層神經(jīng)元的輸出加權(quán)和。因此RBF網(wǎng)絡(luò)的實(shí)際輸出為其中用LMS方法求解用偽逆方法求解為期望響應(yīng)是矩陣的偽逆?zhèn)文娴那蠓ㄆ娈惥仃嚮蚍欠疥嚨木仃嚥淮嬖谀婢仃?，若XAX=A,AXA=X則X稱為A的偽逆陣。在matlab中用pinv（A）求偽逆21絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/202422絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/2024二.有監(jiān)督選取中心算法RBF中心以及網(wǎng)絡(luò)的其他自由參數(shù)都是通過(guò)有監(jiān)督的學(xué)習(xí)來(lái)確定，以單輸出的RBF為例定義目標(biāo)函數(shù)誤差信號(hào)尋求網(wǎng)絡(luò)的自由參數(shù)（與中心有關(guān)）使目標(biāo)函數(shù)達(dá)到最小

N是訓(xùn)練樣本的個(gè)數(shù)23絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/20241.輸出層權(quán)值2.隱含層RBF中心24絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/20243.隱含層RBF的擴(kuò)展其中是的導(dǎo)數(shù)25絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/202426絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)8/23/2024三.隨機(jī)選取中心法條件：典型的訓(xùn)練樣本，隱含單元的中心是隨機(jī)的在輸入樣本中選取，且中心固定。因此此算法學(xué)習(xí)的參數(shù)只有兩個(gè)：方差和權(quán)值四.OLS學(xué)習(xí)算法

RBF神經(jīng)網(wǎng)絡(luò)的性能嚴(yán)重依賴于所選