絕對經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)

1、RBF網(wǎng)絡(luò)特點網(wǎng)絡(luò)特點l 只有一個隱層，且隱層神經(jīng)元與輸出層神經(jīng)元的模型不同。只有一個隱層，且隱層神經(jīng)元與輸出層神經(jīng)元的模型不同。l 隱層節(jié)點激活函數(shù)為徑向基函數(shù)，輸出層節(jié)點激活函數(shù)為線隱層節(jié)點激活函數(shù)為徑向基函數(shù)，輸出層節(jié)點激活函數(shù)為線性函數(shù)。性函數(shù)。l 隱層節(jié)點激活函數(shù)的凈輸入是輸入向量與節(jié)點中心的距離隱層節(jié)點激活函數(shù)的凈輸入是輸入向量與節(jié)點中心的距離（范數(shù)）而非向量內(nèi)積，且節(jié)點中心不可調(diào)。（范數(shù)）而非向量內(nèi)積，且節(jié)點中心不可調(diào)。l 隱層節(jié)點參數(shù)確定后，輸出權(quán)值可通過解線性方程組得到。隱層節(jié)點參數(shù)確定后，輸出權(quán)值可通過解線性方程組得到。l 隱層節(jié)點的非線性變換把線性不可分問題轉(zhuǎn)化為線性可分

2、問隱層節(jié)點的非線性變換把線性不可分問題轉(zhuǎn)化為線性可分問題。題。l 局部逼近網(wǎng)絡(luò)（局部逼近網(wǎng)絡(luò)（MLPMLP是全局逼近網(wǎng)絡(luò)是全局逼近網(wǎng)絡(luò)) )，這意味著逼近一個輸，這意味著逼近一個輸入輸出映射時，在相同逼近精度要求下，入輸出映射時，在相同逼近精度要求下，RBFRBF所需的時間要所需的時間要比比MLPMLP少。少。l 具有唯一最佳逼近的特性，無局部極小。具有唯一最佳逼近的特性，無局部極小。l 合適的隱層節(jié)點數(shù)、節(jié)點中心和寬度不易確定。合適的隱層節(jié)點數(shù)、節(jié)點中心和寬度不易確定。 222exprr 22exp11rr 2/1221rr1. Gauss（高斯）函數(shù)：（高斯）函數(shù)：2. 反演反演S型函數(shù)：

3、型函數(shù)：3. 擬多二次函數(shù)：擬多二次函數(shù)： 稱為基函數(shù)的擴展常數(shù)稱為基函數(shù)的擴展常數(shù)或?qū)挾?，或?qū)挾龋?越小，徑向基越小，徑向基函數(shù)的寬度越小，基函數(shù)函數(shù)的寬度越小，基函數(shù)就越有選擇性。就越有選擇性。徑向基函數(shù)（徑向基函數(shù)（RBF）全局逼近和局部逼近全局逼近和局部逼近全局逼近網(wǎng)絡(luò)全局逼近網(wǎng)絡(luò)局部逼近網(wǎng)絡(luò)局部逼近網(wǎng)絡(luò)當(dāng)神經(jīng)網(wǎng)絡(luò)的一個或多個可當(dāng)神經(jīng)網(wǎng)絡(luò)的一個或多個可調(diào)參數(shù)調(diào)參數(shù)(權(quán)值和閾值權(quán)值和閾值)對任何對任何一個輸出都有影響，則稱該一個輸出都有影響，則稱該神經(jīng)網(wǎng)絡(luò)為全局逼近網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)為全局逼近網(wǎng)絡(luò)。對網(wǎng)絡(luò)輸入空間的某個局對網(wǎng)絡(luò)輸入空間的某個局部區(qū)域只有少數(shù)幾個連接部區(qū)域只有少數(shù)幾個連接權(quán)影響

4、網(wǎng)絡(luò)的輸出，則稱權(quán)影響網(wǎng)絡(luò)的輸出，則稱該網(wǎng)絡(luò)為局部逼近網(wǎng)絡(luò)該網(wǎng)絡(luò)為局部逼近網(wǎng)絡(luò)學(xué)習(xí)速度很慢，無法滿足實時性要求的應(yīng)用學(xué)習(xí)速度很慢，無法滿足實時性要求的應(yīng)用學(xué)習(xí)速度快，有可能滿足有實時性要求的應(yīng)用學(xué)習(xí)速度快，有可能滿足有實時性要求的應(yīng)用RBF網(wǎng)絡(luò)的工作原理網(wǎng)絡(luò)的工作原理函數(shù)逼近：函數(shù)逼近：以任意精度逼近任一連續(xù)函數(shù)。一般函數(shù)都可表示成一組以任意精度逼近任一連續(xù)函數(shù)。一般函數(shù)都可表示成一組基函數(shù)的線性組合，基函數(shù)的線性組合，RBF網(wǎng)絡(luò)相當(dāng)于用隱層單元的輸出構(gòu)網(wǎng)絡(luò)相當(dāng)于用隱層單元的輸出構(gòu)成一組基函數(shù)，然后用輸出層來進行線性組合，以完成成一組基函數(shù)，然后用輸出層來進行線性組合，以完成逼近功能。逼近功能

5、。分類：分類：解決非線性可分問題。解決非線性可分問題。RBF網(wǎng)絡(luò)用隱層單元先將非線性可網(wǎng)絡(luò)用隱層單元先將非線性可分的輸入空間設(shè)法變換到線性可分的特征空間（通常是高分的輸入空間設(shè)法變換到線性可分的特征空間（通常是高維空間），然后用輸出層來進行線性劃分，完成分類功能。維空間），然后用輸出層來進行線性劃分，完成分類功能。RBF神經(jīng)網(wǎng)絡(luò)兩種模型神經(jīng)網(wǎng)絡(luò)兩種模型正規(guī)化網(wǎng)絡(luò)正規(guī)化網(wǎng)絡(luò)RN廣義網(wǎng)絡(luò)廣義網(wǎng)絡(luò)GN通用逼近器模式分類模式分類基本思想：基本思想：通過加入一個含有解的先驗知識的約束來通過加入一個含有解的先驗知識的約束來控制映射函數(shù)的光滑性，若輸入一輸出映射控制映射函數(shù)的光滑性，若輸入一輸出映射函數(shù)是光

6、滑的，則重建問題的解是連續(xù)的，函數(shù)是光滑的，則重建問題的解是連續(xù)的，意味著相似的輸入對應(yīng)著相似的輸出。意味著相似的輸入對應(yīng)著相似的輸出?；舅枷耄夯舅枷耄河脧较蚧瘮?shù)作為隱單元的用徑向基函數(shù)作為隱單元的“基基”，構(gòu)成隱含，構(gòu)成隱含層空間。隱含層對輸入向量進行變換，將低維層空間。隱含層對輸入向量進行變換，將低維空間的模式變換到高維空間內(nèi)，使得在低維空間的模式變換到高維空間內(nèi)，使得在低維空間內(nèi)的線性不可分問題在高維空間內(nèi)線性可分。空間內(nèi)的線性不可分問題在高維空間內(nèi)線性可分。兩種模型的比較兩種模型的比較隱節(jié)點隱節(jié)點=輸入樣本數(shù)輸入樣本數(shù)隱節(jié)點隱節(jié)點輸入樣本數(shù)輸入樣本數(shù) 所有輸入樣本設(shè)為所有輸入樣本

7、設(shè)為徑向基函數(shù)的中心徑向基函數(shù)的中心徑向基函數(shù)的中心徑向基函數(shù)的中心由訓(xùn)練算法確定由訓(xùn)練算法確定徑向基函數(shù)徑向基函數(shù)取統(tǒng)一的擴展常數(shù)取統(tǒng)一的擴展常數(shù)徑向基函數(shù)的擴展常數(shù)徑向基函數(shù)的擴展常數(shù)不再統(tǒng)一由訓(xùn)練算法確定不再統(tǒng)一由訓(xùn)練算法確定沒有設(shè)置閾值沒有設(shè)置閾值輸出函數(shù)的線性中包含閾值參數(shù)，輸出函數(shù)的線性中包含閾值參數(shù)，用于補償基函數(shù)在樣本集上的用于補償基函數(shù)在樣本集上的平均值與目標(biāo)值之平均值之間的差別。平均值與目標(biāo)值之平均值之間的差別。RNGN函數(shù)逼近問題（內(nèi)插值）函數(shù)逼近問題（內(nèi)插值） 一般函數(shù)都可表示成一組基函數(shù)的線性組合，一般函數(shù)都可表示成一組基函數(shù)的線性組合，RBFRBF網(wǎng)絡(luò)相當(dāng)于用隱層單

8、元的輸出構(gòu)成一組基函數(shù)，網(wǎng)絡(luò)相當(dāng)于用隱層單元的輸出構(gòu)成一組基函數(shù)，然后用輸出層來進行線性組合，以完成逼近功能。然后用輸出層來進行線性組合，以完成逼近功能。給定樣本數(shù)據(jù)給定樣本數(shù)據(jù) 尋找函數(shù)，使其滿足：尋找函數(shù)，使其滿足：)(iipFt Qi 11(CPG2(CPG)(QCPG1p2pQp1w2wQw PF,21QippppP,21QittttT1.網(wǎng)絡(luò)隱層使用個隱節(jié)點。網(wǎng)絡(luò)隱層使用個隱節(jié)點。2.把所有個樣本輸入分別作為個隱節(jié)點的中心。把所有個樣本輸入分別作為個隱節(jié)點的中心。3.各基函數(shù)取相同的擴展常數(shù)。各基函數(shù)取相同的擴展常數(shù)。4.確定權(quán)值可解線性方程組：確定權(quán)值可解線性方程組：設(shè)第設(shè)第j j

9、 個隱節(jié)點在第個隱節(jié)點在第i i個樣本的輸出為：個樣本的輸出為：可矩陣表示：可矩陣表示： , ,若若R R可逆，則解為可逆，則解為根據(jù)根據(jù)MicchelliMicchelli定理可得，如果隱節(jié)點激活函數(shù)采定理可得，如果隱節(jié)點激活函數(shù)采用用徑向基函數(shù)，且徑向基函數(shù)，且 各不相同，則線性方程組各不相同，則線性方程組有唯一解。有唯一解。Qi1iQjjijtppGw)(1)(jiijppGTW TW1Qppp,.,21)()(1QjjijicpwpF RBF網(wǎng)絡(luò)輸出網(wǎng)絡(luò)輸出舉例：舉例：RBF網(wǎng)絡(luò)實現(xiàn)函數(shù)逼近網(wǎng)絡(luò)實現(xiàn)函數(shù)逼近 1.1.問題的提出：假設(shè)如下的輸入輸出樣本，輸入向量為問題的提出：假設(shè)如下的輸

10、入輸出樣本，輸入向量為-1 1-1 1區(qū)間上等間隔的數(shù)組成的向量區(qū)間上等間隔的數(shù)組成的向量P,P,相應(yīng)的期望值向量為相應(yīng)的期望值向量為T T。P=-1:0.1:1;T=-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.6600 0.4609 0.1336 -0.2013 -0.4344 -0.5000 -0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 -0.3201;%以輸入向量為橫坐標(biāo)，期望值為縱坐標(biāo)，繪制訓(xùn)練用樣本的數(shù)據(jù)點。以輸入向量為橫坐標(biāo)，期望值為縱坐標(biāo)，繪制訓(xùn)練用樣本的數(shù)

11、據(jù)點。figure;plot(P,T,+)title(訓(xùn)練樣本訓(xùn)練樣本)xlabel(輸入矢量輸入矢量P)ylabel(目標(biāo)矢量目標(biāo)矢量T)grid on%目的是找到一個函數(shù)能夠滿足這目的是找到一個函數(shù)能夠滿足這21個數(shù)據(jù)點的輸入個數(shù)據(jù)點的輸入/輸出關(guān)系，其中一個方法是通輸出關(guān)系，其中一個方法是通過構(gòu)建徑向基函數(shù)網(wǎng)絡(luò)來進行曲線擬合過構(gòu)建徑向基函數(shù)網(wǎng)絡(luò)來進行曲線擬合2.2.網(wǎng)絡(luò)設(shè)計：設(shè)計一個徑向基函數(shù)網(wǎng)絡(luò)，網(wǎng)絡(luò)有兩層，隱含層網(wǎng)絡(luò)設(shè)計：設(shè)計一個徑向基函數(shù)網(wǎng)絡(luò)，網(wǎng)絡(luò)有兩層，隱含層為徑向基神經(jīng)元，輸出層為線性神經(jīng)元。為徑向基神經(jīng)元，輸出層為線性神經(jīng)元。 p=-3:0.1:3;a=radbas(p);f

12、igure;plot(p,a)title(徑向基傳遞函數(shù)徑向基傳遞函數(shù))xlabel(輸入輸入p)ylabel(輸出輸出a) grid on % 每一層神經(jīng)元的權(quán)值和閾值都與徑向基函數(shù)的位置和寬度有關(guān)系，輸出層的線性神經(jīng)元將每一層神經(jīng)元的權(quán)值和閾值都與徑向基函數(shù)的位置和寬度有關(guān)系，輸出層的線性神經(jīng)元將這些徑向基函數(shù)的權(quán)值相加。如果隱含層神經(jīng)元的數(shù)目足夠，每一層的權(quán)值和閾值正確，這些徑向基函數(shù)的權(quán)值相加。如果隱含層神經(jīng)元的數(shù)目足夠，每一層的權(quán)值和閾值正確，那么徑向基函數(shù)網(wǎng)絡(luò)就完全能夠精確的逼近任意函數(shù)。那么徑向基函數(shù)網(wǎng)絡(luò)就完全能夠精確的逼近任意函數(shù)。 a2=radbas(p-1.5);a3=ra

13、dbas(p+2);a4=a+a2*1+a3*0.5;figure;plot(p,a,b-,p,a2,b-,p,a3,b-,p,a4,m-);title(徑向基傳遞函數(shù)之和徑向基傳遞函數(shù)之和)xlabel(輸入輸入p)ylabel(輸出輸出a) grid on % 應(yīng)用應(yīng)用newb()函數(shù)可以快速構(gòu)建一個徑向基神經(jīng)網(wǎng)絡(luò)，并且網(wǎng)絡(luò)自動根據(jù)輸入向量和期望值函數(shù)可以快速構(gòu)建一個徑向基神經(jīng)網(wǎng)絡(luò)，并且網(wǎng)絡(luò)自動根據(jù)輸入向量和期望值進行調(diào)整，從而進行函數(shù)逼近，預(yù)先設(shè)定均方差精度為進行調(diào)整，從而進行函數(shù)逼近，預(yù)先設(shè)定均方差精度為eg以及散布常數(shù)以及散布常數(shù)sc。eg=0.02;sc=1;net=newrb(P

14、,T,eg,sc);3.網(wǎng)絡(luò)測試：將網(wǎng)絡(luò)輸出和期望值隨輸入向量變化網(wǎng)絡(luò)測試：將網(wǎng)絡(luò)輸出和期望值隨輸入向量變化的曲線繪制在一張圖上，就可以看出網(wǎng)絡(luò)設(shè)計是的曲線繪制在一張圖上，就可以看出網(wǎng)絡(luò)設(shè)計是否能夠做到函數(shù)逼近。否能夠做到函數(shù)逼近。 figure;plot(P,T,+);xlabel(輸入輸入);X=-1:0.01:1;Y=sim(net,X);hold on;plot(X,Y);hold off;legend(目標(biāo)目標(biāo),輸出輸出) grid on分類問題分類問題低維空間：線性不可分低維空間：線性不可分 高維空間：線性可分高維空間：線性可分 空間轉(zhuǎn)換空間轉(zhuǎn)換關(guān)于對單層感知器的討論可知，若關(guān)于對

15、單層感知器的討論可知，若N維輸入樣本空間的樣本維輸入樣本空間的樣本模式是線性可分的，總存在一個用線性方程描述的超平面，模式是線性可分的，總存在一個用線性方程描述的超平面，使兩類線性可分樣本截然分開。若兩類樣本是非線性可分使兩類線性可分樣本截然分開。若兩類樣本是非線性可分的，則不存在一個這樣的分類超平面。但根據(jù)的，則不存在一個這樣的分類超平面。但根據(jù)Cover定理，定理，非 線 性 可 分 問 題 可 能 通 過 非 線 性 變 換 獲 得 解 決 。非 線 性 可 分 問 題 可 能 通 過 非 線 性 變 換 獲 得 解 決 。Cover定理可以定性地表述為：將復(fù)雜的模式分類問題非定理可以定

16、性地表述為：將復(fù)雜的模式分類問題非線性地投射到高維空間將比投射到低維空間更可能是線性線性地投射到高維空間將比投射到低維空間更可能是線性可分的可分的1(x)X2X12(x)w11w11Output y舉例：邏輯運算異或的分類舉例：邏輯運算異或的分類X1X2X1X2000011101110XOR異或異或空間變換前22|21exp),(ikiikXXXXX1X2000.13531010.36790.3679100.36790.36791110.1353 x1基函數(shù)基函數(shù) 21|1uxex 22|2uxexTu 1 , 1 1Tu0 , 02 x2 x1 x2空間變換后RBF學(xué)習(xí)算法學(xué)習(xí)算法RBF學(xué)習(xí)

17、的三個參數(shù)：學(xué)習(xí)的三個參數(shù)：基函數(shù)的中心基函數(shù)的中心 方差（擴展常數(shù)）方差（擴展常數(shù)） 隱含層與輸出層間的權(quán)值隱含層與輸出層間的權(quán)值ijwiit當(dāng)采用當(dāng)采用正歸化正歸化RBFRBF網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)時，隱節(jié)點數(shù)即樣本數(shù)，基函結(jié)構(gòu)時，隱節(jié)點數(shù)即樣本數(shù)，基函數(shù)的數(shù)據(jù)中心即為樣本本身，參數(shù)設(shè)計只需考慮擴展常數(shù)數(shù)的數(shù)據(jù)中心即為樣本本身，參數(shù)設(shè)計只需考慮擴展常數(shù)和輸出節(jié)點的權(quán)值。和輸出節(jié)點的權(quán)值。當(dāng)采用當(dāng)采用廣義廣義RBFRBF網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)時，結(jié)構(gòu)時，RBFRBF網(wǎng)絡(luò)的學(xué)習(xí)算法應(yīng)該解決網(wǎng)絡(luò)的學(xué)習(xí)算法應(yīng)該解決的問題包括：如何確定網(wǎng)絡(luò)隱節(jié)點數(shù)，如何確定的問題包括：如何確定網(wǎng)絡(luò)隱節(jié)點數(shù)，如何確定各徑向基各徑向基函數(shù)

18、的數(shù)據(jù)中心及擴展常數(shù)，以及如何修正輸出權(quán)值。函數(shù)的數(shù)據(jù)中心及擴展常數(shù)，以及如何修正輸出權(quán)值。兩種方法中心的選取兩種方法中心的選取1.中心從樣本輸入中選取中心從樣本輸入中選取2.中心自組織選取中心自組織選取常采用各種動態(tài)聚類算法對數(shù)據(jù)中心進行自組織選擇，在常采用各種動態(tài)聚類算法對數(shù)據(jù)中心進行自組織選擇，在學(xué)習(xí)過程中需對數(shù)據(jù)中心的位置進行動態(tài)調(diào)節(jié)。常用的方學(xué)習(xí)過程中需對數(shù)據(jù)中心的位置進行動態(tài)調(diào)節(jié)。常用的方法是法是K-means聚類，其優(yōu)點是能根據(jù)各聚類中心之間的距聚類，其優(yōu)點是能根據(jù)各聚類中心之間的距離確定各隱節(jié)點的擴展常數(shù)。由于離確定各隱節(jié)點的擴展常數(shù)。由于RBF網(wǎng)的隱節(jié)點數(shù)對其網(wǎng)的隱節(jié)點數(shù)對其

19、泛化能力有極大的影響，所以尋找能確定聚類數(shù)目的合理泛化能力有極大的影響，所以尋找能確定聚類數(shù)目的合理方法，是聚類方法設(shè)計方法，是聚類方法設(shè)計RBF網(wǎng)時需首先解決的問題。除聚網(wǎng)時需首先解決的問題。除聚類算法外，還有梯度訓(xùn)練方法、資源分配網(wǎng)絡(luò)類算法外，還有梯度訓(xùn)練方法、資源分配網(wǎng)絡(luò)(RAN)等等一般來說，樣本密集的地方中心點可以適當(dāng)多些，樣本稀疏的地方一般來說，樣本密集的地方中心點可以適當(dāng)多些，樣本稀疏的地方中心點可以少些；若數(shù)據(jù)本身是均勻分布的，中心點也可以均勻分中心點可以少些；若數(shù)據(jù)本身是均勻分布的，中心點也可以均勻分布。總之，選出的數(shù)據(jù)中心應(yīng)具有代表性。徑向基函數(shù)的擴展常數(shù)布?？傊?，選出的數(shù)

20、據(jù)中心應(yīng)具有代表性。徑向基函數(shù)的擴展常數(shù)是根據(jù)數(shù)據(jù)中心的散布而確定的，為了避免每個徑向基函數(shù)太尖或是根據(jù)數(shù)據(jù)中心的散布而確定的，為了避免每個徑向基函數(shù)太尖或太平，一種選擇方法是將所有徑向基函數(shù)的擴展常數(shù)設(shè)為太平，一種選擇方法是將所有徑向基函數(shù)的擴展常數(shù)設(shè)為Id2max一. 自組織中心選取法 19891989年，年，MoodyMoody和和DarkenDarken提出了一種由兩個階段組成的混提出了一種由兩個階段組成的混合學(xué)習(xí)過程的思路。合學(xué)習(xí)過程的思路。兩個步驟：無監(jiān)督的自組織學(xué)習(xí)階段兩個步驟：無監(jiān)督的自組織學(xué)習(xí)階段 有監(jiān)督學(xué)習(xí)階段有監(jiān)督學(xué)習(xí)階段 其任務(wù)是用自組織聚類方法為隱其任務(wù)是用自組織聚類

21、方法為隱層節(jié)點的徑向基函數(shù)確定合適的層節(jié)點的徑向基函數(shù)確定合適的數(shù)據(jù)中心，并根據(jù)各中心之間的數(shù)據(jù)中心，并根據(jù)各中心之間的距離確定隱節(jié)點的擴展常數(shù)。距離確定隱節(jié)點的擴展常數(shù)。一般采用一般采用Duda和和Hart1973年提年提出的出的k-means聚類算法。聚類算法。其任務(wù)是用有監(jiān)督其任務(wù)是用有監(jiān)督學(xué)習(xí)算法訓(xùn)練輸出學(xué)習(xí)算法訓(xùn)練輸出層權(quán)值，一般采用層權(quán)值，一般采用梯度法進行訓(xùn)練。梯度法進行訓(xùn)練。 在聚類確定數(shù)據(jù)中心的位置之前，需要先在聚類確定數(shù)據(jù)中心的位置之前，需要先估計中心的個數(shù)估計中心的個數(shù) (從而確定了隱節(jié)點數(shù)從而確定了隱節(jié)點數(shù))，一，一般需要通過試驗來決定。由于聚類得到的數(shù)般需要通過試驗來

22、決定。由于聚類得到的數(shù)據(jù)中心不是樣本數(shù)據(jù)據(jù)中心不是樣本數(shù)據(jù) 本身，因此用本身，因此用 表示表示第第n次迭代時的中心。應(yīng)用次迭代時的中心。應(yīng)用K-means聚類算法聚類算法確定數(shù)據(jù)中心的過程如下。確定數(shù)據(jù)中心的過程如下。（1）初始化。選擇）初始化。選擇 個互不相同的向量作為初個互不相同的向量作為初始聚類中心始聚類中心（2）計算輸入空間各樣本點與聚類中心點的歐）計算輸入空間各樣本點與聚類中心點的歐式距離式距離I)(nti)0(it), 3 ,2, 1(Ii)(ntXik), 3 ,2, 1(Ii), 3 ,2, 1(NkXI1.中心學(xué)習(xí)中心學(xué)習(xí)(3)相似匹配。令相似匹配。令 代表競爭獲勝隱節(jié)點的下

23、代表競爭獲勝隱節(jié)點的下標(biāo)，對每一個輸入樣本標(biāo)，對每一個輸入樣本 根據(jù)其與聚類中根據(jù)其與聚類中心的最小歐式距離確定其歸類心的最小歐式距離確定其歸類 ,即當(dāng)即當(dāng) 時，時， 被歸為第被歸為第 類，從類，從而將全部樣本劃分為而將全部樣本劃分為 個子集個子集 每個子集每個子集構(gòu)成一個以聚類中心為典型代表構(gòu)成一個以聚類中心為典型代表的聚類域。的聚類域。ikX)(min)(ntXXiikik)(kXikXiI)(),(),(21nUnUnUI（4)更新各類的聚類中心。采用競爭學(xué)習(xí)規(guī)更新各類的聚類中心。采用競爭學(xué)習(xí)規(guī)則進行調(diào)整則進行調(diào)整將將n值加值加1，轉(zhuǎn)到第，轉(zhuǎn)到第(2)步。重復(fù)上述過程直到。步。重復(fù)上述過

24、程直到。),()()() 1(ntntXntntiikii ii其他)() 1(ntntii2.確定擴展常數(shù)確定擴展常數(shù)各聚類中心確定后，可根據(jù)各中心之間的距各聚類中心確定后，可根據(jù)各中心之間的距離確定對應(yīng)徑向基函數(shù)的擴展常數(shù)。令離確定對應(yīng)徑向基函數(shù)的擴展常數(shù)。令則擴展常數(shù)可取為則擴展常數(shù)可取為pipittd miniid為重疊系數(shù)為重疊系數(shù)Iii, 2 , 13.學(xué)習(xí)權(quán)值學(xué)習(xí)權(quán)值ijwJjIi, 2 , 1, 2 , 1權(quán)值的學(xué)習(xí)可以用權(quán)值的學(xué)習(xí)可以用LMS學(xué)習(xí)算法學(xué)習(xí)算法注意：注意：LMS算法的輸入為算法的輸入為RBF網(wǎng)絡(luò)隱含層的輸出網(wǎng)絡(luò)隱含層的輸出 RBF網(wǎng)絡(luò)輸出層的神經(jīng)元只是對隱含層網(wǎng)

25、絡(luò)輸出層的神經(jīng)元只是對隱含層 神經(jīng)元的輸出加權(quán)和。神經(jīng)元的輸出加權(quán)和。因此因此RBF網(wǎng)絡(luò)的實際輸出為網(wǎng)絡(luò)的實際輸出為其中其中用用LMS方法求解方法求解用用偽逆?zhèn)文娣椒ㄇ蠼夥椒ㄇ蠼?nWnGnY JjNknynYkj,2,1;,2,1, nenXnWnW1DGWTNkdddD,1為期望響應(yīng)為期望響應(yīng) 是矩陣是矩陣 的偽逆的偽逆DGGTTGGGG1偽逆的求法偽逆的求法kigG 奇異矩陣或非方陣的矩陣不奇異矩陣或非方陣的矩陣不存在逆矩陣，若存在逆矩陣，若XAX=A,AXA=X 則則X稱為稱為A的偽逆陣。在的偽逆陣。在matlab中用中用pinv（A）求偽逆）求偽逆2221expikikitXgIiNk, 2 , 1;, 2 , 1 ijwW JjIi, 2 , 1;, 2 , 1二.有監(jiān)督選取中心算法RBF中心以及網(wǎng)絡(luò)的其他自由參數(shù)都是通過有監(jiān)督的學(xué)中心以及網(wǎng)絡(luò)的其他自由參數(shù)都是通過有監(jiān)督的學(xué)習(xí)來確定，以單輸出的習(xí)來確定，以單輸出的RBF為例為例定義目標(biāo)函數(shù)定義目標(biāo)函數(shù)誤差信號誤差信號尋求網(wǎng)絡(luò)的自由參數(shù)尋求網(wǎng)絡(luò)的自由參數(shù) （與中心（與中心 有關(guān)）使目標(biāo)有關(guān)）使目標(biāo)函數(shù)函數(shù) 達(dá)到最小達(dá)到最小 NkkeE1221 N N是訓(xùn)練樣本的個數(shù)是