RBF神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法

1、智能中國網(wǎng)提供學(xué)習(xí)支持智能中國網(wǎng)提供學(xué)習(xí)支持2.52.5徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)模型與徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法學(xué)習(xí)算法概述概述 p19851985年，年，PowellPowell提出了多變量插值的徑向基函提出了多變量插值的徑向基函數(shù)數(shù)(Radical Basis Function(Radical Basis Function，RBF)RBF)方法方法 p19881988年，年， MoodyMoody和和DarkenDarken提出了一種神經(jīng)網(wǎng)絡(luò)提出了一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，即結(jié)構(gòu)，即RBFRBF神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)pRBFRBF網(wǎng)絡(luò)是一種三層前向網(wǎng)絡(luò)網(wǎng)絡(luò)是一種三層前向網(wǎng)絡(luò)pRBFRBF網(wǎng)絡(luò)的基本思想網(wǎng)

2、絡(luò)的基本思想 用RBF作為隱單元的“基”構(gòu)成隱含層空間，將輸入矢量直接(即不需要通過權(quán)連接)映射到隱空間 當(dāng)RBF的中心點(diǎn)確定后，映射關(guān)系也就確定隱含層空間到輸出空間的映射是線性的 2.5.1 RBF神經(jīng)網(wǎng)絡(luò)模型 p徑向基神經(jīng)網(wǎng)絡(luò)的神經(jīng)元結(jié)構(gòu)p激活函數(shù)采用徑向基函數(shù) 以輸入和權(quán)值向量之間的以輸入和權(quán)值向量之間的 距離作為自變量距離作為自變量 2- distR( dist )=edist2.5.1 RBF神經(jīng)網(wǎng)絡(luò)模型p徑向基神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)徑向基神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 2.5.1 RBF神經(jīng)網(wǎng)絡(luò)模型pRBF網(wǎng)絡(luò)與BP網(wǎng)絡(luò)比較：RBFRBF網(wǎng)絡(luò)的輸出是隱單元輸出的線性加權(quán)和，網(wǎng)絡(luò)的輸出是隱單元輸出的線性加權(quán)和，

3、學(xué)習(xí)速度加快學(xué)習(xí)速度加快 BPBP網(wǎng)絡(luò)使用網(wǎng)絡(luò)使用sigmoid()sigmoid()函數(shù)作為激活函數(shù)，這函數(shù)作為激活函數(shù)，這樣使得神經(jīng)元有很大的輸入可見區(qū)域樣使得神經(jīng)元有很大的輸入可見區(qū)域 徑向基神經(jīng)網(wǎng)絡(luò)使用徑向基函數(shù)（一般使用徑向基神經(jīng)網(wǎng)絡(luò)使用徑向基函數(shù)（一般使用高斯函數(shù)）作為激活函數(shù)，神經(jīng)元輸入空間區(qū)高斯函數(shù)）作為激活函數(shù)，神經(jīng)元輸入空間區(qū)域很小，因此需要更多的徑向基神經(jīng)元域很小，因此需要更多的徑向基神經(jīng)元 2.5.2 RBF神經(jīng)網(wǎng)絡(luò)工作原理pRBFRBF的非線性分類能力是什么？的非線性分類能力是什么？2.5.2 RBF神經(jīng)網(wǎng)絡(luò)工作原理 空間空間1 1 空間空間2 2不易解決問題不易解決

4、問題 易解決問題易解決問題變換變換 空間空間1 1 空間空間2 2線性不可分線性不可分 線性可分線性可分空間變換空間變換2.5.2 RBF神經(jīng)網(wǎng)絡(luò)工作原理pRBFRBF解決異或問題解決異或問題2.5.2 RBF神經(jīng)網(wǎng)絡(luò)工作原理pRBFRBF解決異或問題解決異或問題2.5.2 RBF神經(jīng)網(wǎng)絡(luò)工作原理p逼近任意曲線（逼近任意曲線（程序演示程序演示）2.5.2 RBF網(wǎng)絡(luò)的學(xué)習(xí)算法 p學(xué)習(xí)算法需要求解的參數(shù)徑向基函數(shù)的中心徑向基函數(shù)的中心方差方差隱含層到輸出層的權(quán)值隱含層到輸出層的權(quán)值 p學(xué)習(xí)方法分類（按RBF中心選取方法的不同分）隨機(jī)選取中心法隨機(jī)選取中心法自組織選取中心法自組織選取中心法有監(jiān)督選

5、取中心法有監(jiān)督選取中心法正交最小二乘法等正交最小二乘法等2.5.2 RBF網(wǎng)絡(luò)的學(xué)習(xí)算法p自組織選取中心學(xué)習(xí)方法 第一步，自組織學(xué)習(xí)階段第一步，自組織學(xué)習(xí)階段無導(dǎo)師學(xué)習(xí)過程，求解隱含層基函數(shù)的中心與方差； 第二步，有導(dǎo)師學(xué)習(xí)階段第二步，有導(dǎo)師學(xué)習(xí)階段求解隱含層到輸出層之間的權(quán)值。p高斯函數(shù)作為徑向基函數(shù)221R()=exp(-)2pipiccxx2.5.2 RBF網(wǎng)絡(luò)的學(xué)習(xí)算法p網(wǎng)絡(luò)的輸出網(wǎng)絡(luò)的輸出( (網(wǎng)絡(luò)結(jié)構(gòu)如圖網(wǎng)絡(luò)結(jié)構(gòu)如圖2-212-21所示所示 ) )p設(shè)設(shè)d d是樣本的期望輸出值，那么基函數(shù)的方差是樣本的期望輸出值，那么基函數(shù)的方差可表示為可表示為 : :21mjjijdy cPh2

6、2i=11y =exp(-)=1,2,2jijpiwcjnx2.5.2 RBF網(wǎng)絡(luò)的學(xué)習(xí)算法p自組織選取中心算法步驟自組織選取中心算法步驟1.1.基于基于K-K-均值聚類方法求取基函數(shù)中心均值聚類方法求取基函數(shù)中心（1）網(wǎng)絡(luò)初始化。 u隨機(jī)選取 個(gè)訓(xùn)練樣本作為聚類中心 。（2）將輸入的訓(xùn)練樣本集合按最近鄰規(guī)則分組。u 按照 與中心為 之間的歐氏距離將 分配到輸入樣本的各個(gè)聚類集合 中。（3）重新調(diào)整聚類中心。 u計(jì)算各個(gè)聚類集合 中訓(xùn)練樣本的平均值，即新的聚類中心 ，如果新的聚類中心不再發(fā)生變化，則所得到的即為RBF神經(jīng)網(wǎng)絡(luò)最終的基函數(shù)中心，否則返回（2），進(jìn)入下一輪的中心求解。h(1,2,

7、)ic ihpxicpx(1,2, )ppPpicic2.5.2 RBF網(wǎng)絡(luò)的學(xué)習(xí)算法2.2.求解方差求解方差 RBFRBF神經(jīng)網(wǎng)絡(luò)的基函數(shù)為高斯函數(shù)時(shí)，方差可由下式求解：神經(jīng)網(wǎng)絡(luò)的基函數(shù)為高斯函數(shù)時(shí)，方差可由下式求解：u式中 為中所選取中心之間的最大距離。3.3.計(jì)算隱含層和輸出層之間的權(quán)值計(jì)算隱含層和輸出層之間的權(quán)值隱含層至輸出層之間神經(jīng)元的連接權(quán)值可以用最小二乘法隱含層至輸出層之間神經(jīng)元的連接權(quán)值可以用最小二乘法直接計(jì)算得到，計(jì)算公式如下：直接計(jì)算得到，計(jì)算公式如下：max,1,2,2icihhmaxc22maxexp()1,2, , ;1,2, ,pihwxcpPihc2.5.3 RB

8、F網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn) 函函 數(shù)數(shù) 名名功功 能能newrbnewrb()()新建一個(gè)徑向基神經(jīng)網(wǎng)絡(luò)新建一個(gè)徑向基神經(jīng)網(wǎng)絡(luò)newrbenewrbe()()新建一個(gè)嚴(yán)格的徑向基神經(jīng)網(wǎng)絡(luò)新建一個(gè)嚴(yán)格的徑向基神經(jīng)網(wǎng)絡(luò)newgrnnnewgrnn()()新建一個(gè)廣義回歸徑向基神經(jīng)網(wǎng)絡(luò)新建一個(gè)廣義回歸徑向基神經(jīng)網(wǎng)絡(luò)newpnnnewpnn()()新建一個(gè)概率徑向基神經(jīng)網(wǎng)絡(luò)新建一個(gè)概率徑向基神經(jīng)網(wǎng)絡(luò)pRBFRBF網(wǎng)絡(luò)的網(wǎng)絡(luò)的MATLABMATLAB函數(shù)及功能函數(shù)及功能2.5.3 RBF網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)pnewrbnewrb()()功能 建立一個(gè)徑向基神經(jīng)網(wǎng)絡(luò)建立一個(gè)徑向基神經(jīng)網(wǎng)絡(luò)格

9、式 net = newrb(Pnet = newrb(P，T T，GOALGOAL，SPREADSPREAD，MNMN，DF)DF)說明 P P為輸入向量，為輸入向量，T T為目標(biāo)向量，為目標(biāo)向量，GOALGOAL為圴方誤差，為圴方誤差，默認(rèn)為默認(rèn)為0 0，SPREADSPREAD為徑向基函數(shù)的分布密度，默為徑向基函數(shù)的分布密度，默認(rèn)為認(rèn)為1 1，MNMN為神經(jīng)元的最大數(shù)目，為神經(jīng)元的最大數(shù)目，DFDF為兩次顯示為兩次顯示之間所添加的神經(jīng)元神經(jīng)元數(shù)目。之間所添加的神經(jīng)元神經(jīng)元數(shù)目。 2.5.3 RBF網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)pnewrbenewrbe()()功能 建立一個(gè)嚴(yán)格的徑向基神經(jīng)

10、網(wǎng)絡(luò)建立一個(gè)嚴(yán)格的徑向基神經(jīng)網(wǎng)絡(luò), ,嚴(yán)格是指徑向基嚴(yán)格是指徑向基神經(jīng)網(wǎng)絡(luò)的神經(jīng)元的個(gè)數(shù)與輸入值的個(gè)數(shù)相等。神經(jīng)網(wǎng)絡(luò)的神經(jīng)元的個(gè)數(shù)與輸入值的個(gè)數(shù)相等。格式 (1) net = newrb(P(1) net = newrb(P，T T， SPREAD)SPREAD)說明 各參數(shù)的含義見各參數(shù)的含義見NewrbNewrb。2.5.3 RBF網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)p例例2-4 2-4 建立一個(gè)徑向基神經(jīng)網(wǎng)絡(luò)，對非線性函數(shù)建立一個(gè)徑向基神經(jīng)網(wǎng)絡(luò)，對非線性函數(shù)y=sqrt(xy=sqrt(x) )進(jìn)行逼近，并作出網(wǎng)絡(luò)的逼近誤差曲線。進(jìn)行逼近，并作出網(wǎng)絡(luò)的逼近誤差曲線。 %輸入從0開始變化到5，每

11、次變化幅度為0.1%輸入從0開始變化到5，每次變化幅度為0.1x=0:0.1:5;x=0:0.1:5;y=sqrt(x);y=sqrt(x);%建立一個(gè)目標(biāo)誤差為0，徑向基函數(shù)的分布密度為%建立一個(gè)目標(biāo)誤差為0，徑向基函數(shù)的分布密度為%0.5，隱含層神經(jīng)元個(gè)數(shù)的最大值為20，每增加5個(gè)%0.5，隱含層神經(jīng)元個(gè)數(shù)的最大值為20，每增加5個(gè)%神經(jīng)元顯示一次結(jié)果%神經(jīng)元顯示一次結(jié)果net=newrb(x,y,0,0.5,20,5);net=newrb(x,y,0,0.5,20,5);t=sim(net,x);t=sim(net,x);%在以輸入x和函數(shù)值與網(wǎng)絡(luò)輸出之間的差值y-t坐標(biāo)%在以輸入x和函數(shù)值與網(wǎng)絡(luò)輸出之間的差值y-t坐標(biāo)%上繪出誤差曲線，并用*來標(biāo)記函數(shù)值與網(wǎng)絡(luò)輸%上繪出誤差曲線，并用*來標(biāo)記函數(shù)值與網(wǎng)絡(luò)輸%出之間的差值%出之間的差值plot(x,y-t,*-)plot(x,y-t,*-)2.5.3 RBF網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)p例例2-42-4誤差