神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF課件

1、神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF1 徑向基函數(shù)(RBF)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF2 RBF網(wǎng)絡(luò)結(jié)構(gòu) 徑向基神經(jīng)元結(jié)構(gòu) 徑向基神經(jīng)元的凈輸入采用距離函數(shù)（如歐式距離）乘以偏 置，并使用徑向基函數(shù)作為激活函數(shù)。 權(quán)又稱為中心 神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF3 2 2 )( t etradbas 2 2 1 1 )( t e tradbas )( 1 )( 22 t tradbas)0( 1. 高斯函數(shù)： 2. 反射S形函數(shù)： 3. 逆多二次函數(shù) ： 稱為基函數(shù)的擴(kuò)展常數(shù) 或?qū)挾龋?越小，徑向基 函數(shù)的寬度越小，基函數(shù) 就越有選擇性。 徑向基函數(shù)（RBF） RBF網(wǎng)絡(luò)結(jié)構(gòu)（續(xù)）

2、 神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF4 RBF網(wǎng)絡(luò)結(jié)構(gòu)（續(xù)） 網(wǎng)絡(luò)結(jié)構(gòu) RBF網(wǎng)絡(luò)是個(gè)三層結(jié)構(gòu)（-S1-S2）的前饋網(wǎng)，其中，代 表輸入層并指出輸入維數(shù)； S1代表由徑向基神經(jīng)元構(gòu)成的 隱層并指出神經(jīng)元數(shù)目； S2是線性輸出層。 神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF5 RBF網(wǎng)絡(luò)結(jié)構(gòu)（續(xù)） RBF網(wǎng)絡(luò)層間的連接 輸入層到隱層之間的權(quán)值（中心）固定 隱層到輸出層之間的權(quán)值可調(diào) 神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF6 RBF網(wǎng)絡(luò)工作原理 RBF網(wǎng)絡(luò)的三層的作用 輸入層將網(wǎng)絡(luò)與外界環(huán)境連接起來 隱層是非線性的，實(shí)現(xiàn)從輸入空間到隱層空 間之間的非線性變換 輸出層是線性的，完成隱層輸出的加權(quán)和 RBF網(wǎng)絡(luò)是

3、一種局部逼近網(wǎng)絡(luò) 能以任意精度逼近任一連續(xù)函數(shù) 常用于解決函數(shù)逼近和分類問題 神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF7 RBF網(wǎng)絡(luò)工作原理（續(xù)） RBF網(wǎng)絡(luò)的工作原理 函數(shù)逼近：以任意精度逼近任一連續(xù)函數(shù)。一般 函數(shù)都可表示成一組基函數(shù)的線性組合，RBF網(wǎng)絡(luò) 相當(dāng)于用隱層單元的輸出構(gòu)成一組基函數(shù)，然后 用輸出層來進(jìn)行線性組合，以完成逼近功能。 分類：解決非線性可分問題。RBF網(wǎng)絡(luò)用隱層單 元先將非線性可分的輸入空間設(shè)法變換到線性可 分的特征空間（通常是高維空間），然后用輸出 層來進(jìn)行線性劃分，完成分類功能。 神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF8 RBF網(wǎng)絡(luò)實(shí)現(xiàn)內(nèi)插問題 內(nèi)插問題（數(shù)值逼近） 給定樣

4、本數(shù)據(jù)： 尋找函數(shù)，使之滿足： ， RBF網(wǎng)絡(luò)解決內(nèi)插問題 網(wǎng)絡(luò)隱層使用個(gè)隱節(jié)點(diǎn) 把所有個(gè)樣本輸入分別作為個(gè)隱節(jié)點(diǎn)的中心 各基函數(shù)取相同的擴(kuò)展常數(shù) 確定權(quán)值可解線性方程組： 設(shè)第j 個(gè)隱節(jié)點(diǎn)在第i個(gè)樣本的輸出為： , 可矩陣表示： ，若R可求逆，則解為： 。 根據(jù)Micchelli定理可得，如果隱節(jié)點(diǎn)激活函數(shù)采用徑向 基函數(shù)，且 各不相同，則線性方程組 有唯一解。 p1t1,p2t2, pQtQ, )( ii PFt Qi 1 Qi1 i Q j jij tPPradbasw )( 1 Q PPP,., 21 tRw )( jiij PPradbasr tRw 1 神經(jīng)網(wǎng)絡(luò)配套Ch12pres

5、RBF9 RBF網(wǎng)絡(luò)實(shí)現(xiàn)內(nèi)插問題（續(xù)） RBF網(wǎng)絡(luò)的輸出為： 其中 為隱節(jié)點(diǎn)的激活函數(shù)（ RBF函數(shù)）； 是第 j個(gè)隱節(jié)點(diǎn)的RBF函數(shù)的數(shù)據(jù)中心。 RBF網(wǎng)絡(luò)的結(jié)構(gòu)為： )()( 1 Q j jiji cpwpF )( jj PC 神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF10 RBF網(wǎng)絡(luò)實(shí)現(xiàn)內(nèi)插問題（續(xù)） RBF網(wǎng)絡(luò)可實(shí)現(xiàn)對樣本完全內(nèi)插，即在所有樣本點(diǎn)網(wǎng)絡(luò)輸 出誤差為0。 網(wǎng)絡(luò)的隱層節(jié)點(diǎn)數(shù)等于樣本數(shù)，當(dāng)樣本數(shù)較多時(shí)，網(wǎng)絡(luò) 的結(jié)構(gòu)將過大，前述方法中矩陣R也大，使得它的條件數(shù) （ 矩陣的最大特征值與其最小特征值的比）可能過大， 從而導(dǎo)致求逆時(shí)不穩(wěn)定。 同樣，當(dāng)樣本數(shù)較多時(shí)，網(wǎng)絡(luò)結(jié)構(gòu)將過大，從而有可能 導(dǎo)

6、致網(wǎng)絡(luò)的泛化性能降低。 為了提高網(wǎng)絡(luò)的泛化性能，可以采用下面討論的廣義RBF 網(wǎng)絡(luò)和正則化網(wǎng)絡(luò)。 神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF11 廣義RBF網(wǎng)絡(luò) 隱層節(jié)點(diǎn)數(shù)(徑向基函數(shù)個(gè)數(shù))遠(yuǎn)小于樣本數(shù)，通 常有： 徑向基函數(shù)的中心不再限制在樣本點(diǎn)上，即有： 徑向基函數(shù)的擴(kuò)展常數(shù)不一定要統(tǒng)一 1 RSQ jj CP 神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF12 RBF網(wǎng)絡(luò)的學(xué)習(xí)算法 學(xué)習(xí)算法要確定的參數(shù): 網(wǎng)絡(luò)隱層神經(jīng)元的個(gè)數(shù)（結(jié)構(gòu)設(shè)計(jì)） 確定各徑向基函數(shù)的數(shù)據(jù)中心 擴(kuò)展常數(shù) 連接隱層到輸出層的權(quán)值 神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF13 RBF網(wǎng)絡(luò)的學(xué)習(xí)算法 中心固定方法 隨機(jī)從訓(xùn)練數(shù)據(jù)中選取網(wǎng)絡(luò)中隱節(jié)點(diǎn)

7、的數(shù)據(jù)中心，并 根據(jù)各數(shù)據(jù)中心之間的距離確定隱節(jié)點(diǎn)的擴(kuò)展常數(shù) 然后用有監(jiān)督學(xué)習(xí)（偽逆或LMS方法）確定輸出層節(jié) 點(diǎn)的權(quán)值 中心自組織選取方法 先用無監(jiān)督學(xué)習(xí)（k-均值聚類算法對樣本輸入進(jìn)行聚 類）方法確定網(wǎng)絡(luò)中隱節(jié)點(diǎn)的數(shù)據(jù)中心，并根據(jù)各數(shù) 據(jù)中心之間的距離確定隱節(jié)點(diǎn)的擴(kuò)展常數(shù) 然后用有監(jiān)督學(xué)習(xí)（仿逆或LMS方法）確定輸出層節(jié) 點(diǎn)的權(quán)值 神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF14 RBF網(wǎng)絡(luò)的學(xué)習(xí)算法（續(xù)） 梯度方法 用梯度方法原理，通過最小化性能指數(shù)實(shí)現(xiàn)對各隱節(jié) 點(diǎn)數(shù)據(jù)中心、擴(kuò)展寬度和權(quán)值的調(diào)節(jié) 交替梯度方法 為提高網(wǎng)絡(luò)的訓(xùn)練效率，將梯度方法分為兩階段，這 兩個(gè)階段交替進(jìn)行訓(xùn)練，直到達(dá)到要求的精度

8、為止 輸入層隱層階段：固定網(wǎng)絡(luò)的權(quán)值，訓(xùn)練網(wǎng)絡(luò)的 中心和擴(kuò)展寬度 隱層輸出層階段：固定網(wǎng)絡(luò)的中心和擴(kuò)展寬度， 訓(xùn)練網(wǎng)絡(luò)的權(quán)值 神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF15 RBF網(wǎng)絡(luò)的特點(diǎn) 只有一個(gè)隱層，且隱層神經(jīng)元與輸出層神經(jīng)元的 模型不同。 隱層節(jié)點(diǎn)激活函數(shù)為徑向基函數(shù)，輸出層節(jié)點(diǎn)激 活函數(shù)為線性函數(shù)。 隱層節(jié)點(diǎn)激活函數(shù)的凈輸入是輸入向量與節(jié)點(diǎn)中 心的距離（范數(shù)），而非向量內(nèi)積，且節(jié)點(diǎn)中心 不可調(diào)。 隱層節(jié)點(diǎn)參數(shù)確定后，輸出權(quán)值可通過解線性方 程組得到。 隱層節(jié)點(diǎn)的非線性變換把線性不可分問題轉(zhuǎn)化為 線性可分問題 神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF16 RBF網(wǎng)絡(luò)的特點(diǎn)（續(xù)） 局部逼近網(wǎng)絡(luò)（MLP

9、是全局逼近網(wǎng)絡(luò))，這意味著 逼近一個(gè)輸入輸出映射時(shí)，在相同逼近精度要求 下，RBF所需的時(shí)間要比MLP少。 具有唯一最佳逼近的特性，無局部極小。 合適的隱層節(jié)點(diǎn)數(shù)、節(jié)點(diǎn)中心和寬度不易確定。 神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF17 正則化方法（改進(jìn)泛化性能） 尋找能有效逼近給定樣本數(shù)據(jù)的函數(shù) 設(shè)有樣本數(shù)據(jù): , F(P)是逼近函 數(shù)。 傳統(tǒng)方法是最小化標(biāo)準(zhǔn)誤差項(xiàng)來實(shí)現(xiàn) 由于從有限樣本導(dǎo)出一個(gè)函數(shù)的解有無窮多個(gè)，該問題 是不適定的(ill-posed)。Tikhonov提出了正則化方法來 解決這類問題。就是在標(biāo)準(zhǔn)誤差項(xiàng)的基礎(chǔ)上，增加一個(gè) 限制逼近函數(shù)復(fù)雜性的項(xiàng)（稱為正則化項(xiàng)），即 其中，D是線性微

10、分算子，關(guān)于解F(p)的形式的先驗(yàn)知識(shí) 就包含在其中，即D的選取與所解的問題有關(guān)。 D也稱為 穩(wěn)定因子，它使正則化問題的解穩(wěn)定光滑，從而連續(xù)。 p1t1,p2t2,pQtQ, 2 1 )( 2 1 )( i Q i iS PFtFE 2 2 1 )(DFFEC 神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF18 正則化方法（改進(jìn)泛化性能） 正則化理論要求最小化的量為 其中， 是一個(gè)正的實(shí)數(shù)，稱為正則化參數(shù)。 正則化參數(shù)用來指示所給的樣本數(shù)據(jù)和先驗(yàn)信息對 的最小解函數(shù) 作的貢獻(xiàn)的大小。 當(dāng) 時(shí)，表明該問題不受約束，解完全由 所給樣本決定； 當(dāng) 時(shí)，表明僅由算子D所定義的先驗(yàn)條 件就足以得到問題的解，也就是說

11、所給的樣本完全不 可信； 實(shí)際應(yīng)用中，正則化參數(shù)取上述兩個(gè)極限值之間，使 樣本數(shù)據(jù)和先驗(yàn)條件都對解作貢獻(xiàn)。 2 2 1 2 1 )( 2 1 )()()(DFPFtFEFEFE i Q i iCS )(FE )(pF 0 神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF19 正則化方法（改進(jìn)泛化性能） 正則化問題的解為： 其中， 是自伴隨算子 的Green函數(shù)。 可見正則化問題的解是Q個(gè)基函數(shù) 的線性組 合，即 ),( i PPG Q i iii PPGPFtPF 1 ),()( 1 )( DD ),( i PPG Q i ii PPGwPF 1 ),()( )( 1 iii PFtw 神經(jīng)網(wǎng)絡(luò)配套Ch12presRBF20 正則化網(wǎng)絡(luò) 正則化理論導(dǎo)出一類特定的RBF網(wǎng)絡(luò)正則化網(wǎng)絡(luò) Green函數(shù) 的形式依賴于算子D的形式， 如果D具有平移不變性和旋轉(zhuǎn)不變性，則Green函數(shù)的值取 決于P和 Pi之間的距離，即 。選擇不同的算子D（應(yīng)具有平移和旋轉(zhuǎn)不變性），便可 得到不同的Green函數(shù)，包括Gaussian函數(shù)這樣最常用的 徑向基函數(shù)。 Q i ii PPGwPF 1 ),()( ),( i PPG )(),( ii PP