徑向基函數(shù)網(wǎng)絡(luò)

2023/12/5第1頁(yè)第三章徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)

（RBF——Radial-BasedFunctionNetworks）

§3.1概述

用BP算法解決異或問(wèn)題BP算法很容易收斂到局部最優(yōu)，而我們無(wú)法判斷得到的結(jié)果是局部最優(yōu)還是全局最優(yōu)，因?yàn)槲覀兏緵](méi)有全局信息。2023/12/5第2頁(yè)RBF網(wǎng)絡(luò)的基本思想在分類之前，先將輸入特征空間進(jìn)行非線性映射，使得有待分類的兩類樣本的分布變成線性可分問(wèn)題，然后用最簡(jiǎn)單的線性功能函數(shù)的神經(jīng)元進(jìn)行分類。例：圖示“異或”分布的兩類樣本，其分類函數(shù)相對(duì)復(fù)雜；采用影射：得到的新分布，可用線性函數(shù)進(jìn)行分類。可實(shí)現(xiàn)此問(wèn)題分類的神經(jīng)網(wǎng)絡(luò)§3.2Cover模式分類理論Acomplexpattern-classificationproblemcastinhigh-dimensionalspacenonlinearlyismorelikelytobelinearlyseparablethaninalow-dimensionalspace.復(fù)雜模式分類問(wèn)題非線性地表示在高維空間比表示在低維空間更易線性分類。2023/12/5第3頁(yè)§3.3插值問(wèn)題給定N

個(gè)不同的輸入點(diǎn)及其所對(duì)應(yīng)的輸出（實(shí)數(shù)）尋找一個(gè)函數(shù)滿足條件：例1：多項(xiàng)式插值(曲線擬合)用4次多項(xiàng)式進(jìn)行插值。*插值函數(shù)不唯一；*多項(xiàng)式階數(shù)與點(diǎn)數(shù)相關(guān)：

階數(shù)+1=點(diǎn)數(shù)給定平面5個(gè)點(diǎn)；2023/12/5第4頁(yè)例2.Gaussian函數(shù)插值(CH3PolyGaussFit)一維Gaussian函數(shù)：給定5個(gè)點(diǎn)，用中心分別在給定點(diǎn)上的Gaussian函數(shù)的線性組合：擬合給定點(diǎn)。得到：即，得到擬合曲線：將各個(gè)點(diǎn)代入有：2023/12/5第5頁(yè)Gauss函數(shù)曲面插值插值函數(shù)：當(dāng)X是2維矢量時(shí)，插值函數(shù)是Gauss曲面徑向基函數(shù)，Xi是其中心位置。擬合函數(shù)：樣本數(shù)據(jù)：將給定的樣本點(diǎn)代入：為中心在Xi的徑向基函數(shù)在Xj

點(diǎn)的取值。?。阂约翱梢缘玫剑鹤詈蟮玫揭粋€(gè)徑向基函數(shù)線性組合形式的擬合函數(shù)，其中，徑向基函數(shù)的項(xiàng)數(shù)與樣本個(gè)數(shù)相同：2007-10-31第6頁(yè)常用徑向基函數(shù)：其中：

插值運(yùn)算對(duì)應(yīng)于一個(gè)兩層的徑向基網(wǎng)絡(luò)多項(xiàng)式型：反多項(xiàng)式型：Gauss型：其中：其中：其中：2023/12/5第7頁(yè)§3.4有監(jiān)督學(xué)習(xí)作為不適定超曲面重構(gòu)問(wèn)題考慮樣本數(shù)據(jù)的個(gè)數(shù)多于待定系數(shù)的個(gè)數(shù)時(shí)的插值問(wèn)題。例如，線性回歸，直線插值函數(shù)。

理想地，若能給出自變量

x

和因變量y

之間的兩個(gè)理想數(shù)據(jù)(x1,y1)和(x2,y2)，則容易得到直線模型的精確解。

但由于存在干擾，只能得到含噪樣本。用含噪樣本直接求解得到的直線方程，與x~y之間關(guān)系存在不可預(yù)計(jì)的誤差。

線性回歸方法，可以在誤差均方最小準(zhǔn)則下得到真實(shí)關(guān)系的近似。

用足夠高階的模型，有可能將含噪的樣本無(wú)誤差地?cái)M合起來(lái)，但得到的結(jié)果與真值差距很大。其結(jié)果是，階數(shù)越高誤差越小但模型的泛化性能越差。過(guò)擬合問(wèn)題(Overfitting/Overdetermined):模型的階數(shù)大于系統(tǒng)的實(shí)際階數(shù)。2023/12/5第8頁(yè)重構(gòu)問(wèn)題的適定性給定稀疏點(diǎn)集的函數(shù)（高維映射）重構(gòu)問(wèn)題：假定有一個(gè)系統(tǒng)f，其輸入矢量為，有界響應(yīng)為，重構(gòu)的意思就是通過(guò)輸入輸出樣本找到未知映射。滿足以下準(zhǔn)則的重構(gòu)問(wèn)題是“適定的”：(1).存在性（Existence）：對(duì)于每個(gè)輸入矢量都存在一個(gè)輸出與之對(duì)應(yīng)；

(2).唯一性（Uniqueness）：任意兩個(gè)輸入矢量，當(dāng)且僅當(dāng)時(shí)；

(3).連續(xù)性（Continuity，或稱為穩(wěn)定性：Stability）：任給存在，使得當(dāng)時(shí)。其中運(yùn)算符表示該空間中點(diǎn)與點(diǎn)之間的距離。2023/12/5第9頁(yè)正問(wèn)題與反問(wèn)題(InverseProblem)正問(wèn)題：例如，給定一個(gè)RLC諧振電路及其元件參數(shù)，我們可以建立一個(gè)描述該電路輸入輸出之間映射關(guān)系的微分方程，即求解一個(gè)“正問(wèn)題”。反問(wèn)題：對(duì)于一個(gè)系統(tǒng)，如果所能得到的全部資料就是實(shí)際采集得到的輸入、輸出樣本集，從由這些樣本數(shù)據(jù)建立能夠表達(dá)系統(tǒng)輸入輸出之間映射關(guān)系的數(shù)學(xué)模型，被稱為“反問(wèn)題(Inverseproblem)”，也稱為“系統(tǒng)重構(gòu)問(wèn)題”。反問(wèn)題通常是不適定的：第一、存在性準(zhǔn)則可能得不到滿足，即某些輸入矢量沒(méi)有確定的輸出對(duì)應(yīng)；第二、實(shí)際樣本所提供的信息不足以唯一地確定重構(gòu)模型，于是，唯一性準(zhǔn)則得不到滿足；第三、由于存在噪聲干擾，相近的輸入可能對(duì)應(yīng)于差距很大的輸出，于是，連續(xù)性準(zhǔn)則得不到滿足。求解反問(wèn)題的學(xué)習(xí)算法必須附加先驗(yàn)（專業(yè)或經(jīng)驗(yàn)的）知識(shí)等附加條件。因?yàn)?，任何?shù)學(xué)手段都不能補(bǔ)救信息缺失(Alackofinformationcannotberemediedbyanymathematicaltrickery——Lanczos,1964)。

2023/12/5第10頁(yè)§3.5Tikhonov正則化理論

系統(tǒng)輸入：理想輸出：擬合函數(shù)：

標(biāo)準(zhǔn)差項(xiàng)：顯然，只用Es(F)

作為目標(biāo)函數(shù)進(jìn)行優(yōu)化，可以得到誤差最小的擬合函數(shù)，但無(wú)法避免過(guò)擬合問(wèn)題。為此，Tikhonov提出了“正則項(xiàng)”:

正則項(xiàng)：式中：D是線性微分算子

Ec(F)

減小即擬合函數(shù)F

的梯度減小，意味著在滿足誤差最小的同時(shí)還要求擬合結(jié)果足夠“平坦”，因此，正則項(xiàng)也稱為“平滑項(xiàng)”。2023/12/5第11頁(yè)E(F)

所在空間是一個(gè)函數(shù)空間，該空間自變量的每個(gè)取值（矢量）代表一個(gè)函數(shù)。假設(shè)所有這些函數(shù)都是平方可積的，并且，類似數(shù)量空間中定義矢量的模一樣，用函數(shù)的平方積分表示它們的“大小”，稱為該空間中矢量的“范數(shù)”，即：稱這個(gè)空間為“賦范空間”。正則化問(wèn)題：尋找使目標(biāo)函數(shù)：達(dá)到最小的函數(shù)F(X)。自變量是函數(shù)F(X)，因此，函數(shù)E(F)

是一個(gè)泛函。l用于在平滑性和誤差之間權(quán)衡，大的l得到的擬合函數(shù)更加平滑但擬合誤差大；而小的l擬合誤差小但擬合函數(shù)不夠平滑。(3-10)2023/12/5第12頁(yè)Frechet微分定義

式中：是X的一個(gè)任意給定的函數(shù)。假設(shè)E(F)

在F(X)

點(diǎn)取極小值，則應(yīng)有dE(F,h)

關(guān)于任意h(X)

為0。(3-11)(3-12)由上式右邊第一項(xiàng)得到：(3-13)即：關(guān)于(3-10)式子：2023/12/5第13頁(yè)(3-10)式第一項(xiàng)的Frechet微分可寫成：利用

d(X-Xi)

函數(shù)的篩選特性，可以將兩個(gè)函數(shù)在某點(diǎn)Xi

的乘積表示成內(nèi)積形式：兩函數(shù)的內(nèi)積定義為：式中：是中心位于Xi

的d

函數(shù)。(3-10)式，即，E(F,h)中第二項(xiàng)的Frechet微分：（3-15）(3-14)2023/12/5第14頁(yè)Euler-Lagrange方程

伴隨算子定義：給定一個(gè)微分算子D

，存在一個(gè)伴隨算子使得對(duì)于任意兩個(gè)具有足夠階可微的函數(shù)u

和v

滿足Green恒等式：利用Green恒等式，在(3-15)式中令：則有：(3-17)于是(3-10)式的Frechet微分為：：(3-18)2023/12/5第15頁(yè)Tikhonov函數(shù)E(F,h)

存在極值的必要條件(Euler-Lagrange方程

)根據(jù)Frechet微分的定義知：所以，必須有：或者：(3-19)此即Tikhonov函數(shù)E(F,h)

存在極值Fl(X)

的必要條件。2023/12/5第16頁(yè)Green函數(shù)(3-19)式是一個(gè)偏微分方程，欲解之，需做一些積分變換方面的數(shù)學(xué)準(zhǔn)備。

給定微分算子L，定義一個(gè)函數(shù)G(X,x)滿足以下條件：對(duì)于一個(gè)固定的x

，G(X,x)是X的函數(shù)且滿足邊界條件；在X=x

之外的所有點(diǎn)，G(X,x)關(guān)于X的所有導(dǎo)數(shù)都連續(xù)，導(dǎo)數(shù)的階數(shù)取決于微分算子L的形式。

G(X,x)作為X的函數(shù)，除在X=x

點(diǎn)之外，處處滿足微分方程：LG(X,x)=0(3-20)如此定義的函數(shù)G(X,x)稱為微分算子L

的Green函數(shù)。而X=x

是函數(shù)G(X,x)的奇異點(diǎn)，于是上式可以寫成LG(X,x)=d(X-

x)(3-21)2023/12/5第17頁(yè)Green函數(shù)應(yīng)用示例：令j(X)

是的連續(xù)或分段連續(xù)函數(shù)，則是微分方程的解：(3-22)(3-23)證明：對(duì)(3-22)

式運(yùn)用微分算子L

注意到，L

是關(guān)于

X

的微分算子，因此有

Lj(x)=0

，所以有將(3-21)式：LG(X,x)=d(X-

x)代入得到利用d

函數(shù)的偶特性和篩選性，(3-24)證畢.在以上推導(dǎo)過(guò)程中Green函數(shù)起到關(guān)鍵作用。其中用到：1、積分和求和運(yùn)算的次序可以交換；2、[di-Fl(Xi)]中沒(méi)有積分變量x。2023/12/5第18頁(yè)求解正則化問(wèn)題已經(jīng)得到Tikhonov函數(shù)的Euler-Lagrange方程(3-19)該式的解就是(3-11)

式的解，(3-11)：定義微分算子：以及函數(shù)：（3-25）（3-26）已知：的解為：得到(3-19)的解：再利用d

函數(shù)的篩選性得到：(3-27)正則化問(wèn)題的解： （3-27） 即，給定數(shù)據(jù)樣本反求系統(tǒng)函數(shù)，其最佳重構(gòu)函數(shù)Fl(X)是N個(gè)中心分別位于X1,X2,…,XN的Green函數(shù)的加權(quán)求和，其權(quán)值分別為：稱為正則參數(shù)，l越大擬合誤差越大，而擬合函數(shù)Fl(X)越“平坦”；反之亦然。l用于在擬合誤差與平坦性之間進(jìn)行權(quán)衡。2023/12/5第19頁(yè)確定展開式的系數(shù)(正則化網(wǎng)絡(luò)權(quán)值的確定)

令：（3-28）將正則化重構(gòu)過(guò)程用一個(gè)網(wǎng)絡(luò)表示，則wi為權(quán)值，該網(wǎng)絡(luò)實(shí)現(xiàn)的計(jì)算為：(3-29)將給定的學(xué)習(xí)樣本逐一輸入，得到：(3-30)Fl(Xj)是重構(gòu)模型在給定輸入Xj處的計(jì)算值。寫成矢量形式：(3-31)正則化網(wǎng)絡(luò)2023/12/5第20頁(yè)學(xué)習(xí)樣本所對(duì)應(yīng)的輸出矢量：(3-32)再將中心位于X1,X2,…,XN

的N

個(gè)徑向基函數(shù)G(X,X1),G(X,X2),…，G(X,XN),分別在X1,X2,…,XN

的取值寫成矩陣形式，即，Green矩陣：(3-33)將所有權(quán)值寫成權(quán)值矢量：注意到(3-28)上式可以寫成(3-34)(3-35)從(3-34)

和(3-35)中消去Fl

得到：(3-36)注意到算子是“自伴隨的(Self–adjoint)”，可以證明與該算子關(guān)聯(lián)的Green函數(shù)G(X,x)具有對(duì)稱性，即：G(X1,X2)=G(X2,X1)，于是，Green矩陣也是對(duì)稱矩陣，即：G=GT?？梢赃x擇算子L

使(G+lI)非奇異。于是得到(3-38)于是，我們得到了正則重構(gòu)問(wèn)題的學(xué)習(xí)算法，剩下的問(wèn)題是如何選擇Green函數(shù)。重構(gòu)函數(shù)關(guān)于輸入X1,X2,…，XN

的

N個(gè)計(jì)算值為：正則化網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)算法為：正則化網(wǎng)絡(luò)所實(shí)現(xiàn)的運(yùn)算：2023/12/5第21頁(yè)正則化重構(gòu)問(wèn)題的解可以寫成：

可以證明，當(dāng)算子D具有“移不變性(Translationallyinvariant)”和“回轉(zhuǎn)不變性(Rotationallyinvariant)”時(shí)，Green函數(shù)為徑向基函數(shù)：G(X,X1)=G(||X-X1||)(3-40)作為擬合函數(shù)，具有以上性質(zhì)是必要的，因此，我們可以?。?-40）徑向基函數(shù)作為Green函數(shù)。于是，(3-41)以上得到的正則化重構(gòu)問(wèn)題的解，是中心分別在輸入樣本處的一系列徑向基函數(shù)G(||X–Xi||)

的線性組合，徑向基函數(shù)的個(gè)數(shù)與樣本數(shù)量相同。但這個(gè)重構(gòu)函數(shù)與本章(3-4)所表示的擬合函數(shù)有著本質(zhì)上的區(qū)別，前者是擬合誤差與平滑性權(quán)衡的結(jié)果，而后者是誤差為0的擬合結(jié)果?？梢宰C明，曲線擬合是正則化重構(gòu)問(wèn)題在l=0

時(shí)的特例。2023/12/5第22頁(yè)多變量Gaussian函數(shù)應(yīng)用最為廣泛的Green函數(shù)是多變量Gaussian函數(shù)：(3-42)其中Xi

是其中心所在，s

決定了鐘型的寬度。該函數(shù)所對(duì)應(yīng)的自伴隨算子為(Poggio

和

Girosi，1990)

：(3-43)其中而是m0維的微分算子，并且(3-45)可以看到，L

包含了無(wú)窮階微分，是通常微分算子的線性組合，故而稱為“偽微分算子”。2023/12/5第23頁(yè)曲線擬合實(shí)例給定一維輸入/輸出樣本(1).用(3-33)式計(jì)算(12x12)

維Green矩陣fork=1:length(X) x0=X(k); forn=1:length(X) x1=X(n); G(n,k)=exp(-(x1-x0).^2/(2*s^2)); endend(2).用(3-38)式計(jì)算W:l=0.1

時(shí)得到：W=[-0.90304,1.9742,3.3065,2.3684,1.2824,1.6151,1.9849,1.2454,0.56755,1.0588,0.59034,2.4743]T

l=0.3

時(shí)得到：W=[-1.7724,3.0144,4.1495,3.8488,-0.2731,3.4744,0.99487,2.1451,-0.37586,3.0171,-1.4118,4.2776]T

(3).構(gòu)造正則擬合函數(shù)：

forn=1:length(X)form=1:length(X)G(n,m)=exp(-norm(X(:,n)-X(:,m))^2);endendW=inv(G-l*diag(ones(length(X)