軟測量建模方法研究-人工神經(jīng)網(wǎng)絡

卷

鼠

圖

#

H

<

百

盤

人工神經(jīng)」網(wǎng)絡(ANN)

?人工神經(jīng)網(wǎng)絡是一個并行和

分布式的信息處理網(wǎng)絡，該

網(wǎng)絡結構一般由許多個神經(jīng)

元組成。

每個神經(jīng)元有一個單一的輸

出，可以連接到很多其它的

神經(jīng)元去；神經(jīng)元的輸入有

多個連接通路，每個連接通

路對應一個連接權系數(shù)。

人工神經(jīng)」網(wǎng)絡(ANN)

?人工神經(jīng)網(wǎng)絡從兩個方面對生物神經(jīng)網(wǎng)絡進行模擬

和近似：

8從結構和實現(xiàn)機理方面進行模擬；

8從功能（如學習、識別、控制等）上加以模擬。

人工神經(jīng)」網(wǎng)絡(ANN)

?：?從1943年McCulloch和Pitts首次提出一種簡單的

神經(jīng)網(wǎng)絡模型，即M-P模型后，神經(jīng)網(wǎng)絡的發(fā)展十

分迅速，使之成為近年來人工智能的一個重要學

科分支。

1949年Hebb從心理角度提出Hebb學習法則，向人

們顯示了ANN能夠具有類似人類的學習行為。

?1969年Rosenblatt提出了著名的感知器

(Perception)模型。該模型初步具備了學習、

并行處理和分步儲存等人工神經(jīng)網(wǎng)絡的一些基本

特征，從而初步確立了從系統(tǒng)角度進行人工神經(jīng)

網(wǎng)絡研究的基礎。

人工神經(jīng)」網(wǎng)絡(ANN)

。結構：ANN以簡單非線性神經(jīng)元為處理單元，通過廣泛連接,

構成大規(guī)模分布式并行處理的非線性動力學系統(tǒng)。

*能力：ANN從仿生學角度出發(fā)，對人腦的神經(jīng)系統(tǒng)進行模擬,

以實現(xiàn)人腦所具有的感知、學習和推理等智能。

?:?作用：由于具有的獨特的非傳統(tǒng)表達方式和固有的學習能力,

ANN可以用于控制理論中的絕大多數(shù)問題，如系統(tǒng)建模與辨

識、優(yōu)化設計、自適應控制、容錯控制、故障診斷、推斷控

制、軟測量、預測控制..

人工神經(jīng)」網(wǎng)絡(ANN)

.：.神經(jīng)網(wǎng)絡的抽象定義：

?神經(jīng)網(wǎng)絡是由一些簡單（通常自適應的）元件及

其層次進行大規(guī)模并行連接構造而成的網(wǎng)絡，它

致力于按照生物神經(jīng)網(wǎng)絡的同樣方式處理真實世

界。

?神經(jīng)網(wǎng)絡中的基本處理單元稱為神經(jīng)元，或者稱

為節(jié)點。

人工神經(jīng)」網(wǎng)絡(ANN)

神經(jīng)網(wǎng)絡的第j個節(jié)點內(nèi)部閾值用于控制節(jié)點的激活值

輸

入

元

素

權重因子

反映出第i個輸入應對第J個節(jié)點的影響。

權值為正表示激勵，權值為負表示抑制。

人工神經(jīng)」網(wǎng)絡(ANN)

?函數(shù)形式：

可選擇的函數(shù)形式包括平方根、乘積、對數(shù)、指數(shù)等，在神經(jīng)網(wǎng)絡的基

本算法中，常使用Sigmoid函數(shù)（BP網(wǎng)絡）和高斯函數(shù)（RBF網(wǎng)絡）。

Sigmoid函數(shù)：單調(diào)上升函數(shù)，極限值為0和1（%=—00?+oo）o

高斯函數(shù)：局部分布的對中心點徑向?qū)ΨQ衰減的非負非線性函數(shù)。

人工神經(jīng)網(wǎng)絡

(ANN)將人工神經(jīng)

人

輸出（目標）網(wǎng)絡看成為一

工個由輸入層的

神

輸出層所有節(jié)點輸入

經(jīng)特定信息的

網(wǎng)“黑箱”；

絡

隱含層.

的通過節(jié)點之

典間的相互連接

型來處理這些信

結

輸入層

構再由輸出側

輸入（因素）曾的節(jié)點給出

最終結果。

人工神經(jīng)歷I絡（ANN）

?幾種常見的人工神經(jīng)網(wǎng)絡類型

不含反饋的前向階層型網(wǎng)絡

人工神經(jīng)歷I絡（ANN）

從輸出層到輸入層有反饋的前向網(wǎng)絡

人工神經(jīng)」網(wǎng)絡(ANN)

層內(nèi)有相互結合的前向網(wǎng)絡

人工神經(jīng)」網(wǎng)絡(ANN)

相互結合型結構的網(wǎng)絡

（網(wǎng)絡在任意兩個神經(jīng)元間都有可能聯(lián)結）

人工神經(jīng)」網(wǎng)絡(ANN)

人工神經(jīng)網(wǎng)絡的運行

1.訓練或?qū)W習階段(TrainingorLearning

phase);

2.預測(推廣)階段(Generalizationphase)

在訓練或?qū)W習階段，向人工神經(jīng)網(wǎng)絡提供一系列輸入

—輸出模式對，通過不斷調(diào)整節(jié)點之間的相互連接權重，

直至特定的輸入產(chǎn)生出所期望的輸出。

通過這些活動，使人工神經(jīng)網(wǎng)絡學會正確的輸入一輸

出響應行為，從而能對未知樣本進行預報。

人工神經(jīng)場I絡（ANN）

?:?人工神經(jīng)網(wǎng)絡的學習規(guī)則：

（1）相關規(guī)則（Hebb規(guī)則）

僅僅根據(jù)連接間的激活水平來改變權重，常常用于自聯(lián)

想網(wǎng)絡。

〃?乙（〃）?/（〃）

式中匕（〃）和X/（〃）分別為匕7兩端神經(jīng)元的狀態(tài);

"為/節(jié)點的學習速度常數(shù),0<7<1

人工神經(jīng)場I絡（ANN）

?:?人工神經(jīng)網(wǎng)絡的學習規(guī)則：

(2)糾錯規(guī)則(有人管理學習規(guī)則)

依賴關于輸出節(jié)點的外部反饋來改變權重，從方法上等效

于梯度下降法。

①6學習規(guī)則

A%=7?%(〃)?9(〃)

式中3,5)為/節(jié)點的輸出期望值與實際值之差;

V為學習步長(學習系數(shù))

人工神經(jīng)場I絡（ANN）

?:?人工神經(jīng)網(wǎng)絡的學習規(guī)則：

(2)糾錯規(guī)則(有人管理學習規(guī)則)

②廣義b學習規(guī)則

一種使平方誤差最小化的迭代梯度下降法，用加動量

的方法來加快訓練。

③Boltzmann機學習規(guī)則

用基于模擬退火的統(tǒng)計方法來替代廣義5方法，適用

于多層網(wǎng)絡的訓練。

人工神經(jīng)」網(wǎng)絡(ANN)

?:?人工神經(jīng)網(wǎng)絡的學習規(guī)則：

(3)競爭規(guī)則(無人管理學習規(guī)則)

在競爭學習中，網(wǎng)絡各輸出單元互相競爭，最后達到只

有一個最強者激活。

r

77(x-W),若神經(jīng)元/競爭獲勝；

△%=<

0,若神經(jīng)元/競爭失敗

人工神經(jīng)」網(wǎng)絡(ANN)

?人工神經(jīng)網(wǎng)絡的主要吸引力在于:

?.懿雅麴罌近任意非線性映射’給建模帶來一種

2.具有自適應性能包括自學習能力、自組織推理能力

3.具套先登結杓，并垂并行處理，從而能對大量復雜的控

制置法實現(xiàn)模速、實時的處理；

4.分布式信息儲存與處理結構，使其具有獨特的容錯性。

5.能夠同時融合定量與定性數(shù)相,從而能與傳統(tǒng)控制方法

及符號主義的人工智能相結咨;

6.所有信”、都能等勢分布儲存在網(wǎng)絡內(nèi)的各神經(jīng)元中，對

MIMO素統(tǒng)特別萬便。

人工神經(jīng)場I絡（ANN）

?BP網(wǎng)絡

?早先的人工神經(jīng)網(wǎng)絡是僅有一層計算單元的網(wǎng)絡，常稱

為感知器，只能解決線性可分問題。

?采用多層網(wǎng)絡結構(輸入層、隱含層和輸出層)后，如

果隱含層的作用函數(shù)采用連續(xù)函數(shù)，網(wǎng)絡輸出就可以逼

近任何連續(xù)函數(shù)。

?BP網(wǎng)絡采用D.Rumellart等人提出的誤差反向傳播算法

(BackPropagationAlgorithm,簡稱BP)進彳亍學習,

該方法能解決多層網(wǎng)絡由于有隱含層后學習比較困難的

問題。

人工神經(jīng)場I絡（ANN）

?BP網(wǎng)絡是一種具有三層神經(jīng)元的階層神經(jīng)網(wǎng)絡，不同階層神

經(jīng)元之間實現(xiàn)權重連接，而每層內(nèi)各個神經(jīng)元之間不連接。

當一對學習模式輸入網(wǎng)絡

后，神經(jīng)元的激活值從輸入

層經(jīng)隱含層向輸出層傳播，

在輸出層各神經(jīng)元獲得網(wǎng)絡

響應。

然后按照減小期望輸出與

實際輸出誤差的方向，從輸

出層經(jīng)隱含層向輸入層逐層

修正各連接權重。

輸入輸入層隱含層輸出層輸出隨著誤差逆?zhèn)鞑バ拚牟?/p>

斷進行，網(wǎng)絡對輸入模式響

注意：各層的神經(jīng)元個數(shù)不一定相等應的正確率也不斷增加。

人工神經(jīng)場I絡（ANN）

?BP算法由四個部分組成：

1.模式順傳播過程；

2.誤差逆?zhèn)鞑ミ^程；

3.記憶訓練過程；

4.學習收斂過程。

?BP算法采用廣義5規(guī)則，用梯度法使目標函數(shù)最

小化，即:

minE=min—Varget.-netout.)

人工神經(jīng)歷I絡(ANN)

輸入矢量：I=I)

*模式順傳播過程L

L-----輸入層神經(jīng)元數(shù)

輸出矢量：C=(C;,g，…J,)

n-----輸出層神經(jīng)元數(shù)

權重：乙和川於在-1~+1之間隨機賦值

閾值：7(1,z)=0；

T(2,/)=T(3,k)=1

隱含層有m

輸入輸出

個神經(jīng)元

人工神經(jīng)場網(wǎng)絡(ANN)

第一層的輸出：

*模式順傳播過程

=/.-0=

a.1=I—1T1Z1I1.

11/w”

G第二層的輸出：

一

<(L\

-bj=(%%)+、?

一

\/()為Sigmoid函數(shù)，/(X)-

爭一…

bnmn"第三層的輸出：

人(m、

輸入軸出c,=f￡(■?*?)+T-

kJ-'jkjJ3k

<J=[)

人工神經(jīng)歷I絡（ANN）

?模式順傳播過程

計算樣本的累計

誤差：

?2

E=E.+V1d：-c：）

k=l

輸入輸出

人工神經(jīng)工網(wǎng)絡(ANN)

?：?誤差逆?zhèn)鞑ミ^程

.e廣義方學習規(guī)則：

一種使平方誤差最小化的迭代梯度下降方法

（采用Sigmond閾值函數(shù)），且用加動量的

方法加快訓練，即在已調(diào)整的權重因子上加

動量，形成額外權重。

人工神經(jīng)歷I絡(ANN)

?:?誤差逆?zhèn)鞑ミ^程

8對節(jié)點的偏差?的定義:

輸出層：隱含層:

mmm

rn(.rnm可((e\\Of

3e3k=\dk-Cke

=(Z(小，L

5xG

koxJ.

mim\.TRNni(mm)

wn.)+T..

X：=S(jkJJ3kXj=EHai)+Wk

j

人工神經(jīng)」網(wǎng)絡(ANN)

?誤差逆?zhèn)鞑ミ^程

em(1mm\。/

o.L=\dL-c.I----

求輸出層各節(jié)點的偏差：3k\kkJ八

mdx.

g求隱含層各節(jié)點的偏右一肛=(zk>;))也

ex.，

m0mm

e求權重的變化量:Av..=noa.

y'2/i

〃-----學習速度

Amom1m

△.比=瑞3kbj

人工神經(jīng)歷I絡（ANN）

?誤差逆?zhèn)鞑ミ^程

8計算權重:mm-1▲m

V..v..+Av..

yyy

mtn-1人m

W=w+Aw..

jkjkjk

8在新的權重下，開始下一個迭代過程。

人工神經(jīng)」網(wǎng)絡(ANN)

?:?訓練過程

該過程是指網(wǎng)絡按照有人管理示教方式進行反復學

習。

隨著“模式順傳播”和“誤差逆?zhèn)鞑ァ边^程的交替

進行，網(wǎng)絡的實際輸出逐漸向希望的輸出逼近。

人工神經(jīng)」網(wǎng)絡(ANN)

?收斂過程

該過程是指網(wǎng)絡全局誤差趨向于極小值，這意味著

最終網(wǎng)絡的實際輸出非常逼近了希望輸出。

假定有M對學習（訓練）模式，將其逐一輸入網(wǎng)

絡，分別求得網(wǎng)絡的輸出，總的平方誤差為：

學

習權值初始化(也卬)

過

程輸入樣本X,計算各層輸出

流~r~

計算輸出層誤差

程n

2

E=E+￡(d-c)

￡

kk

圖k=\

__________________J______________________

計算各層節(jié)點的廣義偏差氏二%

計算各層的權重變化量Aw#

，w：

計算新的權重叫：

訓練集里是

否還有未學習

、過的樣本？,

人工神經(jīng)」網(wǎng)絡(ANN)

?net=newff(minmax(P1),[5,1],{'tansig','purelin'},'traingd');

。net.trainParam.show=50;%顯示間隔為50

net.trainParam.lr=0.05;%學習速度

?net.trainParam.goal=0.01;%訓練目標(誤差＜o.01)

?net.trainParam.epochs=200;%訓練最大次數(shù)

[net.tr,Y,E]=train(net,P1,T1);

?該網(wǎng)絡包含1個隱含層，該隱含層有5個節(jié)點。隱含層采用tansig作為轉

移函數(shù)，輸出層則采用purelin(線性函數(shù))。

這個BP網(wǎng)絡用批處理最速下降法(traingd)來訓練,Traingd有幾個訓

練參數(shù)：epochs,show,goal,time,min_grad,max_fail和卜。

人工神經(jīng)」網(wǎng)絡(ANN)

?BP算法存在的問題：

e收斂速度慢一一即使是比較簡單的問題，也要幾百次學

習才能收斂；當網(wǎng)絡結構復雜，學習樣本集大時，則需

要等待數(shù)十分鐘甚至數(shù)小時。

e目標函數(shù)存在局部極小一一表現(xiàn)在學習過程中，有時會

發(fā)現(xiàn)反復學習進行到一定次數(shù)以后，雖然網(wǎng)絡響應與希

望輸出存在著較大的偏差，但繼續(xù)學習并不能有效地減

小網(wǎng)絡全局誤差。

8利用BP網(wǎng)絡進行目標值預報時，常會發(fā)生“過擬合”現(xiàn)

象（即泛化能力不夠）。

e隱含層節(jié)點個數(shù)的選取尚無理論規(guī)則，只能憑經(jīng)驗來選

取。

人工神經(jīng)場I絡（ANN）

?:*BP算法的改進措施

儂增加動量項(以加快收斂速度)：

,memtnAm-\

Av..=rioa.+a/\v_

yz2/zija——動量系數(shù)(0<a<1)

▲mum7mAm-1（X一般取0.9

△5=瑜3kbj+"Aw"

在學習中，學習速度n的選擇很重要，n大收斂快，但

過大可能引起振蕩；n小可避免不穩(wěn)定，但收斂速度就

慢了。增加動量因子后，既可增大步長又不致引起算法

的不穩(wěn)定。

人工神經(jīng)場I絡（ANN）

?BP算法的改進措施

學習速度n和動量因子a很難事先選定。對此,

研究人員提出一些對策，例如：

?n和a的自適應調(diào)整算法；

?n和a的兩階段調(diào)整算法；

?用模糊方法定義n和a；

?估計最優(yōu)的n和ao

人工神經(jīng)」網(wǎng)絡(ANN)

?BP算法的改進措施

e改變BP網(wǎng)絡的作用函數(shù)或誤差函數(shù)（以加快收斂

速度）：

除Sigmoid外，常用的作用函數(shù)為：

Logsig函數(shù)，tansig函數(shù)，雙極性S型函數(shù)。

人工神經(jīng)」網(wǎng)絡(ANN)

?BP算法的改進措施

但用其他方法替代誤差函數(shù)梯度下降法（以加快收

斂速度），例如:

?共甄梯度法；

?擬牛頓法；

?變尺度法。

人工神經(jīng)歷I絡（ANN）

?BP算法的改進措施

但重視網(wǎng)絡初始連接權值的選?。ū苊饩W(wǎng)絡收斂在

局部極小點）

12345

[-0.1-0.1]12.5311.8316.0518.317.48

[-0.3-0.3]3.983.965.523.9839.85

[-0.5-0.5]3.9974.6449.334.0215.8縱

198.487.1973.065.7219.9缸

795.25875.727314.453852.7822.48\

（X

Allman建

多數(shù)BP網(wǎng)〔議采用

絡采用

\___________Z

人工神經(jīng)」網(wǎng)絡(ANN)

?BP算法的改進措施

8采用模擬退火(SA)算法或遺傳算法(避免網(wǎng)絡收斂在

局部極小點)

SA基本思想：

從任一初始狀態(tài)開始，讓溫度從一個足夠高的初值慢慢下降。對每

個溫度，將當前狀態(tài)作隨機擾動，在其鄰域隨機產(chǎn)生一個新狀態(tài)。

若新狀態(tài)的評價函數(shù)小于當前狀態(tài)的評價函數(shù)，則接受它為新的當

前狀態(tài)，否則以一定的概率接受它為新的當前狀態(tài)。重復這種隨機

擾動達到足夠次數(shù)后，就可以找到一個使當前狀態(tài)的評價函數(shù)值最

小的狀態(tài)。

遺傳算法：

在可行解的空間同時從多個初始點開始搜索，可以有效防止搜索過

程收斂于局部最優(yōu)解，有較大的概率求得全局最優(yōu)解。

人工神經(jīng)」網(wǎng)絡(ANN)

?BP算法的改進措施

儂選擇合適的學習樣本及網(wǎng)絡的網(wǎng)絡的結構（以提

高網(wǎng)絡的泛化能力）

?:?選擇學習樣本時，必須使之盡可能覆蓋整個工作區(qū)，

以獲得對象的完整信息（經(jīng)驗的方法是對每個輸入分

類至少10?40個模疝向量）

?:?隱含層節(jié)點太少，網(wǎng)絡在面臨干擾數(shù)據(jù)是顯得不可靠

或不能理解新的樣本模式；隱含層節(jié)點太多，可能會

使網(wǎng)絡訓練不能收斂，或出現(xiàn)“過擬合”現(xiàn)象，降低

系統(tǒng)的泛化能力。

人工神經(jīng)」網(wǎng)絡(ANN)

?BP算法的改進措施

e目前確定BP網(wǎng)絡結構的常用方法：

構造法一從較小的網(wǎng)絡開始，通過增加隱含層或神

經(jīng)元節(jié)點，使其性能達到要求的指標。

?:?剪枝法——從較大的網(wǎng)絡開始，按一定的規(guī)則（靈敏

度法、懲罰函數(shù)法、奇異值分解法）刪去神經(jīng)元，直

至得到合適的網(wǎng)絡結構。

進化法一具有全局最優(yōu)搜索能力，能從整個結構空

間搜索到最優(yōu)或次優(yōu)網(wǎng)絡結構。

人工神經(jīng)網(wǎng)絡(ANN)

?RBF網(wǎng)絡

一個三層的前向網(wǎng)絡；

輸入到隱含層神經(jīng)元的權值

固定為1；%—

隱含層的作用函數(shù)是徑向基.

函數(shù)(RadialBasis%

FunctionRBF)；

隱含層到輸出層的權值可調(diào)7—

輸出單元是線性求和單元。

輸入

人工神經(jīng)場I絡（ANN）

?:*RBF網(wǎng)絡的作用：

8一般來說，任何函數(shù)都可以表示成一組基函數(shù)的加權和。

因此可以把RBF網(wǎng)絡看成對未知函數(shù)F(x)的逼近器，即

選擇各隱含元的作用函數(shù)構成一組基函數(shù)來近似F(x)。

e由模式識別理論可知，在低維空間非線性可分的問題總

可以映射到一個高維空間，且在該高維空間中為線性可

分。在RBF網(wǎng)絡中，輸入到隱含層的映射是非線性的，

而隱含層到輸出層則是線性的。這樣，只要合理選擇隱

含元數(shù)以及作用函數(shù)，就可以把非線性問題映射為一個

線性可分問題，從而可以用一個線性單元來解決問題。

人工神經(jīng)網(wǎng)絡

7

人工神經(jīng)」網(wǎng)絡(ANN)

?:eRBF網(wǎng)絡的優(yōu)點：

但由于參數(shù)調(diào)整是線性的，可望獲得較快的收斂速

度，同時具有全局逼近的性質(zhì)和最佳逼近性能。

因此，與BP網(wǎng)絡相比，具有訓練方法快速、學習

算法不存在局部最優(yōu)問題，非常適合系統(tǒng)的實時

辨識和控制。

人工神經(jīng)」網(wǎng)絡(ANN)

。徑向基函數(shù)：

一種局部分布的對中心點徑向?qū)ΨQ衰減的非負非線

性函數(shù)。

X

/(x)=exp-—

I。

1

f(x)=------------

+X

f(x)=(cr2+X2/>0

人工神經(jīng)」網(wǎng)絡(ANN)

。常用的徑向基函數(shù)是高斯函數(shù)，即:

G(X)=exp----1-i=1,2,…,M

2b2

其中X是〃維輸入向量；

4是第，個基函數(shù)的中心，〃維向量；

卜一』是向量x-4的范數(shù)，表示x和％,之間的距離；

?是可選擇參數(shù)，決定該基函數(shù)圍繞中心點的寬度;

m是隱含元的個數(shù)。

人工神經(jīng)網(wǎng)絡(ANN)

[X-九)._10A/

G.(X)=exp---------z=1,2,…，河

2cr2

可以看出：

G,.(X)在、處有一個惟一的最大值；

隨著(X一』的增大，G,(X)迅速衰減到零；

對于給定的輸入XeR”，只有一小部分靠近X的中心被激活。

人工神經(jīng)」網(wǎng)絡(ANN)

*Mr

巴(X)=2?.G,(X)G,.(X)=exp

2b-

Z=1\)

人工神經(jīng)」網(wǎng)絡(ANN)

?:*RBF網(wǎng)絡的可調(diào)參數(shù)：

但隱含元的中心位置乙；

e方差。（基函數(shù)圍繞中心點的寬度）；

8輸出單元的權他“。

人工神經(jīng)」列絡(ANN)

ORBF網(wǎng)絡的訓練方法：

ePoggio訓練方法；

0局部訓練方法；

e監(jiān)督訓練方法；

8正交最小二乘訓練方法。

人工神經(jīng)網(wǎng)絡（ANN）

2

?:*Poggi。訓練方法：叫,閃「丁

8隱含元的中心位置是隨機地在和瘴本中選取,

且中心固定；/d

8中心確定后，隱含元的輸田是已知的；"疝"

3網(wǎng)絡的連接權重可以通過求解線性方程組來確

匕（x）=~°+z%q（x）

人工神經(jīng)網(wǎng)絡(ANN)

?：?Poggio訓練方法:

人工神經(jīng)」網(wǎng)絡(ANN)

.：.局部訓練方法：

卬每個隱含元的學習是獨立進行的；

儂隱含元中心位置的選擇采用『均值聚類算法，

通過自組織學習（無監(jiān)督學習）使得其中心位

于輸入空間的重要區(qū)域內(nèi)；

儂輸出層的線性權重則通過有監(jiān)督學習規(guī)則來計

舁。

人工神經(jīng)」網(wǎng)絡(ANN)

.：.局部訓練方法

但算法的步驟如下：

①從輸入樣本…,N）中選擇M個樣本作為初始的

聚類中心y=12…，加）；

②將輸入樣本按最臨近規(guī)則分組，且滿足樣本與中心

之間的歐氏空間距離最小，即：。=mmk,一』

③根據(jù)每一類中的輸入樣本，重新計算該類的中心；

④重復步驟②?③，直到聚類中心的分布不再變化；

⑤計算均方差，計算隱含元的輸出；

⑥用最小二乘誤差校正算法計算輸出層的線性權值。

人工神經(jīng)」網(wǎng)絡(ANN)

?RBF網(wǎng)絡與BP網(wǎng)絡的比較

網(wǎng)絡模型擬合(MSE)模型預測(MSE)

BP(6個隱含元，3.68138.9650

20000次訓練

RBF(3個隱含元)3.68137.2174

人工神經(jīng)」風絡(ANN)

?RBF網(wǎng)絡的有待研究之處：

(2\

?如何選擇合適的徑向基函數(shù)/(x)=exp一三

RBF網(wǎng)絡的非線性映射能力體現(xiàn)

在隱含層的徑向基函數(shù)上。常用/(、)=]——…

徑向基函數(shù)各有特點，如：高斯卜「+")

函數(shù)對中心值的選擇十分靈敏；f(x)=(a2+x2y分＞°

平方函數(shù)在X-8時趨向于無窮

大，可能帶來穩(wěn)定問題；擬平方G(X).exp

函數(shù)則在Xf8時趨向于0,可12b2

以保證網(wǎng)絡的穩(wěn)定性。

人工神經(jīng)場I絡（ANN）

?：?RBF網(wǎng)絡的有待研究之處：

?如何確定中心數(shù)和中心值

?RBF網(wǎng)絡的中心數(shù)對模型的擬合及預測精度影響很大。

中心數(shù)太少，不能完成分類或函數(shù)逼近任務；中心數(shù)

太多，會增加計算時間、影響訓練速度，或者產(chǎn)生

“過擬合"，即：RBF網(wǎng)絡的初值、訓練樣本的特異

性及外界擾動等對連接權重的影響很大，使得在輸入

模式和訓練樣本之間存在很小畸變時得不到正確的泛

化結果。

?基函數(shù)的特征主要由中心值來確定，針對特定的學習

樣本找到最合適的中心值對提高網(wǎng)絡逼近非線性的能

力看很大而幫助。

人工神經(jīng)」網(wǎng)絡(ANN)

?：?RBF網(wǎng)絡的有待研究之處：

?如何確定中心數(shù)

ANicolaos采用一種類似構造法的方法，即從很小的網(wǎng)

絡結構開始訓練，在每個生長周期內(nèi)按照一定的準則

分裂原網(wǎng)絡，直至滿足問題的要求；

?張友民等提出基于奇異值分解（SVD）的優(yōu)化標準和

RBF網(wǎng)絡結構的優(yōu)化算法；

ASteve用遺傳算法確定最佳中心數(shù)目；

AChen等人提出用OLS算法，在訓練中確定中心數(shù)。

人工神經(jīng)」網(wǎng)絡(ANN)

?：?RBF網(wǎng)絡的有待研究之處：

?如何確定中心值

①隨機選擇算法一一即從N組訓練數(shù)據(jù)中隨機選擇M組數(shù)

據(jù)作為中心值。這是最簡單，計算量最小的方法，但

是可靠性也最低。

②確定選擇算法——常用的聚類方法是一種確定性算法,

但由于自變量與目標函數(shù)都是離散量，存在許多局部

極值，使最終結果對初始聚類中心很敏感。而采用模

擬退火的方法可以較好地解決動態(tài)聚類的全局最優(yōu)問

題。

人工神經(jīng)工網(wǎng)絡(ANN)

?：?RBF網(wǎng)絡的有待研究之處：

?如何提高網(wǎng)絡的泛化能力

隨中心數(shù)的增加，模型的擬合誤差不斷減小，而模型的預

測誤差則呈上升趨勢，需尋求折衷的方案。

人工神經(jīng)」網(wǎng)絡(ANN)

?：?RBF網(wǎng)絡的有待研究之處：

?如何提高網(wǎng)絡的泛化能力

?Bishop提出在誤差函數(shù)中加入阻尼項，使擬合函數(shù)在減

少逼近樣本的誤差和減小振蕩之間取得協(xié)調(diào)，以提高網(wǎng)

絡的泛化能力，但系數(shù)的合適選擇較困難；

?王舟等對該方法作了改進，即將誤差函數(shù)中對二階導數(shù)

的抑制改為對二階導數(shù)的平滑；

?王德雙將RBF網(wǎng)絡與概率神經(jīng)網(wǎng)絡結合，形成概率徑向

基神經(jīng)網(wǎng)絡，來提高泛化能力。

人工神經(jīng)」風絡(ANN)

%Designaradialbasisnetwork

?eg=0.00002;%累計誤差平方目標

?sc=1;%徑向基函數(shù)的分布

?mn=5;%最大中心數(shù)

?df=1;%顯示間隔

?[net,tr]=newrb(P1,T1,eg,sc,mn,df);

?Y0=sim(net,X01)；

?Y1=sim(net,XT);

遺傳算法與人工神經(jīng)網(wǎng)絡的結合

?:?遺傳算法(GeneticAlgoricthmGA)

e自然界大多數(shù)生物體通過兩種基本過程進

行演化：

?:?自然選擇：決定群體中哪些個體能夠存活并繁

殖；

?:?有性生殖：保證后代基因中的混合和重排。

遺傳算法與人工神經(jīng)網(wǎng)絡的結合

?:?遺傳算法(GeneticAlgoricthmGA)

e遺傳算法是一種基于自然選擇和遺傳學原

理的高度并行、隨機、自適應的搜索算法,

將“適者生存”這一基本進化理論引入基

因結構，在個體之間進行有組織、但又隨

機的信息交換。

遺傳算法與人工神經(jīng)網(wǎng)絡的結合

?:?遺傳算法(GeneticAlgoricthmGA)

e遺傳算法是演化計算的一個分支。

e演化計算：

?:?采用簡單的編碼技術，通過對一組編碼(二進制、實

數(shù)、符號或矩陣)表示進行優(yōu)勝劣汰的自然選擇和簡

單的遺傳操作，來指導學習和確定搜索的方向。

?:?由于采用群體的方法組織搜索，可以同時搜索解空間

內(nèi)的多個區(qū)域，特別適合大規(guī)模并行處理。

遺傳算法與人工神經(jīng)網(wǎng)絡的結