神經(jīng)網(wǎng)絡(luò)論文

1、摘要神經(jīng)網(wǎng)絡(luò)是一門發(fā)展十分迅速的交叉學(xué)科，它是由大量的處理單元組成非線性的大規(guī)模自適應(yīng)動(dòng)力系統(tǒng)。神經(jīng)網(wǎng)絡(luò)具有分布式存儲(chǔ)、并行處理、高容錯(cuò)能力以及良好的自學(xué)習(xí)、自適應(yīng)、聯(lián)想等特點(diǎn)。目前已經(jīng)提出了多種訓(xùn)練算法和網(wǎng)絡(luò)模型，其中應(yīng)用最廣泛的是前饋型神經(jīng)網(wǎng)絡(luò)。前饋型神經(jīng)網(wǎng)絡(luò)訓(xùn)練中使用最多的方法是誤差反向傳播(bp)學(xué)習(xí)算法。但隨著使用的廣泛，人們發(fā)現(xiàn)bp網(wǎng)絡(luò)存在收斂速度緩慢、易陷入局部極小等缺陷。于是我們就可以分析其產(chǎn)生問題的原因，從收斂速度和局部極小兩個(gè)方面分別提出改進(jìn)的bp網(wǎng)絡(luò)訓(xùn)練方法。 關(guān)鍵字：神經(jīng)網(wǎng)絡(luò)，收斂速度，局部極小，bp網(wǎng)絡(luò)，改進(jìn)方法abstractneural network is a

2、cross discipline which now developing very rapidly, it is the nonlinearity adaptive power system which made up by abundant of the processing units . the neural network has features such as distributed storage, parallel processing, high tolerance and good self-learning, adaptive, associate, etc. curr

3、ently various training algorithm and network model have been proposed , which the most widely used type is feedforward neural network model. feedforward neural network training type used in most of the method is back-propagation (bp) algorithm. but with the use of bp network, people find that the co

4、nvergence speed is slow, and easy fall into the local minimum. so we can analyze the causes of problems, from the two aspects respectively we can improve the bp training methods of neural network.keywords：neural network，convergence speed，local minimum，bp neural networkimproving methods目錄1 神經(jīng)網(wǎng)絡(luò)概述31.1

5、生物神經(jīng)元模型31.2人工神經(jīng)元模型32 bp神經(jīng)網(wǎng)絡(luò)52.1 bp神經(jīng)網(wǎng)絡(luò)特點(diǎn)52.2 bp神經(jīng)網(wǎng)絡(luò)介紹63 bp神經(jīng)網(wǎng)絡(luò)算法的改進(jìn)83.1 bp 神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程介紹83.2動(dòng)態(tài)調(diào)節(jié)學(xué)習(xí)率的改進(jìn)方法83.3 bp神經(jīng)網(wǎng)絡(luò)收斂速度的改進(jìn)方法103.4局部極小問題的幾種改進(jìn)方案114 結(jié)束語.13【參考文獻(xiàn)】141. 神經(jīng)網(wǎng)絡(luò)概述1.1 生物神經(jīng)元模型人腦是由大量的神經(jīng)細(xì)胞組合而成的，它們之間相互連接。每個(gè)神經(jīng)細(xì)胞（也稱神經(jīng)元）具體如圖1.1所示的結(jié)構(gòu)。圖1.1 生物神經(jīng)元模型由圖看出，腦神經(jīng)元由細(xì)胞體、樹突和軸突構(gòu)成。細(xì)胞體是神經(jīng)元的中心，它一般又由細(xì)胞核、細(xì)胞膜等構(gòu)成。樹突是神經(jīng)元的主要接

6、受器，它主要用來接受信息。軸突的作用主要是傳導(dǎo)信息，它將信息從軸突的起點(diǎn)傳到軸突末梢，軸突末梢與另一個(gè)神經(jīng)元的樹突或細(xì)胞體構(gòu)成一種突觸的機(jī)構(gòu)。通過突觸實(shí)現(xiàn)神經(jīng)元之間的信息傳遞。1.2 人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)是利用物理器件來模擬生物神經(jīng)網(wǎng)絡(luò)的某些結(jié)構(gòu)和功能。圖1.2是最典型的人工神經(jīng)元模型。圖1.2 人工神經(jīng)元模型這個(gè)模型是1943年心理學(xué)家mcculloch和科學(xué)家w.pitts在分析總結(jié)神經(jīng)元基本特性的基礎(chǔ)上首先提出的m-p模型，它是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。 -代表神經(jīng)元i與神經(jīng)元j之間的連接強(qiáng)度(模擬生物神經(jīng)元之間突觸連接強(qiáng)度)，稱之為連接權(quán); -代表神經(jīng)元i的活躍值，即神經(jīng)元狀態(tài)；

7、 -代表神經(jīng)元j的輸出，即是神經(jīng)元i的一個(gè)輸入； -代表神經(jīng)元的闡值。 函數(shù)f表達(dá)了神經(jīng)元的輸入輸出特性。在m-p模型中，f定義為階跳函數(shù):人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行與分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)一般由許多個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元由一個(gè)單一的輸出，它可以連接到許多其他的神經(jīng)元，其輸出有多個(gè)連接通路，每個(gè)連接通路對(duì)應(yīng)一個(gè)連接權(quán)系數(shù)。嚴(yán)格來說，神經(jīng)網(wǎng)絡(luò)是一個(gè)具有如下性質(zhì)的有向圖。（1） 對(duì)于每個(gè)結(jié)點(diǎn)有一個(gè)狀態(tài)變量；（2） 結(jié)點(diǎn)i到結(jié)點(diǎn)j有一個(gè)連接權(quán)系數(shù)；（3） 對(duì)于每個(gè)結(jié)點(diǎn)有一個(gè)閾值；（4） 對(duì)于每個(gè)結(jié)點(diǎn)定義一個(gè)變換函數(shù)，最常見的情形為。圖1.3表示了兩個(gè)典型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，做為前饋網(wǎng)絡(luò)，右為

8、反饋網(wǎng)絡(luò)。圖1.3 典型的神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)2 bp神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是一種信息處理系統(tǒng)，它有很多種模型。其中有一種用誤差傳播學(xué)習(xí)算法（error back propagation即bp算法）進(jìn)行訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，簡(jiǎn)稱為bp網(wǎng)絡(luò)。bp神經(jīng)網(wǎng)絡(luò)模型是人工神經(jīng)網(wǎng)絡(luò)的重要模型之一。它有廣泛的應(yīng)用，主要包括模式識(shí)別及分類、故障智能診斷、圖像處理、函數(shù)擬合、最優(yōu)預(yù)測(cè)等方面的應(yīng)用。2.1 bp神經(jīng)網(wǎng)絡(luò)特點(diǎn)：l)分布式的信息存儲(chǔ)方式神經(jīng)網(wǎng)絡(luò)是以各個(gè)處理器本身的狀態(tài)和它們之間的連接形式存儲(chǔ)信息的，一個(gè)信息不是存儲(chǔ)在一個(gè)地方，而是按內(nèi)容分布在整個(gè)網(wǎng)絡(luò)上。網(wǎng)絡(luò)上某一處不是只存儲(chǔ)一個(gè)外部信息，而是存儲(chǔ)了多個(gè)信息

9、的部分內(nèi)容。整個(gè)網(wǎng)絡(luò)對(duì)多個(gè)信息加工后才存儲(chǔ)到網(wǎng)絡(luò)各處，因此，它是一種分布式存儲(chǔ)方式。2)大規(guī)模并行處理bp神經(jīng)網(wǎng)絡(luò)信息的存儲(chǔ)與處理(計(jì)算)是合二為一的，即信息的存儲(chǔ)體現(xiàn)在神經(jīng)元互連的分布上，并以大規(guī)模并行分布方式處理為主，比串行離散符號(hào)處理的現(xiàn)代數(shù)字計(jì)算機(jī)優(yōu)越。3)自學(xué)習(xí)和自適應(yīng)性bp神經(jīng)網(wǎng)絡(luò)各層直接的連接權(quán)值具有一定的可調(diào)性，網(wǎng)絡(luò)可以通過訓(xùn)練和學(xué)習(xí)來確定網(wǎng)絡(luò)的權(quán)值，呈現(xiàn)出很強(qiáng)的對(duì)環(huán)境的自適應(yīng)和對(duì)外界事物的自學(xué)習(xí)能力。4)較強(qiáng)的魯棒性和容錯(cuò)性bp神經(jīng)網(wǎng)絡(luò)分布式的信息存儲(chǔ)方式，使其具有較強(qiáng)的容錯(cuò)性和聯(lián)想記憶功能，這樣如果某一部分的信息丟失或損壞，網(wǎng)絡(luò)仍能恢復(fù)出原來完整的信息，系統(tǒng)仍能運(yùn)行。198

10、6年由rumelhart和mccelland領(lǐng)導(dǎo)的科學(xué)家小組在parallel distributed processing一書中，對(duì)具有非線性連續(xù)轉(zhuǎn)移函數(shù)的多層前饋網(wǎng)絡(luò)的誤差反向傳播算法進(jìn)行了詳盡分析，實(shí)現(xiàn)了minsky關(guān)于多層網(wǎng)絡(luò)的設(shè)想。人工神經(jīng)網(wǎng)絡(luò)具有廣泛的應(yīng)用領(lǐng)域;在所有的神經(jīng)網(wǎng)絡(luò)應(yīng)用中，bp神經(jīng)網(wǎng)絡(luò)所占比例在80%以上。bp神經(jīng)網(wǎng)絡(luò)因其良好的非線性逼近能力和泛化能力以及使用的易適性而更是受到眾多行業(yè)的青睞。bp神經(jīng)網(wǎng)絡(luò)采用的反向傳播算法(bp算法)是目前在前饋神經(jīng)網(wǎng)絡(luò)中研究得最為成熟且應(yīng)用最廣的一種有導(dǎo)師學(xué)習(xí)算法。bp神經(jīng)網(wǎng)絡(luò)在模式識(shí)別、圖像處理、信息處理、智能控制、故障檢測(cè)、企業(yè)管

11、理、市場(chǎng)分析等方面的應(yīng)用已取得了顯著成效?？梢哉f，bp神經(jīng)網(wǎng)絡(luò)的應(yīng)用已深入到經(jīng)濟(jì)、化工、工控、軍事等眾多領(lǐng)域，并且從其應(yīng)用的優(yōu)勢(shì)及趨勢(shì)可以預(yù)言其應(yīng)用前景將更加光明。在這樣一個(gè)信息及經(jīng)濟(jì)高度發(fā)達(dá)的時(shí)期，研究bp神經(jīng)網(wǎng)絡(luò)，為其進(jìn)一步的發(fā)展及應(yīng)用做出一定的貢獻(xiàn)是極具理論價(jià)值和實(shí)用價(jià)值。2.2 bp神經(jīng)網(wǎng)絡(luò)介紹bp網(wǎng)絡(luò)是一種單向傳播的多層前饋網(wǎng)絡(luò)，它包含輸人層、隱含層和輸出層，如圖2.1所示，是目前應(yīng)用較多的一種模型。該算法在層次型網(wǎng)絡(luò)結(jié)構(gòu)上采用誤差逆?zhèn)鞑W(xué)習(xí)方式，學(xué)習(xí)過程由正向傳播和誤差逆?zhèn)鞑ソM成。圖2.1 bp網(wǎng)絡(luò)示意圖bp網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示，算法的主要思想是把學(xué)習(xí)過程分為兩個(gè)階段:第一階段是正

12、向傳播過程，輸入信息從輸入層經(jīng)隱層逐層計(jì)算各單元的實(shí)際輸出值，每一層神經(jīng)元的狀態(tài)只對(duì)下一層神經(jīng)元的狀態(tài)產(chǎn)生影響;第二階段是反向傳播過程，若在輸出層未能得到期望的輸出值，則逐層遞歸計(jì)算實(shí)際輸出與期望輸出之間的差值，根據(jù)此誤差修正前一層權(quán)值使誤差信號(hào)趨向最小。它通過連續(xù)不斷地在相對(duì)于誤差函數(shù)斜率下降的方向上計(jì)算網(wǎng)絡(luò)權(quán)值和偏差變化而逐漸逼近目標(biāo)。每一次權(quán)值和誤差的變化都與網(wǎng)絡(luò)誤差的影響成正比。假設(shè)神經(jīng)網(wǎng)絡(luò)每層有n個(gè)節(jié)點(diǎn)，若某一層節(jié)點(diǎn)j與上層節(jié)點(diǎn)i之間權(quán)值為wij，節(jié)點(diǎn)的輸入總和計(jì)為netj 、輸出計(jì)為oj ，轉(zhuǎn)移函數(shù)取非線性的sigmoid型函數(shù)，對(duì)于節(jié)點(diǎn)j，其輸入值為其前一層各單元加權(quán)和，輸出值為

13、.定義誤差函數(shù)式中為輸出期望值，為輸出實(shí)際值。bp算法采用梯度法調(diào)整權(quán)值，每次調(diào)整的量、式中01,稱為學(xué)習(xí)速率，它決定每一次訓(xùn)練中的權(quán)值變化大小。進(jìn)一步簡(jiǎn)化計(jì)算有，其中：，j為輸出層單元；，j為隱層單元。bp網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，它采用后向傳播算法，亦稱bp算法(首先樣本從輸入層經(jīng)各中間層向輸出層傳播，輸出層的各神經(jīng)元獲得網(wǎng)絡(luò)的輸人響應(yīng);然后按照減小目標(biāo)輸出與實(shí)際輸出誤差的方向，從輸出層開始經(jīng)各中間層逐層修正各連接權(quán)值，以達(dá)到學(xué)習(xí)目的)。bp網(wǎng)絡(luò)具有結(jié)構(gòu)簡(jiǎn)單、可操作性強(qiáng)、能模擬任意的非線性輸入/輸出關(guān)系等優(yōu)點(diǎn)，目前已被廣泛應(yīng)用于模式識(shí)別、智能控制、預(yù)測(cè)、圖像識(shí)別等領(lǐng)域。但是，bp網(wǎng)絡(luò)存在

14、兩個(gè)突出問題(收斂速度慢，易陷入局部極小點(diǎn))使其應(yīng)用受到了一定限制。綜上，我們可以看出bp算法主要的優(yōu)點(diǎn)是簡(jiǎn)單、易于實(shí)現(xiàn)。但是bp算法有兩個(gè)致命的缺陷:首先最大的缺陷是bp算法很可能陷入局部極小值，因?yàn)橥ǔ５恼`差曲面都是凸凹不平的，會(huì)有多個(gè)極值點(diǎn)。bp算法的另一個(gè)缺陷是收斂速度慢，當(dāng)采用梯度下降法時(shí)步長不容易確定，步長太長則達(dá)不到精度，甚至?xí)l(fā)散;太小則迭代步驟增加，收斂速度慢。鑒于此，目前對(duì)bp算法的改進(jìn)主要集中在兩個(gè)方面:1.是避免陷入局部極小值，一旦陷入要想辦法逃出;2.是改進(jìn)迭代算法，加快收斂速度，較常用的方法是共軛梯度法、變尺度法等。3. bp神經(jīng)網(wǎng)絡(luò)算法的改進(jìn)3.1 bp 網(wǎng)絡(luò)訓(xùn)練

15、過程介紹bp 網(wǎng)絡(luò)其實(shí)質(zhì)仍然是多層前饋型人工神經(jīng)網(wǎng)絡(luò),并且一般認(rèn)為網(wǎng)絡(luò)是嚴(yán)格分層的,即當(dāng)且僅當(dāng)兩相鄰層的節(jié)點(diǎn)才有可能互聯(lián)。又根據(jù)萬能逼近定理(universal approximation theory) :如果隱層節(jié)點(diǎn)是可以根據(jù)需要自由設(shè)置的,那么用三層s 狀的i/ o 特性的節(jié)點(diǎn)可以以任意精度逼近任何具有有限間斷點(diǎn)的函數(shù)。一般地,在研究bp 網(wǎng)絡(luò)時(shí)都假設(shè)網(wǎng)絡(luò)具有輸入層、隱層、輸出層共三層;其結(jié)構(gòu)見圖3.1。各神經(jīng)元節(jié)點(diǎn)的激活函數(shù)一般可以是s 型函數(shù)和線性函數(shù)。圖3.1 bp 網(wǎng)絡(luò)結(jié)構(gòu)示意圖bp 網(wǎng)絡(luò)的整個(gè)訓(xùn)練過程是建立在輸入/ 輸出樣本對(duì)基礎(chǔ)上的;在訓(xùn)練開始前賦予權(quán)值較小的隨機(jī)值。則整個(gè)訓(xùn)

16、練過程大致可分為以下幾步:1) 從樣本集中選擇有用樣本對(duì),將輸入樣本送給bp 網(wǎng)絡(luò)的輸入節(jié)點(diǎn);2) 計(jì)算bp 網(wǎng)絡(luò)對(duì)應(yīng)該輸入的輸出值;3) 求出bp 網(wǎng)絡(luò)實(shí)際輸出和理想輸出(輸出樣本) 之間的誤差值;4) 根據(jù)采用的算法調(diào)整網(wǎng)絡(luò)的權(quán)值以減小誤差;5) 重復(fù)14 達(dá)到預(yù)設(shè)的訓(xùn)練要求(最大允許誤差、最大訓(xùn)練次數(shù)等) 。從以上步驟可以看出:1) 、2) 步是從輸入節(jié)點(diǎn)到輸出節(jié)點(diǎn)的前向過程;3) 、4) 步則是從輸出節(jié)點(diǎn)到輸入節(jié)點(diǎn)的誤差反傳過程這也正是bp 算法的由來。3.2 動(dòng)態(tài)調(diào)節(jié)學(xué)習(xí)率的改進(jìn)方法bp算法是基于誤差-修正學(xué)習(xí)的，修正量的大小受到學(xué)習(xí)率的控制。對(duì)學(xué)習(xí)率的改進(jìn)是bp算法改進(jìn)的重要部分，

17、因?yàn)閷W(xué)習(xí)率的大小對(duì)收斂速度和訓(xùn)練結(jié)果影響很大。較小的學(xué)習(xí)率可以保證訓(xùn)練能穩(wěn)定的收斂，但學(xué)習(xí)速度慢，訓(xùn)練時(shí)間長;較大的學(xué)習(xí)率可以在某種程度上提高收斂速度，但可能導(dǎo)致振蕩或發(fā)散。因此一個(gè)固定的學(xué)習(xí)率不可能很好地適用于網(wǎng)絡(luò)的整個(gè)學(xué)習(xí)過程。為實(shí)現(xiàn)快速而有效的學(xué)習(xí)收斂過程，人們提出了許多動(dòng)態(tài)調(diào)節(jié)學(xué)習(xí)率的方法(動(dòng)態(tài)調(diào)節(jié)學(xué)習(xí)率，即在網(wǎng)絡(luò)學(xué)習(xí)過程中，學(xué)習(xí)率隨環(huán)境狀態(tài)的變化不斷調(diào)整)。以下是幾類動(dòng)態(tài)調(diào)節(jié)學(xué)習(xí)率的方法。(1)學(xué)習(xí)率會(huì)隨訓(xùn)練次數(shù)進(jìn)行調(diào)節(jié)，但在每次訓(xùn)練中整個(gè)網(wǎng)絡(luò)的學(xué)習(xí)率是相同的。具體有以下兩種實(shí)現(xiàn)方法: 開始時(shí)以較大的學(xué)習(xí)率訓(xùn)練，然后根據(jù)訓(xùn)練情況調(diào)節(jié)學(xué)習(xí)率。學(xué)習(xí)率漸小法(即在網(wǎng)絡(luò)訓(xùn)練開始階段，實(shí)際輸出

18、與期望輸出誤差較大時(shí)，采用較大的學(xué)習(xí)率，并讓其隨著學(xué)習(xí)次數(shù)的增加而遞減)，該方法在許多改進(jìn)的bp算法中得到應(yīng)用，它使網(wǎng)絡(luò)在訓(xùn)練開始階段能夠以較大幅度修改權(quán)值，誤差快速減小，然后隨著訓(xùn)練漸漸穩(wěn)定逐步減小學(xué)習(xí)率，不僅加快了網(wǎng)絡(luò)收斂速度，也較好地避免了振蕩現(xiàn)象。開始時(shí)以較小的學(xué)習(xí)率訓(xùn)練，然后根據(jù)訓(xùn)練情況調(diào)節(jié)學(xué)習(xí)率。 以較小的學(xué)習(xí)率開始訓(xùn)練，如果連續(xù)的訓(xùn)練使誤差減小，則指數(shù)地增大學(xué)習(xí)率;如果誤差增長非常大時(shí)，則快速減小學(xué)習(xí)率。以較小的學(xué)習(xí)率開始訓(xùn)練，如果連續(xù)訓(xùn)練時(shí)誤差函數(shù)梯度方向很穩(wěn)定，則增大學(xué)習(xí)率;如果每次訓(xùn)練時(shí)誤差函數(shù)梯度方向的變化都很大，則快速減小學(xué)習(xí)率。但是這種調(diào)節(jié)學(xué)習(xí)率的方法雖然能在一定程度

19、上改善網(wǎng)絡(luò)訓(xùn)練速度，但常因?qū)W習(xí)率的調(diào)節(jié)幅度控制不當(dāng)，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練產(chǎn)生振蕩現(xiàn)象。(2)每個(gè)權(quán)值都對(duì)應(yīng)一個(gè)學(xué)習(xí)率，學(xué)習(xí)率根據(jù)權(quán)值的變化而改變。jacobs的delta-bar-delta方法(亦稱為dbd算法)就是對(duì)每個(gè)權(quán)值分別計(jì)算其各時(shí)刻的學(xué)習(xí)率。它對(duì)網(wǎng)絡(luò)性能有較大的改善，是一種很有效的方法。但是它仍然是一種梯度下降法，沒有從根本上解決bp網(wǎng)絡(luò)的問題，并且對(duì)參數(shù)的改變十分敏感，很容易引起收斂變慢或振蕩發(fā)散。每個(gè)權(quán)值都有一個(gè)不同的學(xué)習(xí)率，可以避免誤差函數(shù)曲面較平坦區(qū)域的收斂速度太慢和陡峭區(qū)域的振蕩現(xiàn)象。然而要為每個(gè)權(quán)值尋找一個(gè)合適的學(xué)習(xí)率通常會(huì)產(chǎn)生收斂速度和訓(xùn)練算法穩(wěn)定性之間的矛盾。3.3 bp神

20、經(jīng)網(wǎng)絡(luò)收斂速度的改進(jìn)方法1) 激活函數(shù)的選取bp 網(wǎng)絡(luò)神經(jīng)元節(jié)點(diǎn)的激活函數(shù)選用對(duì)數(shù)s 型函數(shù),即: (1)式中, i 表示輸入權(quán)值總和(包括閾值) , o表示神經(jīng)元輸出。(1) 式的一階導(dǎo)數(shù)為： （2）2） 輸出層權(quán)值調(diào)整輸出層權(quán)值的調(diào)整可以直接通過實(shí)際輸出和期望輸出的誤差來對(duì)相應(yīng)的權(quán)值進(jìn)行調(diào)整。現(xiàn)在考察第j 隱層中的p節(jié)點(diǎn)和第k 輸出層(有時(shí)輸出層不止一層) 的q 節(jié)點(diǎn),可以用k 輸出層的期望輸出減去實(shí)際輸出得到此時(shí)的誤差值, 根據(jù)傳統(tǒng)動(dòng)量bp 算法可以得到輸出層的值: （3）e 是q 的期望輸出值。從而可以進(jìn)一步得到p、q 的權(quán)值增量和新的連接權(quán)值: （4） （5）式中,是學(xué)習(xí)率、是動(dòng)量因

21、子、 是隱層p 節(jié)點(diǎn)和輸出層q 節(jié)點(diǎn)第n 次迭代的連接權(quán)值、是( n + 1)次迭代的權(quán)值、 是輸出層k 中q 神經(jīng)元的值、是隱層j中p 神經(jīng)元的輸出值。另外, n = 0 時(shí)即第一次的調(diào)整假設(shè)= 0。現(xiàn)在改變權(quán)值調(diào)整規(guī)則,將其改寫為如下形式: （6） （7）3） 隱層權(quán)值調(diào)整為了調(diào)整每層的權(quán)值,bp 網(wǎng)絡(luò)將誤差在網(wǎng)絡(luò)各層之間反向傳播。(6) 、(7) 兩式適合于網(wǎng)絡(luò)的所有各層。但是, 對(duì)于隱層，由于不知道期望輸出值，所以不能直接計(jì)算出隱層的誤差值,即是說等式(3) 對(duì)于隱層是不存在的。這時(shí)可以借助于輸出層的誤差來調(diào)整隱層的權(quán)值。隱層神經(jīng)元前向傳播時(shí),通過權(quán)值將輸入值傳到輸出層; 同時(shí)對(duì)于反向

22、, 當(dāng)進(jìn)行權(quán)值調(diào)整時(shí),可以將輸出層的值返回到隱層。所以,對(duì)于隱層的值可以采用下式得到: （8）然后采用(6) 、(7) 兩式得到隱層節(jié)點(diǎn)的權(quán)值。這種方法可以使bp 網(wǎng)絡(luò)的收斂速率有很大提高,而且對(duì)網(wǎng)絡(luò)的誤識(shí)率也有較大改進(jìn),體現(xiàn)了改進(jìn)bp 網(wǎng)絡(luò)的有效性。3.4 局部極小問題的幾種改進(jìn)方案bp網(wǎng)絡(luò)的權(quán)值修正方法即誤差函數(shù)梯度下降法, 從理論上看其訓(xùn)練是沿著誤差曲面的切面向下逼近的。對(duì)一個(gè)復(fù)雜網(wǎng)絡(luò)來說, 其誤差曲面是一個(gè)高維空間中的曲面, 是非常復(fù)雜不規(guī)則的,其中分布著許多局部極小點(diǎn)。在網(wǎng)絡(luò)的訓(xùn)練過程中, 很容易陷入這樣的局部極小點(diǎn), 而且一旦陷人就難以逃脫。以下是幾種改進(jìn)方案：（1） 選取合適的初

23、始權(quán)值bp算法采用的是梯度下降法, 訓(xùn)練是從某一起始點(diǎn)沿誤差函數(shù)的斜面逐漸達(dá)到誤差的最小值,一旦初始值確定, 就注定了網(wǎng)絡(luò)收斂的方向。因此選擇合適的初始權(quán)值就顯得相當(dāng)重要。所以一般設(shè)置了多個(gè)初始值, 然后從中選擇訓(xùn)練效果最好的一個(gè)是一個(gè)很好的方法。在實(shí)際訓(xùn)練中可以采取了比較法選取, 訓(xùn)練時(shí)隨機(jī)產(chǎn)生多個(gè)初始權(quán)值, 訓(xùn)練后選擇一個(gè)最佳值作為初始權(quán)值。當(dāng)然也可以在選取初始權(quán)值時(shí), 使節(jié)點(diǎn)輸入加權(quán)的絕對(duì)值小于1，但不能太小；還希望初始權(quán)值在輸入累加時(shí), 使每個(gè)神經(jīng)元的狀態(tài)值接近于零, 這樣可以保證每個(gè)神經(jīng)元在一開始就在它們激活函數(shù)變化最大的地方進(jìn)行。（2） 調(diào)整網(wǎng)絡(luò)權(quán)值修改量和動(dòng)量項(xiàng)增加動(dòng)量項(xiàng)的連接權(quán)

24、值調(diào)整公式為： （1）式（1）中, 為動(dòng)量常數(shù), 通常取0.9左右,為本次應(yīng)得校正量,為前次校正量。增加動(dòng)量項(xiàng)降低了網(wǎng)絡(luò)對(duì)誤差曲面局部調(diào)節(jié)的敏感性, 從而有效地抑制了網(wǎng)絡(luò)陷于局部極小。但這不能完全避免網(wǎng)絡(luò)陷入局部極小,一旦網(wǎng)絡(luò)陷入其中則無法逃脫, 經(jīng)過長時(shí)間的學(xué)習(xí)后, 網(wǎng)絡(luò)的誤差仍得不到有效下降, 造成網(wǎng)絡(luò)收斂能力降低。為改善這種情況, 本文提出一種類似退火算法的修正方案, 該方法的思想是：在網(wǎng)絡(luò)誤差較長時(shí)間未下降時(shí), 使網(wǎng)絡(luò)的權(quán)值修改量加大,以一定的概率使網(wǎng)絡(luò)重新處于高收斂系數(shù)和動(dòng)量項(xiàng)的方式下學(xué)習(xí), 過一段時(shí)間后又重新使收斂系數(shù)和動(dòng)量項(xiàng)逐步減少, 從而使網(wǎng)絡(luò)跳出局部極小,達(dá)到收斂。在解決局部

25、極值問題上, 上面曾經(jīng)提到的模擬退火算法確有一定作用, 但是學(xué)習(xí)速度卻非常慢?？紤]到學(xué)習(xí)率既對(duì)權(quán)值有影響, 又在整個(gè)訓(xùn)練過程中是單一的變量, 可以將模擬退火思想用于調(diào)整, 大大減少了計(jì)算量, 加快了收斂速度, 而且改善了局部極小問題。這種算法只對(duì)一個(gè)變量使用模擬退火算法, 因而大大減少了計(jì)算量, 明顯提高了收斂速度, 這對(duì)權(quán)值多的多層網(wǎng)絡(luò)來說尤為明顯。4. 結(jié)束語總結(jié)了針對(duì)bp網(wǎng)絡(luò)的兩個(gè)突出問題所做的各種網(wǎng)絡(luò)參數(shù)改進(jìn)方法。在收斂速度方面主要討論了學(xué)習(xí)率改進(jìn)方法對(duì)此的影響。大量研究和實(shí)驗(yàn)表明，與固定學(xué)習(xí)率相比，動(dòng)態(tài)學(xué)習(xí)率調(diào)節(jié)方法提高了bp網(wǎng)絡(luò)的收斂速度和誤差精度，改善了收斂性能，減小了網(wǎng)絡(luò)陷人局

26、部極小和產(chǎn)生振蕩的可能性。不同的動(dòng)態(tài)學(xué)習(xí)率調(diào)節(jié)方法有不同的特點(diǎn)，在實(shí)際應(yīng)用中，應(yīng)該針對(duì)具體情況來選擇適合的動(dòng)態(tài)學(xué)習(xí)率調(diào)節(jié)方法。在局部極小方面主要討論了網(wǎng)絡(luò)初始值的選取和連接權(quán)值的調(diào)整對(duì)此的改善。這些改進(jìn)方法在一定程度上很好地避免了陷入局部極小點(diǎn)的問題。這給我以啟示：在解決具體問題時(shí)，需要綜合考慮各種因素的影響，合理改進(jìn)網(wǎng)絡(luò)參數(shù)或是與其他方法相結(jié)合，以使網(wǎng)絡(luò)工作在最優(yōu)的狀態(tài)。參考文獻(xiàn)（1）龔安，張敏.bp網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)率研究【j】.科學(xué)技術(shù)與工程，2006, 6(1):64-66.（2） vogl t p, mangis j k, rigler j k, et al. accelerating

27、the convergence of the back propagation method 【 j 】.biological cybernetics，1988，59(3):257-263.（3） chan l w ，fallside f.an adaptive training algorithm for back propagation networks【j】.computers, speech and language，1987(2):205-218. (4)jacobs r a. increased rates of convergence through leaming rate a

28、daptation【j】.neural networks, 1988，1 (4):295-307.（5）李劍萍，胡光銳，孫遜.一種改進(jìn)的bp算法在導(dǎo)彈綜合測(cè)試專家系統(tǒng)中的應(yīng)用【j.計(jì)算機(jī)應(yīng)用與軟件，2005，22(1):100-102.（6）hsinhc, licc, sunm，et al. an adaptive training algorithm for back-propagation neural networkj.ieee transactions on system, man and cybernetics, 1995，25(4):512-514.（7）magoulas g d,

29、vrahatis m n,androulakis g s.effective back-propagation with variable step size【j】.neural net-works，1997，10(1):69-82.（8）張磊，胡春，錢鋒.bp算法局部極小問題改進(jìn)的研究進(jìn)展【j】.工業(yè)控制計(jì)算機(jī)，2004 , 17 (9 ) : 33-34 .50. 荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂

30、蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃

31、螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆

32、蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋

33、螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂

34、螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃

35、薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄

36、蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈

37、螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿

38、薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃

39、蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄

40、袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂螂羈芅蒈螂肁肈莄袁螀芄芀袀袂肇薈衿羅節(jié)蒄袈膇肅蒀袇袇莀莆蒄罿膃節(jié)蒃肁荿薁蒂螁膁蕆蒁袃莇莃薀羆膀艿薀肈羃薈蕿袈膈薄薈羀肁葿薇肂芆蒞薆螂聿芁薅襖芅薀薄羇肇蒆蚄聿芃莂蚃螈肆羋螞羈芁芄蟻肅膄薃蝕螃荿葿蠆裊膂蒞蚈羇莈芁蚈肀膁蕿螇蝿羃蒅螆袂腿莁螅肄羂莇螄螄芇芃螃袆肀薂