人工神經(jīng)元網(wǎng)絡(luò)

第四章人工神經(jīng)元網(wǎng)絡(luò)4.1概述4.2BP神經(jīng)元網(wǎng)絡(luò)4.3標(biāo)準(zhǔn)BP網(wǎng)絡(luò)存在的問題4.4標(biāo)準(zhǔn)BP網(wǎng)絡(luò)的改進(jìn)措施4.5人工神經(jīng)元網(wǎng)絡(luò)的應(yīng)用4.1概述一．大腦神經(jīng)網(wǎng)絡(luò)1.大腦神經(jīng)元結(jié)構(gòu)模型（生理結(jié)構(gòu)）大腦的神經(jīng)系統(tǒng)由1011到1012個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元可直接與1000～20000個(gè)其他神經(jīng)元相互作用。大腦所具有的強(qiáng)大功能來自大量的多層次的神經(jīng)元的相互連接。最簡單的生物神經(jīng)元結(jié)構(gòu)模型是：樹突（接收信息）——細(xì)胞核（信息處理）——軸突（發(fā)出信息）生物神經(jīng)元結(jié)構(gòu)模型樹突（接收信息）——細(xì)胞核（信息處理）——軸突（發(fā)出信息）2．大腦神經(jīng)系統(tǒng)的功能大腦的神經(jīng)元通過突觸互相連接，形成了復(fù)雜的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，實(shí)現(xiàn)人類的各種智能行為。作為一個(gè)智能的信息處理系統(tǒng)，人腦具有以下幾方面的固有特征：（1）并行分布處理的工作模式。單個(gè)神經(jīng)元的信息處理速度很慢，每次約1ms，但人腦對某一復(fù)雜過程的反應(yīng)卻是很快，一般只需幾百微秒。例如，要判斷人眼看到的兩個(gè)圖形是否一樣，實(shí)際需要400微秒。在這個(gè)處理過程中，人腦是一個(gè)超高密度的并行處理系統(tǒng)。（2）神經(jīng)系統(tǒng)的可塑性和自組織性。人工種經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)制就是基于這種可塑現(xiàn)象，并通過修正突觸的結(jié)合強(qiáng)度來實(shí)現(xiàn)的。（3）神經(jīng)系統(tǒng)的系統(tǒng)性。大腦中的各個(gè)部件可以看成是一個(gè)大系統(tǒng)中的許多子系統(tǒng)，各個(gè)子系統(tǒng)之間具有很強(qiáng)的相互關(guān)系，一些子系統(tǒng)可以調(diào)節(jié)另一些子系統(tǒng)的行為。例如視覺系統(tǒng)和運(yùn)動(dòng)系統(tǒng)就存在很強(qiáng)的系統(tǒng)聯(lián)系，可相互協(xié)調(diào)各種信息處理功能。（4）信息分布式記憶。大腦神經(jīng)系統(tǒng)的信息存儲是分布存儲于整個(gè)網(wǎng)絡(luò)中，并體現(xiàn)在神經(jīng)網(wǎng)絡(luò)之間突觸的結(jié)合強(qiáng)度上。當(dāng)少量神經(jīng)元受到損傷（或正常死亡）時(shí)，網(wǎng)絡(luò)的總體功能繼續(xù)有效。聯(lián)想記憶功能。

人工神經(jīng)網(wǎng)絡(luò)以腦神經(jīng)系統(tǒng)的組成原理為構(gòu)造基礎(chǔ)，模擬了神經(jīng)信息處理系統(tǒng)的上述四個(gè)基本特征，具有廣泛的應(yīng)用價(jià)值。二．人工神經(jīng)元網(wǎng)絡(luò)1．人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)中的人工神經(jīng)元（有時(shí)也稱為計(jì)算單元或計(jì)算節(jié)點(diǎn)），模擬了大腦神經(jīng)元的簡單特性。人工神經(jīng)元模型如圖所示。wij表示神經(jīng)元i和神經(jīng)元j的結(jié)合強(qiáng)度，稱為連接權(quán)（權(quán)值）；xj為神經(jīng)元j的輸出；表示神經(jīng)元i的閾值。神經(jīng)元i的輸出為Oi＝f（Ii）式中，f（）為激發(fā)函數(shù)。在離散輸出模型中，激發(fā)函數(shù)選用階躍函數(shù)，如根據(jù)f（）的不同，將神經(jīng)元模型分為不同的類型：如離散型、連續(xù)型、微分/差分型和概率型。在連續(xù)輸出模型中采用的激發(fā)函數(shù)為連續(xù)函數(shù)，如多項(xiàng)式函數(shù)、三角函數(shù)、樣條函數(shù)等。目前廣為采用的是Sigmoid函數(shù)，簡稱S型函數(shù)，即取神經(jīng)元的輸出為S型函數(shù)具有以下一些良好的特性：（1）當(dāng)I較小時(shí)，也有一定的O值相對應(yīng)，即輸人到神經(jīng)元的信號比較弱時(shí)，神經(jīng)元也有輸出，這樣不丟失信號較小的信息；（2）當(dāng)I較大時(shí)，輸出趨于常數(shù)，不會出現(xiàn)“溢出”現(xiàn)象；（3）具有良好的微分特性，即有為了進(jìn)一步提高神經(jīng)網(wǎng)絡(luò)的實(shí)用性，近年也有將S型函數(shù)改進(jìn)為如下形式

式中：a、b和c為可調(diào)參數(shù)。通過改變系數(shù)a、b和c的值，來改變S型函數(shù)圖像的幾何形狀，也就是改變了相應(yīng)神經(jīng)元的輸入輸出特性。

2．人工神經(jīng)網(wǎng)絡(luò)

將多個(gè)單個(gè)神經(jīng)元按照一定的方式組合成一個(gè)網(wǎng)絡(luò)，就構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)。

除網(wǎng)絡(luò)中單個(gè)神元的特性外，網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)也對網(wǎng)絡(luò)的特性有重要的影響。

根據(jù)網(wǎng)絡(luò)中神經(jīng)元的連接方式，將網(wǎng)絡(luò)分成以下兩種基本型式。（1）前向網(wǎng)絡(luò)前向網(wǎng)絡(luò)中，各神經(jīng)元接受前一級輸入，單輸出到下一級，無反饋。（2）反饋網(wǎng)絡(luò)所有神經(jīng)元都是計(jì)算單元，同時(shí)可接受輸入，并向外界輸出，信息有反饋。4.2BP神經(jīng)元網(wǎng)絡(luò)BP算法于1986年由Rumelhart等提出來的，通過數(shù)學(xué)上的詳細(xì)分析和完整的推導(dǎo)，系統(tǒng)地解決了多層神經(jīng)元網(wǎng)絡(luò)中隱層單元連接權(quán)的學(xué)習(xí)問題。單層感知機(jī)雖具有較好的記憶和學(xué)習(xí)功能，可以進(jìn)行模式識別（分類），但不能解決非線性問題，于是研究者提出了多層感知機(jī)，并采用誤差反向傳遞學(xué)習(xí)算法（ErrorBackPropagation，簡稱BP算法）進(jìn)行網(wǎng)絡(luò)訓(xùn)練。因?yàn)槎鄬忧梆伨W(wǎng)絡(luò)的訓(xùn)練經(jīng)常采用誤差反向傳播算法，所以通常人們都將多層前饋網(wǎng)絡(luò)直接稱為BP網(wǎng)絡(luò)。由于BP算法得到廣泛的使用，BP模型已成為神經(jīng)網(wǎng)絡(luò)的重要模式之一。θ1θ2θpγ1γqana1a2c1cqy1yqnpqw11w12v11v12SpBpLqCq一、BP網(wǎng)絡(luò)學(xué)習(xí)方法的基本思想：將訓(xùn)練過程分為兩個(gè)階段：第一階段：正向傳播，輸入信息從輸入層經(jīng)隱含層單元處理后傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元狀態(tài)。第二階段：倘若在輸出層得不到希望的輸出，則轉(zhuǎn)入第二階段反向傳播，將誤差信號沿原來的神經(jīng)元連接通路返回，通過修改各層神經(jīng)元的權(quán)值，逐次地向輸入層傳播進(jìn)行計(jì)算。這樣，反復(fù)地運(yùn)用這兩個(gè)過程，使得誤差信號最小，最后使得信號誤差達(dá)到允許的范圍之內(nèi)，網(wǎng)絡(luò)就結(jié)束學(xué)習(xí)訓(xùn)練過程。二、BP算法的基本原理典型BP網(wǎng)絡(luò)分為三層，即輸入層、隱含層和輸出層。其算法主要由以下四部分組成，即模式順傳播——誤差逆?zhèn)鞑ァ洃浻?xùn)練——學(xué)習(xí)收斂。1、模式順傳播2、誤差的逆?zhèn)鞑?、記憶訓(xùn)練4、學(xué)習(xí)收斂文本文件四、應(yīng)用例如圖用六個(gè)神經(jīng)元組成的BP網(wǎng)絡(luò)（圖a）來產(chǎn)生圖b的理想輸出。（a）(b)隨機(jī)選取的權(quán)矩陣為：采用S函數(shù)輸出，學(xué)習(xí)數(shù)據(jù)如下：輸入00.050.10.150.2…0.90.95…輸出0.50.5250.550.5750.6…0.950.975…圖（a）為訓(xùn)練1493次后的示意圖，圖(b)為訓(xùn)練30588次后的示意圖。(a)(b)4.3標(biāo)準(zhǔn)BP網(wǎng)絡(luò)存在的問題BP網(wǎng)絡(luò)具有對信息的分布式存儲，有一定的容錯(cuò)性和抗干擾性，其最主要的特點(diǎn)是具有很強(qiáng)的非線性影射能力和柔性網(wǎng)絡(luò)結(jié)構(gòu)，得到了廣泛的應(yīng)用。

標(biāo)準(zhǔn)BP網(wǎng)絡(luò)由于本身的網(wǎng)絡(luò)結(jié)構(gòu)和算法，使其存在著一定的缺點(diǎn)：由于采用梯度優(yōu)化，存在局部極小問題。學(xué)習(xí)算法收斂速度慢，常需要千步以上。隱層數(shù)和各層的單元數(shù)的選擇尚無理論指導(dǎo)，一般依靠經(jīng)驗(yàn)選擇。網(wǎng)絡(luò)為前向結(jié)構(gòu)，無反饋連接，是一個(gè)非線性影射系統(tǒng)。若學(xué)習(xí)系數(shù)和慣性系數(shù)選擇不當(dāng)，會使網(wǎng)絡(luò)學(xué)習(xí)麻痹。4.4標(biāo)準(zhǔn)BP網(wǎng)絡(luò)的改進(jìn)措施近年來所提出的BP改進(jìn)方法主要目的是加快訓(xùn)練速度，避免陷入局部極小和改善網(wǎng)絡(luò)的概括能力。一、提高收斂速度1.累積誤差校正算法利用m個(gè)學(xué)習(xí)模式（樣本）的累積誤差校正各層間的權(quán)值及各層的閾值。特點(diǎn)：這種算法的校正次數(shù)少、學(xué)習(xí)時(shí)間短，但該算法是將各個(gè)學(xué)習(xí)模式的誤差進(jìn)行平均處理，在某些情況下易引起網(wǎng)絡(luò)的振蕩。適用范圍：適宜于樣本較少的訓(xùn)練。閾值調(diào)整量計(jì)算:中間層到輸入層權(quán)值調(diào)整量計(jì)算：文本文件2、S函數(shù)輸出限幅算法由于網(wǎng)絡(luò)的權(quán)值校正量與中間層輸出bj有關(guān)，當(dāng)bj為0或1時(shí)，△wjt為0，則校正不起作用，因此限制S函數(shù)的輸出是加快網(wǎng)絡(luò)校正的有效方法。

當(dāng)S輸出<0.01或>0.99時(shí)，取其值為0.01或0.99，這樣可以加快收斂過程。式中，本次應(yīng)得校正量，本次校正量d，慣性系數(shù)η∈（0，1），前一次校正量若慣性系數(shù)太大，會削弱誤差項(xiàng)的作用，延長收斂作用，引起振蕩。3、慣性校正法在每次對權(quán)值和閾值進(jìn)行校正時(shí)，可按照一定的比例加上前一次學(xué)習(xí)時(shí)的校正量，即慣性項(xiàng)。這樣可以加快網(wǎng)絡(luò)的學(xué)習(xí)收斂效果。4、改進(jìn)慣性校正法若慣性系數(shù)太大，會削弱誤差項(xiàng)的作用，延長收斂作用，引起振蕩，因此將慣性項(xiàng)系數(shù)設(shè)為變量，隨著校正的進(jìn)行而逐漸增大慣性系數(shù)，使被校正量隨著學(xué)習(xí)進(jìn)程的發(fā)展，逐漸沿前一次校正方向變化，為此達(dá)到加速收斂的目的。通常η<=0.9左右。5、基于變步長的BP算法慣性系數(shù)越大，學(xué)習(xí)效率越高，收斂快，但η越大，易引起振蕩。

選擇η的原則:在不引起振蕩的情況下，盡可能選大的η。

變步長的思想:在訓(xùn)練開始時(shí)選較大的η值，然后每次訓(xùn)練結(jié)束時(shí)，將誤差指標(biāo)E（N+1）與上一次E（N）比較，若E（N+1）<E（N），則按原步長繼續(xù)訓(xùn)練，否則，將發(fā)生振蕩，減少步長E（N+1）=E（N）/2，退回上一步重新進(jìn)行訓(xùn)練計(jì)算。6、前向神經(jīng)元網(wǎng)絡(luò)的分階段學(xué)習(xí)法利用自適應(yīng)BP算法在遠(yuǎn)離極小點(diǎn)處收斂快，而牛頓法在極小點(diǎn)處收斂快的特點(diǎn)，分段學(xué)習(xí)?？赏瑫r(shí)利用一、二階導(dǎo)數(shù)信息。二、學(xué)習(xí)系數(shù)和慣性系數(shù)的自適應(yīng)調(diào)整調(diào)整參數(shù)的準(zhǔn)則是檢查某特定加權(quán)的修正是否確實(shí)降低了誤差函數(shù)，若不是這樣，則應(yīng)修正α和β值，可采用啟發(fā)式信息使α和β得到自適應(yīng)調(diào)整，也可將模糊推理方法應(yīng)用于α和β的調(diào)整中。輸出層中間層到輸入層三、改進(jìn)誤差函數(shù)傳統(tǒng)的誤差函數(shù)表達(dá)式：可用其他函數(shù)代替?zhèn)鹘y(tǒng)的誤差函數(shù)表達(dá)式，其原則是：只要f函數(shù)在時(shí)達(dá)到最小就可以。Bawm和Wilczek等人（1988）提出了一種誤差函數(shù)，該函數(shù)式，當(dāng)時(shí)，發(fā)散，從而避免了傳統(tǒng)誤差式的麻痹現(xiàn)象。四、全局優(yōu)化思想標(biāo)準(zhǔn)BP網(wǎng)絡(luò)存在局部極小問題，跳出局部極小的一般做法是：增加隱單元數(shù)、改進(jìn)學(xué)習(xí)效率、從多個(gè)初始點(diǎn)開始學(xué)習(xí)。這些方法需試湊多次才能成功，但這樣會使訓(xùn)練時(shí)間加長。1、采用全局優(yōu)化方法，避免局部極小問題。在BP算法中加入一個(gè)由全局優(yōu)化方法形成的初始點(diǎn)選擇模塊，以選擇好初始權(quán)值，從而自動(dòng)地避免了局部極小問題。可采用的方法有：隧道效應(yīng)法、填充函數(shù)法、測度論法等三種全局優(yōu)化方法，實(shí)驗(yàn)證明，測度論法比較有效。2、采用優(yōu)化理論方法，如卡爾曼濾波、同倫優(yōu)化等。利用最優(yōu)化估計(jì)理論中的卡爾曼濾波方法，把BP算法的網(wǎng)絡(luò)權(quán)值作為濾波的狀態(tài)變量，從而可以用卡爾曼濾波來實(shí)現(xiàn)非線性網(wǎng)絡(luò)的學(xué)習(xí)，不僅避免了局部極小，而且大大提高了學(xué)習(xí)速度。也有將BP網(wǎng)絡(luò)誤差函數(shù)最小化問題轉(zhuǎn)化為一非線性方程式的求解問題，然后將連續(xù)同倫思想用于非線性代數(shù)方程式的求解，建立了相應(yīng)的同倫BP網(wǎng)絡(luò)理論和學(xué)習(xí)算法。同倫BP算法不但在大范圍收斂，同時(shí)具有良好的收斂速度和可克服病態(tài)能力，在梯度法不收斂的時(shí)候，它仍能給出滿意解。3、運(yùn)用聚類分析法。

在網(wǎng)絡(luò)訓(xùn)練階段，采用最臨近準(zhǔn)則，將動(dòng)態(tài)聚類樣本用于權(quán)重的預(yù)置，改進(jìn)了BP算法中迭代緩慢的缺陷，從而避免了標(biāo)準(zhǔn)BP網(wǎng)絡(luò)學(xué)習(xí)中的局部極小問題。4、將GA思想用于BP網(wǎng)絡(luò)訓(xùn)練。

將GA和BP結(jié)合而形成的人工神經(jīng)元網(wǎng)絡(luò)（ANN）的方法有兩種：

（1）先BP、后GA：先用BP培訓(xùn)一個(gè)預(yù)先選定的結(jié)構(gòu)ANN直到平均誤差不再有意義地減少時(shí)為止，然后再用GA進(jìn)行優(yōu)化，重復(fù)這樣的搜索，直到滿足要求。

（2）先GA，后BP：先用GA優(yōu)化描述ANN的參數(shù)組合，直到適應(yīng)度函數(shù)的平均值不再有意義地增加為止，然后再用精選的樣本進(jìn)行訓(xùn)練優(yōu)化。

GA——全局收斂，BP——非線性影射5、采用逐步逼近法的思想進(jìn)行BP網(wǎng)絡(luò)的全局最優(yōu)學(xué)習(xí)首先根據(jù)問題的性質(zhì)構(gòu)造一個(gè)合適的BP網(wǎng)絡(luò)，然后根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)一個(gè)誤差函數(shù)，再利用非線性函數(shù)求極值的方法求解得到網(wǎng)絡(luò)的權(quán)值向量最優(yōu)解。這樣就回避了BP網(wǎng)絡(luò)的一系列缺陷。但這種方法在處理分類問題時(shí)不一定合適。其總的思想是借助求解非線性函數(shù)最小值來完成BP網(wǎng)絡(luò)的訓(xùn)練任務(wù)。

6、借助模擬退火的思想對BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使其收斂全局最小。建立新解產(chǎn)生機(jī)制。4.5人工神經(jīng)元網(wǎng)絡(luò)的應(yīng)用1989年Funahashi證明，三層前向神經(jīng)元網(wǎng)絡(luò)可以以任意精度逼近定義在緊致集K上N維連續(xù)函數(shù)。BP的應(yīng)用主要是其非線性影射能力。一、在機(jī)械設(shè)計(jì)中應(yīng)用在齒輪設(shè)計(jì)中的應(yīng)用例：（1）實(shí)現(xiàn)變厚度齒輪減速器中設(shè)計(jì)變量與動(dòng)態(tài)參數(shù)之間的映射關(guān)系，從而解決了動(dòng)態(tài)優(yōu)化設(shè)計(jì)中目標(biāo)函數(shù)難以建立的難題，使復(fù)雜的動(dòng)態(tài)優(yōu)化問題轉(zhuǎn)化為簡單的普通優(yōu)化問題。1、擬合各種曲線圖表BP網(wǎng)絡(luò)是一個(gè)通用函數(shù)逼近器。（2）利用BP網(wǎng)絡(luò)來實(shí)現(xiàn)齒輪傳動(dòng)機(jī)構(gòu)中設(shè)計(jì)變量到齒面接觸疲勞強(qiáng)度和齒根彎曲疲勞強(qiáng)度的映射關(guān)系，從而簡化了計(jì)算中反復(fù)計(jì)算齒形系數(shù)、應(yīng)力校正系數(shù)所帶來的麻煩。（3）利用BP網(wǎng)絡(luò)來處理強(qiáng)度計(jì)算中大量圖表的插值計(jì)算問題，為圖表的計(jì)算機(jī)化提供了一條途徑等等。如結(jié)合面基礎(chǔ)特性參數(shù)公式的歸納和影射。在優(yōu)化設(shè)計(jì)中，只要是非線性映射或函數(shù)逼近的問題，都可以用BP網(wǎng)絡(luò)加以解決。但有一點(diǎn)必須明確，BP網(wǎng)絡(luò)最適合于處理輸入輸出之間關(guān)系不明確，且無法用一個(gè)明確的函數(shù)關(guān)系表達(dá)的場合。對于有確切函數(shù)關(guān)系的輸入輸出，使用ANN也就沒有多大意義了。2、凸輪曲線擬合，加工表面擬合。3、專家系統(tǒng)中的知識獲取。二、在機(jī)械結(jié)構(gòu)優(yōu)化中的應(yīng)用算例1：懸臂梁結(jié)構(gòu)分析。如圖所示的懸臂梁結(jié)構(gòu)，已知P=200N，E=2×105MPa，μ=0.3，設(shè)計(jì)變量為b、h、l，取值范圍為：b∈「30，50」，h∈［30，50］，1∈[400，900〕。1、結(jié)構(gòu)分析及結(jié)構(gòu)重分析中的應(yīng)用

在復(fù)雜結(jié)構(gòu)的FEM結(jié)構(gòu)優(yōu)化設(shè)計(jì)中，可以用神經(jīng)網(wǎng)絡(luò)代替有限元作結(jié)構(gòu)近似重分析，這在結(jié)構(gòu)優(yōu)化設(shè)計(jì)中特別有意義。解：（1）設(shè)計(jì)訓(xùn)練樣本集為了使樣本點(diǎn)在設(shè)計(jì)變量空間均勻分布，一般要按正交表來安排樣本點(diǎn)。b、h均按3水平，l按6水平，設(shè)計(jì)L18正交表布點(diǎn)。表4.1為按L18正交表布點(diǎn)及相應(yīng)尺寸組合的有限元分析結(jié)果，δ是C點(diǎn)位移，σ為B點(diǎn)彎曲應(yīng)力。表4.1訓(xùn)練網(wǎng)絡(luò)時(shí)，隱結(jié)點(diǎn)數(shù)為7，目標(biāo)誤差0.0001，最大訓(xùn)練次數(shù)2000。（2）用測試樣本檢驗(yàn)網(wǎng)絡(luò)在網(wǎng)絡(luò)訓(xùn)練階段，只要隱結(jié)點(diǎn)足夠多，訓(xùn)練時(shí)間足夠長，目標(biāo)誤差取得足夠小，則最終的訓(xùn)練誤差可以足夠小。這表明網(wǎng)絡(luò)能夠以任意精度逼近樣本點(diǎn)?？梢钥闯?，經(jīng)過訓(xùn)練（學(xué)習(xí)），可以用BP網(wǎng)絡(luò)代替FEM作結(jié)構(gòu)近似分析是可行的。例2．摩托車車架的結(jié)構(gòu)動(dòng)態(tài)優(yōu)化設(shè)計(jì)目標(biāo)函數(shù)：W（X）→mins.