神經(jīng)網(wǎng)絡(luò)及其在圍巖穩(wěn)定性分類中的應(yīng)用課件

1、第2章 神經(jīng)網(wǎng)絡(luò)及其在隧道圍巖穩(wěn)定性分類中的應(yīng)用2011年6月東北大學(xué)深部金屬礦山安全開采研究中心：楊成祥主要內(nèi)容一、人工神經(jīng)網(wǎng)絡(luò)原理及BP神經(jīng)網(wǎng)絡(luò)二、神經(jīng)網(wǎng)絡(luò)用于求解巖石力學(xué)問題 三、遺傳算法原理及進(jìn)化神經(jīng)網(wǎng)絡(luò)方法四、實例公路隧道圍巖穩(wěn)定性分類2.1 神經(jīng)網(wǎng)絡(luò)原理2.1.1 人工神經(jīng)元多輸入單輸出的非線性處理單元0 x(a) 閾值型0 x(c) S型圖2.2 神經(jīng)元的非線性特性0 x(b) 子域累積型0 x(c) 線性飽和型神經(jīng)元的非線性特性活化函數(shù)f()2.1.2 前饋式神經(jīng)網(wǎng)絡(luò)圖2.3 前饋神經(jīng)網(wǎng)絡(luò)（三層）拓?fù)浣Y(jié)構(gòu)1. 輸入層不做任何處理，直接將輸入信號傳到第一隱含層。第一隱含層(假定有

2、p個神經(jīng)元)，每個神經(jīng)元（結(jié)點）j(j=1,2,p)的輸出計算為： 2. 第二隱含層（假定有q個結(jié)點），每個結(jié)點k(k=1,2,q)）的輸出計算為(第一隱含層的輸出作為輸入)： 多層前饋式神經(jīng)網(wǎng)絡(luò)的計算過程如果已知網(wǎng)絡(luò)的權(quán)值矩陣W=wij和問題的輸入 多層前饋式神經(jīng)網(wǎng)絡(luò)的計算過程依此類推，逐層計算，形成有輸入X到輸出Y的多輸入多輸出映射過程。假定包括2個隱含層， m個輸出，則各輸出值yl(l=1,2,m)為 多層前饋神經(jīng)網(wǎng)絡(luò)計算過程可視為從輸入到輸出的高度非線性映射過程。 “涌現(xiàn)”：并不是一個簡單疊加的過程，而表現(xiàn)出一種復(fù)雜的高度非線性機制。 2.1.3 神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)圖2.4 神經(jīng)網(wǎng)絡(luò)有指

3、導(dǎo)學(xué)習(xí)過程示意圖（以單個神經(jīng)元為例）知識的存儲：神經(jīng)網(wǎng)絡(luò)中知識通過網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和權(quán)值矩陣存儲。知識的獲?。壕褪峭ㄟ^某種規(guī)則調(diào)整網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和權(quán)值矩陣，使得網(wǎng)絡(luò)中那些導(dǎo)致“正確解答”的神經(jīng)元之間的連接被增強，而那些產(chǎn)生“錯誤解答”的神經(jīng)元之間的連接減弱?；跇颖镜膶W(xué)習(xí)規(guī)則：學(xué)習(xí)樣本通常由一組輸入和期望輸出對組成，從事先假定的初始權(quán)值開始，對樣本的輸入計算輸出yk(n)，與期望輸出比較得到誤差ek(n)，由此誤差按某種算法來調(diào)整各權(quán)系數(shù)，這一過程往往需要多次迭代完成。 2.1.4 BP（Back Propagation）算法BP算法由正向傳播和反向傳播兩個過程組成。正向傳播：輸出計算過程。設(shè)定BP

4、神經(jīng)網(wǎng)絡(luò)共有m層（包括輸入層），輸入層節(jié)點數(shù)為n，輸出層節(jié)點數(shù)為nm，第k層（隱含層）的節(jié)點數(shù)為nk，oi(k)表示第k層節(jié)點i的輸出，xi(k)表示第k層節(jié)點i的輸入，從第k-1層的節(jié)點j到第k層的節(jié)點i的連接權(quán)為wij(k)，設(shè)活化函數(shù)為f，則 圖2.5 BP神經(jīng)網(wǎng)絡(luò)正向傳播示意圖2.1.4 BP（Back Propagation）算法反向傳播：如果在輸出層得不到期望輸出，將誤差沿原來的通路返回，并根據(jù)誤差信息修改神經(jīng)元之間的連接權(quán)值，使得誤差逐漸減小。對給定學(xué)習(xí)樣本（X,Y），誤差計算為： yi為對于輸入模式（X,Y）輸出層m的第i個節(jié)點的期望輸出。由梯度下降法，可求得E(W)的梯度來修

5、正權(quán)值，即權(quán)向量wij(k)的修正量可由下式求得： 對于輸出層m，有 對于其它隱含層，有 連接權(quán)值按下式修正 其中，為動量項系數(shù)（通過引入該項可以加快學(xué)習(xí)效率并在一定程度上避免陷入局部最?。?，為學(xué)習(xí)步長。 2.1.4 BP（Back Propagation）算法BP學(xué)習(xí)算法基本步驟：(1) 根據(jù)具體問題確定輸入輸出模式，準(zhǔn)備學(xué)習(xí)樣本（一組輸入和期望輸出樣本對），進(jìn)行標(biāo)準(zhǔn)化； 通常，取活化函數(shù)f為Sigmoid函數(shù)，其最常用的函數(shù)形式為 其輸出范圍為(0, 1)。因此，對輸出大于1的問題要標(biāo)準(zhǔn)化到(0, 1)之間。 (2) 設(shè)置神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（隱含層數(shù)和各隱含層結(jié)點數(shù)），初始化權(quán)值W；(3) 對每

6、一個學(xué)習(xí)樣本，進(jìn)行正向傳播計算輸出誤差；(4) 按BP算法反向傳播調(diào)整權(quán)值；(5) 判斷是否滿足算法終止條件，是則終止算法，保存網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)值系數(shù)用于預(yù)測分析；否則轉(zhuǎn)（3）。 BP算法參數(shù)及其敏感性網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)：隱含層的大小。 Hornik指出“前向反饋神經(jīng)網(wǎng)絡(luò)的非線性映射能力在很大程度上并不取決于對轉(zhuǎn)換函數(shù)的選擇，而是多層前向反饋結(jié)構(gòu)決定了其函數(shù)逼近能力”。隱含層太大，將使網(wǎng)絡(luò)記憶輸入模式而不是歸納輸入的特性，降低處理非樣本輸入信息的能力。隱含層太小，B-P算法是一個非線性優(yōu)化問題，加入隱節(jié)點相當(dāng)于使得可調(diào)參數(shù)增加，從而得到更精確的解，過小的隱含層將減少檢索信息的精確性。初始權(quán)值：局部梯度下

7、降算法是初值敏感的。學(xué)習(xí)參數(shù)：學(xué)習(xí)率和動量項系數(shù)。學(xué)習(xí)率：大的學(xué)習(xí)率使得下降速度加快，對應(yīng)于一個快速的學(xué)習(xí)過程，但結(jié)果可能產(chǎn)生振蕩，所以必須設(shè)置成一個適當(dāng)小的值，但較小的學(xué)習(xí)率值會使網(wǎng)絡(luò)學(xué)習(xí)過程需要更多的迭代次數(shù)。動量項：相當(dāng)于設(shè)置了一些慣性，使下一次的權(quán)值改變或多或少地也是在相同方向上進(jìn)行。 這些參數(shù)的選取尚無理論上的指導(dǎo)，主要根據(jù)經(jīng)驗選取。選取不當(dāng)直接影響到學(xué)習(xí)效果的好壞，通常采用試錯法進(jìn)行，這往往使得用者顯得無從下手。BP算法參數(shù)設(shè)置的一些經(jīng)驗神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)：研究表明，一般情況下包含一個隱含層的神經(jīng)網(wǎng)絡(luò)就可勝任；在一些情況下，兩個隱含層的神經(jīng)網(wǎng)絡(luò)則更有效。Hornik基于全局逼近理論提

8、出“一個包括兩個隱含層的前向反饋式神經(jīng)網(wǎng)絡(luò)可以逼近任意函數(shù)”。隱層節(jié)點數(shù)的確定也是十分重要的，最佳個數(shù)的確定仍是一個有待解決的難題。很多學(xué)者基于其研究結(jié)果提出了許多經(jīng)驗公示，如表2.1所示。表2.1 隱層節(jié)點數(shù)確定的一些經(jīng)驗性建議（針對一個隱含層的情況）建議者經(jīng)驗公示PaolaNh=(2+(NoNi)+(No2+Ni) 0.5No-3)/(No+Ni) Hecht-NeilsenNh=2Ni+1HushNh=3NiRipleyNh=(No+Ni)/2WangNh=2Ni/3MastersNh=(NoNi)1/2Aldrich and ReuterNh=p/k(No+Ni)Kannellopou

9、las and WilkinsonNh=2NiSeibi and Al-AlawiNh=(p-No)/(Ni+No+1)表中，Ni、Nh、No分別是輸入層、隱含層和輸出層節(jié)點個數(shù)；p是訓(xùn)練樣本數(shù)；k是常數(shù)，取決于訓(xùn)練數(shù)據(jù)的分散程度，取值范圍410；是大于1的常數(shù)，=1.25會產(chǎn)生25%的過高估計結(jié)果。BP算法參數(shù)設(shè)置的一些經(jīng)驗初始權(quán)值：參數(shù)較多，往往給出一個范圍隨機賦值。很多學(xué)者對初始權(quán)值的取值范圍進(jìn)行了大量的研究，并給出了不同的建議。如Sietsma和Dow 建議初始權(quán)值范圍為-0.5,0.5；Gallagher和Downs以及Kavzoglu建議為-0.25,0.25；Paola以及Sta

10、ufer和Fisher建議為-0.1,0.1，等等 。學(xué)習(xí)參數(shù)：取較小的學(xué)習(xí)誤差：犧牲一定的計算量換取算法穩(wěn)定性，但是對于數(shù)據(jù)量大或誤差分析計算量大的問題，仍然需要慎重考慮。動量項系數(shù)：有一些經(jīng)驗性結(jié)果可以借鑒，如Wyhthoff建議把動量項系數(shù)設(shè)在0.40.9之間；Hassoun和Fu建議在0.01.0；Hertz等以及Henseler建議設(shè)在1.0附近。 終止條件：最大迭代次數(shù)和截止誤差是基本的算法終止條件；根據(jù)如圖所示的典型學(xué)習(xí)曲線，一般存在一個最佳學(xué)習(xí)次數(shù)，以此做為終止條件更有效。典型學(xué)習(xí)過程誤差曲線最佳學(xué)習(xí)點，學(xué)習(xí)和預(yù)測誤差都達(dá)到滿意精度關(guān)于BP算法參數(shù)設(shè)置的一些思考需設(shè)置的參數(shù)類型

11、多，數(shù)量大；上述經(jīng)驗都是不同的人在在各自領(lǐng)域取得的結(jié)果，普及性還有待證明，在具體應(yīng)用時可作為參考，但不能作為唯一依據(jù)照搬硬套； 參數(shù)設(shè)置不合理，會大大影響學(xué)習(xí)效率；沒有嚴(yán)格的理論依據(jù)作指導(dǎo)，使用者難以適應(yīng)； 等等。這是一個多參數(shù)、大空間、非線性的組合優(yōu)化問題，可以結(jié)合一些最優(yōu)化方法解決。簡單算例三維異或問題實現(xiàn)軟件（執(zhí)行文件：神經(jīng)網(wǎng)絡(luò).exe）學(xué)習(xí)樣本（文本文件：三維異或問題.txt）學(xué)習(xí)參數(shù)（一個隱含層，4個節(jié)點，初始權(quán)值（-5.05.0），學(xué)習(xí)率0.1，動量項系數(shù)0.5，最大迭代次數(shù)20000和截止誤差10-8聯(lián)合控制）8 0 3 10 0 0 0.90 0 1 0.00 1 0 0.00

12、 1 1 0.91 0 0 0.01 0 1 0.91 1 0 0.91 1 1 0.0樣本描述：學(xué)習(xí)樣本數(shù)、測試樣本數(shù)、輸入個數(shù)、輸出個數(shù)樣本記錄：按輸入（可多個）和輸出（可多個）順序記錄一個樣本一行，逐行記錄所有樣本經(jīng)驗公示結(jié)果Nh=(2+(NoNi)+(No2+Ni) 0.5No-3)/(No+Ni) 1Nh=2Ni+17Nh=3Ni9Nh=(No+Ni)/22Nh=2Ni/32Nh=(NoNi)1/21.7Nh=p/k(No+Ni)（取k0.5）4Nh=2Ni6Nh=(p-No)/(Ni+No+1)（取1.0）1.6簡單算例三維異或問題input_attr 3 輸入輸出output_a

13、ttr 1scale_info 1 標(biāo)準(zhǔn)化信息10.1 0.90 10 10 10.1 0.90 0.9hidden_layer 1 4 結(jié)構(gòu)信息WT 權(quán)值 1.7258705 -2.578362 5.0106347 5.2199893 4.5105335 -6.6680082 4.1850232 -1.0374217 6.2725714 -4.6866664 -4.2570295 1.3208827 2.631424 2.5829137 -6.053868 0.42601174 -1.0812504 -6.1516138 6.2310432 -6.1322358 4.1014951學(xué)習(xí)后的神

14、經(jīng)網(wǎng)絡(luò)模型文件（三維異或問題.mnn）簡單算例三維異或問題學(xué)習(xí)后的神經(jīng)網(wǎng)絡(luò)預(yù)測結(jié)果（三維異或問題.ptd）= NO Output Target Error AbsoluteRelavent= 1 0.89998673 0.9 -1.3268164e-005 0.0014742405 2 0.00011529276 0 0.00011529276 1.#INF 3 0.00020811372 0 0.00020811372 1.#INF 4 0.89977274 0.9 -0.00022725674 0.025250749 5 0.00011599792 0 0.00011599792 1.#I

15、NF 6 0.89989668 0.9 -0.00010332286 0.011480318 7 0.89984133 0.9 -0.00015867065 0.017630072 8 3.3345312e-005 0 3.3345312e-005 1.#INF-Total mean squared error = 1.9855603e-008Learned mean squared error = 1.9855603e-008Predicted mean squared error = 0Squared correlation coefficient = 0.999999982.2 神經(jīng)網(wǎng)絡(luò)

16、用于求解巖石力學(xué)問題2.2.1 BP神經(jīng)網(wǎng)絡(luò)適用于巖石力學(xué)問題的功能特點 大規(guī)模集團(tuán)運算，并行處理數(shù)據(jù)和信息沒有其中的處理單元，容錯及抗噪聲能力強變結(jié)構(gòu)的計算組織體系，表現(xiàn)出很強的自學(xué)習(xí)能力非線性動態(tài)系統(tǒng)，具有復(fù)雜的功能行為和動態(tài)性質(zhì)可以處理知識背景不清楚、推理規(guī)則不明確等復(fù)雜類模式識別問題，以及處理連續(xù)的、不連續(xù)的、模糊的、隨機的信息求解目標(biāo)為非精確的滿意解黑箱操作結(jié)構(gòu)，具有廣泛適用性。神經(jīng)網(wǎng)絡(luò)輸入空間輸出空間圖2.5 神經(jīng)網(wǎng)絡(luò)信息處理示意圖極復(fù)雜條件：地質(zhì)體高應(yīng)力高溫度強化學(xué)腐蝕高應(yīng)變速率水滲流開挖效應(yīng)節(jié)理discontinuity巖石力學(xué)研究的對象巖石力學(xué)與巖石工程中的多數(shù)問題都可以看作

17、如圖所示的輸入輸出映射問題。無論是理論模型、數(shù)值模型還是一些經(jīng)驗?zāi)Ｐ?，都是為了建立二者之間的映射關(guān)系。從這點來講，神經(jīng)網(wǎng)絡(luò)的高度非線性映射功能具有良好適應(yīng)性，尤其是在機理尚未完全弄清楚，且具有大量不確定性信息的前提下。 力學(xué)因素巖石力學(xué)模型決策信息評價指標(biāo)地質(zhì)因素工程因素yzF(x,y,z)I3穩(wěn)定性指標(biāo)I2力學(xué)響應(yīng)xI1圖2.6 巖石力學(xué)與工程問題的輸入輸出映射示意圖2.2.2 BP神經(jīng)網(wǎng)絡(luò)對巖石力學(xué)問題的適應(yīng)性2.2.3 神經(jīng)網(wǎng)絡(luò)求解巖石力學(xué)的一些要求 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程是基于數(shù)據(jù)的，在沒有理論和經(jīng)驗指導(dǎo)下，隨便搜集一些數(shù)據(jù)進(jìn)行分析往往達(dá)不到預(yù)期效果。按照BP神經(jīng)網(wǎng)絡(luò)的一般算法步驟，需要在

18、 輸入輸出模式的確定 學(xué)習(xí)樣本庫構(gòu)造 學(xué)習(xí)過程控制 預(yù)測分析等幾個環(huán)節(jié)，或者依據(jù)巖石力學(xué)相關(guān)理論、方法和經(jīng)驗，或者相關(guān)技術(shù)手段加以控制。使學(xué)習(xí)過程沿著正確的方向進(jìn)行，還可以大大提高學(xué)習(xí)效率 。輸出指標(biāo)的確定巖石力學(xué)與工程問題中，有的具有明確的目標(biāo)，而有的則可能具有多選性（定量和定性），需要根據(jù)工程實際需要和先驗知識加以篩選（不是越多約好）：實用性：不要總期望于建立具有普遍適用性的分析模型，針對某個或某類工程，對其中的突出問題或共性問題確定所需分析指標(biāo)或決策信息；可行性：樣本可獲取可預(yù)測性：神經(jīng)網(wǎng)絡(luò)追求的是非精確的滿意解，在沒有大量可靠數(shù)據(jù)的前提下不追求精確定量解；定量與定性相結(jié)合：神經(jīng)網(wǎng)絡(luò)處理

19、對象是量化指標(biāo)，對定性指標(biāo)要建立好與定量指標(biāo)之間的換算關(guān)系（如模糊處理等）輸入因素的確定隨巖石力學(xué)理論與工程實踐的發(fā)展，考慮的因素以及可測的因素越來越多，沒有必要勉強把所有相關(guān)的因素都考慮到模型中（也不是越多約好）?？蓽y性：不要因為獲取手段不成熟而人為引入不確定性信息；關(guān)鍵性：與輸出指標(biāo)密切相關(guān)的控制性的因素；可行性：易于獲??；獨立性：主成分分析法；可靠性：注意定性因素中的人為影響；簡約性：大通量信息的特征提取（統(tǒng)計分析）學(xué)習(xí)樣本庫學(xué)習(xí)樣本是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)成功與否的基礎(chǔ)，構(gòu)造過程中要結(jié)合輸入輸出指標(biāo)的確定進(jìn)行搜集整理。真實性：不能輕易通過插值等手段引入額外的誤差信號，尤其是工程實例樣本；代表性：

20、輸出要能反映實際問題中經(jīng)常出現(xiàn)的各種情況，輸入要涵蓋工程范圍內(nèi)的巖石力學(xué)參數(shù)和工程地質(zhì)條件等；完備性：完備樣本庫要求樣本能夠均勻的分布于解空間，實際可以根據(jù)單因素分級情況，在各等級代表的局部空間布置樣本；多樣性：可通過實測、試驗和工程實例獲取，還可以包括經(jīng)驗總結(jié)、行業(yè)標(biāo)準(zhǔn)、設(shè)計規(guī)范等。預(yù)處理預(yù)處理的目的是去除噪聲，加強有用的信息，并對輸入測量儀器或其他因素所造成的退化現(xiàn)象進(jìn)行復(fù)原。定量化：定性數(shù)據(jù)的量化（打分法、矢量法等）；標(biāo)準(zhǔn)化：無量綱化等；奇異性：趨勢檢驗法；等等。預(yù)處理是整個學(xué)習(xí)過程中信息轉(zhuǎn)換的第一個環(huán)節(jié)，方法很多，應(yīng)仔細(xì)審核各預(yù)處理方法的適用性條件，必要時還要對處理方法的敏感性、處理結(jié)

21、果的可靠性及其對結(jié)果的影響進(jìn)行討論。 學(xué)習(xí)過程的優(yōu)化控制為什么要優(yōu)化控制？巖石力學(xué)問題的復(fù)雜性；BP算法本身存在的問題；誤差空間是非線性、多極值的。這就對學(xué)習(xí)過程控制（網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)、初始權(quán)值和學(xué)習(xí)參數(shù)）提出了更高的要求，稍有不慎就會陷入“局部最優(yōu)”。為此，我們用遺傳算法來進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)和初始權(quán)值的優(yōu)化，提出進(jìn)化神經(jīng)網(wǎng)絡(luò)方法，這將在下面詳細(xì)介紹。 預(yù)測分析預(yù)測分析：是指神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)和權(quán)值通過對已有樣本學(xué)習(xí)確定以后，對工程中新出現(xiàn)的輸入模式進(jìn)行計算分析和決策的過程。顯然，能夠進(jìn)行可靠預(yù)測并用于指導(dǎo)工程實踐是這一環(huán)節(jié)的要點，這也是神經(jīng)網(wǎng)絡(luò)模型存在的根本。要點：測試檢驗：把訓(xùn)練集分為學(xué)習(xí)樣本和測試

22、樣本兩部分。前者用于學(xué)習(xí)訓(xùn)練建立神經(jīng)網(wǎng)絡(luò)模型，后者模擬未知樣本來檢驗其解決新問題的能力。應(yīng)用分析：不能僅僅用學(xué)習(xí)或預(yù)測誤差作為衡量應(yīng)用成功與否的唯一杠桿，還要結(jié)合具體工程進(jìn)行研究，分析原因，尋求改進(jìn)措施。關(guān)于測試樣本的分配：研究表明，BP訓(xùn)練過程中，訓(xùn)練樣本數(shù)及其與測試樣本分配比例對學(xué)習(xí)效果也有相當(dāng)重要的影響。Seingler以及Looney分別建議將總樣本數(shù)的20%和25%作為測試樣本；Nilson和Illingworth推薦20%30%的樣本作為測試樣本。這些可作為實際運用參考。 2.3 遺傳算法原理2.3.1 遺傳算法簡介初始群體個體評價招到適應(yīng)解？以一定概率選擇適應(yīng)性好的個體參與遺傳操

23、作產(chǎn)生新群體選擇具有最佳適應(yīng)值的個體作為最終解是否圖2.6 遺傳算法的主要流程操作對象：問題的一組試驗解（以某種編碼形式來模擬生物遺傳物質(zhì)染色體，常見的如二進(jìn)制編碼）操作機制： “適者生存”的自然選擇機制，通過一個評價函數(shù)對試驗解的求解能力進(jìn)行評價；逐步改善：編碼串相互之間的信息交換產(chǎn)生新的更好的解，實現(xiàn)優(yōu)化繁殖，形成一個逐步改進(jìn)的過程。 試驗解1試驗解2110110001011010011101110101010101011101110101010110011110110001011001011101010101110110111110001101011001011交叉變換倒序圖2.7 遺傳

24、算法中的進(jìn)化操作（以二進(jìn)制串為例）復(fù)制：將好的解直接保留到新的一代，使得好的編碼信息在進(jìn)化中得以延續(xù)，保證進(jìn)化向正確的方向進(jìn)行；雜交：依一定概率通過競爭選擇較好的個體通過編碼串之間相應(yīng)位置的信息交換重組產(chǎn)生新的解，包括單點、多點和均勻交叉，是保證群體進(jìn)化的主要手段；變異：操作通過隨機改變編碼串某些位置的值產(chǎn)生新解，維持群體的多樣性，避免過早收斂。 2.3.2 遺傳操作算子模式理論（J. Holland）經(jīng)復(fù)制和重構(gòu)操作后模式H在下一代群體中所擁有的試驗解個數(shù) H代表模式，指字符串中具有類似特征的子集。以四位二進(jìn)制字符串為例，模式*10*可代表四個試驗解：0100，0101，1100，1101；

25、模式*101則代表兩個試驗解：0101，1101。O(H)指模式H的階次，模式的階次是指模式中已有明確含義的（二進(jìn)制字符時指0和1）的字符個數(shù)，如模式O（*10*1）的階次是3，模式O（*1001）的階次為1，顯然，模式的階次越低，模式的概括性越強。(H)指模式H的長度，指模式中最前面和最后面兩個具有明確含義的字符之間的距離。如模式O（*10*1）的長度是3，模式O（*1001）的長度是0，模式的長度代表該模式在今后的遺傳操作中被破壞的可能性，長度越短，破壞可能性越小。M(H,t)是指在第t次迭代中，屬于模式H的試驗解個數(shù)為m。f(H)為第t代屬于模式H的所有試驗解的平均適應(yīng)值。 為第t代所有

26、試驗解的平均適應(yīng)值。L為字符串長度，Pc為交叉概率，Pm為字符串中每一位發(fā)生變化的變異概率。 結(jié)論：所有長度短、階次低、平均適應(yīng)值高于群體平均適應(yīng)值的模式H在遺傳算法中呈指數(shù)形式增長。相反，凡是長度長、階次高、平均適應(yīng)值低于群體平均適應(yīng)值的模式將呈指數(shù)形式消失。 2.3.2 遺傳算法適用于求解巖石力學(xué)問題的特點 從一群初始點開始，實現(xiàn)全局并行搜索，搜索空間大，宜于尋找到最優(yōu)解或準(zhǔn)最優(yōu)解；采用隨機搜索策略，按模式理論，找到全局最優(yōu)解的概率為1；搜索最優(yōu)解的過程是有指導(dǎo)性的智能式搜索，避免了一般優(yōu)化算法的維數(shù)災(zāi)難問題；以適應(yīng)值為指導(dǎo)依據(jù)，不受搜索空間諸如連續(xù)性、導(dǎo)數(shù)存在和單峰等限制性假設(shè)的約束；在

27、搜索過程中不斷向可能包含最優(yōu)解的方向調(diào)整搜索空間，通過不斷迭代，逐漸得出最優(yōu)解，是一個漸進(jìn)式優(yōu)化過程。 它能從離散的、多極值的、含有噪音的高維問題中以很大的概率找到全局最優(yōu)解，尤其是適用于傳統(tǒng)搜索方法解決不了的復(fù)雜和非線性問題。遺傳算法過程設(shè)計進(jìn)行遺傳算法過程設(shè)計主要包括：構(gòu)造試驗解評價函數(shù)；約束條件；算法控制參數(shù)和屬性參數(shù)；規(guī)定算法停止準(zhǔn)則和結(jié)果指定方式。 試驗解評價函數(shù)O(p) 基于待識別參數(shù)p的計算輸出；O* 實際觀測輸出；F() 關(guān)于多個觀測點計算誤差的非線性函數(shù)。這種情況下，求解目標(biāo)更自然地被表示成某個代價函數(shù)的極小化，可以將目標(biāo)函數(shù)直接或通過一些簡單變換作為評價函數(shù)。要求：從待識別

28、參數(shù)到實際問題的解之間的映射關(guān)系O(p) （計算模型）要盡量簡單，減少進(jìn)行適應(yīng)性評估的計算量；對O(p)計算過程中可能出現(xiàn)的不確定因素要加以定義（如直接賦以差的適應(yīng)值）以保證算法的繼續(xù)進(jìn)行。 多數(shù)參數(shù)優(yōu)化問題可以定義為如下形式約束條件主要是參數(shù)搜索空間的約束信息（主要是指待識別參數(shù)數(shù)值范圍）。通過分析給出一個緊湊的約束范圍可以大大提高參數(shù)搜索效率，可采用的方法包括：先驗知識理論分析：如計算模型的適用條件等工程分析：針對具體工程問題，參數(shù)應(yīng)在有工程意義的范圍內(nèi)；試驗分析；有條件的情況下可以設(shè)計一些簡單試驗。等等。遺傳算法參數(shù)遺傳算法的參數(shù)主要包括編碼方式、種群規(guī)模、各遺傳操作算子發(fā)生概率（雜交概

29、率、變異概率等）編碼方式：對二進(jìn)制串而言，就是編碼的長度，這和所求參數(shù)的精度要求有關(guān)。二進(jìn)制串的首位（第0位）為符號位，對應(yīng)的實數(shù)為正時取0，為負(fù)時取1；二進(jìn)制編碼按通常的十進(jìn)制二進(jìn)制轉(zhuǎn)化進(jìn)行，第1位代表實數(shù)2n-1，第2位代表實數(shù)2n-2，依次類推；取m =max|a|，|b|， a、b分別為參數(shù)取值范圍的上下限，如果2n-1m2n，則參數(shù)二進(jìn)制編碼的當(dāng)二進(jìn)制串長度為L時，所求參數(shù)的精度為2n/2L-1。例如L=13，且m =4，由于21m22，所求參數(shù)的精度為22/2120.001。 m100時， 26m27，所求參數(shù)的精度為27/2120.03。編碼串長度的增加將導(dǎo)致信息處理量呈幾何級數(shù)

30、增長，應(yīng)在滿足精度的條件下，盡量減小。遺傳算法參數(shù)種群規(guī)模：規(guī)模越大，以較少代數(shù)找到最優(yōu)解的可能性增加，但每一代的適應(yīng)值計算量將急劇增加；反之，群體規(guī)模小，每一代計算量小了，但所需進(jìn)化代數(shù)增加。二者應(yīng)平衡控制，在適應(yīng)值計算簡單的情況下（如數(shù)學(xué)表達(dá)式計算），可以加大群體規(guī)模，在犧牲一定計算量的前提下保證收斂速度和穩(wěn)定性。遺傳操作算子發(fā)生概率：復(fù)制概率（pr）+雜交概率（pc）+雜交概率（pm）1通常只需設(shè)定雜交概率和變異概率。雜交概率pc ：雜交是遺傳進(jìn)化的主導(dǎo)方式，概率設(shè)得大些（0.8以上）變異概率pm：變異可在一定程度上保證種群的多樣性，是遺傳進(jìn)化的輔助方式，應(yīng)設(shè)得小些（小于0.2）；對群體

31、規(guī)模相對較小的情況，變異的作用更為明顯，可適當(dāng)增大變異概率，避免過早收斂。遺傳算法參數(shù)停止進(jìn)化條件：最典型的準(zhǔn)則是算法找到了問題的解，實際很難確定；當(dāng)算法執(zhí)行到事先規(guī)定的進(jìn)化步數(shù)就停止算法，難以控制；種群中的最佳適應(yīng)值保持一定次數(shù)的進(jìn)化帶數(shù)不變，則認(rèn)為算法收斂而終止算法。與遺傳算法逐步收斂穩(wěn)定的過程相適應(yīng)，；對適應(yīng)值計算量大的進(jìn)化過程，還要設(shè)立即時終止機制，進(jìn)化過程中實時跟蹤解的變換情況，一旦出現(xiàn)滿意解立刻終止。通常采取多種規(guī)則綜合控制。結(jié)果指定方式：一般情況下選擇最后一代中具有最佳適應(yīng)值的試驗解作為最終解；如果是可以直接根據(jù)參數(shù)值判斷最終解的問題則直接指定結(jié)果，實際中往往很難實現(xiàn)；如果有幾個

32、比較接近的最佳適應(yīng)值，通過簡單分析判斷最終解。遺傳算法步驟（1） 在給定參數(shù)范圍內(nèi)隨機生成一組個體作為初始群體；（2） 對初始群體中的個體進(jìn)行二進(jìn)制串編碼，或稱染色體；（3） 依概率通過競爭選擇方法選擇兩個染色體p1和p2作為父代；（4） 由父代個體p1和p2經(jīng)雜交生成新個體；（5） 以概率進(jìn)行變異操作，最終生成新子代個體;（6） 重復(fù)執(zhí)行（3）（5）直至生成新的群體；（7） 對生成的新群體進(jìn)行解碼；（8） 按評價函數(shù)計算子代個體適應(yīng)值；（9） 將上一代中適應(yīng)值最好的個體隨機置換子代中的一個個體；（10）將此子代作為新一代群體；（11）判斷是否滿足停止準(zhǔn)則，若滿足，則停止運算，將最后一代中的最

33、好個體作為所求問題的解；若不滿足，則轉(zhuǎn)（3）。 改進(jìn)的遺傳算法計算流程圖對群體中的個體進(jìn)行編碼隨機生成規(guī)模Psize的初始群體計算子代個體的適應(yīng)值通過競爭選擇選取兩個父代個體p1和p2對p1和p2進(jìn)行一致雜交生成新個體i對i作變異操作生成一子代個體c對子代個體解碼是否生成了Psize個個體最佳個體保留機制將子代作為新一代否是是否滿足停止準(zhǔn)則是計算結(jié)束否算法準(zhǔn)備：樣本（計算模型的輸入變量和期望輸出）、約束信息等簡單算例假定應(yīng)用遺傳算法求 f(x, y)=x2+y2 的最小值，x，y -4，4。樣本：本例比較特殊，參數(shù)和變量是一致的，可假定多項式系數(shù)為變量，構(gòu)成如下的樣本文件（格式與神經(jīng)網(wǎng)絡(luò)同）：

34、1 0 2 11 1 0約束信息： x,y -4，4;目標(biāo)函數(shù) ：由于求解的是函數(shù)的最小值，故適應(yīng)值函數(shù)可直接定義為： fitness= x2+y2 遺傳算法參數(shù) ：二進(jìn)制編碼長度13(按前面計算方法，m4，精度為0.001)，群體規(guī)模為30，最大進(jìn)化代數(shù)為20，雜交概率0.9，變異概率0.1。 將目標(biāo)函數(shù)寫出C語言函數(shù)形式嵌入到“fitness.cpp” 文件中double CFitness:Fit(double *vals, double *prms)double fit=0.0;int iprm=0;for(int i=0;i60303030530305305305A2輕微較重輕微嚴(yán)重嚴(yán)

35、重很嚴(yán)重嚴(yán)重很嚴(yán)重很嚴(yán)重A3不發(fā)育較發(fā)育不發(fā)育發(fā)育較發(fā)育很發(fā)育發(fā)育很發(fā)育很發(fā)育A4整體塊體中厚層整體厚層鑲嵌薄中層塊體薄中厚層壓碎鑲嵌松散松散A59585957585507525504.53.54.52.54.01.53.01.02.01.0A70.81.00.60.80.40.60.20.4 數(shù)據(jù)獲?。和ㄟ^對我國現(xiàn)行規(guī)程整理獲得。數(shù)據(jù)預(yù)處理：向量化方法：每個因素用若干輸入節(jié)點來代替。對輸入指標(biāo)：各節(jié)點的值表示該分類指標(biāo)的某區(qū)間值與某類巖體的對應(yīng)情況：1表示所確定的某指標(biāo)的某區(qū)間值對應(yīng)該巖體分類；0表示不對應(yīng)該類巖體。對輸出指標(biāo)：采取類似方法。2.3.2 算法準(zhǔn)備學(xué)習(xí)樣本庫：按上述方法，輸入節(jié)

36、點數(shù)n=41，輸出節(jié)點數(shù)m=6，樣本數(shù)k=41（表2.10）。隨機選取8個樣本（約為樣本總數(shù)的20%）作為測試樣本（表中以*號標(biāo)出） 2.3.2 算法準(zhǔn)備算法參數(shù)：神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)進(jìn)化過程取2個隱含層，各隱含層節(jié)點數(shù)范圍為550；8為二進(jìn)制串編碼，種群規(guī)模為30個，雜交概率（交叉概率）0.8，變異概率0.2；初始權(quán)值進(jìn)化過程，權(quán)值個數(shù)在優(yōu)化過程中隨結(jié)構(gòu)參數(shù)變化而定，搜索范圍為10.010.0；15為二進(jìn)制串編碼，種群規(guī)模200個，雜交概率0.95，變異概率0.05，輔助增加概率為0.3的倒置變異算子 ；適應(yīng)值評價網(wǎng)絡(luò)計算輸出和期望輸出間誤差的平方平均根形式。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)參數(shù)，學(xué)習(xí)率取0.1，動

37、量項系數(shù)為0.5；訓(xùn)練終止條件主要采用最佳學(xué)習(xí)次數(shù)控制，因而將其他輔助終止條件設(shè)得苛刻一些，最大允許學(xué)習(xí)次數(shù)設(shè)為較大值，而將學(xué)習(xí)和預(yù)測截止誤差給得很小。結(jié)果保存方式，選擇詳細(xì)進(jìn)化過程則將進(jìn)化的每一代中所有個體的適應(yīng)值、結(jié)構(gòu)參數(shù)、初始權(quán)值全部保存到文件，而統(tǒng)計進(jìn)化過程只保存每一代中的統(tǒng)計結(jié)果，如平均適應(yīng)值、最佳適應(yīng)值和最佳個體。圖2.10 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和初始權(quán)值進(jìn)化過程中最佳適應(yīng)值變化2.3.3 算法實施圖2.11 基于優(yōu)化結(jié)構(gòu)和初始權(quán)值的神經(jīng)網(wǎng)絡(luò)分類識別器訓(xùn)練過程誤差變化結(jié)果分析學(xué)習(xí)情況：預(yù)測檢驗情況：表2.11列出了訓(xùn)練后神經(jīng)網(wǎng)絡(luò)對學(xué)習(xí)和測試樣本的分類結(jié)果?？梢钥闯觯瑹o論是對學(xué)習(xí)樣本還是測試

38、樣本，都具有較高的分類精度。表明建立的神經(jīng)網(wǎng)絡(luò)分類模型不僅對已知樣本，還對那些未參與學(xué)習(xí)過程的未知樣本有著良好的應(yīng)用效果，因而可以作為分類手段用于解決實際工程問題。實際應(yīng)用：具體應(yīng)用時只需要把觀測的分類指標(biāo)按表2.32.9所示的方法處理成神經(jīng)網(wǎng)絡(luò)分類器的輸入模式。 工程應(yīng)用表2.13 某公路隧道圍巖現(xiàn)場勘察結(jié)果整理 地段因素進(jìn)口段出口段洞身段-2-3-3-3-3-1-3-3-3-3A118.143.542.524.7538.5029.545.863.641.543.3A2很嚴(yán)重嚴(yán)重嚴(yán)重嚴(yán)重嚴(yán)重較重嚴(yán)重嚴(yán)重嚴(yán)重嚴(yán)重A3發(fā)育發(fā)育較發(fā)育很發(fā)育發(fā)育較發(fā)育發(fā)育較發(fā)育較發(fā)育發(fā)育A4薄層塊石狀鑲嵌中厚層結(jié)構(gòu)

39、碎石狀鑲嵌中厚層結(jié)構(gòu)碎石狀鑲嵌中厚層結(jié)構(gòu)塊石狀鑲嵌中厚層結(jié)構(gòu)薄層中厚層中厚層中厚層中厚層A518532137.6543.663.268.653.26879A62.733.703.003.23.83.04.24.24.24.2A70.380.550.360.410.580.620.710.710.710.71某公路隧道進(jìn)口段（K344+719K344+768）、洞身段（K344+768K345+085）、出口段（K345+085K345+108）的圍巖地質(zhì)勘察結(jié)果 ：工程應(yīng)用表2.14 預(yù)測輸入向量地層輸入向量進(jìn)口-20,0,0,1,0,0,0,0,1,0,0,1,0,0,0,0,0,1,0,0,0,0,0,0,0,0,1,0,0,0,0,1,0,0,0,0,0,0,0,1,0-30,1,0,0,0,0,0,1,0,0,0,1,0,0,0,1,0,