遺傳算法在神經(jīng)網(wǎng)絡(luò)設(shè)計中的應用

1、第4卷第2期大連民族學院學報Vol.4 No.2 2002年4月 JOURNAL OF DALIAN NATIONALITIES UNIVERSITY Apr. 2002 遺傳算法在神經(jīng)網(wǎng)絡(luò)設(shè)計中的應用李春時(大連民族學院計算機系,遼寧大連開發(fā)區(qū)116600摘要:通過對正被廣泛應用的、智能的、并行的全局優(yōu)化方法遺傳算法的性能分析,并與其它算法比較,闡述了遺傳算法在神經(jīng)網(wǎng)絡(luò)設(shè)計中的優(yōu)越性.關(guān)鍵詞:遺傳算法;神經(jīng)網(wǎng)絡(luò);交叉運算;變異運算中圖分類號:TP399 文獻標識碼:A 文章編號:1009-315X(200202-0021-03一般說來,簡單的算法不有效,有效的算法又不簡單,從而算法的有效性和

2、簡單性相互沖突. 神經(jīng)網(wǎng)絡(luò)本身是一個自組織、自適應的動態(tài)系統(tǒng),傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)的學習方法多半將網(wǎng)絡(luò)拓撲結(jié)構(gòu)、權(quán)重及參數(shù)的訓練分步進行,這種割裂的、靜態(tài)的學習方法無法適應神經(jīng)網(wǎng)絡(luò)的動態(tài)的、自適應的特點,從而降低了網(wǎng)絡(luò)的智能性. 遺傳算法用簡單的遺傳操作和優(yōu)勝劣汰的自然選擇來指導學習和確定搜索的方向,同時優(yōu)化拓撲結(jié)構(gòu),連接權(quán)重、隱節(jié)點中心和寬度參數(shù),不要求目標函數(shù)連續(xù),搜索具有全局性質(zhì),因此容易得到全局最優(yōu)解或性能很好的次優(yōu)解.1遺傳算法與人工神經(jīng)網(wǎng)絡(luò)1. 1 遺傳算法(G A遺傳算法基于Darwin進化論及Mendel的遺傳學說,首先將問題求解表示成基因型或稱“染色體”,從而構(gòu)成染色體群,將其置于

3、問題的環(huán)境中,根據(jù)適者生存的原則,從中選出適應環(huán)境的“染色體”進行復制再生,通過交叉、變異操作產(chǎn)生新一代更適合環(huán)境的染色體群. 這樣,依據(jù)某種收斂條件,一代一代不斷變化,最后收斂到一個最適應環(huán)境的個體上,求得問題的最優(yōu)解.遺傳算法與傳統(tǒng)的算法不同,主要體現(xiàn)在兩個方面:(1智能性,它體現(xiàn)在自組織、自適應和自學習性方面. 應用遺傳算法求解問題的步驟是,在確定了編碼方案、適應值函數(shù)及遺傳算子后,算法將利用進化過程中獲得的信息自行組織搜索. 因此利用遺傳算法可以解決那些在結(jié)構(gòu)上尚無人能理解的復雜問題.(2并行性,一是內(nèi)在并行性,即遺傳算法適合在目前的并行機或分布式系統(tǒng)上進行并行處理;二是內(nèi)含并行性,由

4、于進化計算采收稿日期:2001 - 05 - 13.作者簡介:李春時(1970-,女,黑龍江巴彥人,講師.22大連民族學院學報第4卷 用種群的方式組織搜索,從而可以同時搜索解空間內(nèi)的多個區(qū)域,并相互交流信息, 這種搜索方式使得它雖然每次只執(zhí)行與種群規(guī)模N 成正比例的計算,而實質(zhì)上已進行了大約O (N 3次有效搜索. 這使得遺傳算法能以較少的計算量獲得較大的收益(遺傳算法的運算過程見圖1.1. 2 人工神經(jīng)網(wǎng)絡(luò)(A N N 人工神經(jīng)網(wǎng)絡(luò)是基于模仿大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理方法1,即用大量的簡單計算處理單元(神經(jīng)元構(gòu)成的非線性系統(tǒng). 它具有學習能力、記憶能力、計算能力以及各種智能處理功能

5、,能夠在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理、存儲及檢索功能. 人工神經(jīng)網(wǎng)絡(luò)主要應用在以下幾個方面:非線性函數(shù)逼近、模式識別、知識處理工程和專家系統(tǒng)、控制及優(yōu)化、金融預測與管理等. 2應用傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)設(shè)計方法多半是根據(jù)經(jīng)驗來設(shè)計網(wǎng)絡(luò)的結(jié)構(gòu)和確定網(wǎng)絡(luò)的參數(shù),然后利用梯度下降法學習網(wǎng)絡(luò)的權(quán)系數(shù)、參數(shù). 這一問題本身也是很困難的, 因為我們經(jīng)常對應用問題的網(wǎng)絡(luò)結(jié)構(gòu)以及學習任務(wù)本身并沒有很多的準備知識. 并且這些學習算法大多數(shù)是通過樣本實例的學習訓練來確定神經(jīng)網(wǎng)絡(luò)的權(quán)值,但并沒有考慮整個網(wǎng)絡(luò)的優(yōu)化問題.遺傳算法是基于進化學說的智能、并行的全局優(yōu)化方法,將其應用于設(shè)計神經(jīng)網(wǎng)絡(luò)的基本思想是先用有限

6、個參數(shù)描述一個神經(jīng)網(wǎng)絡(luò)模型,再把這些參數(shù)編碼為染色體,利用GA 的全局搜索能力在整個參數(shù)空間內(nèi)搜索,找出符合要求的最佳參數(shù)組合,從而設(shè)計出性能優(yōu)良的神經(jīng)網(wǎng)絡(luò).具體算法:(1隨機產(chǎn)生N 個染色體數(shù)字串,組成初始種群,其中每個染色體表示一種參數(shù)組合對應的神經(jīng)網(wǎng)絡(luò)模型;(2REPEAT 取出種群中第I 個染色體,解碼后得到一種參數(shù)組合,構(gòu)成一個神經(jīng)網(wǎng)絡(luò);評價所得神經(jīng)網(wǎng)絡(luò),計算其對應染色體的適應度;UNTIL 種群為空;進行選擇、交叉、變異運算,構(gòu)成下一代種群;(3新種群滿足性能評價標準或到達給定代數(shù),轉(zhuǎn)到(5,否則轉(zhuǎn)到(2重復執(zhí)行;(4解碼種群適應度最高的染色體,用其參數(shù)集構(gòu)成一個神經(jīng)網(wǎng)絡(luò),即為結(jié)構(gòu)

7、最優(yōu)的神經(jīng)網(wǎng)絡(luò).染色體設(shè)計:在生物學上,染色體結(jié)構(gòu)是一系列基因按層次排列而成的,上層基因控制下層基因. 根 據(jù)這一特點,將染色體設(shè)計成包括控制基因和參數(shù)基因的遞階結(jié)構(gòu),表示隱節(jié)點的控制基第2期李春時:遺傳算法在神經(jīng)網(wǎng)絡(luò)設(shè)計中的應用 23因處于上級,表示參數(shù)的基因處于下級,下級基因受控于上級基因. 控制基因采用二進制編碼,當取0、1不同值時,控制的相應下級基因分別處于有效或無效狀態(tài). 參數(shù)基因采用實數(shù)編碼,可加強空間搜索能力. 對于只有一個隱層的網(wǎng)絡(luò),其編碼如下圖2所示: 圖2 只有一個隱層的網(wǎng)絡(luò)編碼示意遞階染色體設(shè)計的遺傳算法的操作不僅可以同時優(yōu)化整個網(wǎng)絡(luò),而且層次清晰,算法本身的智能性、自適

8、應性能更好的滿足設(shè)計神經(jīng)網(wǎng)絡(luò)的初衷. 使用此方法訓練只有一個隱層的RBF網(wǎng)絡(luò)較其它方法精度有很大提高3.3結(jié)論我們知道,只含有一個隱層的前饋網(wǎng)絡(luò)是一個通用的逼近器, 可以任意逼近一個非線性函數(shù),但這并不說明一個隱層是最好的. 文獻4證明,逼近相同輸入維數(shù)的函數(shù),兩個隱層的網(wǎng)絡(luò)可能比單個隱層所需單元數(shù)少得多. 但采用傳統(tǒng)的訓練方法,增加網(wǎng)絡(luò)的層數(shù)不僅會使問題本身變得很復雜,而且會使運算量增長. 采用遺傳訓練方法,將多層的網(wǎng)絡(luò)參數(shù)設(shè)計在不同的基因級上,由于算法本身的自適應性、并行性,使多層網(wǎng)絡(luò)的整體優(yōu)化變得可行.參考文獻:1 閻平凡,張長水. 人工神經(jīng)網(wǎng)絡(luò)與模擬進化計算M. 北京:清華大學出版社,

9、2001.2 潘正君,康立山,陳毓屏. 演化計算M. 北京:清華大學出版社,2000.3 鄭丕諤,馬艷華. RBF神經(jīng)網(wǎng)絡(luò)的遞階遺傳訓練新方法J. 控制與決策.2000,(2:165.4 Ramura S.Capabilities of a Four-layered Feedforward NN,Four Layer Versus Three LayerJ. IEEE Trans NN.1997,(8:251.The Application of Genetic Algorithm in Neural Network DesignLI Chun-shi(Dalian Nationalities University, Dalian Development Zone 116600, ChinaAbstract:By analyzing the widely used, intelligent and overall optimized methodgenetic algorithmand comparing it with other algorithm,