用自適應(yīng)遺傳算法訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)

用自適應(yīng)遺傳算法訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)摘要：本文給出了一種能和網(wǎng)絡(luò)結(jié)構(gòu)一一對應(yīng)的、合適的染色體編碼方法。用物種入侵的遺傳算法訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)。在入侵過程中，遺傳算法自適應(yīng)地調(diào)整交叉算子和變異算子。同時(shí)提出了一種根據(jù)平均適應(yīng)度值確定入侵物種規(guī)模的方法，并詳細(xì)描述了算法步驟。最后通過實(shí)驗(yàn)證明了本文算法的有效性和優(yōu)越性。關(guān)鍵詞：遺傳算法；自適應(yīng)；人工神經(jīng)網(wǎng)絡(luò)；編碼TRAININGARTIFICLALNEURALNETWORKBYINVADINGADAPTIVEGENETICALGORITHMAbstract：Asuitablechromosomeencodingmethod,whichcouldcorrespondwiththenetworkonebyone,wasproposed.Thespeciesinvasiongeneticalgorithmwasusedtotrainartificialneuralnetworks.Intheinvadingprocess,thegeneticalgorithmadjustsadaptivelycrossingoperationandmutationoperation.Amethodbasedontheaveragefitnessvalueswasproposedtodeterminethescaleofinvasionspecies,andadetaileddescriptionofthealgorithmstepswasgiven.Finally,thevalidityandsuperiorityofthealgorithmareprovedbytheexperimentalresults.Keywords：geneticalgorithm;adaptive;artificialneuralnetwork;coding引言用遺傳算法來設(shè)計(jì)和訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)已被證實(shí)能有效地解決很多問題。很多學(xué)者針對染色體編碼與網(wǎng)絡(luò)對應(yīng)問題都提出了自己的方法。有的先用GA(GeneticAlgorithm)訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，然后用LM(Leven-bergMarquardt)算法處理，得到較好的效果；有的用改進(jìn)交叉變異算子的遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)；也有的直接用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù)；還有的用遺傳算法和BP(BackPropagation)算法同時(shí)訓(xùn)練網(wǎng)絡(luò)；文章［1〕中提出混沌搜索自適應(yīng)入侵遺傳算法訓(xùn)練網(wǎng)絡(luò)參數(shù)，但沒有對網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化。生物中存在種群入侵，入侵的種群帶來新的物種一一新的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，促進(jìn)個(gè)體進(jìn)化;不同物種之間的雜交能產(chǎn)生更適應(yīng)環(huán)境的個(gè)體，加速個(gè)體進(jìn)化速度。根據(jù)這一特點(diǎn)，文章給出一種染色體編碼方法，使染色體很好地與網(wǎng)絡(luò)對應(yīng)并適應(yīng)相同物種和不同物種間個(gè)體的交叉，并給出了交叉和變異算子。本文提出的算法能優(yōu)化網(wǎng)絡(luò)權(quán)值、閾值以及網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。1基于入侵自適應(yīng)遺傳算法的網(wǎng)絡(luò)優(yōu)化采用三層前向神經(jīng)網(wǎng)絡(luò)，對其結(jié)構(gòu)(指網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù))以及權(quán)值、閾值進(jìn)行優(yōu)化，使網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)最佳，權(quán)值、閾值落在全局最優(yōu)區(qū)域。1.1染色體編碼就具體問題而言，網(wǎng)絡(luò)輸入層節(jié)點(diǎn)數(shù)及輸出層節(jié)點(diǎn)數(shù)都已確定，其隱層節(jié)點(diǎn)數(shù)不確定。圖1是圖2網(wǎng)絡(luò)對應(yīng)的染色體編碼。兩隱層節(jié)點(diǎn)閾值之間的等位基因表示前一隱層節(jié)點(diǎn)與輸入層之間連接權(quán)值，權(quán)值為0表示無連接.輸出層節(jié)點(diǎn)也是如此。

AM32.6-062.8L2JJ0-70.64).4^J]隱含層節(jié)點(diǎn)數(shù) 隧含房節(jié)點(diǎn)螺值 輸出屋節(jié)點(diǎn)陶值圖1染色體編碼輸入屢Inputlayer隱含房Hiddenhyer圖AM32.6-062.8L2JJ0-70.64).4^J]隱含層節(jié)點(diǎn)數(shù) 隧含房節(jié)點(diǎn)螺值 輸出屋節(jié)點(diǎn)陶值圖1染色體編碼輸入屢Inputlayer隱含房Hiddenhyer圖2網(wǎng)絡(luò)結(jié)構(gòu)輸出房Outputlayer1.2物種入侵過程以及入侵物種的生成1.2.1入侵過程在網(wǎng)絡(luò)輸入層和輸出層節(jié)點(diǎn)數(shù)確定的情況下，將隱層節(jié)點(diǎn)數(shù)相同而權(quán)值和閾值不同的網(wǎng)絡(luò)看作同一物種，僅將隱層節(jié)點(diǎn)數(shù)不相等的網(wǎng)絡(luò)看作不同物種.在網(wǎng)絡(luò)訓(xùn)練中，先形成一種或幾種物種，每一代都產(chǎn)生新物種入侵，與已有物種競爭，優(yōu)勝劣汰。1.2.2入侵物種生成根據(jù)經(jīng)驗(yàn)公式隨機(jī)生成正整數(shù)上使得kgE￡N〔+N。+yN〔+N。+10]。接著隨機(jī)生成一個(gè)實(shí)數(shù)序列長度為N，N根據(jù)式(1)計(jì)算，其中k是隱含層節(jié)點(diǎn)數(shù)，N.是輸入層節(jié)點(diǎn)數(shù)，N。是輸出層節(jié)點(diǎn)數(shù)。TOC\o"1-5"\h\z\o"CurrentDocument"N=(N.+N+Dxk+N (1)假設(shè)根據(jù)式(1)隨機(jī)生成的實(shí)數(shù)序列為：A=[a,a，…,a]{-1<av1|.=1,2,...,n}，則入侵1 2 n i物種個(gè)體染色體編碼為x=[k,a,a，…,a]。1 2n1.3適應(yīng)度函數(shù)式(2)為網(wǎng)絡(luò)性能評價(jià)函數(shù)。X.是單個(gè)個(gè)體，s_sum是樣本總數(shù)，e,是單個(gè)樣本網(wǎng)絡(luò)輸出誤差平方，c是常數(shù)(0<c<1)。 ' 1

s_sumf(X)=2e+c (2)i ii=1式(3)為適應(yīng)度函數(shù)。由式(2)和式(3)可知當(dāng)個(gè)體適應(yīng)度值Fit(X.)=1時(shí)，個(gè)體適應(yīng)度值達(dá)

ic到最大，此個(gè)體最優(yōu)。Fit(Fit(X)=1f(Xj)1.4交叉同一物種間交叉算子：設(shè)交叉的兩個(gè)父代個(gè)體染色體編碼分別是方，七.兩個(gè)個(gè)體按式(5)和式(6)進(jìn)行交叉運(yùn)算產(chǎn)生下一代個(gè)體染色體編碼分別是七、七，TOC\o"1-5"\h\zx'=Xx+(1-人)x (5)x=Xx+(1一人)x (6)本文采用式(7)自適應(yīng)調(diào)整參數(shù)人。fav是個(gè)體平均適應(yīng)度值，fmax是兩個(gè)個(gè)體中適應(yīng)度函數(shù)值較大的，人隨著個(gè)體適應(yīng)度值增大而減小。適應(yīng)度值大的個(gè)體在較小的范圍內(nèi)進(jìn)行搜索，避免搜索的波動性，保護(hù)適應(yīng)度值大的個(gè)體，加快算法的搜索速度。人=二x(!-f) (7)fcmax不同物種間的交叉算子：設(shè)交叉的兩個(gè)體染色體分別是也、X^，長度分別是乙廣上，設(shè)L<L，，交叉后生成新的后代Y'、X'。Y，、X'長度、第一個(gè)等位基因分別與父代Y'，X'YX AAAA AA一致。具體交叉如下述。從個(gè)體XA染色體中隨機(jī)選取Ly-1個(gè)等位基因(不包括第一個(gè)等位基因)組成序列xA；個(gè)體YA去掉第一個(gè)等位基因得到序列yA，序列xA、yA按式(5)和式(6)交叉產(chǎn)生新序列xA、〉A(chǔ)。把個(gè)體YA染色體第一個(gè)等位基因加到序列孔的第一位，產(chǎn)生新個(gè)體YA；用序列xA對應(yīng)替換XA中的xA，得到新的個(gè)體XA。1.5變異采用動態(tài)單點(diǎn)變異，設(shè)個(gè)體A=[a,a，…,a，…,a]，a發(fā)生變異，變異后基因a按式(8)、1 2knk k(9)計(jì)算，t是當(dāng)前迭代次數(shù)，T是總迭代數(shù)，F(xiàn)it(A)個(gè)體A適應(yīng)度值。由式(9)可以看出，隨著迭代次數(shù)增加，以及個(gè)體適應(yīng)度值升高丫越趨近1，1-Y趨近0，基因變異范圍變??；特別當(dāng)『=1時(shí)，式(8)變?yōu)閍廣氣，說明個(gè)體不發(fā)生變異完全適應(yīng)環(huán)境。式⑼是算法自適應(yīng)的調(diào)節(jié)變異算子。TOC\o"1-5"\h\za'=a±(1-y)a,k。1 (8)y=彳xFi(A)xc (9)1.6入侵物種數(shù)量確定Nv=Ncx(2-1+exp[/-1/c]) (10)avN是入侵物種個(gè)體總數(shù)，%是當(dāng)前種群中個(gè)體總數(shù)，fav是當(dāng)前種群個(gè)體平均適應(yīng)度值。式(10)能很好地調(diào)節(jié)入侵物種的規(guī)模，模擬自然界的入侵規(guī)律。1.7網(wǎng)絡(luò)訓(xùn)練算法步驟步驟一：設(shè)置總迭代次數(shù)T，交叉概率a，變異概率P，種群大小M；置當(dāng)前迭代次數(shù)t=0；隨機(jī)生成M個(gè)個(gè)體，每個(gè)個(gè)體的第一個(gè)等位基因k應(yīng)滿足k6NN,+%+LyN+N+10］，N.是輸入層節(jié)點(diǎn)數(shù)，No是輸出層節(jié)點(diǎn)數(shù)；選擇激活函數(shù)，設(shè)置常數(shù)c，計(jì)算所有個(gè)體適應(yīng)度值。步驟二：用輪盤賭的方法選擇個(gè)體配對交叉，變異產(chǎn)生下一代。步驟三：隨機(jī)生成入侵種群，入侵種群規(guī)模由式(10)確定，每個(gè)個(gè)體的第一個(gè)等位基因k滿足k6［\/N"NO+\,、N^o+10］，入侵種群和遺傳變異種群合并成一個(gè)種群，計(jì)算該種群中各個(gè)體的適應(yīng)度值。最高適應(yīng)度值達(dá)到要求，或者達(dá)到最大迭代次數(shù)，算法停止，否則選擇M個(gè)函數(shù)適應(yīng)度值最高的個(gè)體，形成新一代種群，t加l轉(zhuǎn)向步驟二。步驟四：輸出適應(yīng)度值最高的個(gè)體，如果有多個(gè)適應(yīng)度值相同的個(gè)體，則選擇染色體長度最短的個(gè)體作為輸出。2實(shí)驗(yàn)結(jié)果分析2.1異或問題為了證明本文算法能快速得到更簡單的網(wǎng)絡(luò)結(jié)構(gòu)，將該算法運(yùn)用于解決異或問題，借此進(jìn)一步說明對復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化。算法中常數(shù)c=0.01，初始種群大小為100，經(jīng)過200次實(shí)驗(yàn)的平均數(shù)據(jù)以及與其它算法的比較如表l所示。表1異或問題結(jié)果比較算法平均計(jì)算單元數(shù)隱含是平均-節(jié)點(diǎn)數(shù)平均連接數(shù)種群大小本文算法2986L752.236.95100NNDT3308.622.337,91100NEVT5904.644.62巧，313曾有文獻(xiàn)提出NNDT使用結(jié)構(gòu)化網(wǎng)絡(luò)編碼方法，用啟發(fā)式規(guī)則約束網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的變異概率以及變異操作的選擇趨勢，并使用小生境機(jī)制進(jìn)行拓?fù)渥儺惐Ｗo(hù)；也有文獻(xiàn)提出NEVT用自適應(yīng)調(diào)整變異概率遺傳算法訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)。從表l可以看出，本文提出的算法在計(jì)算單元數(shù)比其它兩種算法的要少，計(jì)算單元數(shù)越少算法速度越快。本文最終得到的平均網(wǎng)絡(luò)結(jié)構(gòu)比NNDT算法以及NEVT算法得到的網(wǎng)絡(luò)結(jié)構(gòu)簡單。因此本文算法能快速訓(xùn)練前饋網(wǎng)絡(luò)并能得到更簡單的網(wǎng)絡(luò)結(jié)構(gòu)。這是由于物種入侵能帶來更多新網(wǎng)絡(luò)，促使算法從更加廣闊的解空間進(jìn)行搜索，找到更優(yōu)的解。3結(jié)論本文提出了一種基于物種入侵自適應(yīng)遺傳算法的設(shè)計(jì)和訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的算法。給出了一種與網(wǎng)絡(luò)對應(yīng)的染色體編碼方法。該編碼方法能應(yīng)用于相同物種和不同物種個(gè)體之間的交差操作，并使染色體與網(wǎng)絡(luò)一一對應(yīng)；給出了相應(yīng)的交差算子和具體的網(wǎng)絡(luò)訓(xùn)練算法。物種入侵?jǐn)U大算法在解空間中的搜索范圍，使算法能得到更優(yōu)解一一即網(wǎng)絡(luò)結(jié)構(gòu)更簡單，隱層節(jié)點(diǎn)數(shù)更少，連接數(shù)更少，泛化能力更強(qiáng)的人工神經(jīng)網(wǎng)絡(luò)；自適應(yīng)調(diào)整，加速算法的收斂過程，提高了算法的效率。最后的仿真實(shí)驗(yàn)有力地證明了本文算法的高效性和優(yōu)越性。參考文獻(xiàn)武妍，馮釗.一種基于混沌搜索的自適應(yīng)入侵遺傳算法[J].計(jì)算機(jī)應(yīng)用，2008,28(1)：101—103.ZhangQW，WangC.UsingGeneticAlgorithmtoOptimizeArtificialNeuralNetwork：ACaseStudyonEarthquakePrediction[c].GeneticandEvolutionaryComputing，2008:128一131.ChenZP，ZuluYM,ZhengY，et.NeuralNetworkElectricalMachineFaultsDiagnosisBasedonMulti.PopulationGA[C].IEEEInternationalJointConference，2008，3795一3798.馬芳芳.