基于遺傳規(guī)劃的單個神經(jīng)元的設計方法

基于遺傳規(guī)劃的單個神經(jīng)元的設計方法

1泛函網(wǎng)絡設計的復雜性電話網(wǎng)絡是castilo在1998年提出的有效神經(jīng)網(wǎng)絡推廣。與神經(jīng)網(wǎng)絡不同,泛函網(wǎng)絡處理的是一般泛函模型,它在各個神經(jīng)元之間的連接無權(quán)值,并且神經(jīng)元函數(shù)不固定,而是可學習的,常常是一個給定的函數(shù)簇(如多項式、三角函數(shù)、Fourier展開級數(shù)等)。泛函網(wǎng)絡已經(jīng)成功地被應用于混沌時間序列的預測,微分、差分和泛函方程的求解,CAD,線性、非線性回歸,非線性系統(tǒng)辨識等;泛函網(wǎng)絡在解決上述問題中都表現(xiàn)出較好的性能。然而,泛函網(wǎng)絡設計也是一個較為復雜的問題,其復雜性重要表現(xiàn)在3個方面:第一,采用什么類型的泛函網(wǎng)絡結(jié)構(gòu),往往由人類專家根據(jù)經(jīng)驗知識作出判斷;第二,泛函網(wǎng)絡的結(jié)構(gòu)和泛函參數(shù)的確定,這一點往往很難由人工確定;第三,在網(wǎng)絡的結(jié)構(gòu)確定的基礎上,再用基于梯度法的學習算法來確定最優(yōu)泛函參數(shù),同樣存在局部極小問題。而遺傳規(guī)劃(geneticprogramming,GP)為解決這些問題提供了一條新的更有潛力的途徑,其最大的特點是采用層次化的結(jié)構(gòu)表達問題,它類似于計算機程序分行或分段描述問題。這種廣義的計算機程序能根據(jù)環(huán)境狀態(tài)自動地改變程序的結(jié)構(gòu)和大小,尤其是其符號回歸技術(SymbolicRegression)更是直接對數(shù)學表達式進行操作,按算法樹的遍歷進行編碼,通過對輸入輸出數(shù)據(jù)分析建立描述復雜系統(tǒng)的數(shù)學表達式模型。基于這些特性,本文將遺傳規(guī)劃與泛函網(wǎng)絡有機地結(jié)合起來,將在泛函網(wǎng)絡構(gòu)造性設計框架下討論基于遺傳規(guī)劃實現(xiàn)泛函網(wǎng)絡神經(jīng)元函數(shù)自動設計與優(yōu)化方法。在泛函網(wǎng)絡中目前應用最廣泛的是可分離(separable)泛函網(wǎng)絡,它的泛函表達式是各個輸入變量分離作用效果的組合,本文只針對可分離泛函網(wǎng)絡進行討論。2神經(jīng)網(wǎng)絡的輸出一般的泛函網(wǎng)絡由以下元素組成:(1)輸入單元層。這是輸入數(shù)據(jù)的一層單元,輸入單元以帶有相應名字的實心圓來表示;(2)輸出單元層。這是最后一層單元,它輸出網(wǎng)絡的結(jié)果是數(shù)據(jù)。輸出單元也是帶有相應的名字來表示;(3)一層或多層神經(jīng)元。每一個神經(jīng)元是一個計算單元,它計算的是一組來自前一層神經(jīng)元或輸入單元的輸入值,并給下一層神經(jīng)元或輸出單元提供數(shù)據(jù)。計算單元相互連接,每一個神經(jīng)元的輸出可作為另一個神經(jīng)元或輸出單元輸入數(shù)據(jù)的一部分,一旦給定輸入值,輸出便由神經(jīng)元的類型來確定,它由一函數(shù)定義。例如,假如有一個神經(jīng)元具有s個輸入(x1,x2,…,xs)及k個函數(shù)fj,j=1,2,…,k,使得yj=fj(x1,x2,…,xs);j=1,2,…,k。函數(shù)fj由網(wǎng)絡的結(jié)構(gòu)來確定,神經(jīng)元由帶有相應fj函數(shù)的名稱用圓圈來表示;(4)有向連接線。它們將輸入層、中間層、輸出單元層連接起來,箭頭表示信息流向,所有這些元素一起形成了泛函網(wǎng)絡的結(jié)構(gòu),它確定了網(wǎng)絡的泛函計算能力。泛函網(wǎng)絡能夠擴展信號處理的范圍,它是對神經(jīng)網(wǎng)絡的一種直接推廣。圖1(a)給出了一簡單的泛函網(wǎng)絡結(jié)構(gòu)及對應神經(jīng)網(wǎng)絡結(jié)構(gòu)(圖1(b))。圖中的輸入模式是{x1,x2,x3},神經(jīng)元函數(shù)fi(i=1,2,3)輸出x6。特別神經(jīng)元函數(shù)fi(i=1,2,3)的選擇在泛函網(wǎng)絡中,根據(jù)Castillo的做法是將每一神經(jīng)元函數(shù)fi表示成一些已知函數(shù)簇的線性組合的形式。如:多項式、三角函數(shù)、Fourier展開級數(shù)等。在神經(jīng)網(wǎng)絡中,對每一神經(jīng)元函數(shù)fi,即激合函數(shù)常取Sigma函數(shù)、雙曲正切函數(shù)等。它與泛函網(wǎng)絡的神經(jīng)元函數(shù)區(qū)別在于神經(jīng)元函數(shù)fi是固定的,不可學習的。其次,泛函網(wǎng)絡沒有權(quán)值,而神經(jīng)網(wǎng)絡是帶權(quán)值等等。至于其它區(qū)別,本文不再一一贅述,可參考文。3泛函網(wǎng)絡的構(gòu)式泛函網(wǎng)絡與神經(jīng)網(wǎng)絡一樣,也有各種各樣的結(jié)構(gòu),人們不可能用一個統(tǒng)一的通用的結(jié)構(gòu)來描述所有的泛函網(wǎng)絡,也不可能用一個統(tǒng)一的函數(shù)來表示所有的泛函網(wǎng)絡。在泛函網(wǎng)絡應用研究中,應用最廣泛的是可分離(Separable)泛函網(wǎng)絡,它的泛函表達式是各輸入變量分離作用效果的組合。下面介紹兩種可分離泛函網(wǎng)絡模型。3.1可分離泛函網(wǎng)絡不妨考慮兩個輸入一個輸出的可分離泛函網(wǎng)絡模型(圖2)。圖2畫出的是一類兩個輸入x,y,一個輸出z可分離泛函網(wǎng)絡模型。該網(wǎng)絡的輸出有如下表達式:z=F(x?y)=n∑i=1fi(x)gi(y)(1)z=F(x?y)=∑i=1nfi(x)gi(y)(1)引理1方程n∑i=1fi(x)gi(y)=0∑i=1nfi(x)gi(y)=0(寫成向量的形式為fT(x)g(y)=0)的所有解可以表示成f(x)=A?(x),g(y)=Bφ(y)的形式,其中A,B分別為n×r和n×n-r常數(shù)矩陣,且ATB=0,?(x)=(?1(x),?2(x),…,?r(x)),φ(y)=(φr+1(y),φr+2(y),…,φn(y)),?(x),φ(y)是相互線性獨立的函數(shù)集,0≤r≤n。再考慮另一種多輸入、單輸出可分離泛函網(wǎng)絡模型(圖3)。該網(wǎng)絡的輸出有如下表達式:y=F(x1?x2???xn)=n∑i=1fi(xi)(2)y=F(x1?x2???xn)=∑i=1nfi(xi)(2)引理2(y=F(x1?x2???xn)=n∑i=1fi(xi)2(y=F(x1?x2???xn)=∑i=1nfi(xi)表達式唯一性)如果y=F(x1,x2,…,xn),有兩種表達式:F(x1?x2???xn)=n∑i=1fi(xi)=n∑i=1f′i(xi)(3)F(x1?x2???xn)=∑i=1nfi(xi)=∑i=1nf′i(xi)(3)則有以下關系成立:f′1(x1)=f1(x1)+c1,f′2(x2)=f2(x2)+c2,…,f′n-1(xn-1)=fn-1(xn-1)+cn-1,f′n(xn)=fn(xn)+(c1+c2+…+cn-1)式中ci,i=1,2,…,n是任意的常數(shù),由給定的泛函網(wǎng)絡的初始值確定。事實上,由于fi(xi)(i=1,2,…,n)各個函數(shù)的輸入變量不同及相互之間彼此線性無關性,我們很容易得出上述結(jié)論,該結(jié)論給以下基于GP的單個神經(jīng)元優(yōu)化設計奠定了理論基礎。進一步設yi=fi(x1,x2,…,xn),i=1,2,…,N(4)則圖3可分離泛函網(wǎng)絡的輸出為y=Ν∑i=1yi(5)y=∑i=1Nyi(5)也就是說,可分離泛函網(wǎng)絡可分解成如式(5)所示的N個神經(jīng)元組合,每個神經(jīng)元,根據(jù)Castillo的做法,是將每一神經(jīng)元函數(shù)fi表示成一些已知基函數(shù)簇的線性組合的形式,如在模型3中,每一神經(jīng)元函數(shù)fi可寫成fi(x)=n∑j=1aijφij(x)(6)fi(x)=∑j=1naijφij(x)(6)其中,aij泛函參數(shù),φij(x)為基函數(shù)簇,兩者都可通過學習而獲得。這樣,整個可分離泛函網(wǎng)絡的構(gòu)造性設計可變成單個神經(jīng)元逐個優(yōu)化的問題。一般地,可分離泛函網(wǎng)絡的構(gòu)造性設計步驟如下:①生成第一個神經(jīng)元,將初始的樣本集P和目標集T置為當前訓練集;②用當前訓練集訓練新生成的神經(jīng)元。本文將基于GP進行設計,直至訓練誤差達到要求,訓練停止,則整個設計過程結(jié)束,否則轉(zhuǎn)③;③對剛訓練好的神經(jīng)元,輸入P中各矢量x1,x2,…,xm,計算其實際輸出?yy?1,?yy?2,…,?yy?m,并將T調(diào)整為Τ′={yj=yj-?yj?j=1?2???m}T′={yj=yj?y?j?j=1?2???m};④生成一個新的神經(jīng)元。將P和調(diào)整為T′置為當前訓練集,轉(zhuǎn)向②。4在數(shù)學程式優(yōu)化方面的應用所謂單個泛函神經(jīng)元設計,就是根據(jù)當前訓練集優(yōu)化確定(6)式中各項待定的參數(shù),其中關鍵是處理的泛函神經(jīng)元函數(shù)類型的選取與優(yōu)化,其中基函數(shù){φij(x)|j=1,2,…,n}可以是一些標準的數(shù)學函數(shù)與若干個運算符構(gòu)成的一些表達式。遺傳規(guī)劃正是在數(shù)學表達式優(yōu)化方面有著獨特優(yōu)勢的一種優(yōu)化方法。遺傳規(guī)劃優(yōu)化的一般步驟是:①根據(jù)問題定義適當?shù)慕K止符集、函數(shù)(運算符)集、目標函數(shù)和適應度函數(shù);②根據(jù)函數(shù)集和終止符集隨機地生成若干個數(shù)學表達式(個體)組成父代種群;③根據(jù)種群中各個體的適應度值,對父代種群進行選擇、交叉、突變等遺傳操作產(chǎn)生新一代群體;④若新一代群體中有滿足要求的個體或迭代次數(shù)條件,則停止,否則將新一代種群置為父代種群轉(zhuǎn)③。4.1泛函神經(jīng)元模型在基于GP的泛函神經(jīng)元優(yōu)化設計中,終止符集就是由若干個標準數(shù)學函數(shù)類型(如pow,exp,log,sin,cos,…,x1,x2,…,xs)構(gòu)成的一個函數(shù)庫,可以把任何標準數(shù)學函數(shù)都放入到這個庫中去,庫中函數(shù)愈多,愈有利于構(gòu)造出與問題匹配的泛函神經(jīng)元類型。根據(jù)泛函神經(jīng)元的特點,GP優(yōu)化單個泛函神經(jīng)元函數(shù)類型的運算符集包括+、-、×、/。因為每個神經(jīng)元函數(shù)可由一些標準數(shù)學函數(shù)的線性組合。4.2泛函網(wǎng)絡的適應一般地,對于訓練神經(jīng)元而言,訓練目標是理想輸出與實際輸出的均方差RMSE最小。我們不妨定義待訓練神經(jīng)元函數(shù)的目標函數(shù)為yi=F(x1?x2???xn)=n∑i=1fi(x)(7)yi=F(x1?x2???xn)=∑i=1nfi(x)(7)式中fi(x)=n∑j=1aijφij(x)?aijfi(x)=∑j=1naijφij(x)?aij為泛函參數(shù),{φij(x)|j=1,2,…,n}為基函數(shù)集。適應度可定義為Fint=RΜSE=1m√m∑j=1(yj-?yj)2(8)Fint=RMSE=1m∑j=1m(yj?y?j)2???????????ue001?ue000ue000(8)式中,m是學習樣本總數(shù),yj和?yy?j分別是泛函網(wǎng)絡的預測輸出和實際輸出。在實際應用中,為了檢驗泛函網(wǎng)絡的逼近能力,人們將學習樣本分成兩部分,一部分用于計算適應值;另一部分用于測試樣本。4.3基于個數(shù)編碼的遺傳算法在GP中每一代包含眾多的個體,組成這一代的群體。每一個體用廣義的層次狀計算機程序表達,它由函數(shù)集F及終止符集T組成。函數(shù)集F包含n個函數(shù):F={f1,f2,…,fn}(9)函數(shù)集內(nèi)的函數(shù)fi可以是運算符,如+,-,*,/等算術運算符和標準數(shù)學函數(shù),如sin,cos,log,exp,……。若令G={算術運算符},H={標準數(shù)學函數(shù)},則有F=G∪H(10)終止符集T包含m個終止符:T={t1,t2,…,tm}(11)終止符集中終止符可以是變量,如:x,y,…,z;或常量如:a,b,π,…;同樣若令U={變量},V={常量},則有T=U∪V(12)用GP對單個神經(jīng)元進行優(yōu)化,每給定神經(jīng)元一組式(4)、(6)所示的待定參數(shù)就產(chǎn)生了該神經(jīng)元的一個個體,在本問題中,染色體不再是傳統(tǒng)的二進制位串,而是采用實數(shù)直接編碼表示,神經(jīng)元函數(shù)的類型是若干個標準數(shù)學函數(shù)的線性組合形式,顯然,神經(jīng)元的整個個體在程序中只能表示為一個結(jié)構(gòu)體。我們在分析時把函數(shù)的表達式用數(shù)據(jù)結(jié)構(gòu)中采用的方法——二叉樹表示,節(jié)點集合=F,葉節(jié)點=T,進而把基于實數(shù)編碼的遺傳操作改進為針對二叉樹的遺傳操作。我們由運算的優(yōu)先級知道,一個函數(shù)的二叉樹表示可能不是惟一的,但由它的二叉樹表示得到的節(jié)點集合和葉節(jié)點集合一定是惟一的?；谶@些特性,我們利用二叉樹作為算法樹,容易直觀地完成對GP中復制、交換和突變算子的操作。4.4算法一:基于最優(yōu)個體的效能加害機關具有完全變異和參數(shù)調(diào)整操作由于神經(jīng)元的個體是一個含有標準數(shù)學函數(shù)的復雜結(jié)構(gòu)體,為了方便,可不使用交叉操作,而使用2種變異操作,完全變異操作和參數(shù)調(diào)整操作。前者隨機地產(chǎn)生與父代個體完全不同的全新個體,以取代種群中劣質(zhì)個體;后者只是針對優(yōu)良的父代個體的操作,不變化其神經(jīng)元函數(shù)的類型,只在小范圍內(nèi)對其他參數(shù)進行調(diào)整產(chǎn)生新個體。將選擇操作和上述變異操作相結(jié)合則實現(xiàn)進化,直至獲得最優(yōu)群體。5增加密度的增加實驗中泛函網(wǎng)絡神經(jīng)元函數(shù)類型庫由F=G∪H,其中G={+,-,*,/,…},H={sin,cos,tan,ctg,In,…}組成,實際中可以根據(jù)需要任意增減,增減數(shù)據(jù)庫中的函數(shù)類型與方法本身無多大的關系;其次終止符集T=U∪V;其中U={x,y,…,z};V={a,b,…,c,π…},同樣實際中可以根據(jù)需要任意增減,也與方法本身關系不大。5.1神經(jīng)元自適應識別實驗1測試相同網(wǎng)絡規(guī)模下選取不同函數(shù)基的逼近性能。用本文方法進行典型的可分離泛函網(wǎng)絡構(gòu)造性設計,當訓練誤差達到要求精度,停止訓練并記下此時所需神經(jīng)元個數(shù)及構(gòu)成每一神經(jīng)元函數(shù)所需基函數(shù)。測試函數(shù)為:①1+x+y2+xy2;②x2+4sin(y);③0.1sinx+tg(siny))。訓練樣本數(shù)據(jù)用函數(shù)Random隨機產(chǎn)生,樣本數(shù)據(jù)個數(shù)≥10,訓練誤差用適應度(8)式計算,即均方差來計算,仿真結(jié)果見表1。5.2嵌入gp的擬合精度某物理實驗中,使電流i通過2Ω的電阻,用伏特表測得電阻兩端的電壓為V,多次實驗測得的數(shù)據(jù)如表2所示,要求找出i與V的關系式φ(i),使其滿足V=φ(i)。當取F={+,-,*,sin,cos,exp,In},T={i}時,樹深為7時,神經(jīng)元個數(shù)為1時,計算得到精度高的模型:V=0.05133534253sini2×1.990574910i+0.0016913771i2-0.01404056012-0.03087686991cos2i-0.003207754783i×sini-0.2870149533sini。其均方差為RMSE=0.9414691249e-13。其擬合的準確度易從圖5看出。該模型是對多個簡單函數(shù)復合