優(yōu)化中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)參數(shù)的MIGA-1 算法.pdf

收稿日期:2008-01-14；修回日期:2008-03-24基金項(xiàng)目:國(guó)家自然科學(xué)基金資助項(xiàng)目(60672018)；廈門(mén)理工學(xué)院科研啟動(dòng)基金資助項(xiàng)目(YKJ07012R)作者簡(jiǎn)介:吳蕓(1979-),女,博士,主要研究方向?yàn)檐浻?jì)算、中醫(yī)信息處理()；周昌樂(lè)(1962-),男,教授,博導(dǎo),博士,主要研究方向?yàn)槿斯ぶ悄?優(yōu)化中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)參數(shù)的MIGA-1算法*吳蕓1,周昌樂(lè)2(1.廈門(mén)理工學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系,福建廈門(mén)361024；2.廈門(mén)大學(xué)信息科學(xué)與技術(shù)系,福建廈門(mén)361005)摘要:從分析中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)的不足出發(fā),在基于Meta種群理論免疫遺傳算法(MIGA)的基礎(chǔ)上設(shè)計(jì)了一種優(yōu)化中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)參數(shù)的免疫遺傳算法MIGA-1優(yōu)化算法。實(shí)驗(yàn)結(jié)果表明,以MIGA-1算法作為參數(shù)優(yōu)化機(jī)制的中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)具有更好的自我適應(yīng)能力,減少了人為設(shè)定參數(shù)的隨意性。關(guān)鍵詞:免疫遺傳算法；中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)；優(yōu)化中圖分類(lèi)號(hào):TP301.6文獻(xiàn)標(biāo)志碼:A文章編號(hào):1001-3695(2008)10-2949-02MIGA-1foroptimizedEPSNNsparametersWUYun1,ZHOUChang-le2(1.Dept.ofComputerScience&Technology,XiamenUniversityofTechnology,XiamenFujian361024,China；2.Dept.ofInformationSci-ence&Technology,XiamenUniversity,XiamenFujian361005,China)Abstract:AnalyzingtheshortcomingoftheEPSNN,thispaperdesignedakindofimmunitygeneticalgorithmMIGA-1tooptimizetheEPSNNsparameters,whichwasbasedontheMIGAalgorithm.AndtheexperimentalresultsshowthattheMI-GA-1canmaketheEPSNNhavebetteradaptabilityanddecreasetherandomicitytotheartificialselectionoftheparameters.Keywords:immunitygeneticalgorithm(IGA)；TCMeightprincipalsyndromesANN(EPSNN)；optimization中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)模型1主要根據(jù)對(duì)標(biāo)準(zhǔn)樣本病例的“記憶”和人為設(shè)定參數(shù),對(duì)病例進(jìn)行辨證分析計(jì)算,對(duì)標(biāo)準(zhǔn)樣本病例的模范性和人為設(shè)定參數(shù)的合理性要求高。而標(biāo)準(zhǔn)樣本病例是通過(guò)人工歸納總結(jié)獲得,所以中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)模型根據(jù)臨床病例自動(dòng)學(xué)習(xí)的能力較差,不利于中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)模型的臨床實(shí)用性推廣。為此,需要引入對(duì)臨床病例的“學(xué)習(xí)”能力,使其能夠提高自適應(yīng)能力,減少對(duì)標(biāo)準(zhǔn)樣本病例的模范性要求和依賴性,以及人為設(shè)定參數(shù)的隨意性。但是根據(jù)中醫(yī)辨證機(jī)制特點(diǎn),采用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)策略不能滿足對(duì)中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)的優(yōu)化要求。因此,采用具有全局搜索能力的遺傳算法作為中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)機(jī)制,實(shí)現(xiàn)達(dá)到對(duì)中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)的優(yōu)化目的。本文首先在MIGA優(yōu)化算法2的基礎(chǔ)上設(shè)計(jì)了MIGA-1優(yōu)化算法,對(duì)中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)模型的相關(guān)參數(shù)進(jìn)行優(yōu)化。在基本保證中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)模型辨證計(jì)算準(zhǔn)確性的基礎(chǔ)上,提高中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)模型的自適應(yīng)能力,減少人為設(shè)定參數(shù)的隨意性。1中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)本文設(shè)計(jì)的中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)采用三層前饋式神經(jīng)網(wǎng)絡(luò)模型,如圖1所示。中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)采用三層前饋式神經(jīng)網(wǎng)絡(luò)模型,其神經(jīng)元數(shù)目以及神經(jīng)元間的連接相對(duì)固定,輸入層的預(yù)處理神經(jīng)元與辨證計(jì)算隱層的第一子層神經(jīng)元的連接權(quán)值是由輸入樣本決定,而辨證計(jì)算隱層第二子層神經(jīng)元與輸出層的后處理神經(jīng)元的連接權(quán)值由期望結(jié)果向量決定。其中第一子層神經(jīng)元的激活函數(shù)中包含兩個(gè)重要的參數(shù):a)函數(shù)f(x)的方差。它控制函數(shù)方差可以得到不同的分類(lèi)器,有利于根據(jù)實(shí)際待分類(lèi)的問(wèn)題適當(dāng)調(diào)整神經(jīng)網(wǎng)絡(luò)的分類(lèi)性質(zhì),但人工選擇適合于中醫(yī)八綱辨證的分類(lèi)器比較困難,并且隨機(jī)獲取的參數(shù)具有很大的盲目性,不一定是最適合中醫(yī)八綱辨證的數(shù)值。b)第一子層神經(jīng)元的閾值。它能夠適當(dāng)?shù)卣{(diào)整激活函數(shù),提高隱層神經(jīng)元激活函數(shù)的計(jì)算準(zhǔn)確度。因此,有必要根據(jù)輸入的樣本數(shù)據(jù)對(duì)參數(shù)和進(jìn)行優(yōu)化,尋找最合適的和。由于中醫(yī)八綱辨證神經(jīng)網(wǎng)具有獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu),采用傳統(tǒng)學(xué)習(xí)機(jī)制進(jìn)行學(xué)習(xí),計(jì)算量大,而且受到訓(xùn)練樣本的限制。筆者以具有全局擇優(yōu)能力的MIGA算法理論為基礎(chǔ)設(shè)計(jì)了MIGA-1算法對(duì)網(wǎng)絡(luò)參數(shù)和進(jìn)行優(yōu)化。2優(yōu)化中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)參數(shù)的MIGA-1算法MIGA-1算法是根據(jù)MIGA優(yōu)化算法理論2,對(duì)中醫(yī)八綱第25卷第10期2008年10月計(jì)算機(jī)應(yīng)用研究ApplicationResearchofComputersVol.25No.10Oct.2008辨證神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化的免疫遺傳算法。因此MIGA-1算法繼承了MIGA優(yōu)化算法的優(yōu)點(diǎn),能夠在全局范圍內(nèi)有效地搜索中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)的最優(yōu)參數(shù)值。2.1編碼采用雙染色體的二進(jìn)制編碼。其中一條染色體包含參數(shù)的信息(染色體)；另一條染色體包含參數(shù)的信息(染色體),如圖2所示。其中,每條染色體中包含以小數(shù)點(diǎn)分隔的兩部分。小數(shù)點(diǎn)左邊部分(m位數(shù),m1)表示數(shù)值的整數(shù)部分,其范圍為0,2m-1；小數(shù)點(diǎn)右邊部分(n位數(shù),n1)表示數(shù)值的小數(shù)部分,其范圍為0,2n-1。其中,m,nZ+。2.2適應(yīng)函數(shù)由于本文設(shè)計(jì)的中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)的連接權(quán)值是利用樣本集設(shè)置的,在對(duì)中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)參數(shù)和的進(jìn)化過(guò)程中,若利用標(biāo)準(zhǔn)樣本集來(lái)測(cè)試種群個(gè)體的適應(yīng)度,參數(shù)和取任何值,網(wǎng)絡(luò)的性能是一樣的。采用網(wǎng)絡(luò)對(duì)測(cè)試集計(jì)算的結(jié)果尋找網(wǎng)絡(luò)最優(yōu)的參數(shù)和,適應(yīng)度計(jì)算函數(shù)為f=Ei(Vs)。其中:E(Vs)=1/MSE(x)+；是隨機(jī)值；是選定的小于1大于0的參數(shù)；Vs是測(cè)試樣本集；MSE(x)=不符合期望的中醫(yī)證型數(shù)目。2.3交叉操作在MIGA-1算法運(yùn)行過(guò)程中,交叉概率pc隨著種群適應(yīng)值的變化而自動(dòng)調(diào)整。設(shè)MIGA種群中局部種群內(nèi)第i個(gè)體的交叉概率為pic,則pic=(fmax-fi)/(fmax-f)fifpicfif其中:是小于1的常數(shù),初始時(shí)由隨機(jī)機(jī)制產(chǎn)生；fi是參與變異個(gè)體i的適應(yīng)值；fmax、f分別是群體中最高適應(yīng)值和局部種群個(gè)體平均適應(yīng)值；fmax-f體現(xiàn)了局部種群的收斂程度,若fmax-f值小,說(shuō)明局部種群已趨于收斂,應(yīng)適當(dāng)加大交叉概率pc,控制參與交叉操作的個(gè)體數(shù)量。對(duì)雙染色體進(jìn)行交叉操作,雙位點(diǎn)異步交叉操作,即在染色體小數(shù)點(diǎn)左右兩側(cè)各選交叉點(diǎn)進(jìn)行交叉操作。染色體和染色體交叉點(diǎn)的位置可以不一致,如圖3所示。染色體虛線框中的基因進(jìn)行交換和染色體虛線框中的基因進(jìn)行交換,它們各自選擇的交叉點(diǎn)允許不同。小數(shù)點(diǎn)左邊染色體的交叉點(diǎn)定位為0,m,右邊染色體的交叉點(diǎn)定位為0,n,0位置規(guī)定為小數(shù)點(diǎn)的左右兩邊。當(dāng)染色體左右兩邊交叉操作同時(shí)定位為0或左邊染色體交叉操作定位為m,右邊染色體交叉操作定位為n時(shí),認(rèn)為定位失敗,重新定位。2.4變異操作在MIGA-1算法運(yùn)行過(guò)程中,變異概率pm隨著種群適應(yīng)值的變化而自動(dòng)調(diào)整。設(shè)MIGA-1種群中局部種群內(nèi)第i個(gè)體的變異概率為pim,則pim=(fmax-fi)/(fmax-f)fifpimfif其中:是小于1大于0的常數(shù),初始時(shí)由隨機(jī)機(jī)制產(chǎn)生；fim是參與變異個(gè)體i的適應(yīng)值；fmax、f分別是群體中最高適應(yīng)值和局部種群個(gè)體平均適應(yīng)值；fmax-f體現(xiàn)了局部種群的收斂程度,若fmax-f值小,說(shuō)明局部種群已趨于收斂。適當(dāng)調(diào)整變異概率pm可以控制參與變異操作的個(gè)體數(shù)量。變異操作采用不定點(diǎn)變異對(duì)個(gè)體進(jìn)行變異操作,即選定進(jìn)行變異操作的個(gè)體根據(jù)該個(gè)體的適應(yīng)值進(jìn)行變異點(diǎn)的選擇。若個(gè)體適應(yīng)值大,變異點(diǎn)數(shù)目減少；若個(gè)體適應(yīng)值小,其變異點(diǎn)數(shù)目增多。變異點(diǎn)數(shù)m=1/fi=MSE(Vs),即與期望結(jié)果不符合的八綱證型個(gè)數(shù)作為該個(gè)體變異點(diǎn)的個(gè)數(shù)。2.5進(jìn)化終止條件進(jìn)化終止條件是MIGA-1算法停止進(jìn)化的判斷條件。從兩個(gè)方面終止進(jìn)化:a)已經(jīng)達(dá)到指定進(jìn)化代數(shù)；b)某個(gè)局部種群中的個(gè)體適應(yīng)值已達(dá)到要求,即找到最優(yōu)解。在優(yōu)化中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)參數(shù)時(shí),局部種群的當(dāng)代最優(yōu)解視為含有記憶B細(xì)胞的個(gè)體。Meta-種群規(guī)模為610個(gè),每個(gè)局部種群規(guī)模隨機(jī)確定,設(shè)定小于200。每個(gè)局部種群的規(guī)模大小可以不相同。3實(shí)驗(yàn)結(jié)果及其分析筆者選擇了11個(gè)標(biāo)準(zhǔn)樣本病例作為八綱辨證神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)樣本,八綱辨證神經(jīng)網(wǎng)絡(luò)的輸入預(yù)處理層有8個(gè)輸入預(yù)處理神經(jīng)元；辨證計(jì)算隱層的第一子層有11個(gè)計(jì)算神經(jīng)元,第二子層是6個(gè)計(jì)算神經(jīng)元；輸出后處理元1個(gè),網(wǎng)絡(luò)最后的輸出神經(jīng)元有8個(gè),分別表示表證、里證、虛證、實(shí)證、寒證、熱證、陰虛證、陽(yáng)虛證；八綱辨證神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)連接采用全連接方式,并根據(jù)樣本病例設(shè)置連接權(quán)值,如表1和2所示。在早期的研究中,中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)對(duì)網(wǎng)絡(luò)參數(shù)和的選定,是根據(jù)網(wǎng)絡(luò)辨證計(jì)算結(jié)果進(jìn)行人工調(diào)整,從中選擇能夠使網(wǎng)絡(luò)辨證計(jì)算結(jié)果相對(duì)最優(yōu)的參數(shù)和值。為了避免上述人為操作,采用MIGA-1優(yōu)化算法查找中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)的最優(yōu)參數(shù)和。其中經(jīng)多次100次進(jìn)化迭代訓(xùn)練后,中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)對(duì)測(cè)試樣本辨證計(jì)算誤差值最小的網(wǎng)絡(luò)參數(shù)值為=0.75,=196819713976147831943218076。根據(jù)參數(shù)和尋優(yōu)后的數(shù)值,中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)對(duì)43例病例進(jìn)行辨證計(jì)算。實(shí)驗(yàn)表明MIGA-1算法在一定程度上提高了八綱辨證神經(jīng)網(wǎng)絡(luò)的辨證計(jì)算的準(zhǔn)確性、計(jì)算性能和臨床適應(yīng)能力,具體結(jié)果見(jiàn)表3。表1八綱辨證神經(jīng)網(wǎng)絡(luò)辨證計(jì)算隱層第一子層的連接權(quán)值出入發(fā)熱惡寒體色小便色年齡病程舌色苔色舌形聲息脈力度1100000002-100000003001000-1-1400100-10-1500000-1-1-160010000-1700-110111800-110011900000011100-10-1-10001101011000注:入為輸入預(yù)處理層神經(jīng)元；出為辨證計(jì)算隱層第一子層神經(jīng)元(下轉(zhuǎn)第2976頁(yè))0592計(jì)算機(jī)應(yīng)用研究第25卷表2函數(shù)F4F7的測(cè)試結(jié)果函數(shù)全局最優(yōu)解偏離度NPSONichePSO收斂率/%NPSONichePSOF41.0000004.47E-092.20E-04100100F51.0000001.73E-076.43E-0210093F61.0000006.08E-084.86E-05100100F71.0000003.81E-086.68E-02100935結(jié)束語(yǔ)多峰值函數(shù)優(yōu)化問(wèn)題中,多峰值導(dǎo)致算法易陷入到局部極值。PSO算法只能找到一個(gè)解,因此PSO算法求解多峰值函數(shù)問(wèn)題是人們關(guān)注的難題。小生境技術(shù)雖然是解決多峰值函數(shù)的有力工具,但小生境半徑等參數(shù)極大地限制了小生境技術(shù)的使用效果。為此,本文提出了一種新穎的方法,無(wú)須嚴(yán)格地界定小生境區(qū)間,而通過(guò)判斷兩個(gè)點(diǎn)是否屬于同一座山峰,克服小生境技術(shù)使用中需要小生境半徑的缺點(diǎn)。在進(jìn)化過(guò)程中,使粒子追蹤所在山峰的最優(yōu)粒子飛行,找到多峰函數(shù)的所有極值,克服了PSO算法只能找到一個(gè)解的缺點(diǎn)。通過(guò)仿真實(shí)驗(yàn),驗(yàn)證了算法的高效有效性。參考文獻(xiàn):1ENNEDYJ,EBERHARTRC.ParticleswarmoptimizationC/ProcofIEEEInternationalConferenceonNeuralNetworks.NewYork:IEEE,1995:1942-1948.2SHIY,EBERHARTRC.AmodifiedparticleswarmoptimizerC/ProcofIEEEInternationalConferenceonEvolutionaryCompu-tation.Piscataway:IEEE,1998:67-73.3MAHFOUDSW.NichingmethodsforgeneticalgorithmsD.S.l.:IllinoisGeneticAl-orithmLaboratory,UniversityofIllinoisatUrbana-Champaign,1995.4CAVICCHIODJ.AdaptivesearchusingsimulatedevolutionD.Michigan,ArborIllinois:UniversityofMichigan,1970.5DeJONGKA.Ananalysisofthebehaviorofaclassofgeneticadap-tivesystemsD.Michigan:UniversityofMichigan,1975.6MAHFOUDSW.CrowdingandpreselectionrevisitedM/MAN-NERR,MANDERICKB.Parallelproblemsolvingfromnature.North-Holland:Elsevier,1992:27-36.7GOLDBERGDE,RICHARDSONJJ.Geneticalgorithmswithsha-ringformultimodalfunctionoptimizationC/Procofthe2ndInter-nationalConferenceonGeneticAlgorithms.1987:41-49.8BEASLEYD,BULLDR,MARTINRR.Asequentialnichetech-niqueformultimodalfunctionoptimizationJ.EvolutionaryCom-putation,1993,1(2):101-125.9YINX,GERMAYN.AfastgeneticalgorithmwithsharingschemeusingsharingschemeusingclusteranalysismethodsinmultimodalfunctionoptimizationC/ProcofInternationalConferenceonArtifi-cialNeuralNetworksandGeneticAlgorithms.1993:450-457.10PETROWSKIA.AclearingprocedureasanichingmethodforgeneticalgorithmsC/ProcofIEEEInternationalConferenceonEvolutio-naryComputation.Nagoya:s.n.,1996:798-803.11BRITSR,ENGELBRECHTAP,VANDENBERGHF.AnichingparticleswarmoptimizerC/Procofthe4thAsia-PacificConfonSimulatedEvolutionandLearning.2002:692-696.12BERGHFVANDEN,ENGELBRECHTAP.Anewlocallyconver-gentparticleswarmoptimizerC/ProcofIEEEConferenceonSys-tem,ManandCybernetics.2002:96-101.13PRESSWH,TEUKOLSKYSA,VETTERLINGWT,etal.Nume-ricalrecipesinC:theartofscientificcomputingM.2nded.Cam-bridge:CambridgeUniversityPress,1992.14王小平,曹立明.遺傳算法理論、應(yīng)用于軟件實(shí)現(xiàn)M.西安:西安交通大學(xué)出版社,2002.(上接第2950頁(yè))表2八綱辨證神經(jīng)網(wǎng)絡(luò)辨證計(jì)算隱層第二子層的連接權(quán)值出入1234567891011110000000000201000000000300111100000400000011100500000000010600000000001注:入為辨證計(jì)算隱層第一子層神經(jīng)元；出為辨證計(jì)算隱層第二子層神經(jīng)元。表343例八綱病例八綱證型對(duì)比表編號(hào)中醫(yī)師診斷結(jié)果NN診斷結(jié)果參數(shù)尋優(yōu)后編號(hào)中醫(yī)師診斷結(jié)果NN診斷結(jié)果參數(shù)尋優(yōu)后1表表表23陰虛陰虛虛2表熱表熱表熱虛24虛虛虛熱3里里里25里實(shí)里實(shí)熱里實(shí)熱4表熱表表26里虛里虛里虛5虛虛虛27里熱熱里里熱6表寒寒表寒28表虛表虛表虛7虛虛虛29陽(yáng)虛陽(yáng)虛陽(yáng)虛8寒寒寒30寒寒實(shí)寒實(shí)9虛虛虛31陽(yáng)虛陽(yáng)虛陽(yáng)虛10寒寒實(shí)寒實(shí)32寒寒寒11虛虛虛33里實(shí)熱里實(shí)熱里實(shí)熱12陽(yáng)虛陽(yáng)虛里虛34虛熱虛熱虛熱13實(shí)實(shí)實(shí)35陰虛陰虛陰虛14熱虛熱虛虛熱36虛虛虛熱15實(shí)實(shí)實(shí)37里實(shí)熱里實(shí)熱里實(shí)熱16表表表38虛熱熱虛熱虛17實(shí)實(shí)實(shí)熱39里實(shí)里實(shí)實(shí)里虛18實(shí)實(shí)實(shí)40陰虛陰虛陰虛19寒寒寒41里熱熱里里熱20實(shí)實(shí)實(shí)熱42陰虛陰虛陰虛21熱熱熱實(shí)43表實(shí)熱表實(shí)表實(shí)22虛虛實(shí)寒4結(jié)束語(yǔ)實(shí)驗(yàn)結(jié)果表明基于MIGA算法理論設(shè)計(jì)的MIGA-1算法對(duì)中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)的參數(shù)具有一定的優(yōu)化能力。因此,MIGA-1作為中醫(yī)八綱辨證神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)優(yōu)化參數(shù)的算法,雖然增加了