管理決策方法(神經(jīng)網(wǎng)絡(luò)及遺傳算法)

第1章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)1.1人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史1.2生物神經(jīng)元和人工神經(jīng)元1.3生物神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)

1.1人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史

人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，簡(jiǎn)稱ANN或AN2）是由大量而又簡(jiǎn)單的神經(jīng)元按某種方式連接形成的智能仿生動(dòng)態(tài)網(wǎng)絡(luò)，它是在不停頓地向生物神經(jīng)網(wǎng)絡(luò)(BiologicalNeuralNetwork，簡(jiǎn)稱BNN或BN2)學(xué)習(xí)中開(kāi)始自己學(xué)科生涯的。

BN2作為一門(mén)科學(xué)，興起于19世紀(jì)末期。1875年意大利解剖學(xué)家Golgi用染色法最先識(shí)別出單個(gè)神經(jīng)細(xì)胞。1889年西班牙解剖學(xué)家Cajal創(chuàng)立神經(jīng)元學(xué)說(shuō)，該學(xué)說(shuō)認(rèn)為：神經(jīng)元的形狀呈兩極，細(xì)胞體和樹(shù)突可以接受其他神經(jīng)元的沖動(dòng)，軸索的功能是向遠(yuǎn)離細(xì)胞體的方向傳遞信號(hào)。

1943年，法國(guó)心理學(xué)家W.S.McCuloch和W.Pitts在分析、綜合神經(jīng)元基本特征的基礎(chǔ)上，提出了第一個(gè)神經(jīng)元數(shù)學(xué)模型（M-P模型），開(kāi)創(chuàng)了人類自然科學(xué)技術(shù)史上的一門(mén)新型學(xué)科——AN2的研究。從1943年到現(xiàn)在，半個(gè)多世紀(jì)過(guò)去了，AN2的發(fā)展歷經(jīng)波折，頗具戲劇性。今天，當(dāng)神經(jīng)網(wǎng)絡(luò)和神經(jīng)計(jì)算機(jī)已經(jīng)發(fā)展成為一門(mén)多學(xué)科領(lǐng)域的邊緣交叉學(xué)科的時(shí)候，當(dāng)傳統(tǒng)的智能學(xué)科，如人工智能、知識(shí)工程、專家系統(tǒng)等也需要發(fā)展而把目光轉(zhuǎn)向AN2的時(shí)候，如實(shí)地介紹AN2當(dāng)前面臨的難題，客觀地評(píng)價(jià)AN2的應(yīng)用成果，探討AN2研究的突破口，都是極有益處的。1.1.120世紀(jì)40年代——神經(jīng)元模型的誕生

1943年提出的M-P模型采用神經(jīng)節(jié)概念，把神經(jīng)元看做雙態(tài)開(kāi)關(guān)，利用布爾邏輯函數(shù)對(duì)神經(jīng)過(guò)程進(jìn)行數(shù)學(xué)模擬。這個(gè)模型不僅沿用到今天，而且其創(chuàng)建方式一直啟發(fā)后人發(fā)揚(yáng)

并貫穿至今，直接影響了這一領(lǐng)域研究的全過(guò)程。

1948年，JohnVonNeumann(指令存儲(chǔ)式電子計(jì)算機(jī)以他的名字馮·諾依曼命名)研究比較過(guò)人腦結(jié)構(gòu)和指令存儲(chǔ)式計(jì)算機(jī)的聯(lián)系與區(qū)別，提出以簡(jiǎn)單神經(jīng)元構(gòu)成自再生自動(dòng)機(jī)

網(wǎng)絡(luò)。

1949年，心理學(xué)家D.O.Hebb提出神經(jīng)元群、突觸和返響回路的概念。他根據(jù)心理學(xué)中條件反射基理，研究AN2中合適的學(xué)習(xí)方式，探討了神經(jīng)細(xì)胞間連接強(qiáng)度的變化規(guī)律，

概括成著名的Hebb學(xué)習(xí)法則：如果兩個(gè)神經(jīng)元都處于興奮激活狀態(tài)，那么彼此的突觸連接權(quán)就會(huì)得到增強(qiáng)。40年后，有人指出了Hebb法則的局限性。1.1.220世紀(jì)50年代——從單神經(jīng)元到單層網(wǎng)絡(luò)，形成第一次熱潮

1958年，F(xiàn).RoSenblatt提出具有學(xué)習(xí)能力的“感知機(jī)”模型，完成了從單個(gè)神經(jīng)元到三層神經(jīng)網(wǎng)絡(luò)的過(guò)渡。

原型感知機(jī)由感知層S、連接層A和反應(yīng)層R等三層構(gòu)成，由于從感知層S到連接層A的連接權(quán)固定，從連接層A到反應(yīng)層R的連接權(quán)具有因?qū)W習(xí)而變化的能力，因此它實(shí)質(zhì)上只是一種只有輸入層和輸出層的單層神經(jīng)網(wǎng)絡(luò)。這種模型以強(qiáng)化控制系統(tǒng)作為“教師”信號(hào)指導(dǎo)網(wǎng)絡(luò)開(kāi)展學(xué)習(xí)，首次把理論探討付諸工程實(shí)踐，引起人們廣泛注意并廣為效仿。世界上許多實(shí)驗(yàn)室都仿制感知機(jī)用于文字識(shí)別、聲音識(shí)別、聲納信號(hào)識(shí)別及學(xué)習(xí)記憶。1.1.320世紀(jì)60年代——學(xué)習(xí)多樣化和AN2的急劇冷落

1960年，Widrow和Hoff提出自適應(yīng)線性元Adaline(adaptivelinearelement)網(wǎng)絡(luò)，這是在當(dāng)時(shí)研究大腦自適應(yīng)學(xué)習(xí)系統(tǒng)的基礎(chǔ)上提出的單層前饋感知機(jī)模型。它使用的均方誤差最小化算法與感知器的誤差修正算法雖然形式上相同，但閾值符號(hào)發(fā)生了改變，使得兩者的學(xué)習(xí)有著本質(zhì)的區(qū)別：前者的數(shù)學(xué)基礎(chǔ)在于超平面位置調(diào)整，后者的數(shù)學(xué)基礎(chǔ)在于誤差曲面上的梯度下降。20多年以后，人們發(fā)現(xiàn)Widrow的這些理論成了神經(jīng)學(xué)習(xí)系統(tǒng)的基本法則。

1961年，Caianiello發(fā)表了關(guān)于神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)的理論著作，提出了神經(jīng)元方程，用布爾代數(shù)模擬機(jī)能的動(dòng)力過(guò)程、分析并研制細(xì)胞有限自動(dòng)機(jī)的理論模型。

1969年，美國(guó)人工智能學(xué)家M.Minsky和S.Papert出版了《Perceptrons》(感知機(jī))一書(shū)，證明了單層神經(jīng)網(wǎng)絡(luò)甚至不能解決像“異或”這種簡(jiǎn)單運(yùn)算問(wèn)題，并且不能訓(xùn)練已發(fā)現(xiàn)的許多模式。甚至還有觀點(diǎn)認(rèn)為：把感知機(jī)擴(kuò)展成多層裝置是沒(méi)有意義的。由于人工智能的巨大成就以及作者的權(quán)威和影響很大，使神經(jīng)網(wǎng)絡(luò)沿感知機(jī)方向的發(fā)展急劇降溫。1.1.420世紀(jì)70年代——在低迷中頑強(qiáng)地發(fā)展

AN2出現(xiàn)低潮的原因有三個(gè)：第一，VonNeumann型計(jì)算機(jī)的發(fā)展處于鼎盛時(shí)期，運(yùn)算速度和存儲(chǔ)容量日益提高，軟件需求日益增多，人們誤以為發(fā)展了計(jì)算機(jī)的硬件及軟件

就可以完成模擬人類的認(rèn)知過(guò)程；第二，單層神經(jīng)網(wǎng)絡(luò)功能有限；第三，多層神經(jīng)網(wǎng)絡(luò)沒(méi)有有效的學(xué)習(xí)算法。在研究基金銳減、大批研究人員轉(zhuǎn)向的情況下，仍然有少數(shù)具有遠(yuǎn)見(jiàn)卓識(shí)的學(xué)者堅(jiān)持不懈地持續(xù)研究工作。資料表明，在這十幾年內(nèi)提出的各類神經(jīng)網(wǎng)絡(luò)模型與20世紀(jì)五六十年代相比，種類還要繁多，結(jié)構(gòu)還要復(fù)雜，性能還要完善。其中最主要的功能模型是聯(lián)想記憶模型、認(rèn)知模型和競(jìng)爭(zhēng)性模型，例如Kohonen于1981年提出的具有競(jìng)爭(zhēng)機(jī)制的自組織特征映射（SOM）網(wǎng)絡(luò)。1.1.520世紀(jì)80年代——AN2研究熱潮再度興起

1982年，美國(guó)加州理工學(xué)院生物物理學(xué)家Hopfield采用全互連型神經(jīng)網(wǎng)絡(luò)模型，應(yīng)用能量函數(shù)的概念，成功地解決了數(shù)字電子計(jì)算機(jī)不善于解決的經(jīng)典人工智能難題——旅行商最優(yōu)路徑(TSP)問(wèn)題，這是AN2研究史上一次重大突破，引起了全世界的極大關(guān)注。各國(guó)學(xué)者紛紛跟隨其后介入神經(jīng)網(wǎng)絡(luò)領(lǐng)域。

1983年，Sejnowski和Hinton提出了“隱單元”概念，推出大規(guī)模并行處理的Boltzmann機(jī)，使用多層神經(jīng)網(wǎng)絡(luò)并行分布改變各單元連接權(quán)，克服了單層網(wǎng)絡(luò)的局限性，為神經(jīng)網(wǎng)絡(luò)進(jìn)入非線性處理領(lǐng)域奠定了基礎(chǔ)。隨后，F(xiàn)ukushima將單層感知機(jī)增加了隱層，通過(guò)抑制性反饋和興奮性前饋?zhàn)饔脤?shí)現(xiàn)自組織學(xué)習(xí)，從而使多層感知機(jī)實(shí)現(xiàn)了聯(lián)想學(xué)習(xí)和模式分類識(shí)別。為了給AN2的發(fā)展掃清障礙，徹底清除人們對(duì)多層感知機(jī)網(wǎng)絡(luò)的疑點(diǎn)，1986年，Rumelhart和McClelland提出多層前饋網(wǎng)絡(luò)的反傳學(xué)習(xí)算法，簡(jiǎn)稱BP算法，該算法從后往前修正各層之間的連接權(quán)，否定了1969年對(duì)多層網(wǎng)絡(luò)的錯(cuò)誤結(jié)論。自那以后到現(xiàn)在，BP算法成為應(yīng)用最廣、研究最多、發(fā)展最快的算法。

1987年6月21日至24日，第一屆世界神經(jīng)網(wǎng)絡(luò)會(huì)議在美國(guó)SanDiego市召開(kāi)，標(biāo)志著AN2研究已遍及全世界。從1988年到現(xiàn)在，學(xué)術(shù)活動(dòng)、研究機(jī)構(gòu)、專著、專刊越來(lái)越

多，有敏銳洞察力的其他學(xué)科學(xué)術(shù)雜志也紛紛大量刊登AN2的研究文章。1.1.620世紀(jì)90年代——再現(xiàn)熱潮，產(chǎn)生許多邊緣交叉學(xué)科

進(jìn)入20世紀(jì)90年代后，AN2的各類模型已達(dá)幾十種，與之相伴的是大量出現(xiàn)的邊緣交叉學(xué)科。其中形成的主要學(xué)科有以下幾種。

1）腦科學(xué)和神經(jīng)生理科學(xué)

人們已不再滿足于對(duì)曾為AN2做出貢獻(xiàn)的長(zhǎng)槍烏賊、小白鼠、海馬等一類低等智能動(dòng)物的研究，直接探討人腦智能結(jié)構(gòu)體系，研究如何通過(guò)自組織將神經(jīng)元群體轉(zhuǎn)化為高度有序的系統(tǒng)。盡管目前還不能充分解釋大腦的學(xué)習(xí)和記憶機(jī)理，還不能完整繪制大腦思維的控制結(jié)構(gòu)，但仍然在神經(jīng)結(jié)構(gòu)特點(diǎn)和信息活動(dòng)特點(diǎn)等方面取得了積極進(jìn)展。

2）計(jì)算神經(jīng)科學(xué)

計(jì)算神經(jīng)科學(xué)是計(jì)算機(jī)科學(xué)與神經(jīng)科學(xué)結(jié)合的產(chǎn)物。計(jì)算神經(jīng)科學(xué)立足于試驗(yàn)、理論和計(jì)算三大支柱，通過(guò)建立腦模型闡明神經(jīng)系統(tǒng)信息加工原理。它的研究方法是將智能活動(dòng)和行為過(guò)程中整體水平、細(xì)胞水平和分子水平進(jìn)行數(shù)學(xué)概括，尋求規(guī)律和算法，用計(jì)算機(jī)或AN2模擬，尋求如何表達(dá)和處理神經(jīng)信息及智能活動(dòng)的變化規(guī)律。當(dāng)前，對(duì)于學(xué)科中涉及的PDP（并行分布處理）理論討論得十分熱烈。

3)數(shù)理科學(xué)

AN2的學(xué)習(xí)與訓(xùn)練實(shí)質(zhì)上是網(wǎng)絡(luò)非線性動(dòng)態(tài)特征方程的迭代求解，因此必須先行提供數(shù)學(xué)工具和物理意義。需要建立隨機(jī)連接的網(wǎng)絡(luò)狀態(tài)變化變遷方程、聯(lián)想存儲(chǔ)模型容量和

回憶過(guò)程的統(tǒng)計(jì)動(dòng)態(tài)方程、自組織激勵(lì)方程。此外，討論收斂性、Lyapunov意義上的穩(wěn)定性、局部或全部最優(yōu)解等，都是至關(guān)重要的。而物理上的一些概念，如熵、混沌、最小能量函數(shù)等，也不可缺少。

4)思維科學(xué)和認(rèn)知科學(xué)

思維科學(xué)和認(rèn)知科學(xué)是關(guān)于人類思維規(guī)律和認(rèn)知方式的科學(xué)，研究的主體是人類在抽象思維、形象思維、靈感思維和社會(huì)思維活動(dòng)中，對(duì)外界信息的感悟、知覺(jué)、推理、思考、意識(shí)、心靈等一系列心理認(rèn)知和語(yǔ)言表達(dá)。認(rèn)知科學(xué)中的連接主義原理已為AN2學(xué)界接受并廣為引用。例如，按照這一原理，神經(jīng)網(wǎng)絡(luò)中所有神經(jīng)元的數(shù)字化活動(dòng)形成一個(gè)巨大的狀態(tài)空間，包括連接權(quán)在內(nèi)的控制器作用方程都可以按照學(xué)習(xí)規(guī)則訓(xùn)練權(quán)重。因此，現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型就能夠供人們選擇，有針對(duì)性地而又極為方便地移植到以狀態(tài)變量描述的現(xiàn)代控制系統(tǒng)中，形成名符其實(shí)的智能系統(tǒng)。

5)信息論和計(jì)算機(jī)科學(xué)

信息的分析、綜合方法如何用在AN2的聯(lián)想存儲(chǔ)之中，是一個(gè)需要解決的問(wèn)題。在計(jì)算機(jī)科學(xué)領(lǐng)域，一方面AN2的算法要可靠“過(guò)渡”到VonNeumann計(jì)算機(jī)上仿真運(yùn)算，

另一方面，構(gòu)成模擬人類智能活動(dòng)的神經(jīng)計(jì)算機(jī)成為新的時(shí)尚。1.1.7進(jìn)入21世紀(jì)——實(shí)現(xiàn)機(jī)器智能的道路漫長(zhǎng)而又艱難

在今后的若干年內(nèi)，AN2從理論上、實(shí)踐上和應(yīng)用上呈現(xiàn)出如下發(fā)展趨勢(shì)：

(1)理論上重點(diǎn)在對(duì)模型和算法進(jìn)行探討，建立AN2各種不同特性的模型并分析其功能。算法的探討包括拓?fù)浣Y(jié)構(gòu)、網(wǎng)絡(luò)容量、穩(wěn)定性、收斂性、復(fù)雜性、輸入模式樣本的致

密性?，F(xiàn)在的問(wèn)題是：對(duì)各種模型及算法的構(gòu)成及性能評(píng)價(jià)，缺乏評(píng)價(jià)體系，只能依靠模擬仿真結(jié)論一個(gè)一個(gè)地具體分析，沒(méi)有嚴(yán)密、科學(xué)的一般規(guī)律和方法。

(2)實(shí)踐上重點(diǎn)在使用硬件制作神經(jīng)網(wǎng)絡(luò)和神經(jīng)計(jì)算機(jī)，但困難重重。這迫使人們不得不在今后相當(dāng)長(zhǎng)的一段時(shí)間內(nèi)利用VonNeumann計(jì)算機(jī)模擬，無(wú)法對(duì)比兩種不同類型的計(jì)算機(jī)運(yùn)行結(jié)果。

AN2研究面臨上述兩個(gè)困難，制約和影響到它的應(yīng)用。

(3)應(yīng)用上希望早日突破。AN2的研究及應(yīng)用已勢(shì)不可擋地日益滲透到模式識(shí)別、反饋調(diào)節(jié)、智能儀表、模糊控制、信號(hào)處理、系統(tǒng)辨識(shí)、模糊判決、知識(shí)處理、組合優(yōu)化、

專家系統(tǒng)、過(guò)程自動(dòng)化、故障診斷、自動(dòng)檢測(cè)等領(lǐng)域，并且和它們密切結(jié)合形成新的分支，如模糊神經(jīng)系統(tǒng)、神經(jīng)網(wǎng)絡(luò)模式識(shí)別等。但是另一方面，分析和統(tǒng)計(jì)在這些領(lǐng)域內(nèi)的應(yīng)用論文，可以看到如下幾個(gè)鮮明特點(diǎn)：①神經(jīng)網(wǎng)絡(luò)能夠解決傳統(tǒng)技能如人工智能、PID控制等或其他方法能解決的一些問(wèn)題，即對(duì)工程界而言，增加了一個(gè)僅僅有很大潛力的解決問(wèn)題的方法。盡管仿真結(jié)果表明：在時(shí)域或頻域的某一或某些指標(biāo)性能對(duì)比上，神經(jīng)網(wǎng)絡(luò)的結(jié)果優(yōu)于其他方法，但沒(méi)有在一切系統(tǒng)行為的指標(biāo)上神經(jīng)網(wǎng)絡(luò)方法全部占優(yōu)勢(shì)的報(bào)道。

②迄今為止基本上沒(méi)有見(jiàn)到只能用AN2解決，而不能用現(xiàn)有其他任何方法完成的課題，即AN2在工程上還沒(méi)有顯示出不可替代的優(yōu)越性。因此人們討論較多的問(wèn)題就是AN2突破口在哪里？需要多長(zhǎng)時(shí)間才能找到突破口并取得突破？③越來(lái)越多的人清醒地認(rèn)識(shí)到：用AN2實(shí)現(xiàn)機(jī)器智能的道路是漫長(zhǎng)而又艱難的，急功近利是不現(xiàn)實(shí)的，短期內(nèi)沒(méi)有可能取得實(shí)質(zhì)性突破。與此同時(shí)決不能放棄AN2研究、重蹈20世紀(jì)70年代的覆轍。

④AN2中的人工神經(jīng)元和諸如Adaline這一類單層線性網(wǎng)絡(luò)，因其具備PID功能而成為反饋控制系統(tǒng)或智能儀表的一部分，但目前的應(yīng)用基本上停留在仿真層次上。想使它們進(jìn)入實(shí)用階段，還需要解決它們之間功能原理上的溝通、連接和接口。把三層或三層以上的AN2用于非線性魯棒控制或測(cè)量，探索的時(shí)間將更長(zhǎng)。⑤從1956年開(kāi)始的人工智能研究，在25年內(nèi)取得了驕人成績(jī)，它所依循的傳統(tǒng)研究方法建立在“基于符號(hào)假設(shè)”基礎(chǔ)上，突出了輸出與輸入之間的邏輯關(guān)系、忽略信息傳遞過(guò)程中的網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)，曾經(jīng)很迅速出了成果。但對(duì)于復(fù)雜模式識(shí)別、景物理解、過(guò)程自動(dòng)化適應(yīng)性隨機(jī)調(diào)節(jié)、非線性魯棒測(cè)量中的不完整信息處理、非線性動(dòng)態(tài)運(yùn)行不完全知識(shí)結(jié)構(gòu)的自動(dòng)修復(fù)、同一語(yǔ)系中不同方言理解等等，常常感到吃力。如果把人工智能的成功經(jīng)驗(yàn)用到神經(jīng)網(wǎng)絡(luò)，與神經(jīng)網(wǎng)絡(luò)相結(jié)合，發(fā)揮各自優(yōu)勢(shì)，取長(zhǎng)補(bǔ)短，也許是通往智能系統(tǒng)的成功之路。⑥絕大部分加盟AN2的論文作者原本是不同領(lǐng)域內(nèi)的專家學(xué)者，他們力圖把模擬人類高級(jí)智能行為用于本領(lǐng)域遇到的一些難題，把希望寄托在AN2上，從而踏入神經(jīng)網(wǎng)絡(luò)高新領(lǐng)域。今后若干年內(nèi)，AN2隊(duì)伍擴(kuò)大的趨勢(shì)還將繼續(xù)下去。這是AN2興旺發(fā)達(dá)的標(biāo)志之一，也是AN2必然成功的重要原因。比如，首屆中國(guó)神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)大會(huì)于1990年在北京

召開(kāi)時(shí)，聯(lián)合支持的我國(guó)國(guó)家一級(jí)學(xué)會(huì)僅有8個(gè)；而1996年在成都舉行的第七次中國(guó)神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)大會(huì)，聯(lián)合支持的我國(guó)國(guó)家一級(jí)學(xué)會(huì)就有中國(guó)自動(dòng)化學(xué)會(huì)、中國(guó)電子學(xué)會(huì)等15

個(gè)。

2006年8月5日，第十六屆中國(guó)神經(jīng)網(wǎng)絡(luò)大會(huì)(CNNC2006)暨首屆中國(guó)人工免疫系統(tǒng)專題會(huì)議(CAISC06)在哈爾濱工程大學(xué)召開(kāi)。這次大會(huì)由中國(guó)神經(jīng)網(wǎng)絡(luò)委員會(huì)、中國(guó)電子學(xué)會(huì)、IEEEComputationalIntelligenceSocietyBeijingChapter主辦，哈爾濱工程大學(xué)承辦，上海海事大學(xué)協(xié)辦。該系列會(huì)議每一年舉行一次，現(xiàn)已成為國(guó)內(nèi)神經(jīng)網(wǎng)絡(luò)領(lǐng)域最主要的學(xué)術(shù)活動(dòng)。此次會(huì)議主要是為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)及相關(guān)研究領(lǐng)域的學(xué)者交流最新研究成果、進(jìn)行廣泛的學(xué)術(shù)討論提供便利，并且邀請(qǐng)國(guó)內(nèi)神經(jīng)網(wǎng)絡(luò)及人工免疫系統(tǒng)領(lǐng)域的著名學(xué)者做精彩報(bào)告。神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論是近年來(lái)得到迅速發(fā)展的一個(gè)國(guó)際前沿研究領(lǐng)域，它通過(guò)對(duì)人腦的基本單元——神經(jīng)元的建模和聯(lián)結(jié)，來(lái)探索模擬人腦神經(jīng)系統(tǒng)功能的模型，并研制一種具

有學(xué)習(xí)、聯(lián)想、記憶和模式識(shí)別等智能信息處理功能的人工系統(tǒng)。神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論的發(fā)展對(duì)計(jì)算機(jī)科學(xué)、人工智能、認(rèn)知科學(xué)、腦神經(jīng)科學(xué)、數(shù)理科學(xué)、信息科學(xué)、微電子學(xué)、

自動(dòng)控制與機(jī)器人、系統(tǒng)工程等領(lǐng)域都有重要影響。

1.2生物神經(jīng)元和人工神經(jīng)元

生物神經(jīng)元是生物神經(jīng)細(xì)胞的學(xué)術(shù)名稱；人工神經(jīng)元是生物神經(jīng)元的智能仿生模型。

1.2.1生物神經(jīng)元

有了生物神經(jīng)元，才有生物的生命。

1.生物

生物是物體的一種。世間萬(wàn)物就其有無(wú)生命而言，可以分成生物和死物兩大類。這兩類物體在存在狀態(tài)方面有本質(zhì)的差別。從統(tǒng)計(jì)物理學(xué)的觀點(diǎn)看，生的狀態(tài)是一種非平衡的

動(dòng)態(tài)狀態(tài)，死的狀態(tài)是一種平衡的穩(wěn)定狀態(tài)。

生物為了維持自己的生命，采用了通過(guò)消耗物質(zhì)和能量獲取非平衡環(huán)境的耗散結(jié)構(gòu)，通過(guò)不斷地?cái)z取和排泄，不停地演繹著新陳代謝，生命得以在動(dòng)態(tài)非平衡中繼續(xù)和延續(xù)。

一旦非平衡狀態(tài)被破壞，平衡穩(wěn)定狀態(tài)到來(lái)，生命便將終結(jié)。生物的生命系統(tǒng)，是一種在嚴(yán)酷的生存環(huán)境下磨練出來(lái)的信息處理系統(tǒng)。從求生存的需要出發(fā)，這種信息處理系統(tǒng)被分成相互關(guān)聯(lián)又相互獨(dú)立的三個(gè)子系統(tǒng)，它們分別是腦

神經(jīng)系統(tǒng)、免疫系統(tǒng)和內(nèi)分泌系統(tǒng)，如圖1-1所示。這三個(gè)子系統(tǒng)對(duì)于生命來(lái)講，是缺一不可的。圖1-1生物的生命系統(tǒng)腦神經(jīng)系統(tǒng)的信息處理全過(guò)程如圖1-2所示，信息來(lái)自于外部世界，通過(guò)感覺(jué)(視覺(jué)、觸覺(jué)、味覺(jué)、聽(tīng)覺(jué)、嗅覺(jué))器官接收信息，并通過(guò)神經(jīng)傳至大腦，在大腦中經(jīng)過(guò)處理加工后，再通過(guò)神經(jīng)傳至執(zhí)行器官，執(zhí)行處理的結(jié)果。

人工神經(jīng)網(wǎng)絡(luò)控制實(shí)際上是腦神經(jīng)系統(tǒng)信息處理功能的工程實(shí)現(xiàn)。

大腦內(nèi)部的模擬結(jié)構(gòu)如圖1-3所示，其基本組織是由生物神經(jīng)元組合成神經(jīng)網(wǎng)絡(luò)而構(gòu)成的。而神經(jīng)元內(nèi)又細(xì)分成離子通道和受體，它們具有蛋白質(zhì)結(jié)構(gòu)。圖1-2腦神經(jīng)系統(tǒng)的信息處理全過(guò)程生物神經(jīng)元的研究成果揭示了大腦皮層活動(dòng)的物理基礎(chǔ)。大腦皮層內(nèi)存在許多界限分明、功能各異的小柱狀區(qū)域，這些柱狀區(qū)域內(nèi)含有個(gè)數(shù)眾多的皮層神經(jīng)元，無(wú)論是哪種感

覺(jué)器官的神經(jīng)元，都有一個(gè)共同的動(dòng)作特征：當(dāng)感覺(jué)器官傳入信息形成一定的沖動(dòng)時(shí)，神經(jīng)元將做出反應(yīng)，產(chǎn)生單位放電效應(yīng)，迅速把信號(hào)傳遞過(guò)去。柱狀區(qū)域能把輸入沖動(dòng)進(jìn)行

放大、調(diào)整和綜合，并能在較短的時(shí)間內(nèi)調(diào)動(dòng)相鄰柱狀區(qū)域的神經(jīng)元，迅速做出準(zhǔn)確的判斷，并把判斷結(jié)果發(fā)送到執(zhí)行器官。

大腦皮層內(nèi)約有200萬(wàn)個(gè)柱狀區(qū)域，每個(gè)柱的直徑約為0.1～0.5mm，高度約為2～3mm，一次輸入沖動(dòng)所能影響的柱狀能達(dá)數(shù)百萬(wàn)之多。圖1-3大腦模擬結(jié)構(gòu)

2.生物神經(jīng)元的基本結(jié)構(gòu)

腦神經(jīng)系統(tǒng)是由1010～1012個(gè)神經(jīng)元組成的、結(jié)構(gòu)異常復(fù)雜的、永遠(yuǎn)開(kāi)放的一種自適應(yīng)系統(tǒng)。在一個(gè)三維的空間內(nèi)，如此眾多的神經(jīng)元緊密組成一個(gè)神經(jīng)網(wǎng)絡(luò)，完成大腦獨(dú)有的信息處理功能。

生物神經(jīng)元是形成大腦的基本元素，如同磚瓦是構(gòu)成高樓大廈的基本元素一樣。房屋由磚瓦構(gòu)成，但一堆磚瓦胡亂堆放在一起，并不能構(gòu)成房屋，必須有設(shè)計(jì)圖紙，按圖施工才能形成千姿百態(tài)、形狀各異的建筑。生物神經(jīng)元組成生物神經(jīng)網(wǎng)絡(luò)、進(jìn)而形成大腦也是如此。迄今為止，人們已經(jīng)發(fā)現(xiàn)了視覺(jué)處理神經(jīng)元群的縱列結(jié)構(gòu)，而類似于記憶、思維等大腦神經(jīng)網(wǎng)絡(luò)獨(dú)有的一些功能還不十分清楚,有待進(jìn)一步研究。不同的生物神經(jīng)元有不同的功能，例如味覺(jué)神經(jīng)元和視覺(jué)神經(jīng)元的功能就不同，形成功能不同的主要原因是它們?cè)诮Y(jié)構(gòu)上有差異。從完成功能的角度來(lái)看，不同的神經(jīng)元內(nèi)部

有不同的結(jié)構(gòu)。

另一方面，無(wú)論是哪種生物神經(jīng)元，從傳遞、記憶信息的角度看，它們都具有著相同的結(jié)構(gòu)。圖1-4畫(huà)出了生物神經(jīng)元的基本組成。它由四部分組成，分別是細(xì)胞體、樹(shù)突、

軸突和突觸。圖1-4生物神經(jīng)元的基本組成

(1)細(xì)胞體：由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜組成。細(xì)胞體是生物神經(jīng)元的主體，是神經(jīng)細(xì)胞的核心組成，是存儲(chǔ)、加工處理信息的地方。生物神經(jīng)元信息處理的奧秘在于神經(jīng)膜，其基本功能是一種電氣反應(yīng)。

(2)樹(shù)突(樹(shù)狀突起)：細(xì)胞體的外圍延伸呈樹(shù)狀突起，簡(jiǎn)稱樹(shù)突，是生物神經(jīng)元的輸入部分。樹(shù)突從細(xì)胞體開(kāi)始逐漸變細(xì)，各處都能與其它神經(jīng)元的突觸連通，從其它神經(jīng)

元的突觸到樹(shù)突，實(shí)現(xiàn)信息的輸入。

(3)軸突：細(xì)胞體外圍的突起有多個(gè)，絕大部分突起是樹(shù)突，可以接受其它神經(jīng)元的信息，還有一個(gè)突起具有傳遞并輸出信息的功能，這個(gè)突起稱為軸突。

(4)突觸：軸突的末梢形成突觸，在突觸處將信息輸送給另一個(gè)神經(jīng)元。突觸與樹(shù)突相連，這種相連僅僅是功能上的連接，兩個(gè)神經(jīng)元的細(xì)胞質(zhì)在突觸處并不連通。

生物神經(jīng)元的突觸按傳遞信息的方式分成兩種：一種是電突觸，傳遞特征是在相鄰兩細(xì)胞的低電阻通道中快速交換離子，使突觸后電位發(fā)生變化；另一種是化學(xué)突觸，借助化

學(xué)媒介傳遞神經(jīng)沖動(dòng)。如果按動(dòng)作狀態(tài)劃分，生物神經(jīng)元的突觸可呈現(xiàn)出興奮性和抑制性兩種狀態(tài)。當(dāng)突觸前端接收到的輸入信息能使突觸膜電位超越神經(jīng)沖動(dòng)的閾值時(shí)，這時(shí)的生物神經(jīng)元處于“興奮”狀態(tài)；如果突觸膜電位不能超過(guò)引起神經(jīng)沖動(dòng)的閾值時(shí)，生物神經(jīng)元?jiǎng)t處于“抑制”狀態(tài)。

3.生物神經(jīng)元的基本功能

生物神經(jīng)元的基本功能有兩個(gè):學(xué)習(xí)與遺忘,興奮與抑制。

1)學(xué)習(xí)與遺忘

生物神經(jīng)元的學(xué)習(xí)功能表現(xiàn)在外界輸入信息的變化能改變神經(jīng)元之間的關(guān)系，換句話說(shuō)，就是生物神經(jīng)元能感知外界輸入信息的變化。腦神經(jīng)系統(tǒng)由大量的神經(jīng)元連成網(wǎng)絡(luò)形

式工作，神經(jīng)元和神經(jīng)元之間彼此的細(xì)胞質(zhì)雖然不連通，但是突觸和樹(shù)突之間的連接強(qiáng)度，卻可以隨著外界輸入信息的變化而變化。

神經(jīng)元之間的相互關(guān)系能夠記錄下外界輸入信息的變化，表明神經(jīng)元不僅能學(xué)習(xí)，而且能學(xué)會(huì)。對(duì)于神經(jīng)元自適應(yīng)環(huán)境變遷的能力，從宏觀上看，是生物適應(yīng)環(huán)境變化的本能，生物力圖在激烈、多變的環(huán)境中生存、繁衍；從微觀上看，生物神經(jīng)元能夠?qū)W會(huì)原來(lái)不懂的東西。

“遺忘”事實(shí)上也是神經(jīng)元適應(yīng)環(huán)境、接受外界輸入信息的一種“學(xué)習(xí)”，新的輸入信息來(lái)了，多個(gè)神經(jīng)元彼此之間的關(guān)系必將重新排定，那么原來(lái)排定的關(guān)系被沖刷，原來(lái)的信息被放棄，便產(chǎn)生了“遺忘”。

人腦神經(jīng)系統(tǒng)除了具有“遺忘”功能外，最為奇妙的是還具有將“遺忘”的輸入狀態(tài)重新恢復(fù)的功能。事實(shí)上，這一功能依舊是“學(xué)習(xí)”，是重新拾回已經(jīng)丟失的樣本。

2)興奮與抑制

神經(jīng)元的興奮狀態(tài)表現(xiàn)在大量突觸進(jìn)行活動(dòng)的時(shí)候。這時(shí)，神經(jīng)元的膜電位升高，一旦超過(guò)動(dòng)作電位(ActionPontential)的某一閾值，神經(jīng)元被激勵(lì)，產(chǎn)生神經(jīng)沖動(dòng)，呈現(xiàn)出類似于放電樣的響應(yīng)。神經(jīng)沖動(dòng)能夠經(jīng)軸突神經(jīng)末稍傳出，刺激與突觸相連的另一神經(jīng)元樹(shù)突，完成信息的傳遞?！芭d奮”是神經(jīng)元產(chǎn)生神經(jīng)沖動(dòng)的一種宏觀表現(xiàn)。并不是大量的突觸在活動(dòng)時(shí)都能處于“興奮”狀態(tài)。當(dāng)神經(jīng)元的活動(dòng)使膜電位升高但沒(méi)有達(dá)到動(dòng)作電位的閾值時(shí)，神經(jīng)元不會(huì)產(chǎn)生神經(jīng)沖動(dòng)，這種狀態(tài)稱為神經(jīng)元的抑制。被抑制的神經(jīng)元沒(méi)有神經(jīng)沖動(dòng)從突觸傳出，也不會(huì)影響到另一神經(jīng)元。

“興奮”和“抑制”的分水嶺是神經(jīng)元活動(dòng)時(shí)，動(dòng)作電位是否超過(guò)某一閾值。也就是說(shuō)，生物神經(jīng)元時(shí)時(shí)刻刻都處在活動(dòng)狀態(tài)之中，這是生物體的一種生命特征，但是生物神

經(jīng)元的活動(dòng)有時(shí)“興奮”，有時(shí)“抑制”?！芭d奮”和“抑制”與輸入信息的強(qiáng)弱、持續(xù)時(shí)間的長(zhǎng)短等因素直接相關(guān)。腦科學(xué)研究表明，生物神經(jīng)元之間傳遞信息的速度較為緩慢，以動(dòng)作電位的形式產(chǎn)生的電脈沖頻率不超過(guò)500Hz。興奮時(shí)經(jīng)過(guò)一個(gè)突觸的延時(shí)時(shí)間約為0.5ms。當(dāng)外界輸入信息極強(qiáng)、或輸入頻率極高、或輸入信息變化急劇反差越大時(shí)，生物神經(jīng)元的興奮抑制狀態(tài)會(huì)發(fā)生急劇的轉(zhuǎn)換，或者當(dāng)一個(gè)興奮狀態(tài)尚未穩(wěn)定、信息尚未從一個(gè)神經(jīng)元的突觸傳遞到下一個(gè)神經(jīng)元的樹(shù)突、而新的信息已經(jīng)到來(lái)時(shí)，神經(jīng)元的興奮活動(dòng)將一直處于一個(gè)激烈的動(dòng)蕩狀態(tài)中，人們將產(chǎn)生刻骨銘心的記憶。

記憶，是生物神經(jīng)元反復(fù)興奮與抑制的必然結(jié)果；

回憶，是對(duì)生物神經(jīng)元興奮與抑制的歷史記錄做出的搜索。1.2.2人工神經(jīng)元

人工神經(jīng)元是生物神經(jīng)元信息傳遞功能的數(shù)學(xué)模型。

將生物神經(jīng)元的信息傳遞功能用數(shù)學(xué)模型描述，所能構(gòu)成的數(shù)學(xué)模型是多種多樣的，這是因?yàn)樯锷窠?jīng)元傳遞信息的內(nèi)涵極為豐富，涉及到的外界和內(nèi)在因素很多。在構(gòu)造數(shù)學(xué)模型的時(shí)候，必然要舍棄一些因素，保留并突出另一些因素，從而使人工神經(jīng)元的模型也有多種。

設(shè)第j個(gè)人工神經(jīng)元在多個(gè)輸入xi(i=1，2，3，…，n)的作用下，產(chǎn)生了輸出yj，則人工神經(jīng)元輸入、輸出之間的關(guān)系可以記為

yj=f(xi)式中，f為作用函數(shù)或激發(fā)函數(shù)(ActivationFunction)。人工神經(jīng)元模型如圖1-5所示。圖1-5人工神經(jīng)元模型

f(xi)的表達(dá)形式不同，可以構(gòu)成不同的人工神經(jīng)元模型，其中比較典型的有線性函數(shù)、階躍作用函數(shù)和Sigmoid作用函數(shù)等幾種。

1)線性函數(shù)

作用函數(shù)f連續(xù)取值，隨x的增加而增大：

f(x)=x

這種情況下的作用函數(shù)是線性加權(quán)求和的一種特例。設(shè)人工神經(jīng)元的n個(gè)輸入之間有如下關(guān)系：

x1=x2=…=xn=x各輸入的權(quán)值(突觸強(qiáng)度)之間有

w1j+w2j+…+wnj=1

則線性作用函數(shù)f(x)=x如圖1-6所示。圖1-6線性作用函數(shù)

2)階躍作用函數(shù)

MP模型的作用函數(shù)就是階躍函數(shù)，它有兩種不同的表達(dá)形式，一種是對(duì)稱硬限幅函數(shù)：另一種是硬限幅函數(shù)：它們所對(duì)應(yīng)的模式都可以記為

3)Sigmoid作用函數(shù)

Sigmoid作用函數(shù)是一個(gè)將人工神經(jīng)元的輸出限制在兩個(gè)有限值之間的連續(xù)非減函數(shù)，簡(jiǎn)稱S型函數(shù)。它分為對(duì)稱型和非對(duì)稱型兩種。對(duì)稱型Sigmoid函數(shù)又稱為雙曲正切S型函數(shù)，其表達(dá)式為函數(shù)的漸近線為f(x)=±1，且函數(shù)連續(xù)可微，無(wú)間斷點(diǎn)。在實(shí)際應(yīng)用的不同場(chǎng)合，可選取不同的表達(dá)方式，其一般形式為或不同的β取值，引起曲線的彎曲程度不同。圖1-7(a)和(b)給出了β=1和β=2時(shí)的曲線。圖1-7雙曲作用函數(shù)(a)雙曲正切S型函數(shù)(β=1)；(b)雙曲正切S型函數(shù)(β=2)非對(duì)稱型Sigmoid函數(shù)又稱單極性S型函數(shù)。表達(dá)式為或該函數(shù)可以看成是雙曲正切函數(shù)水平上移而成的，漸近線f(x)=0和f(x)=1，且連續(xù)可微，無(wú)間斷點(diǎn)。圖1-8(a)和(b)分別給出了β=1和β=2時(shí)的曲線。表1-1列出了常用的人工神經(jīng)元模型作用函數(shù)。圖1-8單極性作用函數(shù)(a)單極性S型函數(shù)(β=1)；(b)單極性S型函數(shù)(β=2)

1.3生物神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)

1.3.1生物神經(jīng)網(wǎng)絡(luò)

腦神經(jīng)系統(tǒng)由大量神經(jīng)元連接成網(wǎng)絡(luò)形式開(kāi)展工作，連接方法被稱為連接主義機(jī)制。不同的神經(jīng)系統(tǒng)有不同的連接方式，例如視覺(jué)神經(jīng)和觸覺(jué)神經(jīng)的連接方式理應(yīng)有差別。對(duì)于神經(jīng)控制的應(yīng)用來(lái)講，既無(wú)必要也無(wú)可能徹底分清不同神經(jīng)系統(tǒng)的不同連接形式。

人們研究生物神經(jīng)網(wǎng)絡(luò)，除了知道它是一個(gè)多輸入、多輸出的分層次結(jié)構(gòu)組織以外，在構(gòu)成方面的進(jìn)展極為緩慢。到目前為止，已經(jīng)發(fā)現(xiàn)有視覺(jué)功能單元集合成的神經(jīng)元群具有縱列結(jié)構(gòu)，這些神經(jīng)元群與信息的傳遞與處理密切相關(guān)。盡管在小腦控制回路、各神經(jīng)網(wǎng)絡(luò)的投射等研究方面有較為明顯的成果，但是對(duì)于有關(guān)思考、記憶等神經(jīng)網(wǎng)絡(luò)的活動(dòng)形態(tài)還不十分清楚，而這一部分恰恰又是生物神經(jīng)網(wǎng)絡(luò)處理信息最具誘惑力的地方。

1.生物神經(jīng)網(wǎng)絡(luò)的研究方法

1)分析法

分析法要求合乎情理的邏輯推斷，它用各種人工的、自動(dòng)的觀摩手段近距離觀察生物神經(jīng)元的活動(dòng)，重點(diǎn)研究生物神經(jīng)網(wǎng)絡(luò)的外特性。其研究成果極為豐富，例如觀察人從小到大的生長(zhǎng)過(guò)程，不難發(fā)現(xiàn)人們從嬰幼兒時(shí)期開(kāi)始，就能表現(xiàn)出強(qiáng)烈而又巨大的學(xué)習(xí)模仿能力，并且從模仿中還能表現(xiàn)出巨大的創(chuàng)新能力。很多人在別人的啟發(fā)下能發(fā)掘出自己的活力，而這些活力又能感染其他人。由此不難得出結(jié)論：創(chuàng)新是生物神經(jīng)網(wǎng)絡(luò)在先天遺傳因素已經(jīng)確定的條件下，對(duì)客觀環(huán)境有限制的一種自組織過(guò)程。生物神經(jīng)網(wǎng)絡(luò)在胚胎發(fā)育過(guò)程中已經(jīng)建立起一些信息處理的通道，但是只有在出生后一段時(shí)間內(nèi)維持可塑性。因此，創(chuàng)新能力不能遺傳(發(fā)明家的兒子未必是發(fā)明家)，但是卻能在一定客觀條件具備時(shí)被啟發(fā)出來(lái)。由于創(chuàng)新離不開(kāi)群體，因此人們的創(chuàng)新成果是全人類的共同財(cái)富。

2)重構(gòu)法

重構(gòu)法采用人工構(gòu)造神經(jīng)網(wǎng)絡(luò)，使用數(shù)學(xué)、物理工具研究網(wǎng)絡(luò)的功能變化、穩(wěn)定性等。這種研究方法具有極大的局限性?？赡艹霈F(xiàn)的問(wèn)題有兩個(gè)方面：

一個(gè)方面是人工構(gòu)造神經(jīng)網(wǎng)絡(luò)時(shí)，依據(jù)的是生物神經(jīng)網(wǎng)絡(luò)的基本性質(zhì)，尤其是其外特性——生物神經(jīng)網(wǎng)絡(luò)的輸入、輸出間關(guān)系。但是由于這種關(guān)系的復(fù)雜性，導(dǎo)致人工神經(jīng)網(wǎng)絡(luò)的多樣性。不同的網(wǎng)絡(luò)設(shè)計(jì)者偏重于不同的性能，取舍的角度不同，致使已經(jīng)問(wèn)世的人工神經(jīng)網(wǎng)絡(luò)模型多達(dá)上百種。確切地講，任何人都可以從模擬生物神經(jīng)網(wǎng)絡(luò)的性質(zhì)出發(fā)，構(gòu)造出一個(gè)人工神經(jīng)網(wǎng)絡(luò)模型來(lái)。

另一個(gè)方面是數(shù)學(xué)工具和物理工具本身存在著研究誤差。就數(shù)學(xué)工具而言，它忽略了很多實(shí)際存在的一些具體因素，把模型理想化，提出了一些問(wèn)題求解的邊界條件，這種理想化的研究公式離真實(shí)情況總存在一定的誤差。

3)計(jì)算機(jī)理論法

生物神經(jīng)網(wǎng)絡(luò)的工作原理類似于計(jì)算機(jī)的工作原理。由于網(wǎng)絡(luò)是由生物神經(jīng)元通過(guò)神經(jīng)鍵有機(jī)結(jié)合形成的，而生物神經(jīng)元的基本性能是興奮和抑制，對(duì)應(yīng)于計(jì)算機(jī)基本邏輯電路的“1”狀態(tài)和“0”狀態(tài)，因此人們自然聯(lián)想到使用計(jì)算機(jī)理論研究生物神經(jīng)網(wǎng)絡(luò)。但是，現(xiàn)行的計(jì)算機(jī)從結(jié)構(gòu)上是程序存儲(chǔ)式的，與生物神經(jīng)網(wǎng)絡(luò)的組織結(jié)構(gòu)有天壤之別。計(jì)算機(jī)以串行工作方式執(zhí)行程序，而生物神經(jīng)網(wǎng)絡(luò)的并行處理功能是無(wú)庸置疑的。于是，計(jì)算機(jī)學(xué)界的并行處理理論也被人們用于神經(jīng)網(wǎng)絡(luò)的研究。在以串行運(yùn)行特征為主的馮·諾依曼型計(jì)算機(jī)上實(shí)現(xiàn)并行處理功能，開(kāi)展神經(jīng)網(wǎng)絡(luò)信息處理特征的研究，是一種無(wú)可奈何的選擇，畢竟人腦神經(jīng)系統(tǒng)與程序存儲(chǔ)式電腦在信息處理方面至少存在五個(gè)重大差別，這些差別由“連接主義機(jī)制”的五個(gè)一般特征造成。

2.連接主義機(jī)制的一般特征

所謂“連接主義機(jī)制”，通常指大量神經(jīng)元以獨(dú)有的方式連接成網(wǎng)絡(luò)時(shí)的連接方法。它呈現(xiàn)出的一般特征有五個(gè)：

(1)信息處理時(shí)的巨量并行性。輸入信息數(shù)量雖多但能同時(shí)輸入到生物神經(jīng)網(wǎng)絡(luò)，處理這些信息采用并行或同時(shí)進(jìn)行，用空間復(fù)雜性降低時(shí)間復(fù)雜性，眾多神經(jīng)元同時(shí)做出響應(yīng)，多輸出且同時(shí)輸出。

(2)信息的處理和存儲(chǔ)一致性。突觸既是信息處理的地方，也是信息存儲(chǔ)的地方，在存取信息的操作過(guò)程中，尋址和存取同步進(jìn)行，不存在先地址后內(nèi)容的問(wèn)題。神經(jīng)元有了這種性質(zhì)，即使地址丟失也不會(huì)丟失內(nèi)容。宏觀表現(xiàn)為經(jīng)過(guò)回憶，能由部分信息恢復(fù)全部信息。

(3)接受信息的多樣性。

生物神經(jīng)網(wǎng)絡(luò)不僅能接收二進(jìn)制信息，而且更擅長(zhǎng)于接收模擬信息、模糊信息和隨機(jī)信息，并能機(jī)動(dòng)靈活地處理這些信息。

(4)輸出信息的滿意性。生物神經(jīng)網(wǎng)絡(luò)輸出的是滿意解而不是精確解，以解決問(wèn)題為前提。由于網(wǎng)絡(luò)內(nèi)電脈沖

的傳播速度慢，經(jīng)過(guò)突觸還需延時(shí)，因此尋求滿意解或相對(duì)最優(yōu)解比尋求精確解更合乎邏輯，能節(jié)省大量的信息處理時(shí)間，在進(jìn)行智能決策方面具有得天獨(dú)厚的優(yōu)越性。

(5)對(duì)外界環(huán)境變化的自適應(yīng)性。由于外界環(huán)境的變化能改變突觸的連接強(qiáng)度，因此生物神經(jīng)元相互關(guān)系的改動(dòng)恰是神經(jīng)網(wǎng)絡(luò)自組織、自學(xué)習(xí)的結(jié)果，從而能自動(dòng)適應(yīng)外界環(huán)境的變化。

對(duì)應(yīng)地，程序存儲(chǔ)式計(jì)算機(jī)在信息處理方面的五個(gè)一般特征是：

(1)信息處理時(shí)的集中串行性。計(jì)算機(jī)所能執(zhí)行的指令條數(shù)是有限的，且一條一條指令依次執(zhí)行。若計(jì)算機(jī)執(zhí)行指令為無(wú)限條，則陷入死機(jī)狀態(tài)。

(2)信息的處理和存儲(chǔ)不一致性。存儲(chǔ)器的地址和內(nèi)容雖然都是二進(jìn)制數(shù)，但它們的性質(zhì)不同，要想訪問(wèn)存儲(chǔ)器，

必須先尋址。存儲(chǔ)地址一旦丟失，內(nèi)容也會(huì)丟失。

(3)接收信息的單一性。由于計(jì)算機(jī)的基本電路是數(shù)字電路，因此僅能接收二進(jìn)制信息。

(4)輸出信息的精確性。輸出的數(shù)據(jù)能夠精確到小數(shù)點(diǎn)后數(shù)萬(wàn)位，但由于計(jì)算公式本身的誤差，使得這種計(jì)算在很多情況下無(wú)意義。

(5)容錯(cuò)能力差。不適應(yīng)外界環(huán)境的變化，易受病毒攻擊而陷入癱瘓。

20世紀(jì)50年代，人們?cè)谘芯咳祟惖乃季S過(guò)程中發(fā)現(xiàn)，“思維”是一種推理過(guò)程，該過(guò)程以概念為核心進(jìn)行定義。用符號(hào)代表“概念”，通過(guò)形式化語(yǔ)言用符號(hào)串操作描述。因此人們得出結(jié)論：“思維過(guò)程”和程序存儲(chǔ)式計(jì)算機(jī)的解題步驟在信息處理方面是一致的，都是一種形式的“符號(hào)串”操作，都是“物理符號(hào)系統(tǒng)”的一個(gè)用例。以為程序存儲(chǔ)式計(jì)算機(jī)就是生物神經(jīng)網(wǎng)絡(luò)的工程實(shí)現(xiàn)。

人們?cè)谡J(rèn)識(shí)上的上述誤區(qū)在20世紀(jì)80年代得到了徹底的糾正。當(dāng)時(shí)認(rèn)識(shí)到了一個(gè)最簡(jiǎn)單的事實(shí)：計(jì)算機(jī)求解是一種單一形式的物理符號(hào)系統(tǒng)，但生物神經(jīng)網(wǎng)絡(luò)不是，思維過(guò)程是多種思維形式和多種知識(shí)交織的辯證統(tǒng)一。這種認(rèn)識(shí)無(wú)疑是給人工神經(jīng)網(wǎng)絡(luò)“正名”，從此人工神經(jīng)網(wǎng)絡(luò)得到了全人類的共同認(rèn)可。1.3.2人工神經(jīng)網(wǎng)絡(luò)

1.人工神經(jīng)網(wǎng)絡(luò)的基本功能

1)大規(guī)模并行處理功能

由大量人工神經(jīng)元以獨(dú)有方式構(gòu)成的人工神經(jīng)網(wǎng)絡(luò)，能同時(shí)接收多個(gè)輸入信息并同時(shí)傳輸，多個(gè)人工神經(jīng)元能以表決的形式做出響應(yīng)，人工神經(jīng)網(wǎng)絡(luò)的輸出是多個(gè)人工神經(jīng)元同時(shí)舉手表決的結(jié)果，能自動(dòng)完成“少數(shù)服從多數(shù)”。

人工神經(jīng)網(wǎng)絡(luò)的大規(guī)模并行處理功能實(shí)質(zhì)上最大限度地利用了空間復(fù)雜性，有效降低了時(shí)間復(fù)雜性。

2)分布存儲(chǔ)功能

生物神經(jīng)網(wǎng)絡(luò)利用突觸連接強(qiáng)度的變化來(lái)調(diào)整存儲(chǔ)內(nèi)容，存儲(chǔ)的過(guò)程就是處理的過(guò)程。人工神經(jīng)網(wǎng)絡(luò)利用人工神經(jīng)元之間的連接權(quán)值(又稱權(quán)值、權(quán)重或加權(quán)值)來(lái)調(diào)整存儲(chǔ)內(nèi)容，使存儲(chǔ)和處理同時(shí)通過(guò)權(quán)重來(lái)反映。這種模擬的最大優(yōu)點(diǎn)源于：在生物神經(jīng)網(wǎng)絡(luò)中，雖然每天有大量的腦細(xì)胞死亡，但絲毫不影響存儲(chǔ)與記憶。腦部的局部損傷可能會(huì)喪失部分記憶，但日后完全可能恢復(fù)記憶。

3)多輸入接收功能

人工神經(jīng)網(wǎng)絡(luò)的多輸入接收功能體現(xiàn)在既能接收數(shù)字信息，又能接收模擬信息；既能接收精確信息，又能接收模糊信息；既能接收固定頻率的信息，又能接收隨機(jī)信息。

4)以滿意為準(zhǔn)則的輸出功能

人類大腦積存有豐富的經(jīng)驗(yàn)智慧，遇到突如其來(lái)的變故或從未遇到過(guò)的情況，能夠有效地、在極短時(shí)間內(nèi)迅速做出判斷。人工神經(jīng)網(wǎng)絡(luò)對(duì)輸入信息的綜合以滿意為準(zhǔn)則，力求

獲得最優(yōu)解。

5)自組織自學(xué)習(xí)功能

人工神經(jīng)網(wǎng)絡(luò)必須具備自組織自學(xué)習(xí)功能，以期自動(dòng)適應(yīng)外界環(huán)境的變化。由于生物神經(jīng)網(wǎng)絡(luò)在先天遺傳因素存在的條件下，后天的學(xué)習(xí)與訓(xùn)練能夠開(kāi)發(fā)出形形色色的功能，

因此要求人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)權(quán)值能夠按照一定規(guī)律改變。人工神經(jīng)網(wǎng)絡(luò)模型建立以后，使用之前應(yīng)當(dāng)進(jìn)行訓(xùn)練，訓(xùn)練就是一種學(xué)習(xí)過(guò)程，學(xué)習(xí)也應(yīng)有一定的學(xué)習(xí)規(guī)則。

不同的人工神經(jīng)網(wǎng)絡(luò)，有不同的訓(xùn)練方式，有不同的學(xué)習(xí)權(quán)值，也有不同的學(xué)習(xí)規(guī)則。

人工神經(jīng)網(wǎng)絡(luò)的重點(diǎn)研究課題，就是權(quán)值如何訓(xùn)練及如何調(diào)整。

2.人工神經(jīng)網(wǎng)絡(luò)的基本特征

人工神經(jīng)網(wǎng)絡(luò)在信息處理方面具備生物神經(jīng)網(wǎng)絡(luò)的智能特征。

1)聯(lián)想記憶

人工神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶性質(zhì)是由它的分布存儲(chǔ)功能和并行處理功能產(chǎn)生的。網(wǎng)絡(luò)的輸出是眾多人工神經(jīng)元表決的結(jié)果。在人工神經(jīng)元之間存在著協(xié)同結(jié)構(gòu)和處理信息的集體行為。這樣，在事先已有分布存儲(chǔ)的信息和網(wǎng)絡(luò)已有的學(xué)習(xí)機(jī)制前提下，通過(guò)學(xué)習(xí)訓(xùn)練，能從不完整信息出發(fā)獲得完整的信息。聯(lián)想記憶可分為自聯(lián)想記憶和異聯(lián)想記憶兩種。

自聯(lián)想記憶的數(shù)學(xué)定義為：設(shè)有n個(gè)樣本矢量Xi，其中i=0，1，2，…，n－1，如果網(wǎng)絡(luò)輸入是

Xj=Xk+Δ

式中，Xk表示第k個(gè)樣本，Δ是由干擾、噪聲、樣本缺損等原因引起的隨機(jī)誤差。如果該網(wǎng)絡(luò)能夠使輸出成為

Y=Xk

網(wǎng)絡(luò)就具有消除誤差而獲得樣本輸出的能力，這種能力就稱為自聯(lián)想記憶。具有自聯(lián)想記憶性質(zhì)的人工神經(jīng)網(wǎng)絡(luò)能夠恢復(fù)一度丟失的記憶，能把圖像復(fù)原、恢復(fù)已變的聲音等。異聯(lián)想記憶的數(shù)學(xué)定義為：設(shè)有兩組樣本Xi和Yi，如果Xi和Yi一一對(duì)應(yīng)，輸入信號(hào)中仍然含有誤差信號(hào)Δ，輸入形式為

Xj=Xk+Δ

但網(wǎng)絡(luò)能夠使輸出Z成為

Z=Yk

2)模式識(shí)別與分類

人工神經(jīng)網(wǎng)絡(luò)能模仿生物神經(jīng)網(wǎng)絡(luò)的辨識(shí)功能，對(duì)輸入樣本有較強(qiáng)的識(shí)別與分類能力。分類的過(guò)程實(shí)際上是把輸入樣本歸到不同區(qū)間。找出符合分類要求的分界線，就能識(shí)別不同的輸入樣本并確定該樣本的歸屬。

設(shè)網(wǎng)絡(luò)的輸入為Xi(i=0，1，2，…，n－1)，樣本歸屬于m類，輸出Yj(j=0，1，2，…，m－1)屬于m類中的某一類，網(wǎng)絡(luò)的分類能力如圖1-9所示。圖1-9人工神經(jīng)網(wǎng)絡(luò)分類器設(shè)標(biāo)準(zhǔn)樣本Sk(k=0，1，2，…，p－1)為已知，如果X∈Sk，則

上式表明，只要輸入樣本與標(biāo)準(zhǔn)樣本匹配就可以歸類。

3)I/O之間的非線性映射

人工神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)從輸入空間到輸出空間的非線性映射，這種映射的實(shí)質(zhì)是通過(guò)對(duì)輸入樣本的訓(xùn)練學(xué)習(xí)，使網(wǎng)絡(luò)輸出成為樣本輸出在L2范數(shù)意義下的逼近。理論上能以任意精度逼近任意復(fù)雜的非線性函數(shù)。

4)優(yōu)化計(jì)算

優(yōu)化計(jì)算不論采用哪種算法，其過(guò)程總是力圖尋找一組參數(shù)，使得參數(shù)代入后的目標(biāo)函數(shù)取得最小值。優(yōu)化計(jì)算能夠把一組樣本的輸入輸出問(wèn)題變?yōu)榉蔷€性問(wèn)題，經(jīng)過(guò)迭代法求解，待數(shù)值確定后，誤差就可以達(dá)到允許的程度。

3.人工神經(jīng)網(wǎng)絡(luò)研究的基本內(nèi)容

對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究集中在三個(gè)方面：建模、學(xué)習(xí)方法和實(shí)現(xiàn)途徑。

1)人工神經(jīng)網(wǎng)絡(luò)模型建模

建模就是構(gòu)造人工神經(jīng)網(wǎng)絡(luò)模型。只有在建立了人工神經(jīng)網(wǎng)絡(luò)的模型以后，才能夠討論它的應(yīng)用。建立模型需要考慮兩個(gè)方面的因素，一個(gè)因素是人工神經(jīng)元，它是建立模

型的基本元件；另一個(gè)因素是網(wǎng)絡(luò)結(jié)構(gòu)，即網(wǎng)絡(luò)的連接方式。

構(gòu)造人工神經(jīng)網(wǎng)絡(luò)模型時(shí)，對(duì)人工神經(jīng)元的考慮主要有兩個(gè)內(nèi)容：一個(gè)是神經(jīng)元的功能函數(shù)；另一個(gè)是神經(jīng)元之間的連接。功能函數(shù)描述了神經(jīng)元的輸入、輸出特征，它用數(shù)學(xué)形式集中概括了輸入樣本進(jìn)入神經(jīng)元、被激活及最后產(chǎn)生輸出的全過(guò)程。提出不同形式的功能函數(shù)，將形成不同結(jié)構(gòu)的神經(jīng)元，直接導(dǎo)致人工網(wǎng)絡(luò)的結(jié)構(gòu)不同。

神經(jīng)元之間的連接形式有很多，不同的連接形式將使連接的網(wǎng)絡(luò)有不同的性質(zhì)和功能。從目前現(xiàn)有廣為流傳的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)看，最基本的形式有前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。其它一些連接形式可以由此而構(gòu)建。

以前饋網(wǎng)絡(luò)為例，前饋網(wǎng)絡(luò)又稱為前向網(wǎng)絡(luò)，從輸入到輸出是一種開(kāi)環(huán)形式的連接，無(wú)反饋出現(xiàn)。前饋網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖1-10所示。這種結(jié)構(gòu)又稱為拓?fù)浣Y(jié)構(gòu)。圖1-10前饋網(wǎng)絡(luò)的基本結(jié)構(gòu)人工神經(jīng)元在連接成前饋網(wǎng)絡(luò)的時(shí)候，通常采用分層結(jié)構(gòu)。接收輸入信號(hào)的那一層叫做輸入層，輸出信號(hào)的那一層叫做輸出層，中間傳遞信號(hào)的一層或幾層叫做隱層，意即看不見(jiàn)的信號(hào)傳送單元層。

輸入層由若干個(gè)人工神經(jīng)元組成，每個(gè)人工神經(jīng)元稱為一個(gè)節(jié)點(diǎn)。若干個(gè)輸入節(jié)點(diǎn)構(gòu)成了輸入層，輸入層僅用于表示多輸入向量的輸入情況。各層之間信號(hào)傳遞的規(guī)則是：

(1)第i層的人工神經(jīng)元僅接受第i－1層的人工神經(jīng)元輸出信號(hào)；

(2)第i－1層的人工神經(jīng)元節(jié)點(diǎn)可往第i層各節(jié)點(diǎn)輸出，但輸出的權(quán)值不同；

(3)第i層及其以后各層的人工神經(jīng)元節(jié)點(diǎn)無(wú)反饋信號(hào)，只能前向輸出。

網(wǎng)絡(luò)輸入層稱為第0層，各輸入節(jié)點(diǎn)無(wú)計(jì)算功能，僅表示輸入信號(hào)的初始值。

隱層有N－1層，輸出層有1層。隱層和輸出層的各節(jié)點(diǎn)均具有計(jì)算功能，因此又可稱為計(jì)算節(jié)點(diǎn)，計(jì)算方式就是節(jié)點(diǎn)輸出與輸入之間的關(guān)系。計(jì)算節(jié)點(diǎn)僅一個(gè)輸出，但這一個(gè)輸出可以同時(shí)送到下一層的多個(gè)節(jié)點(diǎn)作輸入用，送到不同節(jié)點(diǎn)時(shí)允許有不同的權(quán)值。計(jì)算節(jié)點(diǎn)有多個(gè)輸入，來(lái)自于上一層的不同節(jié)點(diǎn)。

輸入層、隱層、輸出層共有N+1層，它們構(gòu)成的前向網(wǎng)絡(luò)被稱為N層前向網(wǎng)絡(luò)。它們各自的節(jié)點(diǎn)分別稱為輸入節(jié)點(diǎn)、隱節(jié)點(diǎn)和輸出節(jié)點(diǎn)。隱節(jié)點(diǎn)又可稱為中間節(jié)點(diǎn)。輸入層和輸出層又被統(tǒng)一稱為可見(jiàn)層。

2)有導(dǎo)師學(xué)習(xí)方法與無(wú)導(dǎo)師學(xué)習(xí)方法

有導(dǎo)師學(xué)習(xí)(訓(xùn)練)方法是指給出一些輸入—輸出樣本對(duì)(Xi，Yi)并訓(xùn)練網(wǎng)絡(luò)，使之盡可能地?cái)M合這些樣本，這些樣本對(duì)通常稱為訓(xùn)練樣本對(duì)。

無(wú)導(dǎo)師學(xué)習(xí)(訓(xùn)練)方法是指只需要給出輸入樣本Yi，不需要給出對(duì)應(yīng)的輸出，網(wǎng)絡(luò)會(huì)自動(dòng)把輸入樣本按相似程度分類。以這種自學(xué)習(xí)方式工作的網(wǎng)絡(luò)稱為自組織網(wǎng)絡(luò)，例如

Kohonen自組織映射就屬于此類。

3)人工神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)途徑

人工神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)途徑有全硬件實(shí)現(xiàn)、全軟件實(shí)現(xiàn)及軟硬件結(jié)合實(shí)現(xiàn)等。第3章神經(jīng)網(wǎng)絡(luò)模型3.1

人工神經(jīng)網(wǎng)絡(luò)建模3.2感知器3.3BP網(wǎng)絡(luò)與BP算法3.4自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)3.5自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)3.6小腦模型神經(jīng)網(wǎng)絡(luò)3.7遞歸型神經(jīng)網(wǎng)絡(luò)3.8霍普菲爾德(Hopfield)神經(jīng)網(wǎng)絡(luò)

3.1人工神經(jīng)網(wǎng)絡(luò)建模

3.1.1MP模型

MP模型是1943年由McCulloch和Pitts首先提出來(lái)的。它是一種較為典型的模型，突出了神經(jīng)元的興奮和抑制功能，設(shè)定了一個(gè)動(dòng)作電位的閾值，把神經(jīng)元是否產(chǎn)生神經(jīng)沖動(dòng)轉(zhuǎn)化為突觸強(qiáng)度來(lái)描述。所謂“突觸強(qiáng)度”就是指突觸在活動(dòng)時(shí)所能產(chǎn)生神經(jīng)沖動(dòng)的強(qiáng)弱。

圖3-1畫(huà)出了MP模型的結(jié)構(gòu)示意圖。該圖以第j個(gè)神經(jīng)元為例，有n個(gè)神經(jīng)元的輸出信號(hào)x1，x2，…，xn作為輸入。每個(gè)輸入突觸的突觸強(qiáng)度分別為w1j，w2j，…，wnj，突觸強(qiáng)度wij反映了第i個(gè)神經(jīng)元對(duì)第j個(gè)神經(jīng)元傳遞信號(hào)時(shí)的加權(quán)值。圖3-1MP模型結(jié)構(gòu)示意圖人工神經(jīng)元模型依靠突觸輸入xi和突觸強(qiáng)度wij之間的運(yùn)算關(guān)系建立。MP模型采用的是線性加權(quán)求和，神經(jīng)元在n個(gè)突觸進(jìn)行活動(dòng)時(shí)產(chǎn)生的動(dòng)作電位為把突觸強(qiáng)度wij模擬成突觸輸入xi的加權(quán)值，當(dāng)突觸強(qiáng)度越強(qiáng)時(shí)，該突觸的輸入對(duì)第j個(gè)神經(jīng)元的動(dòng)作電位影響越大。神經(jīng)元的沖動(dòng)是神經(jīng)元的輸出，用yj表示。如果用“+1”和“－1”分別表示神經(jīng)元的興奮和抑制狀態(tài)，那么MP模型的作用函數(shù)可記為式中，θj是第j個(gè)神經(jīng)元的動(dòng)作閾值，sgn是符號(hào)函數(shù)：當(dāng)神經(jīng)元的動(dòng)作電位Nj超越閾值θj時(shí)，神經(jīng)元輸出+1，處于興奮狀態(tài)；當(dāng)Nj沒(méi)超越閾值θj時(shí)，神經(jīng)元輸出－1，處于抑制狀態(tài)。MP作用函數(shù)如圖3-2所示。圖3-2MP作用函數(shù)人工神經(jīng)元模型有如下3個(gè)性質(zhì)：

(1)i≠j，由于第j個(gè)神經(jīng)元不可能自己對(duì)自身進(jìn)行輸入，因此第i個(gè)輸入中不能包括第j個(gè)神經(jīng)元。

(2)閾值θj可以看作是一個(gè)輸入信號(hào)的權(quán)值，該輸入信號(hào)和權(quán)值分別用x0和w0j表示，且x0=1，則有：

θj=w0jx0

于是式中，w0j=θj，x0=1。

(3)在需要考慮突觸的延長(zhǎng)作用時(shí)，神經(jīng)元的作用函數(shù)應(yīng)修正為t+1時(shí)刻的神經(jīng)元沖動(dòng)取決于t時(shí)刻的輸入。人工神經(jīng)元輸出、輸入之間的關(guān)系表達(dá)式?jīng)Q定了人工神經(jīng)元具有PID調(diào)節(jié)功能。3.1.2Hebb學(xué)習(xí)法則

1949年，D.O.Hebb首先提出了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，史稱Hebb學(xué)習(xí)法則。該法則的文字?jǐn)⑹鍪恰吧窠?jīng)元連接強(qiáng)度的變化與兩個(gè)相互連接神經(jīng)元的激活水平成正比”。這一學(xué)習(xí)法則源自于一個(gè)物理現(xiàn)象，就是當(dāng)兩個(gè)神經(jīng)元都處在激活狀態(tài)時(shí)，兩個(gè)神經(jīng)元之間的連接突觸將增強(qiáng)。人們?cè)谏锬軌蛐纬伞傲?xí)慣”以及多次訓(xùn)練能夠形成條件反射的觀察中，看到了這一現(xiàn)象并把它歸納與總結(jié)。設(shè)網(wǎng)絡(luò)中的第i個(gè)神經(jīng)元對(duì)第j個(gè)神經(jīng)元的連接如圖3-3所示，傳遞信號(hào)時(shí)的權(quán)值為wij，連接強(qiáng)度的變化為wij，兩個(gè)相互連接神經(jīng)元的激活水平可以表示成ηyjxi，其中的η稱為激活率(又稱為學(xué)習(xí)率)，激活率的大小將直接影響激活水平的高低。

Hebb學(xué)習(xí)法表示成

Δwij=yjxi

t時(shí)刻和t+1時(shí)刻的權(quán)值分別為wij(t)和wij(t+1)，有

wij(t+1)=wij(t)+Δwij=wij(t)+ηyjxi圖3-3兩個(gè)神經(jīng)元上式說(shuō)明權(quán)值的調(diào)整與第j個(gè)神經(jīng)元的輸入輸出乘積成正比。在批量出現(xiàn)的輸入模式樣本中，頻率較高的輸入樣本將對(duì)加權(quán)值的調(diào)整產(chǎn)生較大影響。

Hebb學(xué)習(xí)法有以下四個(gè)特征：

(1)連接強(qiáng)度的變化與相鄰兩個(gè)神經(jīng)元的輸出乘積成正比，只要知道相連接神經(jīng)元的輸出，就能獲得連接強(qiáng)度的變化。

(2)學(xué)習(xí)過(guò)程僅體現(xiàn)在信號(hào)前饋傳送過(guò)程中，無(wú)反饋現(xiàn)象存在。

(3)是一種無(wú)導(dǎo)師學(xué)習(xí)，無(wú)須知道目標(biāo)輸出是什么。

(4)如果相連接兩個(gè)神經(jīng)元的輸出正負(fù)始終一致，將使連接強(qiáng)度無(wú)約束地增長(zhǎng)，為了防止這一狀況出現(xiàn)，需要預(yù)先設(shè)置連接強(qiáng)度飽和值。

Hebb學(xué)習(xí)法則除了使用神經(jīng)元在某一時(shí)刻輸出信號(hào)乘積表示連接強(qiáng)度的變化外，還可以改進(jìn)成使用差分形式。設(shè)t－1時(shí)刻兩神經(jīng)元的輸出為xi(t－1)和yj(t－1)；t時(shí)刻兩神經(jīng)元的輸出為xi(t)和yj(t)，則t+1時(shí)刻連接強(qiáng)度權(quán)值為：

wij(t+1)=wij(t)+η(yj(t)－yj(t－1))(xi(t)－xi(t－1))

wij(t+1)與前兩個(gè)相鄰時(shí)刻的神經(jīng)元輸出增量成正比。連接強(qiáng)度與每一時(shí)刻的輸出或輸出增量有關(guān)，反映了此時(shí)采用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為非線性結(jié)構(gòu)。如果輸出量與時(shí)間無(wú)關(guān)，這時(shí)的神經(jīng)元就是線性神經(jīng)元。但是線性神經(jīng)元及由此

構(gòu)成的線性神經(jīng)網(wǎng)絡(luò)存在表達(dá)能力有限的問(wèn)題，不能真實(shí)模擬生物神經(jīng)網(wǎng)絡(luò)的信息處理特征。

為了說(shuō)明Hebb學(xué)習(xí)法則的應(yīng)用，現(xiàn)以線性聯(lián)想網(wǎng)絡(luò)為例說(shuō)明其訓(xùn)練過(guò)程。設(shè)學(xué)習(xí)率η=1，連接強(qiáng)度矩陣初始化為0，用m個(gè)輸入代入加權(quán)值調(diào)整公式后，得加權(quán)值調(diào)整矩陣的表達(dá)式：

若xk為標(biāo)準(zhǔn)正交矢量，則當(dāng)網(wǎng)絡(luò)的輸入為xj時(shí)，網(wǎng)絡(luò)的輸出為考慮到xkT·xk=1，則表明神經(jīng)元的輸出就是網(wǎng)絡(luò)的輸出，對(duì)應(yīng)每一個(gè)輸入，Hebb學(xué)習(xí)法則將給出正確的輸出結(jié)果。如果輸入矢量xk不是標(biāo)準(zhǔn)正交矢量，則網(wǎng)絡(luò)輸入為xj時(shí)的網(wǎng)絡(luò)輸出為將Qk與yk比較后得知，當(dāng)矢量xk非正交時(shí)，網(wǎng)絡(luò)輸出與神經(jīng)元之間的輸出有誤差，誤差的大小為輸入模式的相關(guān)之和?，F(xiàn)舉一個(gè)實(shí)例來(lái)闡述如何利用Hebb學(xué)習(xí)法則設(shè)計(jì)線性聯(lián)想網(wǎng)絡(luò)。設(shè)神經(jīng)網(wǎng)絡(luò)的原型輸入矢量為輸出矢量為相應(yīng)網(wǎng)絡(luò)加權(quán)值調(diào)整矩陣為使用原型輸入矢量驗(yàn)證加權(quán)值調(diào)整矩陣，網(wǎng)絡(luò)輸出為網(wǎng)絡(luò)實(shí)際輸出同于神經(jīng)元輸出，線性聯(lián)想得以實(shí)施。

如果是非標(biāo)準(zhǔn)正交，需要對(duì)輸出矩陣作規(guī)格化處理，即便如此，使用原型模式輸入聯(lián)想，設(shè)計(jì)加權(quán)值調(diào)整矩陣也只能使輸出接近目標(biāo)，而不能完全吻合。

3.2感知器

1958年，美國(guó)學(xué)者Rosenblatt提出只有一個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)模型，史稱感知器或單層感知器，因不能解決異或運(yùn)算問(wèn)題，一度被束之高閣，這幾乎斷送了神經(jīng)網(wǎng)絡(luò)的發(fā)展。但隨后出現(xiàn)的多層感知器不僅僅解決了異或問(wèn)題，還能實(shí)現(xiàn)任意的二值邏輯函數(shù)處理，因而有力推動(dòng)了神經(jīng)網(wǎng)絡(luò)的研究。在此基礎(chǔ)上形成的多層前饋網(wǎng)絡(luò)，已經(jīng)成為當(dāng)前靜態(tài)神經(jīng)網(wǎng)絡(luò)最具代表性的研究模型。3.2.1單層感知器

單層感知器模型如圖3-4所示，輸入矢量X是一個(gè)n維矢量，僅有一個(gè)人工神經(jīng)元，輸出信號(hào)u是輸入矢量的非線性作用函數(shù)，數(shù)值上等于各輸出分量加權(quán)和并加一個(gè)閾值Q：感知器輸出為若設(shè)Q=w0，x0＝1，則上式成為圖3-4單層感知器模型單層感知器的網(wǎng)絡(luò)模型雖然與MP模型類似，但兩個(gè)模型之間的差別在于連接權(quán)值的調(diào)整。MP模型的權(quán)值不能通過(guò)學(xué)習(xí)調(diào)整，是一種無(wú)導(dǎo)師學(xué)習(xí)。而單層感知器的權(quán)值可以通過(guò)學(xué)習(xí)調(diào)整，是一種有導(dǎo)師學(xué)習(xí)。單層感知器的學(xué)習(xí)規(guī)則如下：

(1)設(shè)輸入樣本連接權(quán)值wi(0)為一個(gè)較小的非零隨機(jī)值，i=0，1，2，…，n。

(2)設(shè)輸入輸出樣本對(duì)xj/yj，j＝0，1，2，…，L，且xj=(x0j，x1j，…，xnj)，其中x0j＝1。

(3)輸出樣本dj作導(dǎo)師信號(hào)，選取如下的閾值函數(shù):(4)感知器輸出由下式給出：

(5)加權(quán)值按下式調(diào)整：

wi(t+1)=wi(t)+η(dj－yj)xij其中，η是學(xué)習(xí)率，取值范圍為(0，1］，不同取值影響到加權(quán)值調(diào)整快慢不同。

(6)學(xué)習(xí)在yj(t)=dj時(shí)結(jié)束，否則重選導(dǎo)師信號(hào)，從第(3)步再開(kāi)始。學(xué)習(xí)一旦結(jié)束，輸入輸出模式樣本將以連接權(quán)值和閾值的形式分布存儲(chǔ)在網(wǎng)絡(luò)中。這種單層感知器的學(xué)習(xí)規(guī)則對(duì)二進(jìn)制神經(jīng)元起作用，初始權(quán)值雖然小些為好，但理論上選取任意值都行。

單層感知器適用于線性分類，在多維樣本空間中起到一個(gè)將兩類模式樣本分開(kāi)的超平面作用。如果輸入模式樣本線性可分，學(xué)習(xí)法則一定收斂。如果輸入模式樣本線性不可分，則單層感知器的學(xué)習(xí)法則不收斂，也就不能正確進(jìn)行分類。

先看線性可分的例子。設(shè)輸入矢量為，網(wǎng)絡(luò)模型如圖3-5所示，則輸出信號(hào)為這時(shí)二維平面上的兩類模式呈現(xiàn)邏輯“與”關(guān)系，真值表如表3-1所示。圖3-5網(wǎng)絡(luò)模型將輸入模式樣本代入表達(dá)式中，有考慮到w0=－Q，Q是神經(jīng)元的閾值，則有2Q＞w1+w2＞Q＞0。表明總存在一組(w1，w2)滿足上式。如果將輸入模式樣本(x1，x2)畫(huà)在x1－x2平面上，則總可以找到一條直線，將“與”輸入模式的4個(gè)樣本隔開(kāi)，如圖3-6所示。圖3-6隔開(kāi)“與”輸入模式樣本隔開(kāi)樣本的直線方程可用

y=w1x1+w2x2－Q=0

或表示。凡具有線性邊界的平面上二維模式識(shí)別都可以用單層感知器解決。將感知器看成一個(gè)二值邏輯單元，除了能實(shí)現(xiàn)“與”功能外，還能實(shí)現(xiàn)“或”、“非”功能。二維平面上隔開(kāi)“或”、“非”輸入模式樣本如圖3-7所示。圖3-7隔開(kāi)“或”“非”輸入樣本(a)實(shí)現(xiàn)“或”；(b)實(shí)現(xiàn)“非”設(shè)輸入矢量，則感知器的輸出可表示為邏輯“或”、“異或”的真值表如表3-2所示。將邏輯“或”關(guān)系用于感知器輸出，有

w1·0+w2·0－Q＜0，y=0

w1·0+w2·1－Q≥0，y=1

w1·1+w2·0－Q≥0，y=1

w1·1+w2·1－Q≥0，y=1

則有若取w1＝w2＞0，則有

0＜Q＜w1＜2w1

可見(jiàn)，只要w1為正數(shù)，總可以找到一組w1、w2滿足上式。

單層感知器不能實(shí)現(xiàn)邏輯“異或”關(guān)系。將“異或”關(guān)系代入輸入表達(dá)式，有找不到(w1，w2)的任何一組滿足上式。表現(xiàn)在x1－x2圖上，找不出一根線能輸出結(jié)果分類?！爱惢颉苯Y(jié)果如圖3-8所示。圖3-8“異或”的結(jié)果3.2.2多層感知器

1.多層感知器的結(jié)構(gòu)

單層感知器由于只有一個(gè)神經(jīng)元，功能單一，只能完成線性決策或?qū)崿F(xiàn)“與”、“或”、“非”等單一邏輯函數(shù)。多層感知器是在單層感知器的基礎(chǔ)上發(fā)展起來(lái)的，它由n層組成(n＞1)。每一層有若干個(gè)非線性神經(jīng)元，每個(gè)神經(jīng)元就是一個(gè)單層感知器。多層感知器的結(jié)構(gòu)如圖3-9所示。圖3-9多層感知器的結(jié)構(gòu)(以n層為例)為分析方便起見(jiàn)，設(shè)第1層為輸入層。輸出信號(hào)的那一層叫輸出層。輸入層與輸出層之間的各層叫隱層。

輸入層是信號(hào)的起始點(diǎn)，沒(méi)有函數(shù)處理功能，信號(hào)的出發(fā)點(diǎn)可以稱為端口，不叫神經(jīng)元。

隱層由若干層組成，每一層允許有不同數(shù)量的非線性神經(jīng)元。

無(wú)論是輸入層的端口，還是隱層或輸出層的神經(jīng)元，都可以叫做節(jié)點(diǎn)，對(duì)不同的層面，節(jié)點(diǎn)的名稱不同。

輸入層、隱層、輸出層的節(jié)點(diǎn)分別被稱為輸入節(jié)點(diǎn)、隱節(jié)點(diǎn)和輸出節(jié)點(diǎn)。各層之間的連接采用全連接方式，即第j層的某一節(jié)點(diǎn)有輸出連接到第j+1層的每一節(jié)點(diǎn)，從輸入到輸出只有前饋連接，沒(méi)有反饋連接。多層感知器形成的這種結(jié)構(gòu)像一張網(wǎng)，因此多層感知器又有另一個(gè)別名，叫多層網(wǎng)。當(dāng)隱層只有一層時(shí)，可稱其為三層網(wǎng)，輸入層、隱層、輸出層各一層，且從輸入層到輸出層的編號(hào)依次為第1層、第2層、第3層。(編者按：由于輸入層節(jié)點(diǎn)無(wú)神經(jīng)元功能，在有些文獻(xiàn)中把輸入層、隱層、輸出層各有一層的網(wǎng)絡(luò)稱為二層網(wǎng)，或隱一層網(wǎng)，而各層編號(hào)方法是：輸入層為第0層，隱層從第1層開(kāi)始依次編排，本書(shū)不用這種排法。)

2.多層感知器的功能

多層感知器雖然增加了一個(gè)隱層，但在功能運(yùn)用上比單層感知器有了重大突破。概括起來(lái)，它有三個(gè)主要功能：

(1)實(shí)現(xiàn)任何一個(gè)邏輯函數(shù)；

(2)在模式識(shí)別中，識(shí)別任一凸多邊形或無(wú)界凸區(qū)域，或者生成復(fù)雜的邊界，劃分輸入空間；

(3)能逼近從Rn到Rm的任一連續(xù)映射。

定理如果隱層節(jié)點(diǎn)能夠任意設(shè)置，用三層閾值節(jié)點(diǎn)的多層感知器能夠?qū)崿F(xiàn)任意二值邏輯函數(shù)。定理證明從略。

作為一種應(yīng)用，可以看它如何求解異或問(wèn)題。設(shè)三層網(wǎng)絡(luò)如圖3-10所示，設(shè)輸入層和隱層各有2個(gè)節(jié)點(diǎn)，輸出層有1個(gè)節(jié)點(diǎn)。圖3-10三層網(wǎng)絡(luò)輸入層到隱層的連接強(qiáng)度為w1ij(i=1，2；j=1，2)，隱層到輸出層節(jié)點(diǎn)的連接強(qiáng)度為w2jk(j=1，2；k=1)。i、j和k分別是輸入層、隱層和輸出層的節(jié)點(diǎn)數(shù)。隱層和輸出層節(jié)點(diǎn)的閾值分別是Qj1、Qj2和Qy。

隱層兩節(jié)點(diǎn)的輸出為

j1=f(w111x1+w121x2－Qj1)

j2=f(w112x1+w122x2－Qj2)

輸出層節(jié)點(diǎn)的輸出為

y=f(w211j1+w221j2－Qy)

如果神經(jīng)元節(jié)點(diǎn)的作用函數(shù)選取階躍函數(shù)：

則隱層和輸出層節(jié)點(diǎn)的輸出可分別表示為為實(shí)現(xiàn)邏輯關(guān)系，取三組連接強(qiáng)度加權(quán)值和閾值如下：w111=－1，w121=－1，Qj1=－1.2w112=1，w121=1，Qj2=0.8w211=1，w221=1，Qy=1.5由此確定出三層節(jié)點(diǎn)間關(guān)系，如表3-3所示，相應(yīng)邏輯關(guān)系式為邏輯關(guān)系圖及狀態(tài)空間邊界劃分如圖3-11和圖3-12所示，圖中說(shuō)明了如何使用兩個(gè)不同層面的平面來(lái)區(qū)分不同的類型。圖3-11y=x1x2圖3-12三層感知器解決異或問(wèn)題(a)x1－x2－y三維空間；(b)x1－x2平面

3.3BP網(wǎng)絡(luò)與BP算法

在1986年，Rumelhant和McClelland提出了多層前饋網(wǎng)絡(luò)的誤差反向傳播(ErrorBackPropagation)學(xué)習(xí)算法，簡(jiǎn)稱BP算法，這是一種多層網(wǎng)絡(luò)的逆推學(xué)習(xí)算法。由此采用BP

算法的多層前饋網(wǎng)絡(luò)也廣泛被稱為BP網(wǎng)絡(luò)。3.3.1BP網(wǎng)絡(luò)的基本結(jié)構(gòu)

BP網(wǎng)絡(luò)結(jié)構(gòu)如圖3-13所示，由輸入層、隱層(中間層)、輸出層組成，隱層可以是一層，也可是多層。每一層允許有不同數(shù)目的節(jié)點(diǎn)，隱層和輸出層的每一個(gè)節(jié)點(diǎn)是一個(gè)神經(jīng)

元，前一層的節(jié)點(diǎn)與后一層的節(jié)點(diǎn)采用完全連接方式，連接強(qiáng)度的加權(quán)值(簡(jiǎn)稱權(quán)值)允許不同，權(quán)值越大表示該輸入的影響越大。神經(jīng)元的所有輸入采用加權(quán)和的方式。輸入、

輸出向量分別用x和y表示，且x=(x1，x2，…，xn)，y=(y1，y2，…，ym)，表示輸入層、輸出層分別有n、m個(gè)節(jié)點(diǎn)。輸入、輸出向量分別是n維和m維。圖3-13BP網(wǎng)絡(luò)3.3.2BP算法及步長(zhǎng)調(diào)整

BP算法由信號(hào)的正向傳播和誤差的反向傳播兩個(gè)過(guò)程組成。

正向傳播時(shí)，輸入樣本從輸入層進(jìn)入網(wǎng)絡(luò)，經(jīng)隱層逐層傳遞至輸出層，如果輸出層的實(shí)際輸出與期望輸出(導(dǎo)師信號(hào))不同，則轉(zhuǎn)至誤差反向傳播；如果輸出層的實(shí)際輸出與

期望輸出(導(dǎo)師信號(hào))相同，結(jié)束學(xué)習(xí)算法。反向傳播時(shí)，將輸出誤差(期望輸出與實(shí)際輸出之差)按原通路反傳計(jì)算，通過(guò)隱層反向，直至輸入層，在反傳過(guò)程中將誤差分?jǐn)偨o各層的各個(gè)單元，獲得各層各單元的誤差信

號(hào)，并將其作為修正各單元權(quán)值的根據(jù)。這一計(jì)算過(guò)程使用梯度下降法完成，在不停地調(diào)整各層神經(jīng)元的權(quán)值和閾值后，使誤差信號(hào)減小到最低限度。

權(quán)值和閾值不斷調(diào)整的過(guò)程，就是網(wǎng)絡(luò)的學(xué)習(xí)與訓(xùn)練過(guò)程，經(jīng)過(guò)信號(hào)正向傳播與誤差反向傳播，權(quán)值和閾值的調(diào)整反復(fù)進(jìn)行，一直進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)訓(xùn)練次數(shù)，或輸出誤

差減小到允許的程度。

1.標(biāo)準(zhǔn)BP學(xué)習(xí)算法的步驟

標(biāo)準(zhǔn)BP學(xué)習(xí)算法的步驟如下：

(1)用一個(gè)小的隨機(jī)數(shù)初始化，例如用－0.1～0.1之間的一個(gè)隨機(jī)數(shù)對(duì)權(quán)值進(jìn)行初始化。

(2)選擇S型函數(shù)作為神經(jīng)元功能函數(shù)：

f(u)=(1+e－u)－1

其導(dǎo)數(shù)為每個(gè)節(jié)點(diǎn)的功能函數(shù)為式中，vk，j是第k層第i個(gè)神經(jīng)元的輸出，wk，j，i是第k－1層第i個(gè)神經(jīng)元連接到第k層第j個(gè)神經(jīng)元的權(quán)值。

(3)求網(wǎng)絡(luò)目標(biāo)函數(shù)J(t)。網(wǎng)絡(luò)目標(biāo)函數(shù)采用總誤差平方和的指標(biāo)衡量，設(shè)目標(biāo)輸出為dp，Jp(t)為第p組輸入時(shí)的目標(biāo)函數(shù)：將單個(gè)樣本的誤差平方和累積，得總誤差平方和為網(wǎng)絡(luò)目標(biāo)函數(shù)J(t)用于評(píng)價(jià)網(wǎng)絡(luò)學(xué)習(xí)狀態(tài)。(4)事先確定誤差值ε，將目標(biāo)函數(shù)J(t)與ε比較，如果

J(t)－ε≤0

則算法結(jié)束，否則轉(zhuǎn)入誤差反向傳播計(jì)算。

(5)誤差反向傳播計(jì)算。反向傳播計(jì)算按梯度下降法進(jìn)行，逐層調(diào)整權(quán)值。調(diào)整時(shí)取步長(zhǎng)η為常值，從第i個(gè)神經(jīng)元到第j個(gè)神經(jīng)元連接權(quán)調(diào)整公式為步長(zhǎng)η又稱為學(xué)習(xí)率，是一個(gè)較小的正數(shù)。偏導(dǎo)數(shù)的計(jì)算方法如下：式中，uk，j是第k層第j個(gè)節(jié)點(diǎn)的輸出?？紤]到代入偏導(dǎo)數(shù)計(jì)算公式并層層遞推計(jì)算，得上式表明求第k層輸出節(jié)點(diǎn)的偏導(dǎo)數(shù)，能轉(zhuǎn)變成對(duì)k+1層輸出節(jié)點(diǎn)求偏導(dǎo)數(shù)，如此層層遞推，直至輸出層。輸出層的偏導(dǎo)數(shù)為

在整個(gè)訓(xùn)練過(guò)程中，輸入樣本周期性進(jìn)入網(wǎng)絡(luò)，直至網(wǎng)絡(luò)收斂，輸出誤差進(jìn)入事先允許的范圍之內(nèi)。

2.連接強(qiáng)度加權(quán)值的調(diào)整

提高“標(biāo)準(zhǔn)BP學(xué)習(xí)算法”的收斂速度是長(zhǎng)期以來(lái)研究的課題，其中有兩種方法提高收斂速度較為有效，一種是調(diào)整連接權(quán)值，一種是調(diào)整學(xué)習(xí)率。

常用的連接強(qiáng)度加權(quán)值調(diào)整方法有兩種：一種是逐個(gè)處理輸入樣本，另一種是批量處理輸入樣本。

逐個(gè)處理輸入樣本是對(duì)每一個(gè)輸入樣本完成連接權(quán)的調(diào)整，優(yōu)點(diǎn)是調(diào)整速度快，立即見(jiàn)效，并且有助于逃離局部極小點(diǎn)，缺點(diǎn)是隨機(jī)擾動(dòng)隨時(shí)存在導(dǎo)致精度不高。批量處理輸入樣本適用于高精度映射，這是因?yàn)閰⑴c訓(xùn)練的輸入樣本越多，每個(gè)輸入對(duì)輸出的影響越接近于實(shí)際情況，從而精度越高。使用誤差反向傳播處理成批輸入樣本時(shí)，連接權(quán)值的調(diào)整量由累加而成，方法是全部樣本依次輸入后通過(guò)累加實(shí)施，用數(shù)學(xué)表達(dá)式表示為式中，m是輸入樣本個(gè)數(shù)。無(wú)論選取哪一種調(diào)整連接強(qiáng)度加權(quán)值的方法，都希望在訓(xùn)練過(guò)程中，連接強(qiáng)度加權(quán)值不發(fā)生急劇變化，不引起訓(xùn)練過(guò)程振蕩，使連接權(quán)值平滑變化。為了做到這一點(diǎn)，在權(quán)值表達(dá)式中增加一項(xiàng)，該項(xiàng)被稱為慣性項(xiàng)，修改后的第p行連接權(quán)值增量表達(dá)式為式中第二項(xiàng)就是慣性項(xiàng)，ξ稱為慣性因子，取值范圍為［0，1］。若ξ取值為0，則本次連接權(quán)值的調(diào)整與前一步無(wú)關(guān)；若ξ取值為1，則前一步連接權(quán)的變化將全部施加到本次的調(diào)整上，必然會(huì)加快訓(xùn)練過(guò)程的收斂。ξ的通常首選值是在0.85～0.95之間。連接權(quán)值增量表達(dá)式是運(yùn)用共軛梯度法運(yùn)算的一種形式，共軛梯度法中的收斂系數(shù)既可以由算法在每一步計(jì)算中確定，也可以由用戶選擇。但無(wú)論哪種做法，其目的只有一個(gè)，就是既要收斂、避免振蕩或陷入局部極小點(diǎn)，又要求收斂過(guò)程盡快完成。當(dāng)訓(xùn)練過(guò)程處于目標(biāo)函數(shù)曲線的平滑區(qū)間開(kāi)展時(shí)，每一步的梯度將保持平穩(wěn)，連接權(quán)增量表達(dá)式能進(jìn)一步簡(jiǎn)化為

這意味著帶有慣性項(xiàng)時(shí)的增量調(diào)整步長(zhǎng)遠(yuǎn)大于不帶慣性項(xiàng)的增量調(diào)整，由于ξ≥0，ξ越大，調(diào)整效果越顯著。

3.學(xué)習(xí)率的調(diào)整

學(xué)習(xí)率η的大小直接關(guān)系到算法的收斂。η選擇得足夠小，有利于總誤差極小變化，但學(xué)習(xí)進(jìn)展的速度較慢；反之，η選擇得足夠大，雖然能夠加快學(xué)習(xí)進(jìn)程，但不利于收斂，容易產(chǎn)生振蕩，或者陷入局部極小點(diǎn)，或者停止在誤差函數(shù)的平穩(wěn)段處。學(xué)習(xí)率的大小選擇需要綜合考慮，既要照顧到收斂性，又要兼顧到學(xué)習(xí)的速度。

左右學(xué)習(xí)率大小的上述兩個(gè)因素中，首先應(yīng)當(dāng)考慮的是算法收斂性，在保證收斂的情況下盡快地提高學(xué)習(xí)速度，學(xué)習(xí)速度過(guò)慢的BP網(wǎng)絡(luò)沒(méi)有任何實(shí)用價(jià)值。調(diào)整學(xué)習(xí)率的具體做法是要改變學(xué)習(xí)率，使BP算法在按步驟進(jìn)行的收斂過(guò)程中，每一步的學(xué)習(xí)率都將發(fā)生變化，而不是固定不變。學(xué)習(xí)率η固定不變的BP算法只能用來(lái)說(shuō)

明多層前饋網(wǎng)絡(luò)基本結(jié)構(gòu)和工作原理。

學(xué)習(xí)率的改變要遵循一定的規(guī)律，這個(gè)規(guī)律就是每一步的步長(zhǎng)盡可能大一些，但又必須保證訓(xùn)練過(guò)程不失穩(wěn)定。從這一規(guī)律出發(fā)，實(shí)際操作可以采取不同的方法進(jìn)行。其中最為簡(jiǎn)單的操作方法有兩種：一種根據(jù)誤差函數(shù)對(duì)學(xué)習(xí)率的梯度決定學(xué)習(xí)率的大??；另一種是按照誤差函數(shù)的變化來(lái)決定學(xué)習(xí)率的大小。

4.根據(jù)誤差函數(shù)對(duì)學(xué)習(xí)率的梯度來(lái)調(diào)整

設(shè)BP網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)函數(shù)為式中，k表示迭代次數(shù)，且每一個(gè)輸入樣本迭代一次；y表示網(wǎng)絡(luò)的期望輸出，y表示網(wǎng)絡(luò)的實(shí)際輸出；e表示期望輸出與實(shí)際輸出之間的誤差。考慮到神經(jīng)元的輸出yi與輸入xj之間的關(guān)系：學(xué)習(xí)目標(biāo)函數(shù)對(duì)學(xué)習(xí)率ηij(k)的梯度定義如下：定義說(shuō)明在第k時(shí)刻的梯度與目標(biāo)函數(shù)對(duì)連接權(quán)在k－1時(shí)刻的梯度有關(guān)，表示多層網(wǎng)絡(luò)中任意相鄰兩層間神經(jīng)元之間的連接權(quán)調(diào)整都能對(duì)最終結(jié)果有影響。按照最陡下降規(guī)則，學(xué)習(xí)率的調(diào)整公式如下：式中，n是一個(gè)正實(shí)數(shù)，其取值大小反映了學(xué)習(xí)率步長(zhǎng)。上式求偏導(dǎo)數(shù)的值可正可負(fù)。當(dāng)目標(biāo)函數(shù)的偏導(dǎo)數(shù)為正值時(shí)，反映出對(duì)wij的調(diào)整加快，相應(yīng)學(xué)習(xí)過(guò)程也加快；反之，在連續(xù)兩次迭代時(shí)，目標(biāo)函數(shù)的偏導(dǎo)數(shù)改變符號(hào)，使得學(xué)習(xí)率調(diào)整值為負(fù)，學(xué)習(xí)過(guò)程也將減慢。

5.根據(jù)誤差函數(shù)的變化來(lái)調(diào)整

按照誤差函數(shù)的變化來(lái)調(diào)整，需要遵守的若干規(guī)則是：

如果誤差函數(shù)在調(diào)整過(guò)程中向小的方向變化，表明新的誤差比調(diào)整前一次誤差小一些，學(xué)習(xí)率應(yīng)當(dāng)增加；

如果誤差函數(shù)在調(diào)整過(guò)程中向大的方向變化，表明新的誤差比調(diào)整前一次的誤差大一些，學(xué)習(xí)率應(yīng)當(dāng)減小，當(dāng)新誤差與前一次誤差之比大于1且超過(guò)一定數(shù)值時(shí)，學(xué)習(xí)率將快速下降。目標(biāo)函數(shù)中每一個(gè)可調(diào)參數(shù)都允許一個(gè)獨(dú)立的學(xué)習(xí)率，而一個(gè)學(xué)習(xí)率僅適合于一個(gè)權(quán)的調(diào)整，未必能適合其它連接權(quán)的調(diào)整。無(wú)論是固定不變的學(xué)習(xí)率，還是不恰當(dāng)?shù)倪x擇，都可能導(dǎo)致BP算法收斂速度較慢，每一步迭代必然要求改變學(xué)習(xí)率參數(shù)。

前一次誤差變化影響本次學(xué)習(xí)率可用下式表示：式中，a，b的取值滿足