第四章-神經(jīng)網(wǎng)絡(luò)基本理論

第四章_神經(jīng)網(wǎng)絡(luò)基本理論第一頁(yè)，共98頁(yè)。模糊控制從人的經(jīng)驗(yàn)出發(fā)，解決了智能控制中人類(lèi)語(yǔ)言的描述和推理問(wèn)題，尤其是一些不確定性語(yǔ)言的描述和推理問(wèn)題，從而在機(jī)器模擬人腦的感知、推理等智能行為方面邁出了重大的一步。模糊控制在處理數(shù)值數(shù)據(jù)、自學(xué)習(xí)能力等方面還遠(yuǎn)沒(méi)有達(dá)到人腦的境界。人工神經(jīng)網(wǎng)絡(luò)從另一個(gè)角度出發(fā)，即從人腦的生理學(xué)和心理學(xué)著手，通過(guò)人工模擬人腦的工作機(jī)理來(lái)實(shí)現(xiàn)機(jī)器的部分智能行為。引言2第二頁(yè)，共98頁(yè)。人工神經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱(chēng)神經(jīng)網(wǎng)絡(luò)，NeuralNetwork）是模擬人腦思維方式的數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代生物學(xué)研究人腦組織成果的基礎(chǔ)上提出的，用來(lái)模擬人類(lèi)大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。神經(jīng)網(wǎng)絡(luò)反映了人腦功能的基本特征，如并行信息處理、學(xué)習(xí)、聯(lián)想、模式分類(lèi)、記憶等。

20世紀(jì)80年代以來(lái)，人工神經(jīng)網(wǎng)絡(luò)（ANN，ArtificialNeuralNetwork）研究取得了突破性進(jìn)展。神經(jīng)網(wǎng)絡(luò)控制是將神經(jīng)網(wǎng)絡(luò)與控制理論相結(jié)合而發(fā)展起來(lái)的智能控制方法。它已成為智能控制的一個(gè)新的分支，為解決復(fù)雜的非線性、不確定、未知系統(tǒng)的控制問(wèn)題開(kāi)辟了新途徑。引言3第三頁(yè)，共98頁(yè)。神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究表明，人腦極其復(fù)雜，由一千多億個(gè)神經(jīng)元交織在一起的網(wǎng)狀結(jié)構(gòu)構(gòu)成，其中大腦皮層約140億個(gè)神經(jīng)元，小腦皮層約1000億個(gè)神經(jīng)元。人腦能完成智能、思維等高級(jí)活動(dòng)，為了能利用數(shù)學(xué)模型來(lái)模擬人腦的活動(dòng)，導(dǎo)致了神經(jīng)網(wǎng)絡(luò)的研究。神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細(xì)胞)，它是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。生物神經(jīng)元4第四頁(yè)，共98頁(yè)。單個(gè)神經(jīng)元的解剖圖生物神經(jīng)元每個(gè)神經(jīng)元都由一個(gè)細(xì)胞體，一個(gè)連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支—樹(shù)突組成。5第五頁(yè)，共98頁(yè)。軸突功能是將本神經(jīng)元的輸出信號(hào)(興奮)傳遞給別的神經(jīng)元，其末端的許多神經(jīng)末梢使得興奮可以同時(shí)傳送給多個(gè)神經(jīng)元。生物神經(jīng)元

樹(shù)突的功能是接受來(lái)自其它神經(jīng)元的興奮。神經(jīng)元細(xì)胞體將接收到的所有信號(hào)進(jìn)行簡(jiǎn)單地處理后，由軸突輸出。神經(jīng)元的軸突與另外神經(jīng)元神經(jīng)末梢相連的部分稱(chēng)為突觸。6第六頁(yè)，共98頁(yè)。

神經(jīng)元的構(gòu)成：（1）細(xì)胞體（主體部分）：包括細(xì)胞質(zhì)、細(xì)胞膜和細(xì)胞核；（2）樹(shù)突：用于為細(xì)胞體傳入信息；（3）軸突：為細(xì)胞體傳出信息，其末端是軸突末梢，含傳遞信息的化學(xué)物質(zhì)；（4）突觸：是神經(jīng)元之間的接口（104~105個(gè)/每個(gè)神經(jīng)元）。通過(guò)樹(shù)突和軸突，神經(jīng)元之間實(shí)現(xiàn)了信息的傳遞。生物神經(jīng)元7第七頁(yè)，共98頁(yè)。

神經(jīng)元之間的聯(lián)系主要依賴(lài)其突觸的聯(lián)接作用。這種突觸的聯(lián)接是可塑的，也就是說(shuō)突觸特性的變化是受到外界信息的影響或自身生長(zhǎng)過(guò)程的影響。生理學(xué)的研究歸納有以下幾個(gè)方面的變化：

(1)突觸傳遞效率的變化。首先是突觸的膨脹以及由此產(chǎn)生的突觸后膜表面積擴(kuò)大，從而突觸所釋放出的傳遞物質(zhì)增多，使得突觸的傳遞效率提高。其次是突觸傳遞物質(zhì)質(zhì)量的變化，包括比例成分的變化所引起傳遞效率的變化。

(2)突觸接觸間隙的變化。在突觸表面有許多形狀各異的小凸芽，調(diào)節(jié)其形狀變化可以改變接觸間隙，并影響傳遞效率。生物神經(jīng)元8第八頁(yè)，共98頁(yè)。

(3)突觸的發(fā)芽。當(dāng)某些神經(jīng)纖維被破壞后，可能又會(huì)長(zhǎng)出新芽，并重新產(chǎn)生附著于神經(jīng)元上的突觸．形成新的回路。由于新的回路的形成，使得結(jié)合模式發(fā)生變化，也會(huì)引起傳遞效率的變化。

(4)突觸數(shù)目的增減。由于種種復(fù)雜環(huán)境條件的刺激等原因，或者由于動(dòng)物本身的生長(zhǎng)或衰老，神經(jīng)系統(tǒng)的突觸數(shù)目會(huì)發(fā)生變化，并影響神經(jīng)元之間的傳遞效率。

生物神經(jīng)元9第九頁(yè)，共98頁(yè)。神經(jīng)元對(duì)信息的接受和傳遞都是通過(guò)突觸來(lái)進(jìn)行的。單個(gè)神經(jīng)元可以從別的細(xì)胞接受多個(gè)輸入。由于輸入分布于不同的部位，對(duì)神經(jīng)元影響的比例(權(quán)重)是不相同的。另外，各突觸輸入抵達(dá)神經(jīng)元的先后時(shí)間也不一祥。因此，一個(gè)神經(jīng)元接受的信息，在時(shí)間和空間上常呈現(xiàn)出一種復(fù)雜多變的形式，需要神經(jīng)元對(duì)它們進(jìn)行積累和整合加工，從而決定其輸出的時(shí)機(jī)和強(qiáng)度。正是神經(jīng)元這種整合作用，才使得億萬(wàn)個(gè)神經(jīng)元在神經(jīng)系統(tǒng)中有條不紊、夜以繼日地處理各種復(fù)雜的信息，執(zhí)行著生物中樞神經(jīng)系統(tǒng)的各種信息處理功能。多個(gè)神經(jīng)元以突觸聯(lián)接形成了一個(gè)神經(jīng)網(wǎng)絡(luò)。研究表明，生物神經(jīng)網(wǎng)絡(luò)的功能決不是單個(gè)神經(jīng)元生理和信息處理功能的簡(jiǎn)單疊加，而是一個(gè)有層次的、多單元的動(dòng)態(tài)信息處理系統(tǒng)。它們有其獨(dú)特的運(yùn)行方式和控制機(jī)制，以接受生物內(nèi)外環(huán)境的輸入信息，加以綜合分折處理，然后調(diào)節(jié)控制機(jī)體對(duì)環(huán)境作出適當(dāng)?shù)姆磻?yīng)。

生物神經(jīng)元10第十頁(yè)，共98頁(yè)。突觸的信息處理生物神經(jīng)元傳遞信息的過(guò)程為多輸入、單輸出神經(jīng)元各組成部分的功能來(lái)看，信息的處理與傳遞主要發(fā)生在突觸附近當(dāng)神經(jīng)元細(xì)胞體通過(guò)軸突傳到突觸前膜的脈沖幅度達(dá)到一定強(qiáng)度，即超過(guò)其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)突觸有兩種類(lèi)型，興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負(fù)突觸后電位生物神經(jīng)元11第十一頁(yè)，共98頁(yè)。神經(jīng)元具有如下功能：(1)

興奮與抑制：如果傳入神經(jīng)元的沖動(dòng)經(jīng)整合后使細(xì)胞膜電位升高，超過(guò)動(dòng)作電位的閾值時(shí)即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突經(jīng)神經(jīng)末梢傳出。如果傳入神經(jīng)元的沖動(dòng)經(jīng)整合后使細(xì)胞膜電位降低，低于動(dòng)作電位的閾值時(shí)即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動(dòng)。(2)學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)和減弱，因此神經(jīng)元具有學(xué)習(xí)與遺忘的功能。生物神經(jīng)元12第十二頁(yè)，共98頁(yè)。

以上是從宏觀上分析了人腦信息處理特點(diǎn)。從信息系統(tǒng)研究的觀點(diǎn)出發(fā)，對(duì)于人腦這個(gè)智能信息處理系統(tǒng)，有如下一些固有特征：

(1)并行分布處理的工作模式。實(shí)際上大腦中單個(gè)神經(jīng)元的信息處理速度是很慢的，每次約1毫秒(ms)，比通常的電子門(mén)電路要慢幾個(gè)數(shù)量級(jí)。每個(gè)神經(jīng)元的處理功能也很有限，估計(jì)不會(huì)比計(jì)算機(jī)的一條指令更復(fù)雜。但是人腦對(duì)某一復(fù)雜過(guò)程的處理和反應(yīng)卻很快，一般只需幾百毫秒。例如要判定人眼看到的兩個(gè)圖形是否一樣，實(shí)際上約需400ms，而在這個(gè)處理過(guò)程中，與腦神經(jīng)系統(tǒng)的一些主要功能，如視覺(jué)、記億、推理等有關(guān)。按照上述神經(jīng)元的處理速度，如果采用串行工作模式，就必須在幾百個(gè)串行步內(nèi)完成，這實(shí)際上是不可能辦到的。因此只能把它看成是一個(gè)由眾多神經(jīng)元所組成的超高密度的并行處理系統(tǒng)。例如在一張照片尋找一個(gè)熟人的面孔，對(duì)人腦而言，幾秒鐘便可完成，但如用計(jì)算機(jī)來(lái)處理，以現(xiàn)有的技術(shù)，是不可能在短時(shí)間內(nèi)完成的。由此可見(jiàn)，大腦信息處理的并行速度已達(dá)到了極高的程度。

生物神經(jīng)元13第十三頁(yè)，共98頁(yè)。

(2)神經(jīng)系統(tǒng)的可塑性和自組織性。神經(jīng)系統(tǒng)的可塑性和自組織性與人腦的生長(zhǎng)發(fā)育過(guò)程有關(guān)。例如，人的幼年時(shí)期約在9歲左右，學(xué)習(xí)語(yǔ)言的能力十分強(qiáng)，說(shuō)明在幼年時(shí)期，大腦的可塑性和柔軟性特別良好。從生理學(xué)的角度看，它體現(xiàn)在突觸的可塑性和聯(lián)接狀態(tài)的變化，同時(shí)還表現(xiàn)在神經(jīng)系統(tǒng)的自組織特性上。例如在某一外界信息反復(fù)刺激下．接受該信息的神經(jīng)細(xì)胞之間的突觸結(jié)合強(qiáng)度會(huì)增強(qiáng)。這種可塑性反映出大腦功能既有先天的制約因素，也有可能通過(guò)后天的訓(xùn)練和學(xué)習(xí)而得到加強(qiáng)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)制就是基于這種可塑性現(xiàn)象，并通過(guò)修正突觸的結(jié)合強(qiáng)度來(lái)實(shí)現(xiàn)的。生物神經(jīng)元14第十四頁(yè)，共98頁(yè)。

(3)信息處理與信息存貯合二為一。大腦中的信息處理與信息存貯是有機(jī)結(jié)合在一起的，而不像現(xiàn)行計(jì)算機(jī)那樣．存貯地址和存貯內(nèi)容是彼此分開(kāi)的。由于大腦神經(jīng)元兼有信息處理和存貯功能，所以在進(jìn)行回億時(shí)，不但不存在先找存貯地址而后再調(diào)出所存內(nèi)容的問(wèn)題，而且還可以由一部分內(nèi)容恢復(fù)全部?jī)?nèi)容。

(4)信息處理的系統(tǒng)性大腦是一個(gè)復(fù)雜的大規(guī)模信息處理系統(tǒng)，單個(gè)的元件“神經(jīng)元”不能體現(xiàn)全體宏觀系統(tǒng)的功能。實(shí)際上，可以將大腦的各個(gè)部位看成是一個(gè)大系統(tǒng)中的許多子系統(tǒng)。各個(gè)子系統(tǒng)之間具有很強(qiáng)的相互聯(lián)系，一些子系統(tǒng)可以調(diào)節(jié)另一些子系統(tǒng)的行為。例如，視覺(jué)系統(tǒng)和運(yùn)動(dòng)系統(tǒng)就存在很強(qiáng)的系統(tǒng)聯(lián)系，可以相互協(xié)調(diào)各種信息處理功能。生物神經(jīng)元15第十五頁(yè)，共98頁(yè)。(5)能接受和處理模糊的、模擬的、隨機(jī)的信息。(6)求滿(mǎn)意解而不是精確解。人類(lèi)處理日常行為時(shí)，往往都不是一定要按最優(yōu)或最精確的方式去求解，而是以能解決問(wèn)題為原則，即求得滿(mǎn)意解就行了。

(7)系統(tǒng)的恰當(dāng)退化和冗余備份(魯棒性和容錯(cuò)性)。

生物神經(jīng)元16第十六頁(yè)，共98頁(yè)。決定神經(jīng)網(wǎng)絡(luò)模型性能三大要素為：(1)

神經(jīng)元（信息處理單元）的特性；(2)

神經(jīng)元之間相互連接的形式—拓?fù)浣Y(jié)構(gòu)；(3)

為適應(yīng)環(huán)境而改善性能的學(xué)習(xí)規(guī)則。生物神經(jīng)元17第十七頁(yè)，共98頁(yè)。4.1人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型人工神經(jīng)網(wǎng)絡(luò)是在結(jié)構(gòu)和功能上對(duì)生物神經(jīng)網(wǎng)絡(luò)的某種程度的模擬和逼近。直觀理解神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)它一般由大量神經(jīng)元組成每個(gè)神經(jīng)元只有一個(gè)輸出，可以連接到很多其他的神經(jīng)元每個(gè)神經(jīng)元輸入有多個(gè)連接通道，每個(gè)連接通道對(duì)應(yīng)于一個(gè)連接權(quán)系數(shù)

18第十八頁(yè)，共98頁(yè)。

一、MP模型

MP模型屬于一種閾值元件模型，它是由美國(guó)McCulloch和Pitts提出的最早神經(jīng)元模型之一。MP模型是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。人工神經(jīng)網(wǎng)絡(luò)基本模型4.1人工神經(jīng)網(wǎng)絡(luò)模型19第十九頁(yè)，共98頁(yè)。yx1x2xnw1w2wn···q標(biāo)準(zhǔn)MP模型4.1人工神經(jīng)網(wǎng)絡(luò)模型20第二十頁(yè)，共98頁(yè)。

wij——代表神經(jīng)元i與神經(jīng)元j之間的連接強(qiáng)度(模擬生物神經(jīng)元之間突觸連接強(qiáng)度)，稱(chēng)之為連接權(quán)；

ui——代表神經(jīng)元i的活躍值，即神經(jīng)元狀態(tài)；xj——代表神經(jīng)元j的輸出，即是神經(jīng)元i的一個(gè)輸入；

θi——代表神經(jīng)元i的閾值。函數(shù)f表達(dá)了神經(jīng)元的輸入輸出特性。在MP模型中，f定義為階躍函數(shù)/激發(fā)函數(shù)：4.1人工神經(jīng)網(wǎng)絡(luò)模型21第二十一頁(yè)，共98頁(yè)。如果把閾值θi看作為一個(gè)特殊的權(quán)值，則可改寫(xiě)為:其中，w0i＝-θi，v0＝1為用連續(xù)型的函數(shù)表達(dá)神經(jīng)元的非線性變換能力，常采用s型函數(shù):該函數(shù)的圖像如下圖所示4.1人工神經(jīng)網(wǎng)絡(luò)模型22第二十二頁(yè)，共98頁(yè)。4.1人工神經(jīng)網(wǎng)絡(luò)模型23第二十三頁(yè)，共98頁(yè)。

MP模型在發(fā)表時(shí)并沒(méi)有給出一個(gè)學(xué)習(xí)算法來(lái)調(diào)整神經(jīng)元之間的連接權(quán)。但是，我們可以根據(jù)需要，采用一些常見(jiàn)的算法來(lái)調(diào)整神經(jīng)元連接權(quán)，以達(dá)到學(xué)習(xí)目的。下面介紹的Hebb學(xué)習(xí)規(guī)則就是一個(gè)常見(jiàn)學(xué)習(xí)算法。

Hebb學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能。對(duì)于人工神經(jīng)網(wǎng)絡(luò)而言，這種學(xué)習(xí)歸結(jié)為神經(jīng)元連接權(quán)的變化。調(diào)整wij的原則為：若第i和第j個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài)，則它們之間的連接應(yīng)當(dāng)加強(qiáng)，即：

Δwij＝αuivj

這一規(guī)則與“條件反射”學(xué)說(shuō)一致，并已得到神經(jīng)細(xì)胞學(xué)說(shuō)的證實(shí)。α是表示學(xué)習(xí)速率的比例常數(shù)。4.1人工神經(jīng)網(wǎng)絡(luò)模型24第二十四頁(yè)，共98頁(yè)。4.2神經(jīng)網(wǎng)絡(luò)的定義和特點(diǎn)神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代生物學(xué)研究人腦組織成果的基礎(chǔ)上提出的，用來(lái)模擬人類(lèi)大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為，它從微觀結(jié)構(gòu)和功能上對(duì)人腦進(jìn)行抽象和簡(jiǎn)化，是模擬人類(lèi)智能的一條重要途徑，反映了人腦功能的若干基本特征，如并行信息處理、學(xué)習(xí)、聯(lián)想、模式分類(lèi)、記憶等。

定義神經(jīng)網(wǎng)絡(luò)系統(tǒng)是由大量的神經(jīng)元，通過(guò)廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。25第二十五頁(yè)，共98頁(yè)。

特點(diǎn)（1）非線性映射逼近能力。任意的連續(xù)非線性函數(shù)映射關(guān)系可由多層神經(jīng)網(wǎng)絡(luò)以任意精度加以逼近。（2）自適應(yīng)性和自組織性。神經(jīng)元之間的連接具有多樣性，各神經(jīng)元之間的連接強(qiáng)度具有可塑性，網(wǎng)絡(luò)可以通過(guò)學(xué)習(xí)與訓(xùn)練進(jìn)行自組織，以適應(yīng)不同信息處理的要求。（3）并行處理性。網(wǎng)絡(luò)的各單元可以同時(shí)進(jìn)行類(lèi)似的處理過(guò)程，整個(gè)網(wǎng)絡(luò)的信息處理方式是大規(guī)模并行的，可以大大加快對(duì)信息處理的速度。（4）分布存儲(chǔ)和容錯(cuò)性。信息在神經(jīng)網(wǎng)絡(luò)內(nèi)的存儲(chǔ)按內(nèi)容分布于許多神經(jīng)元中，而且每個(gè)神經(jīng)元存儲(chǔ)多種信息的部分內(nèi)容。網(wǎng)絡(luò)的每部分對(duì)信息的存儲(chǔ)具有等勢(shì)作用，部分的信息丟失仍可以使完整的信息得到恢復(fù)，因而使網(wǎng)絡(luò)具有容錯(cuò)性和聯(lián)想記憶功能。（5）便于集成實(shí)現(xiàn)和計(jì)算模擬。神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上是相同神經(jīng)元的大規(guī)模組合，特別適合于用大規(guī)模集成電路實(shí)現(xiàn)。4.2神經(jīng)網(wǎng)絡(luò)的定義和特點(diǎn)26第二十六頁(yè)，共98頁(yè)。4.3感知器模型感知器是一種早期的神經(jīng)網(wǎng)絡(luò)模型，由美國(guó)學(xué)者F.Rosenblatt于1957年提出.感知器中第一次引入了學(xué)習(xí)的概念，使人腦所具備的學(xué)習(xí)功能在基于符號(hào)處理的數(shù)學(xué)到了一定程度的模擬，所以引起了廣泛的關(guān)注。簡(jiǎn)單感知器簡(jiǎn)單感知器模型實(shí)際上仍然是MP模型的結(jié)構(gòu)，但是它通過(guò)采用監(jiān)督學(xué)習(xí)來(lái)逐步增強(qiáng)模式劃分的能力，達(dá)到所謂學(xué)習(xí)的目的。27第二十七頁(yè)，共98頁(yè)。其結(jié)構(gòu)如下圖所示

感知器處理單元對(duì)n個(gè)輸入進(jìn)行加權(quán)和操作v即：其中，Wi為第i個(gè)輸入到處理單元的連接權(quán)值θ為閾值。f取階躍函數(shù).yx1x2xnw1w2wn···q4.3感知器模型28第二十八頁(yè)，共98頁(yè)。感知器在形式上與MP模型差不多，它們之間的區(qū)別在于神經(jīng)元間連接權(quán)的變化。感知器的連接權(quán)定義為可變的，這樣感知器就被賦予了學(xué)習(xí)的特性。利用簡(jiǎn)單感知器可以實(shí)現(xiàn)邏輯代數(shù)中的一些運(yùn)算。

Y=f(w1x1+w2x2-θ)(1)“與”運(yùn)算。當(dāng)取w1＝w2＝1，θ＝1.5時(shí)，上式完成邏輯“與”的運(yùn)算。4.3感知器模型29第二十九頁(yè)，共98頁(yè)。(2)“或”運(yùn)算，當(dāng)取wl＝w2＝1，θ＝0.5時(shí)，上式完成邏輯“或”的運(yùn)算。(3)“非”運(yùn)算，當(dāng)取wl=-1，w2＝0，θ

＝-1時(shí)．完成邏輯“非”的運(yùn)算。4.3感知器模型30第三十頁(yè)，共98頁(yè)。簡(jiǎn)單感知器引入的學(xué)習(xí)算法稱(chēng)之為誤差學(xué)習(xí)算法。該算法是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的一個(gè)重要算法，并已被廣泛應(yīng)用?，F(xiàn)介紹如下：誤差型學(xué)習(xí)規(guī)則：

(1)選擇一組初始權(quán)值wi(0)。

(2)計(jì)算某一輸入模式對(duì)應(yīng)的實(shí)際輸出與期望輸出的誤差δ。4.3感知器模型31第三十一頁(yè)，共98頁(yè)。(3)如果δ小于給定值，結(jié)束，否則繼續(xù)。(4)更新權(quán)值(閾值可視為輸入恒為1的一個(gè)權(quán)值)：Δwi（t+1）＝wi（t+1）-wi（t）＝η[d—y(t)]xi。式中η為在區(qū)間(0，1)上的一個(gè)常數(shù)，稱(chēng)為學(xué)習(xí)步長(zhǎng)，它的取值與訓(xùn)練速度和w收斂的穩(wěn)定性有關(guān)；通常η不能太大，因?yàn)樘髸?huì)影響wi（t）的穩(wěn)定，η也不能太小，因?yàn)樘?huì)使wi（t）的收斂速度太慢；d、y為神經(jīng)元的期望輸出和實(shí)際輸出；xi為神經(jīng)元的第i個(gè)輸入。

(5)返回(2)，重復(fù)，直到對(duì)所有訓(xùn)練樣本模式，網(wǎng)絡(luò)輸出均能滿(mǎn)足要求。4.3感知器模型32第三十二頁(yè)，共98頁(yè)。

2.多層感知器

如果在輸入和輸出層間加上一層或多層的神經(jīng)元(隱層神經(jīng)元)，就可構(gòu)成多層前向網(wǎng)絡(luò)，這里稱(chēng)為多層感知器。4.3感知器模型33第三十三頁(yè)，共98頁(yè)。4.4神經(jīng)網(wǎng)絡(luò)的分類(lèi)目前神經(jīng)網(wǎng)絡(luò)模型的種類(lèi)相當(dāng)豐富，已有數(shù)十種神經(jīng)網(wǎng)絡(luò)模型。典型的神經(jīng)網(wǎng)絡(luò)有多層前向傳播網(wǎng)絡(luò)（BP網(wǎng)絡(luò)）、Hopfield網(wǎng)絡(luò)、CMAC小腦模型、ART網(wǎng)絡(luò)、BAM雙向聯(lián)想記憶網(wǎng)絡(luò)、SOM自組織網(wǎng)絡(luò)、Blotzman機(jī)網(wǎng)絡(luò)和Madaline網(wǎng)絡(luò)等34第三十四頁(yè)，共98頁(yè)。4.4神經(jīng)網(wǎng)絡(luò)的分類(lèi)（1）根據(jù)神經(jīng)網(wǎng)絡(luò)的連接方式，神經(jīng)網(wǎng)絡(luò)可分為前向網(wǎng)絡(luò)、反饋網(wǎng)絡(luò)、自組織網(wǎng)絡(luò)前向網(wǎng)絡(luò)：神經(jīng)元分層排列，組成輸入層、隱含層和輸出層。每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。輸入模式經(jīng)過(guò)各層的順次變換后，由輸出層輸出。在各神經(jīng)元之間不存在反饋。感知器和誤差反向傳播網(wǎng)絡(luò)采用前向網(wǎng)絡(luò)形式。35第三十五頁(yè)，共98頁(yè)。4.4神經(jīng)網(wǎng)絡(luò)的分類(lèi)反饋網(wǎng)絡(luò)：該網(wǎng)絡(luò)結(jié)構(gòu)在輸出層到輸入層存在反饋，即每一個(gè)輸入節(jié)點(diǎn)都有可能接受來(lái)自外部的輸入和來(lái)自輸出神經(jīng)元的反饋。這種神經(jīng)網(wǎng)絡(luò)是一種反饋動(dòng)力學(xué)系統(tǒng)，它需要工作一段時(shí)間才能達(dá)到穩(wěn)定。

Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡(jiǎn)單且應(yīng)用最廣泛的模型，它具有聯(lián)想記憶的功能，如果將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Hopfield神經(jīng)網(wǎng)絡(luò)還可以解決尋優(yōu)問(wèn)題。36第三十六頁(yè)，共98頁(yè)。4.4神經(jīng)網(wǎng)絡(luò)的分類(lèi)自組織網(wǎng)絡(luò)：

當(dāng)神經(jīng)網(wǎng)絡(luò)在接受外界輸入時(shí)，網(wǎng)絡(luò)將會(huì)分成不同的區(qū)域，不同區(qū)域具有不同的響應(yīng)特征，即不同的神經(jīng)元以最佳方式響應(yīng)不同性質(zhì)的信號(hào)激勵(lì)，從而形成一種拓?fù)湟饬x上的特征圖，該圖實(shí)際上是一種非線性映射。這種映射是通過(guò)無(wú)監(jiān)督的自適應(yīng)過(guò)程完成的，所以也稱(chēng)為自組織特征圖。37第三十七頁(yè)，共98頁(yè)。4.4神經(jīng)網(wǎng)絡(luò)的分類(lèi)（2）從網(wǎng)絡(luò)的學(xué)習(xí)方式上劃分，神經(jīng)網(wǎng)絡(luò)可分為有導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)和無(wú)導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)。①有導(dǎo)師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，又稱(chēng)監(jiān)督學(xué)習(xí)(supervisedlearning)網(wǎng)絡(luò)的輸出和期望的輸出(即導(dǎo)師信號(hào)）進(jìn)行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。38第三十八頁(yè)，共98頁(yè)。4.4神經(jīng)網(wǎng)絡(luò)的分類(lèi)②無(wú)導(dǎo)師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，又稱(chēng)無(wú)監(jiān)督學(xué)習(xí)（unsupervisedlearning）或自組織學(xué)習(xí)（self-organizedlearning）輸入模式進(jìn)入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照一種預(yù)先設(shè)定的規(guī)則（如競(jìng)爭(zhēng)規(guī)則）自動(dòng)調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類(lèi)等功能。

39第三十九頁(yè)，共98頁(yè)。4.4神經(jīng)網(wǎng)絡(luò)的分類(lèi)神經(jīng)網(wǎng)絡(luò)分類(lèi)標(biāo)準(zhǔn)不同，方法多樣40第四十頁(yè)，共98頁(yè)。4.5多層前向BP神經(jīng)網(wǎng)絡(luò)

多層前向神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

一個(gè)輸入層，一個(gè)輸出層，多個(gè)隱層，信號(hào)沿輸入——>輸出的方向逐層傳遞。jpp1xp1xpntpk

tpmOp1OpnOp2隱層wj1wjn輸入層隱層輸出層信息流······pm41第四十一頁(yè)，共98頁(yè)。激活函數(shù)必須處處可導(dǎo)一般都使用S型函數(shù)使用S型激活函數(shù)時(shí)BP網(wǎng)絡(luò)輸入與輸出關(guān)系輸入輸出4.5多層前向BP神經(jīng)網(wǎng)絡(luò)42第四十二頁(yè)，共98頁(yè)。輸出的導(dǎo)數(shù)根據(jù)S型激活函數(shù)的圖形可知,對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)

4.5多層前向BP神經(jīng)網(wǎng)絡(luò)43第四十三頁(yè)，共98頁(yè)。學(xué)習(xí)的過(guò)程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì)：對(duì)各連接權(quán)值的動(dòng)態(tài)調(diào)整學(xué)習(xí)規(guī)則：權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過(guò)程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。4.5多層前向BP神經(jīng)網(wǎng)絡(luò)44第四十四頁(yè)，共98頁(yè)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-算法思想學(xué)習(xí)的類(lèi)型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過(guò)隱層向輸入層逐層反傳學(xué)習(xí)的過(guò)程：信號(hào)的正向傳播誤差的反向傳播將誤差分?jǐn)偨o各層的所有單元－－－各層單元的誤差信號(hào)修正各單元權(quán)值45第四十五頁(yè)，共98頁(yè)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-學(xué)習(xí)過(guò)程正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實(shí)際輸出與期望的輸出（教師信號(hào)）不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止46第四十六頁(yè)，共98頁(yè)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)結(jié)構(gòu)輸入層有n個(gè)神經(jīng)元，隱含層有p個(gè)神經(jīng)元,輸出層有q個(gè)神經(jīng)元變量定義輸入向量;隱含層輸入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量;47第四十七頁(yè)，共98頁(yè)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法輸入層與中間層的連接權(quán)值:隱含層與輸出層的連接權(quán)值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個(gè)數(shù):激活函數(shù):誤差函數(shù)：48第四十八頁(yè)，共98頁(yè)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第一步，網(wǎng)絡(luò)初始化給各連接權(quán)值分別賦一個(gè)區(qū)間（-1，1）內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)e，給定計(jì)算精度值ε和最大學(xué)習(xí)次數(shù)M。第二步,隨機(jī)選取第k個(gè)輸入樣本及對(duì)應(yīng)期望輸出49第四十九頁(yè)，共98頁(yè)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第三步，計(jì)算隱含層各神經(jīng)元的輸入和輸出50第五十頁(yè)，共98頁(yè)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第四步，利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出，計(jì)算誤差函數(shù)對(duì)輸出層的各神經(jīng)元的偏導(dǎo)數(shù)。51第五十一頁(yè)，共98頁(yè)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的和隱含層的輸出計(jì)算誤差函數(shù)對(duì)隱含層各神經(jīng)元的偏導(dǎo)數(shù)。52第五十二頁(yè)，共98頁(yè)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法53第五十三頁(yè)，共98頁(yè)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第六步，利用輸出層各神經(jīng)元的和隱含層各神經(jīng)元的輸出來(lái)修正連接權(quán)值。54第五十四頁(yè)，共98頁(yè)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第七步，利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連接權(quán)。55第五十五頁(yè)，共98頁(yè)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第八步，計(jì)算全局誤差第九步，判斷網(wǎng)絡(luò)誤差是否滿(mǎn)足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個(gè)學(xué)習(xí)樣本及對(duì)應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)。56第五十六頁(yè)，共98頁(yè)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP算法直觀解釋當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù)大于零時(shí)，權(quán)值調(diào)整量為負(fù)，實(shí)際輸出大于期望輸出，權(quán)值向減少方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。whoe，此時(shí)Δwho<057第五十七頁(yè)，共98頁(yè)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP算法直觀解釋當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù)小于零時(shí)，權(quán)值調(diào)整量為正，實(shí)際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。e,此時(shí)Δwho>0who58第五十八頁(yè)，共98頁(yè)。BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)

MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能函數(shù)名功能newff()生成一個(gè)前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對(duì)數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù)59第五十九頁(yè)，共98頁(yè)。BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能newff()功能建立一個(gè)前向BP網(wǎng)絡(luò)格式net=newff(PR，[S1S2...SN1]，{TF1TF2...TFN1}，BTF，BLF，PF)說(shuō)明net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣；[S1S2…SNl]表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個(gè)數(shù)；{TFlTF2…TFN1}表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為‘tansig’；BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為‘trainlm’；BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為‘learngdm’；PF表示性能數(shù)，默認(rèn)為‘mse’。60第六十頁(yè)，共98頁(yè)。BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能tansig()功能正切sigmoid激活函數(shù)格式a=tansig(n)說(shuō)明雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(-1，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。logsig()功能對(duì)數(shù)Sigmoid激活函數(shù)格式a=logsig(N)說(shuō)明對(duì)數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(0，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。61第六十一頁(yè)，共98頁(yè)。BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)例2-3，下表為某藥品的銷(xiāo)售情況，現(xiàn)構(gòu)建一個(gè)如下的三層BP神經(jīng)網(wǎng)絡(luò)對(duì)藥品的銷(xiāo)售進(jìn)行預(yù)測(cè)：輸入層有三個(gè)結(jié)點(diǎn)，隱含層結(jié)點(diǎn)數(shù)為5，隱含層的激活函數(shù)為tansig；輸出層結(jié)點(diǎn)數(shù)為1個(gè)，輸出層的激活函數(shù)為logsig，并利用此網(wǎng)絡(luò)對(duì)藥品的銷(xiāo)售量進(jìn)行預(yù)測(cè)，預(yù)測(cè)方法采用滾動(dòng)預(yù)測(cè)方式，即用前三個(gè)月的銷(xiāo)售量來(lái)預(yù)測(cè)第四個(gè)月的銷(xiāo)售量，如用1、2、3月的銷(xiāo)售量為輸入預(yù)測(cè)第4個(gè)月的銷(xiāo)售量，用2、3、4月的銷(xiāo)售量為輸入預(yù)測(cè)第5個(gè)月的銷(xiāo)售量.如此反復(fù)直至滿(mǎn)足預(yù)測(cè)精度要求為止。月份123456銷(xiāo)量205623952600229816341600月份789101112銷(xiāo)量18731478190015002046155662第六十二頁(yè)，共98頁(yè)。BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)%以每三個(gè)月的銷(xiāo)售量經(jīng)歸一化處理后作為輸入P=[0.5152 0.8173 1.0000;0.8173 1.0000 0.7308;1.0000 0.7308 0.1390;0.7308 0.1390 0.1087;0.1390 0.1087 0.3520;0.1087 0.3520 0.0000;]';%以第四個(gè)月的銷(xiāo)售量歸一化處理后作為目標(biāo)向量T=[0.73080.13900.10870.35200.00000.3761];%創(chuàng)建一個(gè)BP神經(jīng)網(wǎng)絡(luò)，每一個(gè)輸入向量的取值范圍為[0,1]，隱含層有5個(gè)神經(jīng)%元，輸出層有一個(gè)神經(jīng)元，隱含層的激活函數(shù)為tansig，輸出層的激活函數(shù)為%logsig，訓(xùn)練函數(shù)為梯度下降函數(shù)，即2.3.2節(jié)中所描述的標(biāo)準(zhǔn)學(xué)習(xí)算法net=newff([01;01;01],[5,1],{'tansig','logsig'},'traingd');net.trainParam.epochs=15000;net.trainParam.goal=0.01;%設(shè)置學(xué)習(xí)速率為0.1LP.lr=0.1;net=train(net,P,T);63第六十三頁(yè)，共98頁(yè)。BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)BP網(wǎng)絡(luò)應(yīng)用于藥品預(yù)測(cè)對(duì)比圖由對(duì)比圖可以看出預(yù)測(cè)效果與實(shí)際存在一定誤差，此誤差可以通過(guò)增加運(yùn)行步數(shù)和提高預(yù)設(shè)誤差精度業(yè)進(jìn)一步縮小64第六十四頁(yè)，共98頁(yè)。BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)非線性映射能力能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無(wú)需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對(duì)供網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。泛化能力當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見(jiàn)過(guò)的非樣本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱(chēng)為泛化能力。容錯(cuò)能力輸入樣本中帶有較大的誤差甚至個(gè)別錯(cuò)誤對(duì)網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小.65第六十五頁(yè)，共98頁(yè)。BP算法的基本流程初始化加輸入和期望輸出計(jì)算隱層和輸出層的輸出迭代次數(shù)加1調(diào)節(jié)輸出層和隱層的連接權(quán)值改變訓(xùn)練樣板訓(xùn)練樣終止？迭代終止？NoNoyy4.6多層前向BP神經(jīng)網(wǎng)絡(luò)66第六十六頁(yè)，共98頁(yè)。4.6多層前向BP神經(jīng)網(wǎng)絡(luò)前向網(wǎng)絡(luò)進(jìn)一步需研究的問(wèn)題(1)該學(xué)習(xí)算法收斂速度太慢，常常需要成千上萬(wàn)次的迭

代，而且隨著訓(xùn)練樣例維數(shù)的增加，網(wǎng)絡(luò)性能會(huì)變差(2)從數(shù)學(xué)上看該算法是一梯度最速下降法，這就有可能出現(xiàn)局部極小問(wèn)題，這樣算法所求得的就不是問(wèn)題的解，所以BP算法是不完備的(3)網(wǎng)絡(luò)中隱節(jié)點(diǎn)個(gè)數(shù)的選取還沒(méi)有理論的指導(dǎo)(4)當(dāng)有新樣例加入時(shí)，將影響到已學(xué)習(xí)過(guò)的樣例，而且要求刻畫(huà)每個(gè)輸入樣例的特征數(shù)目相同67第六十七頁(yè)，共98頁(yè)。4.7Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)霍普菲爾德網(wǎng)絡(luò)是單層對(duì)稱(chēng)全反饋網(wǎng)絡(luò)，根據(jù)其激活函數(shù)的選取不同，可分為離散型的霍普菲爾德網(wǎng)絡(luò)(DiscreteHopfieldNeuralNetwork，簡(jiǎn)稱(chēng)DHNN)和連續(xù)型的霍普菲爾德網(wǎng)絡(luò)(ContinuousHopfieldNeuralNetwork，簡(jiǎn)稱(chēng)CHNN)。DHNN的激活函數(shù)為二值型的，其輸入、輸出為{0，1}的反饋網(wǎng)絡(luò)，主要用于聯(lián)想記憶。CHNN的激活函數(shù)的輸入與輸出之間的關(guān)系為連續(xù)可微的單調(diào)上升函數(shù),可以取0到1之間的任一實(shí)數(shù)值,主要用于優(yōu)化計(jì)算。68第六十八頁(yè)，共98頁(yè)。在反饋網(wǎng)絡(luò)中如果其激活函數(shù)f(·)是一個(gè)二值型的硬函數(shù)，如圖1所示，即ai＝sgn(ni)，i＝l,2,…r，則稱(chēng)此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò)；如果ai=f(ni)中的f(·)為一個(gè)連續(xù)單調(diào)上升的有界函數(shù)，這類(lèi)網(wǎng)絡(luò)被稱(chēng)為連續(xù)型反饋網(wǎng)絡(luò)。圖2中所示為一個(gè)具有飽和線性激活函數(shù)，它滿(mǎn)足連續(xù)單調(diào)上升的有界函數(shù)的條件，常作為連續(xù)型的激活函數(shù)。圖1DHNN中的激活函數(shù)

圖2CHNN中的激活函數(shù)

4.7Hopfield神經(jīng)網(wǎng)絡(luò)69第六十九頁(yè)，共98頁(yè)?；镜腍opfield神經(jīng)網(wǎng)絡(luò)是一個(gè)由非線性元件構(gòu)成的全連接型單層反饋系統(tǒng)，Hopfield網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元都將自己的輸出通過(guò)連接權(quán)傳送給所有其它神經(jīng)元，同時(shí)又都接收所有其它神經(jīng)元傳遞過(guò)來(lái)的信息。Hopfield神經(jīng)網(wǎng)絡(luò)是一個(gè)反饋型神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)中的神經(jīng)元在t時(shí)刻的輸出狀態(tài)實(shí)際上間接地與自己t-1時(shí)刻的輸出狀態(tài)有關(guān)。4.7Hopfield神經(jīng)網(wǎng)絡(luò)70第七十頁(yè)，共98頁(yè)。反饋型網(wǎng)絡(luò)的一個(gè)重要特點(diǎn)就是它具有穩(wěn)定狀態(tài)，當(dāng)網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)的時(shí)候，也就是它的能量函數(shù)達(dá)到最小的時(shí)候。

Hopfield神經(jīng)網(wǎng)絡(luò)的能量函數(shù)表征網(wǎng)絡(luò)狀態(tài)的變化趨勢(shì)，并可以依據(jù)Hopfield工作運(yùn)行規(guī)則不斷進(jìn)行狀態(tài)變化，最終能夠達(dá)到的某個(gè)極小值的目標(biāo)函數(shù)。網(wǎng)絡(luò)收斂就是指能量函數(shù)達(dá)到極小值。4.7Hopfield神經(jīng)網(wǎng)絡(luò)71第七十一頁(yè)，共98頁(yè)。

Hopfield網(wǎng)絡(luò)的穩(wěn)定性可用能量函數(shù)進(jìn)行分析。目前，人工神經(jīng)網(wǎng)絡(luò)常利用漸進(jìn)穩(wěn)定點(diǎn)來(lái)解決某些問(wèn)題。例如，如果把系統(tǒng)的穩(wěn)定點(diǎn)視為一個(gè)記憶的話(huà)，那么從初態(tài)朝這個(gè)穩(wěn)定點(diǎn)的演變過(guò)程就是尋找記憶的過(guò)程。初態(tài)可以認(rèn)為是給定的有關(guān)記憶的部分信息。如果把系統(tǒng)的穩(wěn)定點(diǎn)視為一個(gè)能量函數(shù)的極小點(diǎn)，把能量函數(shù)視為一個(gè)優(yōu)化問(wèn)題的目標(biāo)函數(shù)，那么從初態(tài)朝這個(gè)穩(wěn)定點(diǎn)的演變過(guò)程就是一個(gè)求該優(yōu)化問(wèn)題的過(guò)程。這樣的優(yōu)點(diǎn)在于它的解并不需要真的去計(jì)算，而只要構(gòu)成這種反饋網(wǎng)絡(luò)，適當(dāng)?shù)脑O(shè)計(jì)其連接值和輸入就可達(dá)到目的。4.7Hopfield神經(jīng)網(wǎng)絡(luò)72第七十二頁(yè)，共98頁(yè)。4.7Hopfield神經(jīng)網(wǎng)絡(luò)(1)

離散型Hopfield網(wǎng)絡(luò)離散型Hopfield網(wǎng)絡(luò)的輸出為二值型，網(wǎng)絡(luò)采用全連接結(jié)構(gòu)。令為各神經(jīng)元的輸出，為各神經(jīng)元與第個(gè)神經(jīng)元的連接權(quán)值，為第神經(jīng)元的閾值，則有73第七十三頁(yè)，共98頁(yè)。4.7Hopfield神經(jīng)網(wǎng)絡(luò)當(dāng)網(wǎng)絡(luò)經(jīng)過(guò)適當(dāng)訓(xùn)練后，可以認(rèn)為網(wǎng)絡(luò)處于等待狀態(tài)。而對(duì)網(wǎng)絡(luò)給定初始輸入x時(shí)，網(wǎng)絡(luò)就處于特定的初始狀態(tài)。由此初始狀態(tài)開(kāi)始運(yùn)行，可得到網(wǎng)絡(luò)輸出（即網(wǎng)絡(luò)的下一狀態(tài)）。然后這個(gè)輸出狀態(tài)通過(guò)反饋連接回送到網(wǎng)絡(luò)的輸入端，作為網(wǎng)絡(luò)下一級(jí)運(yùn)行的輸入信號(hào)，而該輸入信號(hào)可能與初始輸入信號(hào)x不同。由這個(gè)新的輸入又可得到下一步的輸出，該輸出也可能與上一步的輸出不同。如此下去，網(wǎng)絡(luò)的整個(gè)運(yùn)行過(guò)程就是上述反饋過(guò)程的重復(fù)。如果網(wǎng)絡(luò)是穩(wěn)定的，那么隨著多次反饋運(yùn)行，網(wǎng)絡(luò)狀態(tài)的變化逐漸減少，最后不再變化，達(dá)到穩(wěn)態(tài)。這時(shí)由輸出端可得到網(wǎng)絡(luò)的穩(wěn)定輸出。74第七十四頁(yè)，共98頁(yè)。能量函數(shù)定義為則其變化量為

也就是說(shuō)，能量函數(shù)總是隨神經(jīng)元狀態(tài)的變化而下降的。4.7Hopfield神經(jīng)網(wǎng)絡(luò)75第七十五頁(yè)，共98頁(yè)。4.7Hopfield神經(jīng)網(wǎng)絡(luò)(2)

連續(xù)型Hopfield網(wǎng)絡(luò)用模擬電路模仿生物神經(jīng)網(wǎng)絡(luò)的特性76第七十六頁(yè)，共98頁(yè)。4.7Hopfield神經(jīng)網(wǎng)絡(luò)連續(xù)型Hopfield網(wǎng)絡(luò)連續(xù)型Hopfield網(wǎng)絡(luò)的動(dòng)態(tài)方程ui為第i個(gè)神經(jīng)元的狀態(tài)輸入Vi為第i個(gè)神經(jīng)元的狀態(tài)輸出ωij為第i個(gè)神經(jīng)元到第j神經(jīng)元的連接權(quán)

g(?)為具有連續(xù)且單調(diào)增性質(zhì)的神經(jīng)元激勵(lì)函數(shù)Ii為施加到第i個(gè)神經(jīng)元的偏置77第七十七頁(yè)，共98頁(yè)。4.7Hopfield神經(jīng)網(wǎng)絡(luò)定義能量函數(shù)則其變化量78第七十八頁(yè)，共98頁(yè)。4.7Hopfield神經(jīng)網(wǎng)絡(luò)其中，于是，當(dāng)ωij=ωji時(shí)，79第七十九頁(yè)，共98頁(yè)。且當(dāng)時(shí)。因此，隨時(shí)間的增長(zhǎng)，神經(jīng)網(wǎng)絡(luò)在狀態(tài)空間中的軌跡總是向能量函數(shù)減小的方向變化，且網(wǎng)絡(luò)的穩(wěn)定點(diǎn)就是能量函數(shù)的極小點(diǎn)。連續(xù)型Hopfield網(wǎng)絡(luò)廣泛用于聯(lián)想記憶和優(yōu)化計(jì)算問(wèn)題。

4.7Hopfield神經(jīng)網(wǎng)絡(luò)如果把一個(gè)最優(yōu)化問(wèn)題的目標(biāo)函數(shù)轉(zhuǎn)換成網(wǎng)絡(luò)的能量函數(shù)，把問(wèn)題的變量對(duì)應(yīng)于網(wǎng)絡(luò)的狀態(tài)，那么Hopfield神經(jīng)網(wǎng)絡(luò)就能夠用于解決優(yōu)化組合問(wèn)題。80第八十頁(yè)，共98頁(yè)。關(guān)于連續(xù)Hopfield網(wǎng)絡(luò)有如下結(jié)論：具有良好的收斂性。即從任意非平衡軌跡出發(fā)，網(wǎng)絡(luò)將最終收斂于某個(gè)平衡狀態(tài)；具有有限個(gè)平衡點(diǎn)；如果平衡點(diǎn)是穩(wěn)定的，那么它也一定是漸進(jìn)穩(wěn)定的；漸進(jìn)穩(wěn)定平衡點(diǎn)為其能量函數(shù)的極小點(diǎn)；通過(guò)適當(dāng)?shù)膶W(xué)習(xí)，該網(wǎng)絡(luò)能將任意一組正交矢量存儲(chǔ)起來(lái)作為漸進(jìn)穩(wěn)定平衡點(diǎn)；連續(xù)Hopfield網(wǎng)絡(luò)的信息存儲(chǔ)表現(xiàn)為神經(jīng)元之間互聯(lián)的分布式動(dòng)態(tài)存儲(chǔ)；連續(xù)Hopfield網(wǎng)絡(luò)以大規(guī)模非線性連續(xù)時(shí)間并行方式處理信息，其計(jì)算時(shí)間就是系統(tǒng)趨于平衡點(diǎn)的時(shí)間。4.7Hopfield神經(jīng)網(wǎng)絡(luò)81第八十一頁(yè)，共98頁(yè)。Hopfield網(wǎng)絡(luò)的應(yīng)用：Hopfield網(wǎng)絡(luò)已成功地用于多個(gè)領(lǐng)域，應(yīng)用方式主要有兩種：聯(lián)想存取和優(yōu)化計(jì)算。不同應(yīng)用的基本思想可以歸納如下：對(duì)于特定的問(wèn)題，選擇一種合適的表示方法，使得神經(jīng)網(wǎng)絡(luò)得輸出與問(wèn)題的解對(duì)應(yīng)起來(lái);構(gòu)造神經(jīng)網(wǎng)絡(luò)的能量函數(shù)，使其最小值對(duì)應(yīng)于問(wèn)題的最佳解;由能量函數(shù)反推出神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu);由網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)造網(wǎng)絡(luò)，讓其運(yùn)行，則穩(wěn)定狀態(tài)在一定條件下就是問(wèn)題的解.4.7Hopfield神經(jīng)網(wǎng)絡(luò)82第八十二頁(yè)，共98頁(yè)。4.8Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用

組合優(yōu)化問(wèn)題，就是在給定約束條件下，求出使目標(biāo)函數(shù)極小（或極大）的變量組合問(wèn)題。

將Hopfield網(wǎng)絡(luò)應(yīng)用于求解組合優(yōu)化問(wèn)題，就是把目標(biāo)函數(shù)轉(zhuǎn)化為網(wǎng)絡(luò)的能量函數(shù)，把問(wèn)題的變量對(duì)應(yīng)于網(wǎng)絡(luò)的狀態(tài)。這樣當(dāng)網(wǎng)絡(luò)的能量函數(shù)收斂于極小值時(shí)，問(wèn)題的最優(yōu)解也隨之求出。

83第八十三頁(yè)，共98頁(yè)。TSP問(wèn)題所謂TSP(TravelingSalesmanProblem)問(wèn)題，即“旅行商問(wèn)題”是一個(gè)十分有名的難以求解的優(yōu)化問(wèn)題，其要求很簡(jiǎn)單：在n個(gè)城市的集合中，從某一城市出發(fā)，訪問(wèn)各城市一次且僅一次后再回到原出發(fā)城市。要求找出一條最短的巡回路線。如果已知城市A，B，C，D，…，之間的距離為dAB，dBC，dCD…；那么總的距離d＝dAB+dBC+dCD+…，對(duì)于這種動(dòng)態(tài)規(guī)化問(wèn)題，要去求其min(d)的解。因?yàn)閷?duì)于n個(gè)城市的全排列共有n!種，而TSP并沒(méi)有限定路徑的方向，即為全組合，所以對(duì)于固定的城市數(shù)n的條件下，其路徑總數(shù)Sn為Sn＝n!／2n(n≥4)4.8Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用84第八十四頁(yè)，共98頁(yè)。n＝4時(shí)的TSP路徑圖城市數(shù)和對(duì)應(yīng)的旅行方案數(shù)4.8Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用85第八十五頁(yè)，共98頁(yè)。采用連續(xù)時(shí)間的霍普菲爾德網(wǎng)絡(luò)模型來(lái)求解TSP，開(kāi)辟了一條解決這一問(wèn)題的新途徑。其基本思想是把TSP映射到CHNN上，通過(guò)網(wǎng)絡(luò)狀態(tài)的動(dòng)態(tài)演化逐步趨向穩(wěn)態(tài)而自動(dòng)地搜索出優(yōu)化解。TSP的解是若干城市的有序排列，任何一個(gè)城市在最終路徑上的位置可用一個(gè)n維的0、1矢量表示，對(duì)于所有n個(gè)城市，則需要一個(gè)n×n維矩陣，例如以5個(gè)城市為例，一種可能的排列矩陣為：

該矩陣唯一地確定了一條有效的行程路徑：C→A→D→B→E4.8Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用86第八十六頁(yè)，共98頁(yè)。約束條件和最優(yōu)條件問(wèn)題的約束條件和最優(yōu)條件如下：（1)

一個(gè)城市只能被訪問(wèn)一次=>換位矩陣每行只有一個(gè)“1”。

（2）一次只能訪問(wèn)一個(gè)城市=>換拉矩陣每列只有一個(gè)“1”。

（3）總共有N個(gè)城市=>換位矩陣元素之和為N。

(4）求巡回路徑最短=>網(wǎng)絡(luò)能量函數(shù)的最小值對(duì)應(yīng)于TSP的最短路徑。

4.8Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用87第八十七頁(yè)，共98頁(yè)。TSP的最優(yōu)解是求長(zhǎng)度dxy為最短的一條有效的路徑。(2)目標(biāo)函數(shù)f(V)(1)約束條件g(V)約束條件要保證關(guān)聯(lián)矩陣的每一行每一列中只有一個(gè)值為1，其他值均為零，用三項(xiàng)表示為：4.8Hop