第8章人工神經(jīng)網(wǎng)絡及其應用

第8章人工神經(jīng)網(wǎng)絡及其應用第一頁，共184頁。

生物神經(jīng)網(wǎng)絡(NaturalNeuralNetwork,NNN):由中樞神經(jīng)系統(tǒng)（腦和脊髓）及周圍神經(jīng)系統(tǒng)（感覺神經(jīng)、運動神經(jīng)等）所構(gòu)成的錯綜復雜的神經(jīng)網(wǎng)絡，其中最重要的是腦神經(jīng)系統(tǒng)。人工神經(jīng)網(wǎng)絡(ArtificialNeuralNetworks,ANN):模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，運用大量簡單處理單元經(jīng)廣泛連接而組成的人工網(wǎng)絡系統(tǒng)。第8章人工神經(jīng)網(wǎng)絡及其應用神經(jīng)網(wǎng)絡（NeuralNetworks，NN）神經(jīng)網(wǎng)絡方法：隱式的知識表示方法2第二頁，共184頁。人腦構(gòu)造:皮層（cortex）中腦（midbrain）腦干（brainstem）小腦（cerebellum）人腦由1011～1014個神經(jīng)細胞（神經(jīng)元）交織在一起的網(wǎng)狀結(jié)構(gòu)組成，其中大腦皮層約140億個神經(jīng)元，小腦皮層約1000億個神經(jīng)元。神經(jīng)元約有1000種類型，每個神經(jīng)元大約與103～104個其他神經(jīng)元相連接，形成錯綜復雜而又靈活多變的神經(jīng)網(wǎng)絡。3第三頁，共184頁。4第四頁，共184頁。人腦神經(jīng)網(wǎng)絡系統(tǒng)與計算機處理信息的比較

運行控制：計算機：有一個中央處理單元來控制所有的活動和對所有的信息進行存取操作；人腦神經(jīng)系統(tǒng)：每個神經(jīng)元只受與它相連接的一部分神經(jīng)元的影響。第8章人工神經(jīng)網(wǎng)絡及其應用5第五頁，共184頁。知識存儲：計算機：知識靜態(tài)地存儲在編有地址的記憶單元中，新的信息破壞老的信息；人腦神經(jīng)系統(tǒng)：知識存儲在神經(jīng)元之間的連接關系中，新的知識用來調(diào)整這種連接關系。人腦神經(jīng)網(wǎng)絡系統(tǒng)與計算機處理信息的比較

第8章人工神經(jīng)網(wǎng)絡及其應用6第六頁，共184頁。7第七頁，共184頁。8第八頁，共184頁。9第九頁，共184頁。10第十頁，共184頁。第8章人工神經(jīng)網(wǎng)絡及其應用8.1神經(jīng)元與神經(jīng)網(wǎng)絡

8.2BP神經(jīng)網(wǎng)絡及其學習算法8.3BP神經(jīng)網(wǎng)絡的應用8.4Hopfield神經(jīng)網(wǎng)絡及其應用其他神經(jīng)網(wǎng)絡11第十一頁，共184頁。12第十二頁，共184頁。8.1.1神經(jīng)元模型1.生物神經(jīng)元結(jié)構(gòu)

（輸入）（輸出）軸突樹突細胞體突觸13第十三頁，共184頁。8.1.1神經(jīng)元模型1.生物神經(jīng)元結(jié)構(gòu)

工作狀態(tài):

興奮狀態(tài)：細胞膜電位>動作電位的閾值→神經(jīng)沖動

抑制狀態(tài)：細胞膜電位<動作電位的閾值學習與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強和減弱

。14第十四頁，共184頁。8.1.1神經(jīng)元模型2.人工神經(jīng)元模型

…-1（突觸）（細胞體）（閾值）（神經(jīng)沖動）人工神經(jīng)元i的模型圖15第十五頁，共184頁。8.1.1神經(jīng)元模型2.人工神經(jīng)元模型非線性激勵函數(shù)（傳輸函數(shù)、輸出變換函數(shù)）

（階躍函數(shù)或硬極限函數(shù)）（對稱硬極限函數(shù)）16第十六頁，共184頁。8.1.1神經(jīng)元模型2.人工神經(jīng)元模型非線性激勵函數(shù)（傳輸函數(shù)、輸出變換函數(shù)）

（S型函數(shù)或?qū)?shù)-S形函數(shù)）（雙曲正切S形函數(shù)）17第十七頁，共184頁。8.1.1神經(jīng)元模型2.人工神經(jīng)元模型非線性激勵函數(shù)（傳輸函數(shù)、輸出變換函數(shù)）

（線性函數(shù)）（高斯或徑向基函數(shù)）18第十八頁，共184頁。8.1.1神經(jīng)元模型2.人工神經(jīng)元模型非線性激勵函數(shù)（傳輸函數(shù)、輸出變換函數(shù)）

（飽和線性函數(shù)）（對稱飽和線性函數(shù)）19第十九頁，共184頁。8.1.1神經(jīng)元模型2.人工神經(jīng)元模型

…-1（突觸）（細胞體）（閾值）（神經(jīng)沖動）…+1（偏置）人工神經(jīng)元i的模型圖人工神經(jīng)元i的模型圖20第二十頁，共184頁。8.1.1神經(jīng)元模型2.人工神經(jīng)元模型

21第二十一頁，共184頁。8.1.1神經(jīng)元模型標準的統(tǒng)一的神經(jīng)元模型：22第二十二頁，共184頁。工作過程:從各輸入端接收輸入信號

uj(j=1,2,…,n)根據(jù)連接權(quán)值求出所有輸入的加權(quán)和

用非線性激勵函數(shù)進行轉(zhuǎn)換，得到輸出

8.1.1神經(jīng)元模型2.人工神經(jīng)元模型23第二十三頁，共184頁。8.1神經(jīng)元與神經(jīng)網(wǎng)絡8.1.1神經(jīng)元模型8.1.2單神經(jīng)元學習規(guī)則8.1.3人工神經(jīng)網(wǎng)絡24第二十四頁，共184頁。8.1.2單神經(jīng)元學習規(guī)則單神經(jīng)元的學習：調(diào)整單神經(jīng)元的連接權(quán)，使輸入輸出具有需要的特性。單神經(jīng)元的連接權(quán)修正公式：

25第二十五頁，共184頁。8.1.2單神經(jīng)元學習規(guī)則1.Hebb學習規(guī)則（1944）

當某一突觸兩端的神經(jīng)元同步激活時，該連接的強度增強，反之減弱。

2.誤差糾正學習規(guī)則（delta學習規(guī)則）

26第二十六頁，共184頁。8.1.2單神經(jīng)元學習規(guī)則3.競爭學習

以某種內(nèi)部規(guī)則（與外部環(huán)境無關）確定競爭層獲勝神經(jīng)元，其輸出為1，其它神經(jīng)元輸出為0，對獲勝神經(jīng)元與輸入間的連接權(quán)值進行調(diào)整，其余不變。

27第二十七頁，共184頁。8.1神經(jīng)元與神經(jīng)網(wǎng)絡8.1.1神經(jīng)元模型8.1.2單神經(jīng)元學習規(guī)則8.1.3人工神經(jīng)網(wǎng)絡28第二十八頁，共184頁。8.1.3人工神經(jīng)網(wǎng)絡決定人工神經(jīng)網(wǎng)絡性能的3大要素：神經(jīng)元的特性；神經(jīng)元之間相互連接的形式——拓撲結(jié)構(gòu)；為適應環(huán)境而改善性能的學習規(guī)則。29第二十九頁，共184頁。8.1.3人工神經(jīng)網(wǎng)絡1.神經(jīng)網(wǎng)絡的結(jié)構(gòu)（1）前饋型（前向型）

BP神經(jīng)網(wǎng)絡30第三十頁，共184頁。8.1.3人工神經(jīng)網(wǎng)絡

1.神經(jīng)網(wǎng)絡的結(jié)構(gòu)（2）反饋型Hopfield神經(jīng)網(wǎng)絡31第三十一頁，共184頁。8.1.3人工神經(jīng)網(wǎng)絡2.神經(jīng)網(wǎng)絡的工作方式同步（synchronous,或并行）方式：任一時刻神經(jīng)網(wǎng)絡中所有神經(jīng)元同時調(diào)整狀態(tài)；異步（asynchronous,或串行）方式：任一時刻只有一個神經(jīng)元調(diào)整狀態(tài)，而其它神經(jīng)元的狀態(tài)保持不變。32第三十二頁，共184頁。8.1.3人工神經(jīng)網(wǎng)絡3.神經(jīng)網(wǎng)絡的學習方式

（1）監(jiān)督學習（SupervisedLearning,有教師學習）常用學習規(guī)則：誤差糾正學習規(guī)則33第三十三頁，共184頁。34第三十四頁，共184頁。35第三十五頁，共184頁。36第三十六頁，共184頁。（2）非監(jiān)督學習（UnsupervisedLearning,

無教師學習）8.1.3人工神經(jīng)網(wǎng)絡3.神經(jīng)網(wǎng)絡的學習方式

常用學習規(guī)則：競爭學習規(guī)則無監(jiān)督的Hebb學習規(guī)則37第三十七頁，共184頁。例子：交叉口交通流預測38第三十八頁，共184頁。Output進口1進口2進口3進口41418422.15416.8418.62387.5389.0833418.5833373.5345235140639744203924023885420411396402634635141145774433654293378406378392332例子：交叉口交通流預測Input：20個交通流數(shù)據(jù)39第三十九頁，共184頁。8.1.3人工神經(jīng)網(wǎng)絡3.神經(jīng)網(wǎng)絡的學習方式

（3）死記式學習：ANN的連接權(quán)值是根據(jù)某種特殊的記憶模式設計而成的。常用學習規(guī)則：有監(jiān)督的Hebb學習規(guī)則40第四十頁，共184頁。8.1.3人工神經(jīng)網(wǎng)絡（4）再勵學習（強化學習或增強學習,ReinforcementLearning）3.神經(jīng)網(wǎng)絡的學習方式

41第四十一頁，共184頁。例子：機器人行動規(guī)劃42第四十二頁，共184頁。8.1.3人工神經(jīng)網(wǎng)絡4.神經(jīng)網(wǎng)絡的發(fā)展概況

探索時期（開始于20世紀40年代）：1943年，麥克勞（W.S.McCullocn）和匹茨（）首次提出第一個神經(jīng)網(wǎng)絡模型——M-P模型（描述腦神經(jīng)細胞動作的數(shù)學模型），標志神經(jīng)計算時代的開始。1949年，赫布（D.O.Hebb）在論著“TheOrganizationofBehavior”中實現(xiàn)了對腦細胞之間相互影響的數(shù)學描述，提出了改變神經(jīng)元連接強度的Hebb學習規(guī)則。43第四十三頁，共184頁。8.1.3人工神經(jīng)網(wǎng)絡4.神經(jīng)網(wǎng)絡的發(fā)展概況

第一次熱潮時期：50年代末~60年代初：1958年，羅森布拉特（F.Rosenblatt）提出了描述信息在人腦中存儲和記憶的數(shù)學模型——感知器模型（Perceptron），第一次把神經(jīng)網(wǎng)絡研究從純理論的探討推向工程實現(xiàn)。

1959年，威德羅(B.Widrow)等提出自適應線性元件（Adaline）網(wǎng)絡，通過訓練后可用于抵消通信中的回波和噪聲。1960年，他和M.Hoff提出LMS（LeastMeanSquare最小方差）算法的學習規(guī)則。44第四十四頁，共184頁。8.1.3人工神經(jīng)網(wǎng)絡4.神經(jīng)網(wǎng)絡的發(fā)展概況

低潮時期：60年代末~70年代：1969年，明斯基（）等在《Perceptron》中對感知器功能得出悲觀結(jié)論。1969年，S.Grossberg提出ART（自適應諧振理論）神經(jīng)網(wǎng)絡。1972年，T.Kohonen和J.Anderson分別提出能完成記憶的新型神經(jīng)網(wǎng)絡。45第四十五頁，共184頁。8.1.3人工神經(jīng)網(wǎng)絡4.神經(jīng)網(wǎng)絡的發(fā)展概況

第二次熱潮時期：80年代至今1982年-1986年，霍普菲爾德（）陸續(xù)提出離散的和連續(xù)的全互連神經(jīng)網(wǎng)絡模型，并成功求解旅行商問題（TSP）；1986年，魯姆爾哈特(Rumelhart)和麥克勞（McCelland）等在《ParallelDistributedProcessing》中提出反向傳播學習算法（BP算法）。1987年6月，首屆國際神經(jīng)網(wǎng)絡學術(shù)會議在美國圣地亞哥召開，成立了國際神經(jīng)網(wǎng)絡學會（INNS）.46第四十六頁，共184頁。8.1.3人工神經(jīng)網(wǎng)絡4.神經(jīng)網(wǎng)絡的發(fā)展概況

第二次熱潮時期：80年代至今美國國防部和航空航天局自1989年以來用于資助神經(jīng)網(wǎng)絡研究的經(jīng)費大約七千萬美元，國防高級研究規(guī)劃局的投資一億美元。歐共體1991年投資兩千多萬美元支持神經(jīng)網(wǎng)絡研究的GALATEA計劃。日本1991開始“軟邏輯”的第六代機的研制，投資八億美元，包括神經(jīng)計算、模糊計算等信息處理技術(shù)。我國實施了攀登計劃，支持神經(jīng)網(wǎng)絡研究。47第四十七頁，共184頁。8.1.3人工神經(jīng)網(wǎng)絡4.神經(jīng)網(wǎng)絡的發(fā)展概況

第二次熱潮時期：80年代至今1990年IBM公司推出AS400工作站，提供了一個神經(jīng)網(wǎng)絡仿真開發(fā)環(huán)境;Intel公司的80170N可訓練模擬神經(jīng)網(wǎng)絡芯片；Bell實驗室推出了用于高速字符識別的模擬神經(jīng)網(wǎng)絡處理器；西門子公司推出了MA16神經(jīng)信號處理器；日本三菱電機公司推出了集成400個神經(jīng)元和4萬個神經(jīng)鍵的模擬神經(jīng)芯片；美國濱州大學推出了通用神經(jīng)計算機；我國中科院半導體研究所1995年研制成功基于模擬數(shù)字混合的神經(jīng)網(wǎng)絡芯片。48第四十八頁，共184頁。49第四十九頁，共184頁。50第五十頁，共184頁。51第五十一頁，共184頁。52第五十二頁，共184頁。第8章人工神經(jīng)網(wǎng)絡及其應用8.1神經(jīng)元與神經(jīng)網(wǎng)絡8.2BP神經(jīng)網(wǎng)絡及其學習算法8.3BP神經(jīng)網(wǎng)絡的應用8.4Hopfield神經(jīng)網(wǎng)絡及其應用其他神經(jīng)網(wǎng)絡53第五十三頁，共184頁。8.2BP神經(jīng)網(wǎng)絡及其學習算法8.2.1BP神經(jīng)網(wǎng)絡（Back-propagationNeuralNetwork）模型8.2.2BP學習算法54第五十四頁，共184頁。8.2.1BP神經(jīng)網(wǎng)絡模型1.BP網(wǎng)絡結(jié)構(gòu):2-4-1

魔盒55第五十五頁，共184頁。8.2.1BP神經(jīng)網(wǎng)絡模型2.輸入輸出變換關系

第1層（輸入層）神經(jīng)元輸出第2層（隱層）神經(jīng)元輸出第2層第1個神經(jīng)元56第五十六頁，共184頁。8.2.1BP神經(jīng)網(wǎng)絡模型2.輸入輸出變換關系

第1層（輸入層）神經(jīng)元輸出第2層（隱層）神經(jīng)元輸出57第五十七頁，共184頁。8.2.1BP神經(jīng)網(wǎng)絡模型2.輸入輸出變換關系

第3層（輸出層）神經(jīng)元輸出第2層（隱層）神經(jīng)元輸出58第五十八頁，共184頁。8.2.1BP神經(jīng)網(wǎng)絡模型

2.輸入輸出變換關系

59第五十九頁，共184頁。8.2.1BP神經(jīng)網(wǎng)絡模型

一般BP網(wǎng)絡結(jié)構(gòu)

60第六十頁，共184頁。8.2.1BP神經(jīng)網(wǎng)絡模型

輸入輸出變換關系

61第六十一頁，共184頁。8.2.1BP神經(jīng)網(wǎng)絡模型

3.工作過程

第一階段或網(wǎng)絡訓練階段：N組輸入輸出訓練樣本：

x(l)=[x1,x2]T,

d(l)=[d1]T,

l=1,2,…,N對網(wǎng)絡的連接權(quán)進行學習和調(diào)整，以使該網(wǎng)絡實現(xiàn)給定樣本的輸入輸出映射關系。

第二階段或稱工作階段：把實驗數(shù)據(jù)或?qū)嶋H數(shù)據(jù)輸入到網(wǎng)絡，網(wǎng)絡在誤差范圍內(nèi)預測計算出結(jié)果。

62第六十二頁，共184頁。8.2BP神經(jīng)網(wǎng)絡及其學習算法8.2.1BP神經(jīng)網(wǎng)絡模型8.2.2BP學習算法63第六十三頁，共184頁。1）是否存在一個BP神經(jīng)網(wǎng)絡能夠逼近給定的樣本或者函數(shù)。8.2.2BP學習算法兩個問題：2）如何調(diào)整BP神經(jīng)網(wǎng)絡的連接權(quán)，使網(wǎng)絡的輸入與輸出與給定的樣本相同。

BP學習算法最早由Werbos在1974年提出，魯梅爾哈特（D.Rumelhart）等在1985年發(fā)展BP學習算法，實現(xiàn)了Minsky多層感知器的設想。64第六十四頁，共184頁。8.2.2BP學習算法

目標函數(shù)：約束條件：連接權(quán)值的修正量：

1.基本思想：通過反向?qū)W習過程使誤差最小。

65第六十五頁，共184頁。8.2.2BP學習算法

正向傳播：輸入信息由輸入層傳至隱層，最終在輸出層輸出反向傳播：修改各層神經(jīng)元的權(quán)值，使誤差信號最小

2.學習過程

66第六十六頁，共184頁。8.2.2BP學習算法①初始化：對所有連接權(quán)和閾值賦以隨機任意小值；

②從N組輸入輸出樣本中取一組樣本：x（1）=[x1,…,xp1]T,

d(1)=[d1,…,dpm]T,把輸入信息

x

(1)

=[x1,…,xp1]T輸入BP網(wǎng)絡中③正向傳播：計算各層節(jié)點的輸出④計算網(wǎng)絡的實際輸出與期望輸出的誤差：3.BP算法的計算機實現(xiàn)流程

67第六十七頁，共184頁。8.2.2BP學習算法⑤反向傳播：從輸出層方向計算到第一個隱層，按連接權(quán)值修正公式向減小誤差方向調(diào)整網(wǎng)絡的各個連接權(quán)值⑥讓t+1→t，重復②～⑤，直到N組輸入輸出樣本的誤差達到要求時為止。

3.BP算法的計算機實現(xiàn)流程

68第六十八頁，共184頁。BP學習算法的程序框圖8.2.2BP學習算法69第六十九頁，共184頁。（1）隱層數(shù)、隱層神經(jīng)元數(shù)、傳遞函數(shù)的類型、學習率、步長等網(wǎng)絡結(jié)構(gòu)及訓練參數(shù)的確定：目前尚無理論指導。網(wǎng)絡結(jié)構(gòu)的選擇多層BP網(wǎng)絡可用來逼近幾乎任一個函數(shù)，只要在隱層中有足夠的神經(jīng)元。但通常并不能說，多少層或多少神經(jīng)元就足以得到足夠的性能。BP算法設計中應注意的問題：

8.2.2BP學習算法翻頁70第七十頁，共184頁。網(wǎng)絡結(jié)構(gòu)的選擇網(wǎng)絡要逼近的函數(shù)：BP網(wǎng)絡：1-3-1，隱層為對數(shù)S型函數(shù)，輸出層為線性函數(shù)i=1i=2i=4i=8翻頁71第七十一頁，共184頁。網(wǎng)絡結(jié)構(gòu)的選擇網(wǎng)絡要逼近的函數(shù)：BP網(wǎng)絡：1-y-1，隱層為對數(shù)S型函數(shù)，輸出層為線性函數(shù)1-2-11-3-11-4-11-5-1翻頁72第七十二頁，共184頁。BP算法設計中應注意的問題：

8.2.2BP學習算法推廣：網(wǎng)絡要逼近的函數(shù)：BP網(wǎng)絡：1-y-1，隱層為對數(shù)S型函數(shù)，輸出層為線性函數(shù)一個網(wǎng)絡要能被推廣，應當具有比訓練集中的數(shù)據(jù)點少的參數(shù)。1-2-11-9-1只要一個更小的網(wǎng)絡能工作，就不要使用更大的網(wǎng)絡（Ockham的“剃刀”）。翻頁73第七十三頁，共184頁。（1）隱層數(shù)、隱層神經(jīng)元數(shù)、傳遞函數(shù)的類型、學習率、步長等網(wǎng)絡結(jié)構(gòu)及訓練參數(shù)的確定：目前尚無理論指導。（2）初始權(quán)值的設置：一般以一個均值為0的隨機分布設置網(wǎng)絡的初始權(quán)值。BP算法設計中應注意的問題：

8.2.2BP學習算法翻頁74第七十四頁，共184頁。BP算法設計中應注意的問題：

8.2.2BP學習算法收斂到局部極小值收斂到全局極小值收斂性：網(wǎng)絡要逼近的函數(shù)：BP網(wǎng)絡：1-3-1，隱層為對數(shù)S型函數(shù)，輸出層為線性函數(shù)多試幾個不同的初始條件以保證得到最優(yōu)的解。原函數(shù)曲線翻頁75第七十五頁，共184頁。（1）隱層數(shù)、隱層神經(jīng)元數(shù)、傳遞函數(shù)的類型、學習率、步長等網(wǎng)絡結(jié)構(gòu)及訓練參數(shù)的確定：目前尚無理論指導。（2）初始權(quán)值的設置：一般以一個均值為0的隨機分布設置網(wǎng)絡的初始權(quán)值。（3）訓練數(shù)據(jù)預處理：線性的特征比例變換，將所有的特征變換到[0，1]或者[-1，1]區(qū)間內(nèi)，使得在每個訓練集上，每個特征的均值為0，并且具有相同的方差。（4）后處理過程：應用神經(jīng)網(wǎng)絡進行分類操作時，通常將輸出值編碼成所謂的名義變量，具體的值對應類別標號。BP算法設計中應注意的問題：

8.2.2BP學習算法翻頁76第七十六頁，共184頁。第8章人工神經(jīng)網(wǎng)絡及其應用8.1神經(jīng)元與神經(jīng)網(wǎng)絡8.2BP神經(jīng)網(wǎng)絡及其學習算法8.3BP神經(jīng)網(wǎng)絡的應用8.4Hopfield神經(jīng)網(wǎng)絡及其應用其他神經(jīng)網(wǎng)絡翻頁77第七十七頁，共184頁。8.3BP神經(jīng)網(wǎng)絡的應用8.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用8.3.2BP神經(jīng)網(wǎng)絡在軟測量中的應用翻頁78第七十八頁，共184頁。

BP網(wǎng)絡模式識別實例最大學習次數(shù)：1000學習率：連接權(quán)偏置的初值：[-1,1]輸入輸出1001001000.500101訓練樣本8.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用3-6-2翻頁79第七十九頁，共184頁。輸入輸出1001001000.500101最大學習次數(shù)：1000學習率：連接權(quán)偏置的初值：[-1,1]翻頁80第八十頁，共184頁。W2＝[;-13.3534-0.5828-1.9078;7.5246-7.2837-3.9754;-2.03827.8177-5.443;-8.83410.9063-4.7163;5.62753.31388.3693]W3＝-18.352813.67511.3435-0.66752.8518;11.6072-17.1094-10.7699-6.6564-1.9721]b2＝[

;7.4493;-1.9512;1.3978;-3.15;5.7068]b3=[;4.0313]翻頁81第八十一頁，共184頁。輸入實際輸出0.9700.0010.00117.1999e-0090.0000.9800.0001.8045e-0080.507190.0020.0001.0407.8494e-00910.5000.5000.5000.0398520.151931.0000.0000.00018.032e-0090.0001.0000.0001.855e-0080.50.0000.0001.0007.862e-0091測試樣本輸入輸出1001001000.500101訓練樣本翻頁82第八十二頁，共184頁。8.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用每個數(shù)字:97的點陣，黑色像素為1，非黑色像素為0。位映射由左上角開始向下直到網(wǎng)格的整個一列，然后重復其他列。選擇BP網(wǎng)絡結(jié)構(gòu)為63-6-9。9×7個輸入結(jié)點，對應上述網(wǎng)格的映射。9個輸出結(jié)點對應10種分類。使用的學習步長為。訓練1000個周期，如果輸出結(jié)點的值大于，則取為1，如果輸出結(jié)點的值小于，則取為0。

BP網(wǎng)絡數(shù)字識別翻頁83第八十三頁，共184頁。測試結(jié)果表明：除了8以外，所有被測的數(shù)字都能夠被正確地識別。對于數(shù)字8，神經(jīng)網(wǎng)絡的第6個結(jié)點的輸出值為1，第8個結(jié)點的輸出值為，表明第8個樣本是模糊的，可能是數(shù)字6，也可能是數(shù)字8，但也不完全確信是兩者之一。

8.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用當訓練成功后，對如圖所示測試數(shù)據(jù)進行測試。測試數(shù)據(jù)都有一個或者多個位丟失。訓練數(shù)據(jù)測試數(shù)據(jù)翻頁84第八十四頁，共184頁。準備樣本訓練樣本集：美國郵政服務（USPS）數(shù)據(jù)庫8.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用

郵政編碼識別翻頁85第八十五頁，共184頁。抽取樣本的特征利用K-L變換將16×16點陣的圖像變換為維度為20的特征向量。輸入層（20）隱層（20-16-8）輸出層（1）郵政編碼識別8.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用構(gòu)造了10個輸出層使用purelin函數(shù)，隱層使用logsig函數(shù)的BP神經(jīng)網(wǎng)絡:翻頁86第八十六頁，共184頁。圖像采集利用攝像頭采集大小適中、亮度適中的信封圖像8.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用

郵政編碼識別翻頁87第八十七頁，共184頁。郵政編碼的定位利用郵政編碼邊框的顏色信息，分割出郵政編碼邊框圖像8.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用

郵政編碼識別翻頁88第八十八頁，共184頁。郵政編碼的定位輪廓提取，并使用Hough變換，檢測出郵政編碼的具體位置8.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用

郵政編碼識別翻頁89第八十九頁，共184頁。郵政編碼圖像的提取提取出郵政編碼圖像，并根據(jù)圖像傾角，進行姿勢校正8.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用將圖像灰度化

郵政編碼識別翻頁90第九十頁，共184頁。筆畫粗細調(diào)整將圖像中的文字筆畫粗細做調(diào)整8.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用將圖像標準化為16X16大小，并識別

郵政編碼識別翻頁91第九十一頁，共184頁。8.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用

郵政編碼識別翻頁92第九十二頁，共184頁。8.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用

郵政編碼識別翻頁93第九十三頁，共184頁。8.3BP神經(jīng)網(wǎng)絡的應用8.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用8.3.2BP神經(jīng)網(wǎng)絡在軟測量中的應用翻頁94第九十四頁，共184頁。

8.3.2BP神經(jīng)網(wǎng)絡在軟測量中的應用

BP網(wǎng)絡的逼近

采樣時間：1ms學習率：連接權(quán)的初值：[-1,1]翻頁95第九十五頁，共184頁。翻頁96第九十六頁，共184頁。軟測量根據(jù)可以檢測的過程變量，又稱輔助變量（secondaryvariable),利用計算機語言編制軟件，從而推斷出某些難以檢測或根本無法檢測的工藝參數(shù)，即主導變量（primaryvariable)。軟測量技術(shù)又稱軟儀表（softsensor）技術(shù)，開始于20世紀70年代Brosillow提出的推斷控制（inferentialcontrol),20世紀80年代中后期被作為一個概括性的科學術(shù)語提出。1992年國際過程控制專家在Automatica上發(fā)表的“ContemplativeStanceforChemicalProcessControl”，指出軟測量技術(shù)是今后過程控制的主要發(fā)展方向之一。8.3.2BP神經(jīng)網(wǎng)絡在軟測量中的應用翻頁97第九十七頁，共184頁。軟測量的基本過程：

主導變量：被估計的變量。輔助變量：與被估計變量相關的一組可測變量。8.3.2BP神經(jīng)網(wǎng)絡在軟測量中的應用翻頁98第九十八頁，共184頁。軟測量系統(tǒng)的設計：輔助變量的選擇：變量類型、變量數(shù)量和檢測點位置的選擇。數(shù)據(jù)采集與處理。軟測量模型的建立：通過輔助變量來獲得對主導變量的最佳估計。

8.3.2BP神經(jīng)網(wǎng)絡在軟測量中的應用翻頁99第九十九頁，共184頁。序批式活性污泥法（SBR）：廣泛使用的污水監(jiān)測和處理方法8.3.2BP神經(jīng)網(wǎng)絡在軟測量中的應用污水處理過程的神經(jīng)網(wǎng)絡軟測量模型水質(zhì)好壞的重要指標：BOD(生物化學需氧量）、COD（化學需氧量）、N和P。翻頁100第一百頁，共184頁。BOD(生物化學需氧量）、COD（化學需氧量）、N和P：為軟測量模型的主導變量。ORP（溶液氧化還原電位）、DO（溶解氧）、PH和MLSS（污泥濃度）：輔助變量。三層BP網(wǎng)絡：8.3.2BP神經(jīng)網(wǎng)絡在軟測量中的應用翻頁101第一百零一頁，共184頁。8.3BP神經(jīng)網(wǎng)絡的應用BP網(wǎng)絡的特點及主要優(yōu)缺點BP網(wǎng)絡：多層前向網(wǎng)絡（輸入層、隱層、輸出層）；連接權(quán)值：通過Delta學習算法進行修正；神經(jīng)元傳輸函數(shù)：S形函數(shù)、雙曲正切S型函數(shù)、線性函數(shù)；學習算法：正向傳播、反向傳播；層與層的連接是單向的，信息的傳播是雙向的。

1.特點翻頁102第一百零二頁，共184頁。8.3BP神經(jīng)網(wǎng)絡的應用

BP網(wǎng)絡的特點及主要優(yōu)缺點很好的逼近特性；具有較強的泛化能力；具有較好的容錯性。

2.優(yōu)點收斂速度慢；局部極值；難以確定隱層和隱層節(jié)點的數(shù)目。

3.缺點輸入層（1024）隱層（16）輸出層（1）翻頁103第一百零三頁，共184頁。第8章人工神經(jīng)網(wǎng)絡及其應用8.1神經(jīng)元與神經(jīng)網(wǎng)絡8.2BP神經(jīng)網(wǎng)絡及其學習算法8.3BP神經(jīng)網(wǎng)絡的應用8.4Hopfield神經(jīng)網(wǎng)絡及其應用其他神經(jīng)網(wǎng)絡翻頁104第一百零四頁，共184頁。8.4Hopfield神經(jīng)網(wǎng)絡及其應用8.4.1離散型Hopfield神經(jīng)網(wǎng)絡8.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)8.4.3隨機神經(jīng)網(wǎng)絡8.4.4混沌神經(jīng)網(wǎng)絡翻頁105第一百零五頁，共184頁。(DiscreteHopfieldNeuralNetworks,DHNN)如何實現(xiàn)DHNN的聯(lián)想記憶功能?

網(wǎng)絡能夠通過聯(lián)想來輸出和輸入模式最為相似的樣本模式。8.4.1離散Hopfield神經(jīng)網(wǎng)絡翻頁106第一百零六頁，共184頁。8.4.1離散Hopfield神經(jīng)網(wǎng)絡舉例傳感器輸出：[外形質(zhì)地重量]T

翻頁107第一百零七頁，共184頁。8.4.1離散Hopfield神經(jīng)網(wǎng)絡舉例樣本:步驟：1)設計DHNN結(jié)構(gòu)2)設計連接權(quán)矩陣3)測試具體怎樣實現(xiàn)聯(lián)想記憶？翻頁108第一百零八頁，共184頁。離散Hopfield神經(jīng)網(wǎng)絡結(jié)構(gòu)圖……12(狀態(tài)）(閾值）（連接權(quán)值）8.4.1離散Hopfield神經(jīng)網(wǎng)絡1.離散Hopfield神經(jīng)網(wǎng)絡模型網(wǎng)絡結(jié)構(gòu)：翻頁109第一百零九頁，共184頁?！?/p>

注：…或連接權(quán)閾值8.4.1離散Hopfield神經(jīng)網(wǎng)絡1.離散Hopfield神經(jīng)網(wǎng)絡模型輸入輸出關系：-1翻頁（雙極硬限器）（二值硬限器）110第一百一十頁，共184頁。

工作方式：異步（串行）方式:同步（并行）方式:8.4.1離散Hopfield神經(jīng)網(wǎng)絡1.離散Hopfield神經(jīng)網(wǎng)絡模型翻頁111第一百一十一頁，共184頁。（異步或同步方式）初態(tài)：穩(wěn)態(tài)：8.4.1離散Hopfield神經(jīng)網(wǎng)絡1.離散Hopfield神經(jīng)網(wǎng)絡模型工作過程：翻頁112第一百一十二頁，共184頁。（異步或同步方式）初態(tài)記憶樣本的部分信息穩(wěn)態(tài)記憶樣本

聯(lián)想

8.4.1離散Hopfield神經(jīng)網(wǎng)絡1.離散Hopfield神經(jīng)網(wǎng)絡模型工作過程：翻頁113第一百一十三頁，共184頁。穩(wěn)定性定義：若從某一時刻開始，網(wǎng)絡中所有神經(jīng)元的狀態(tài)不再改變，即x=f(Wx-θ)，則稱該網(wǎng)絡是穩(wěn)定的，x為網(wǎng)絡的穩(wěn)定點或吸引子。8.4.1離散Hopfield神經(jīng)網(wǎng)絡2.網(wǎng)絡的穩(wěn)定性翻頁114第一百一十四頁，共184頁。穩(wěn)定性定理證明：1983年，科恩（Cohen）、葛勞斯伯格（）穩(wěn)定性定理（Hopfield）8.4.1離散Hopfield神經(jīng)網(wǎng)絡2.網(wǎng)絡的穩(wěn)定性并行（同步方式）穩(wěn)定性——W：非負定對稱陣串行（異步方式）穩(wěn)定性——W：對稱陣計算能量函數(shù)：翻頁115第一百一十五頁，共184頁。（1）異步方式收斂:8.4.1離散Hopfield神經(jīng)網(wǎng)絡3.連接權(quán)設計樣本→吸引子翻頁m個樣本116第一百一十六頁，共184頁。（2）或異步方式收斂:8.4.1離散Hopfield神經(jīng)網(wǎng)絡3.連接權(quán)設計樣本→吸引子翻頁m個樣本117第一百一十七頁，共184頁。DHNN是通過有監(jiān)督的Hebb學習規(guī)則來調(diào)整神經(jīng)元之間的連接權(quán)，從而獲得各樣本間的聯(lián)系，其學習方式為死記式的學習；樣本是存儲在連接權(quán)上，新樣本不會破壞老樣本，只是調(diào)整連接權(quán);各神經(jīng)元之間的連接共同表現(xiàn)為DHNN的聯(lián)想記憶功能。異步方式收斂:8.4.1離散Hopfield神經(jīng)網(wǎng)絡3.連接權(quán)設計m個樣本→吸引子翻頁118第一百一十八頁，共184頁。8.4.1離散Hopfield神經(jīng)網(wǎng)絡舉例樣本:步驟：

1）設計DHNN結(jié)構(gòu)2）設計連接權(quán)矩陣3）測試具體怎樣實現(xiàn)聯(lián)想記憶？翻頁119第一百一十九頁，共184頁。8.4.1離散Hopfield神經(jīng)網(wǎng)絡3神經(jīng)元的DHNN結(jié)構(gòu)圖12(狀態(tài)）(閾值）（連接權(quán)值）1）設計DHNN結(jié)構(gòu)

樣本:注：輸出變換函數(shù):翻頁120第一百二十頁，共184頁。3神經(jīng)元的DHNN結(jié)構(gòu)圖樣本:8.4.1離散Hopfield神經(jīng)網(wǎng)絡1）設計DHNN結(jié)構(gòu)輸出變換函數(shù):翻頁注：121第一百二十一頁，共184頁。8.4.1離散Hopfield神經(jīng)網(wǎng)絡舉例樣本:步驟：1）設計DHNN結(jié)構(gòu)2）設計連接權(quán)矩陣3）測試具體怎樣實現(xiàn)聯(lián)想記憶？翻頁122第一百二十二頁，共184頁。樣本:

連接權(quán)：2）設計連接權(quán)矩陣8.4.1離散Hopfield神經(jīng)網(wǎng)絡翻頁123第一百二十三頁，共184頁。樣本:

連接權(quán)：

2）設計連接權(quán)矩陣8.4.1離散Hopfield神經(jīng)網(wǎng)絡T]010[)2(=x翻頁124第一百二十四頁，共184頁。樣本:

連接權(quán)：

2）設計連接權(quán)矩陣8.4.1離散Hopfield神經(jīng)網(wǎng)絡T]010[)2(=x翻頁125第一百二十五頁，共184頁。樣本:

連接權(quán)：

2）設計連接權(quán)矩陣8.4.1離散Hopfield神經(jīng)網(wǎng)絡T]010[)2(=x翻頁126第一百二十六頁，共184頁。8.4.1離散Hopfield神經(jīng)網(wǎng)絡舉例樣本:步驟：1）設計DHNN結(jié)構(gòu)2）設計連接權(quán)矩陣3）測試具體怎樣實現(xiàn)聯(lián)想記憶？翻頁127第一百二十七頁，共184頁。8.4.1離散Hopfield神經(jīng)網(wǎng)絡輸入：[111]T

輸出?

3）測試翻頁128第一百二十八頁，共184頁。3）測試調(diào)整次序：初始狀態(tài)：測試用例：樣本：8.4.1離散Hopfield神經(jīng)網(wǎng)絡翻頁輸出變換函數(shù):注：129第一百二十九頁，共184頁。

調(diào)整次序：2→1→3k=08.4.1離散Hopfield神經(jīng)網(wǎng)絡翻頁k=1輸出變換函數(shù):注：130第一百三十頁，共184頁。k=1調(diào)整次序：2→1→38.4.1離散Hopfield神經(jīng)網(wǎng)絡翻頁k=2輸出變換函數(shù):注：131第一百三十一頁，共184頁。k=2

調(diào)整次序：2→1→38.4.1離散Hopfield神經(jīng)網(wǎng)絡翻頁k=3輸出變換函數(shù):注：132第一百三十二頁，共184頁。k=2k=3k=0k=1樣本：調(diào)整次序：2132132132138.4.1離散Hopfield神經(jīng)網(wǎng)絡翻頁輸出變換函數(shù):注：133第一百三十三頁，共184頁。8.4.1離散Hopfield神經(jīng)網(wǎng)絡4.舉例輸入：[111]T

輸出：[101]T

翻頁134第一百三十四頁，共184頁。8.4Hopfield神經(jīng)網(wǎng)絡及其應用8.4.1離散型Hopfield神經(jīng)網(wǎng)絡8.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)8.4.3隨機神經(jīng)網(wǎng)絡8.4.4混沌神經(jīng)網(wǎng)絡翻頁135第一百三十五頁，共184頁。8.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)連續(xù)Hopfield神經(jīng)網(wǎng)絡模型網(wǎng)絡的穩(wěn)定性應用舉例翻頁(ContinuousHopfieldNeuralNetworks,CHNN)136第一百三十六頁，共184頁。連續(xù)Hopfield神經(jīng)網(wǎng)絡結(jié)構(gòu)圖……12(狀態(tài)）(閾值）（連接權(quán)值）8.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)

1.連續(xù)Hopfield神經(jīng)網(wǎng)絡模型

翻頁137第一百三十七頁，共184頁。8.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)1.連續(xù)Hopfield神經(jīng)網(wǎng)絡模型翻頁連續(xù)Hopfield神經(jīng)網(wǎng)絡電路圖細胞膜的傳遞電阻輸入電容非線性特性膜電位的狀態(tài)輸出狀態(tài)電導1/Rij：神經(jīng)元之間的突觸特性。外部輸入電流：用于設置興奮等級。138第一百三十八頁，共184頁。8.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)1.連續(xù)Hopfield神經(jīng)網(wǎng)絡模型翻頁工作方式：同步（并行）方式。139第一百三十九頁，共184頁。8.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)2.網(wǎng)絡的穩(wěn)定性

計算能量函數(shù)：

定理：對于連續(xù)型Hopfield神經(jīng)網(wǎng)絡，若為單調(diào)遞增的連續(xù)函數(shù)，Ci>0,wij=wji,則；當且僅當

翻頁140第一百四十頁，共184頁。8.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)3.應用舉例：1985年，霍普菲爾德和塔克（D.W.Tank）應用連續(xù)Hopfield神經(jīng)網(wǎng)絡求解旅行商問題（TravellingSalesmanProblem，TSP）獲得成功。

旅行商問題（TSP）：典型的組合優(yōu)化問題有n個城市，城市間的距離或旅行成本已知，求合理的路線使每個城市都訪問一次，且總路徑最短（或者總成本最少）。

n個城市存在的路徑數(shù)：翻頁141第一百四十一頁，共184頁。8.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)3.應用舉例：旅行商問題（TSP）：典型的組合優(yōu)化問題

n個城市存在的路徑數(shù)：用窮舉法，Cray計算機的計算速度：108次/秒1985年，Hopfield和Tank用Hopfield網(wǎng)絡求解n＝30的TSP問題，0.2s就得到次優(yōu)解。

翻頁142第一百四十二頁，共184頁。8.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)3.應用舉例：連續(xù)Hopfiled神經(jīng)網(wǎng)絡求解約束優(yōu)化問題的基本思路：翻頁143第一百四十三頁，共184頁。8.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)3.應用舉例：連續(xù)Hopfield神經(jīng)網(wǎng)絡（CHNN）求解約束優(yōu)化問題的步驟：（1）選擇合適的問題表示方法，使CHNN的輸出與優(yōu)化問題的可行解彼此對應；（2）用罰函數(shù)法寫出優(yōu)化問題的目標函數(shù)；（3）令目標函數(shù)和能量函數(shù)相對應，確定CHNN的連接權(quán)和偏置電流，以及動態(tài)方程；（4）給定CHNN的初始狀態(tài)和參數(shù)等，使CHNN按動態(tài)方程運行，直至達到穩(wěn)定狀態(tài)，并把它解釋為問題的解；翻頁144第一百四十四頁，共184頁。5個城市的TSP：神經(jīng)元數(shù)目：25翻頁C3→C1→C5→C2→C4→C3145第一百四十五頁，共184頁。TSP的問題描述：用罰函數(shù)法，寫出優(yōu)化問題的目標函數(shù)：

能量函數(shù)：翻頁146第一百四十六頁，共184頁。令E

與目標函數(shù)J相對應，確定連接權(quán)值、偏置電流和CHNN的動態(tài)方程：翻頁147第一百四十七頁，共184頁。

設置合適的A、B、C、D和CHNN的初始狀態(tài)，按CHNN動態(tài)方程演化直到收斂。翻頁……12(狀態(tài)）(閾值）（連接權(quán)值）148第一百四十八頁，共184頁。翻頁149第一百四十九頁，共184頁。神經(jīng)網(wǎng)絡優(yōu)化計算目前存在的問題：（1）參數(shù)難以確定；（2）能量函數(shù)存在大量局部極小值，難以保證最優(yōu)解。翻頁150第一百五十頁，共184頁。8.4Hopfield神經(jīng)網(wǎng)絡及其應用8.4.1離散型Hopfield神經(jīng)網(wǎng)絡8.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)8.4.3隨機神經(jīng)網(wǎng)絡8.4.4混沌神經(jīng)網(wǎng)絡翻頁151第一百五十一頁，共184頁。8.4.3隨機神經(jīng)網(wǎng)絡Hopfield神經(jīng)網(wǎng)絡中，神經(jīng)元狀態(tài)為1是根據(jù)其凈輸入是否大于閾值而確定的，是確定性的。隨機神經(jīng)網(wǎng)絡中，神經(jīng)元狀態(tài)為1是隨機的，服從一定的概率分布。例如，服從玻爾茲曼(Boltzmann)、高斯(Gaussian)、柯西(Cauchy)分布等，從而構(gòu)成玻爾茲曼機、高斯機、柯西機等隨機機。

翻頁152第一百五十二頁，共184頁。1.Boltzmann機1985年，加拿大多倫多大學教授欣頓(Hinton)等人借助統(tǒng)計物理學的概念和方法，提出了Boltzmann機神經(jīng)網(wǎng)絡模型。

模擬退火算法（N.Metropolis等，1953）：把某類優(yōu)化問題的求解過程與統(tǒng)計力學中的熱平衡問題進行對比，通過模擬高溫物體退火過程的方法，來找到優(yōu)化物體的全局最優(yōu)或近似全局最優(yōu)解。在物體退火過程中，其能量轉(zhuǎn)移服從Boltzmann分布：8.4.3隨機神經(jīng)網(wǎng)絡翻頁系統(tǒng)處于低能E的概率系統(tǒng)溫度Boltzmann常數(shù)153第一百五十三頁，共184頁。1.Boltzmann機Boltzmann機是離散Hopfield神經(jīng)網(wǎng)絡的一種變型，通過對離散Hopfield神經(jīng)網(wǎng)絡加以擾動，使其以概率的形式表達，而網(wǎng)絡的模型方程不變，只是輸出值類似于Boltzmann分布以概率分布取值。Boltzmann機是按Boltzmann概率分布動作的神經(jīng)網(wǎng)絡。8.4.3隨機神經(jīng)網(wǎng)絡翻頁154第一百五十四頁，共184頁。8.4.3隨機神經(jīng)網(wǎng)絡

1.Boltzmann機離散Hopfield神經(jīng)網(wǎng)絡神經(jīng)元i的狀態(tài)：神經(jīng)元i的凈輸入：神經(jīng)元I輸出狀態(tài)值為0和1時的概率：翻頁155第一百五十五頁，共184頁。8.4.3隨機神經(jīng)網(wǎng)絡1.Boltzmann機

Boltzmann的能量函數(shù)：

神經(jīng)元i狀態(tài)轉(zhuǎn)換時網(wǎng)絡能量的變化：神經(jīng)元i改變?yōu)闋顟B(tài)“1”的概率：翻頁156第一百五十六頁，共184頁。2.高斯機8.4.3隨機神經(jīng)網(wǎng)絡:均值為0的高斯隨機變量（白噪聲），其方差為3.柯西機:柯西隨機變量（有色噪聲）翻頁157第一百五十七頁，共184頁。8.4Hopfield神經(jīng)網(wǎng)絡及其應用8.4.1離散型Hopfield神經(jīng)網(wǎng)絡8.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)8.4.3隨機神經(jīng)網(wǎng)絡8.4.4混沌神經(jīng)網(wǎng)絡翻頁158第一百五十八頁，共184頁。8.4.4混沌神經(jīng)網(wǎng)絡1.混沌混沌:自然界中一種較為普遍的非線性現(xiàn)象，其行為看似混亂復雜且類似隨機，卻存在精致的內(nèi)在規(guī)律性?；煦绲男再|(zhì)：（1）隨機性：類似隨機變量的雜亂表現(xiàn)；（2）遍歷性：不重復地歷經(jīng)一定范圍內(nèi)的所有狀態(tài)；（3）規(guī)律性：由確定性的迭代式產(chǎn)生。

翻頁159第一百五十九頁，共184頁。1.混沌混沌學的研究熱潮開始于20世紀70年代初期。1963年，E.N.Lorenz在分析氣候數(shù)據(jù)時發(fā)現(xiàn)：初值十分接近的兩條曲線的最終結(jié)果會相差很大，從而獲得了混沌的第一個例子；1975年，Li-Yorke的論文“周期3意味著混沌”使“混沌”一詞首先出現(xiàn)在科技文獻中?；煦绲陌l(fā)現(xiàn)，對科學的發(fā)展具有深遠的影響。8.4.4混沌神經(jīng)網(wǎng)絡翻頁160第一百六十頁，共184頁。8.4.4混沌神經(jīng)網(wǎng)絡2.混沌神經(jīng)元

混沌神經(jīng)元（1987年，F(xiàn)reeman）：構(gòu)造混沌神經(jīng)網(wǎng)絡的基本單位?；煦缟窠?jīng)元模型：翻頁161第一百六十一頁，共184頁。8.4.4混沌神經(jīng)網(wǎng)絡3.混沌神經(jīng)網(wǎng)絡1990年，Aihara等提出了第一個混沌神經(jīng)網(wǎng)絡模型(ChaoticNeuralNetwork，CNN)。1991年，Inoue等利用兩個混沌振蕩子耦合成一個神經(jīng)元的方法，構(gòu)造出一個混沌神經(jīng)計算機.1992年，Nozawa基于歐拉離散化的Hopfield神經(jīng)網(wǎng)絡，通過增加一個大的自反饋項，得到了一個與Aihara等提出的類似的CNN模型。

翻頁162第一百六十二頁，共184頁。8.4.4混沌神經(jīng)網(wǎng)絡3.混沌神經(jīng)網(wǎng)絡1）基于模擬退火策略的自抑制混沌神經(jīng)網(wǎng)絡

1995年，Chen等提出的暫態(tài)混沌神經(jīng)網(wǎng)絡(TransientChaoticNeuralNetwork，TCNN)：翻頁163第一百六十三頁，共184頁。8.4.4混沌神經(jīng)網(wǎng)絡3.混沌神經(jīng)網(wǎng)絡1）基于模擬退火策略的自抑制混沌神經(jīng)網(wǎng)絡

①具有暫態(tài)混沌特性；②能演化到一個穩(wěn)定狀態(tài)；