第8章 人工神經(jīng)網(wǎng)絡及其應用(AI應用3版)

第8章人工神經(jīng)網(wǎng)絡及其應用教材：王萬良《人工智能及其應用》（第3版）高等教育出版社，2016.22第8章人工神經(jīng)網(wǎng)絡及其應用神經(jīng)網(wǎng)絡（neuralnetworks，NN）

生物神經(jīng)網(wǎng)絡(naturalneuralnetwork,NNN):由中樞神經(jīng)系統(tǒng)（腦和脊髓）及周圍神經(jīng)系統(tǒng)（感覺神經(jīng)、運動神經(jīng)等）所構(gòu)成的錯綜復雜的神經(jīng)網(wǎng)絡，其中最重要的是腦神經(jīng)系統(tǒng)。人工神經(jīng)網(wǎng)絡(artificialneuralnetworks,ANN):模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，運用大量簡單處理單元經(jīng)廣泛連接而組成的人工網(wǎng)絡系統(tǒng)。神經(jīng)網(wǎng)絡方法：隱式的知識表示方法3第8章人工神經(jīng)網(wǎng)絡及其應用8.1神經(jīng)元與神經(jīng)網(wǎng)絡8.2BP神經(jīng)網(wǎng)絡及其學習算法8.3BP神經(jīng)網(wǎng)絡的應用

8.4Hopfield神經(jīng)網(wǎng)絡及其改進

8.5Hopfield神經(jīng)網(wǎng)絡的應用8.6Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法求解JSP8.7卷積神經(jīng)網(wǎng)絡及其應用4第8章人工神經(jīng)網(wǎng)絡及其應用8.1神經(jīng)元與神經(jīng)網(wǎng)絡

8.2BP神經(jīng)網(wǎng)絡及其學習算法8.3BP神經(jīng)網(wǎng)絡的應用8.4Hopfield神經(jīng)網(wǎng)絡及其改進8.5Hopfield神經(jīng)網(wǎng)絡的應用8.6Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法求解JSP8.7卷積神經(jīng)網(wǎng)絡

及其應用58.1神經(jīng)元與神經(jīng)網(wǎng)絡8.1.1生物神經(jīng)元的結(jié)構(gòu)8.1.2神經(jīng)元數(shù)學模型8.1.3神經(jīng)網(wǎng)絡結(jié)構(gòu)與工作方式68.1.1生物神經(jīng)元的結(jié)構(gòu)人腦由一千多億（1011億－1014億）個神經(jīng)細胞（神經(jīng)元）交織在一起的網(wǎng)狀結(jié)構(gòu)組成，其中大腦皮層約140億個神經(jīng)元，小腦皮層約1000億個神經(jīng)元。

神經(jīng)元約有1000種類型，每個神經(jīng)元大約與103－104個其他神經(jīng)元相連接，形成極為錯綜復雜而又靈活多變的神經(jīng)網(wǎng)絡。人的智能行為就是由如此高度復雜的組織產(chǎn)生的。浩瀚的宇宙中，也許只有包含數(shù)千憶顆星球的銀河系的復雜性能夠與大腦相比。78.1.1生物神經(jīng)元的結(jié)構(gòu)（輸入）（輸出）

神經(jīng)沖動生物神經(jīng)元結(jié)構(gòu)88.1.1生物神經(jīng)元的結(jié)構(gòu)

工作狀態(tài)：

興奮狀態(tài)：細胞膜電位>

動作電位的閾值→神經(jīng)沖動

抑制狀態(tài)：細胞膜電位<動作電位的閾值學習與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強和減弱

。98.1神經(jīng)元與神經(jīng)網(wǎng)絡8.1.1生物神經(jīng)元的結(jié)構(gòu)8.1.2神經(jīng)元數(shù)學模型8.1.3神經(jīng)網(wǎng)絡的結(jié)構(gòu)與工作方式108.1.2神經(jīng)元數(shù)學模型1943年，麥克洛奇和皮茲提出M－P模型。一般模型：118.1.2神經(jīng)元數(shù)學模型

：第個神經(jīng)元的輸出。：第個神經(jīng)元的閾值。：外部輸入。：權(quán)值。

加權(quán)求和：其矩陣形式：12線性環(huán)節(jié)的傳遞函數(shù)：：1；；；及其組合等。

8.1.2神經(jīng)元數(shù)學模型138.1.2神經(jīng)元數(shù)學模型非線性激勵函數(shù)（傳輸函數(shù)、輸出變換函數(shù)）

（硬極限函數(shù)或階躍函數(shù)）（對稱硬極限函數(shù)）148.1.2神經(jīng)元數(shù)學模型非線性激勵函數(shù)（傳輸函數(shù)、輸出變換函數(shù)）

（對數(shù)-S形函數(shù)或S型函數(shù)）（雙曲正切S形函數(shù)）158.1.2神經(jīng)元數(shù)學模型非線性激勵函數(shù)（傳輸函數(shù)、輸出變換函數(shù)）

（飽和線性函數(shù)）（對稱飽和線性函數(shù)）168.1.2神經(jīng)元數(shù)學模型非線性激勵函數(shù)（傳輸函數(shù)、輸出變換函數(shù)）

（線性函數(shù)）（高斯或徑向基函數(shù)）178.1.2神經(jīng)元數(shù)學模型

工作過程:從各輸入端接收輸入信號

uj(j=1,2,…,n)根據(jù)連接權(quán)值求出所有輸入的加權(quán)和

用非線性激勵函數(shù)進行轉(zhuǎn)換，得到輸出

188.1.2神經(jīng)元數(shù)學模型198.1神經(jīng)元與神經(jīng)網(wǎng)絡8.1.1生物神經(jīng)元的結(jié)構(gòu)8.1.2神經(jīng)元的數(shù)學模型8.1.3神經(jīng)網(wǎng)絡的結(jié)構(gòu)與工作方式208.1.3神經(jīng)網(wǎng)絡的結(jié)構(gòu)與工作方式?jīng)Q定人工神經(jīng)網(wǎng)絡性能的三大要素：神經(jīng)元的特性。神經(jīng)元之間相互連接的形式——拓撲結(jié)構(gòu)。為適應環(huán)境而改善性能的學習規(guī)則。211.神經(jīng)網(wǎng)絡的結(jié)構(gòu)（1）前饋型（前向型）

8.1.3神經(jīng)網(wǎng)絡的結(jié)構(gòu)與工作方式22

1.神經(jīng)網(wǎng)絡的結(jié)構(gòu)（2）反饋型（Hopfield神經(jīng)網(wǎng)絡）8.1.3神經(jīng)網(wǎng)絡的結(jié)構(gòu)與工作方式232.神經(jīng)網(wǎng)絡的工作方式同步（并行）方式：任一時刻神經(jīng)網(wǎng)絡中所有神經(jīng)元同時調(diào)整狀態(tài)。異步（串行）方式：任一時刻只有一個神經(jīng)元調(diào)整狀態(tài)，而其它神經(jīng)元的狀態(tài)保持不變。8.1.3神經(jīng)網(wǎng)絡的結(jié)構(gòu)與工作方式24

探索時期（開始于20世紀40年代）：

1943年，麥克勞（W.S.McCullocn）和匹茨（W.A.Pitts）首次提出一個神經(jīng)網(wǎng)絡模型——M－P模型。

1949年，赫布（D.O.Hebb）提出改變神經(jīng)元連接強度的Hebb學習規(guī)則。8.1.4神經(jīng)網(wǎng)絡的發(fā)展概況251958年，羅森布拉特（F.Rosenblatt）提出感知器模型（perceptron）。

1959年，威德羅(B.Widrow)等提出自適應線性元件（adaline）網(wǎng)絡，通過訓練后可用于抵消通信中的回波和噪聲。1960年，他和M.Hoff提出LMS（LeastMeanSquare最小方差）算法的學習規(guī)則。8.1.4神經(jīng)網(wǎng)絡的發(fā)展概況

第一次熱潮時期：20世紀50年代末－20世紀60年代初

261969年，明斯基（M.Minsky）等在《Perceptron》中對感知器功能得出悲觀結(jié)論。

1972年，T.Kohonen和J.Anderson分別提出能完成記憶的新型神經(jīng)網(wǎng)絡。

1976年，S.Grossberg在自組織神經(jīng)網(wǎng)絡方面的研究十分活躍。8.1.4神經(jīng)網(wǎng)絡的發(fā)展概況

低潮時期：20世紀60年代末－20世紀70年代

27

第二次熱潮時期：20世紀80年代至今

1982年－1986年，霍普菲爾德（J.J.Hopfield）陸續(xù)提出離散的和連續(xù)的全互連神經(jīng)網(wǎng)絡模型，并成功求解旅行商問題（TSP）。

1986年，魯姆爾哈特（Rumelhart）和麥克勞（McCellan）等在《ParallelDistributedProcessing》中提出反向傳播學習算法（B－P算法）。

1987年6月，首屆國際神經(jīng)網(wǎng)絡學術會議在美國圣地亞哥召開，成立了國際神經(jīng)網(wǎng)絡學會（INNS）。8.1.4神經(jīng)網(wǎng)絡的發(fā)展概況28

神經(jīng)網(wǎng)絡控制的研究領域

基于神經(jīng)網(wǎng)絡的系統(tǒng)辨識神經(jīng)網(wǎng)絡控制器神經(jīng)網(wǎng)絡與其他算法（模糊邏輯、專家系統(tǒng)、遺傳算法等）相結(jié)合優(yōu)化計算8.1.4神經(jīng)網(wǎng)絡的發(fā)展概況29第8章人工神經(jīng)網(wǎng)絡及其應用8.1神經(jīng)元與神經(jīng)網(wǎng)絡8.2BP神經(jīng)網(wǎng)絡及其學習算法

8.3BP神經(jīng)網(wǎng)絡的應用

8.4Hopfield神經(jīng)網(wǎng)絡及其改進

8.5Hopfield神經(jīng)網(wǎng)絡的應用8.6Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法求解JSP8.7卷積神經(jīng)網(wǎng)絡及其應用308.2BP神經(jīng)網(wǎng)絡及其學習算法8.2.1BP神經(jīng)網(wǎng)絡（back-propagationneuralnetwork）的結(jié)構(gòu)8.2.2BP學習算法8.2.3BP算法的實現(xiàn)318.2BP神經(jīng)網(wǎng)絡及其學習算法8.2.1BP神經(jīng)網(wǎng)絡（back-propagationneuralnetwork）的結(jié)構(gòu)8.2.2BP學習算法8.2.3BP算法的實現(xiàn)328.2.1BP神經(jīng)網(wǎng)絡的結(jié)構(gòu)

1.BP網(wǎng)絡結(jié)構(gòu)

338.2.1BP神經(jīng)網(wǎng)絡的結(jié)構(gòu)

2.輸入輸出變換關系

348.2.1BP神經(jīng)網(wǎng)絡的結(jié)構(gòu)3.工作過程

第一階段或網(wǎng)絡訓練階段：

N組輸入輸出樣本：xi=[xi1,xi2,…,xip1]Tdi=[di1,di2,…,dipm]T

i=1,2,…,N

對網(wǎng)絡的連接權(quán)進行學習和調(diào)整，以使該網(wǎng)絡實現(xiàn)給定樣本的輸入輸出映射關系。

第二階段或稱工作階段：把實驗數(shù)據(jù)或?qū)嶋H數(shù)據(jù)輸入到網(wǎng)絡，網(wǎng)絡在誤差范圍內(nèi)預測計算出結(jié)果。

358.2BP神經(jīng)網(wǎng)絡及其學習算法8.2.1BP神經(jīng)網(wǎng)絡的結(jié)構(gòu)8.2.2BP學習算法8.2.3BP算法的實現(xiàn)36（1）是否存在一個BP神經(jīng)網(wǎng)絡能夠逼近給定的樣本或者函數(shù)。8.2.2BP學習算法兩個問題：（2）如何調(diào)整BP神經(jīng)網(wǎng)絡的連接權(quán)，使網(wǎng)絡的輸入與輸出與給定的樣本相同。

1986年，魯梅爾哈特（D.Rumelhart）等提出BP學習算法。378.2.2BP學習算法

目標函數(shù)：

約束條件：

連接權(quán)值的修正量：

1.基本思想

388.2.2BP學習算法記先求（1）對輸出層的神經(jīng)元（2）對隱單元層，則有398.2.2BP學習算法2.學習算法408.2.2BP學習算法

正向傳播：輸入信息由輸入層傳至隱層，最終在輸出層輸出。反向傳播：修改各層神經(jīng)元的權(quán)值，使誤差信號最小。

2.學習算法

418.2.2BP學習算法2.學習算法428.2BP神經(jīng)網(wǎng)絡及其學習算法8.2.1BP神經(jīng)網(wǎng)絡的結(jié)構(gòu)8.2.2BP學習算法8.2.3BP算法的實現(xiàn)438.2.3BP算法的實現(xiàn)（1）隱層數(shù)及隱層神經(jīng)元數(shù)的確定：目前尚無理論指導。（2）初始權(quán)值的設置：一般以一個均值為0的隨機分布設置網(wǎng)絡的初始權(quán)值。（3）訓練數(shù)據(jù)預處理：線性的特征比例變換，將所有的特征變換到[0，1]或者[-1，1]區(qū)間內(nèi)，使得在每個訓練集上，每個特征的均值為0，并且具有相同的方差。（4）后處理過程：當應用神經(jīng)網(wǎng)絡進行分類操作時，通常將輸出值編碼成所謂的名義變量，具體的值對應類別標號。1.BP算法的設計

448.2.3BP算法的實現(xiàn)（1）初始化：對所有連接權(quán)和閾值賦以隨機任意小值；（2）從N組輸入輸出樣本中取一組樣本：x=[x1,x2,…,xp1]T,d=[d1,d2,…,dpm]T,把輸入信息x=[x1,x2,…,xp1]T輸入到BP網(wǎng)絡中（3）正向傳播：計算各層節(jié)點的輸出：（4）計算網(wǎng)絡的實際輸出與期望輸出的誤差：

2.BP算法的計算機實現(xiàn)流程

458.2.3BP算法的實現(xiàn)（5）反向傳播：從輸出層方向計算到第一個隱層，按連接權(quán)值修正公式向減小誤差方向調(diào)整網(wǎng)絡的各個連接權(quán)值。（6）讓t+1→t，取出另一組樣本重復（2）－（5），直到N組輸入輸出樣本的誤差達到要求時為止。

2.BP算法的計算機實現(xiàn)流程

468.2.3BP算法的實現(xiàn)BP學習算法的程序框圖471.特點BP網(wǎng)絡：多層前向網(wǎng)絡（輸入層、隱層、輸出層）。連接權(quán)值：通過Delta學習算法進行修正。神經(jīng)元傳輸函數(shù)：S形函數(shù)。學習算法：正向傳播、反向傳播。層與層的連接是單向的，信息的傳播是雙向的。8.2.4BP算法的特點分析48

2.BP網(wǎng)絡的主要優(yōu)缺點

很好的逼近特性。具有較強的泛化能力。具有較好的容錯性。

優(yōu)點

收斂速度慢。局部極值。難以確定隱層和隱層結(jié)點的數(shù)目。

缺點8.2.4BP算法的特點分析498.3BP神經(jīng)網(wǎng)絡的應用8.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用8.3.2BP神經(jīng)網(wǎng)絡在軟測量中的應用508.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用

模式識別研究用計算機模擬生物、人的感知，對模式信息，如圖像、文字、語音等，進行識別和分類。傳統(tǒng)人工智能的研究部分地顯示了人腦的歸納、推理等智能。但是，對于人類底層的智能，如視覺、聽覺、觸覺等方面，現(xiàn)代計算機系統(tǒng)的信息處理能力還不如一個幼兒園的孩子。神經(jīng)網(wǎng)絡模型模擬了人腦神經(jīng)系統(tǒng)的特點：處理單元的廣泛連接；并行分布式信息儲存、處理；自適應學習能力等。神經(jīng)網(wǎng)絡模式識別方法具有較強的容錯能力、自適應學習能力、并行信息處理能力。51

例

輸入輸出樣本：測試數(shù)據(jù)：8.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用528.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用例

設計一個三層BP網(wǎng)絡對數(shù)字0至9進行分類。

每個數(shù)字用9

7的網(wǎng)格表示，灰色像素代表0，黑色像素代表1。將每個網(wǎng)格表示為0，1的長位串。位映射由左上角開始向下直到網(wǎng)格的整個一列，然后重復其他列。

選擇BP網(wǎng)絡結(jié)構(gòu)為63-6-9。97個輸入結(jié)點，對應上述網(wǎng)格的映射。9個輸出結(jié)點對應10種分類。使用的學習步長為0.3。訓練600個周期，如果輸出結(jié)點的值大于0.9，則取為ON，如果輸出結(jié)點的值小于0.1，則取為OFF。53

測試結(jié)果表明：除了8以外，所有被測的數(shù)字都能夠被正確地識別。對于數(shù)字8，神經(jīng)網(wǎng)絡的第6個結(jié)點的輸出值為0.53，第8個結(jié)點的輸出值為0.41，表明第8個樣本是模糊的，可能是數(shù)字6，也可能是數(shù)字8，但也不完全確信是兩者之一。

8.3.1BP神經(jīng)網(wǎng)絡在模式識別中的應用當訓練成功后，對如圖所示測試數(shù)據(jù)進行測試。測試數(shù)據(jù)都有一個或者多個位丟失。548.3.2BP神經(jīng)網(wǎng)絡在軟測量中的應用軟測量技術

主導變量：被估計的變量。輔助變量：與被估計變量相關的一組可測變量。55軟測量系統(tǒng)的設計：輔助變量的選擇：變量類型、變量數(shù)量和檢測點位置的選擇。數(shù)據(jù)采集與處理。軟測量模型的建立：通過輔助變量來獲得對主導變量的最佳估計。

8.3.2BP神經(jīng)網(wǎng)絡在軟測量中的應用56序批式活性污泥法（SBR）8.3.2BP神經(jīng)網(wǎng)絡在軟測量中的應用57BOD、COD、N和P：為軟測量模型的主導變量。ORP、DO、PH和MLSS：輔助變量。三層BP網(wǎng)絡：

8.3.2BP神經(jīng)網(wǎng)絡在軟測量中的應用58第8章人工神經(jīng)網(wǎng)絡及其應用8.1神經(jīng)元與神經(jīng)網(wǎng)絡8.2BP神經(jīng)網(wǎng)絡及其學習算法8.3BP神經(jīng)網(wǎng)絡的應用

8.4Hopfield神經(jīng)網(wǎng)絡及其改進

8.5Hopfield神經(jīng)網(wǎng)絡的應用8.6Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法求解JSP8.7卷積神經(jīng)網(wǎng)絡

及其應用598.4Hopfield神經(jīng)網(wǎng)絡及其改進8.4.1離散型Hopfield神經(jīng)網(wǎng)絡8.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)8.4.3隨機神經(jīng)網(wǎng)絡8.4.4混沌神經(jīng)網(wǎng)絡608.4Hopfield神經(jīng)網(wǎng)絡及其改進8.4.1離散型Hopfield神經(jīng)網(wǎng)絡8.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)8.4.3隨機神經(jīng)網(wǎng)絡8.4.4混沌神經(jīng)網(wǎng)絡61離散Hopfield神經(jīng)網(wǎng)絡結(jié)構(gòu)圖……12(狀態(tài)）(閾值）（連接權(quán)值）8.4.1離散Hopfield神經(jīng)網(wǎng)絡1.離散Hopfield神經(jīng)網(wǎng)絡模型網(wǎng)絡結(jié)構(gòu)：62…

注：…或連接權(quán)閾值8.4.1離散Hopfield神經(jīng)網(wǎng)絡-11.離散Hopfield神經(jīng)網(wǎng)絡模型輸入輸出關系：63

工作方式：異步（串行）方式:同步（并行）方式:8.4.1離散Hopfield神經(jīng)網(wǎng)絡1.離散Hopfield神經(jīng)網(wǎng)絡模型64（異步或同步方式）初態(tài)：穩(wěn)態(tài)：8.4.1離散Hopfield神經(jīng)網(wǎng)絡1.離散Hopfield神經(jīng)網(wǎng)絡模型工作過程：65（異步或同步方式）初態(tài)記憶樣本的部分信息穩(wěn)態(tài)記憶樣本

聯(lián)想記憶8.4.1離散Hopfield神經(jīng)網(wǎng)絡1.離散Hopfield神經(jīng)網(wǎng)絡模型工作過程：66

穩(wěn)定性定義：若從某一時刻開始，網(wǎng)絡中所有神經(jīng)元的狀態(tài)不再改變，即，則稱該網(wǎng)絡是穩(wěn)定的，為網(wǎng)絡的穩(wěn)定點或吸引子。

Hopfield神經(jīng)網(wǎng)絡是高維非線性系統(tǒng)，可能有許多穩(wěn)定優(yōu)態(tài)。從任何初始狀態(tài)開始運動，總可以到某個穩(wěn)定狀態(tài)。這些穩(wěn)定狀態(tài)可以通過改變網(wǎng)絡參數(shù)得到。8.4.1離散Hopfield神經(jīng)網(wǎng)絡2.網(wǎng)絡的穩(wěn)定性67

穩(wěn)定性定理證明：1983年，科恩（Cohen）、葛勞斯伯格（S.Grossberg）。穩(wěn)定性定理（Hopfield）8.4.1離散Hopfield神經(jīng)網(wǎng)絡2.網(wǎng)絡的穩(wěn)定性

并行穩(wěn)定性——W：非負定對稱陣

串行穩(wěn)定性——W：對稱陣688.4Hopfield神經(jīng)網(wǎng)絡及其改進8.4.1離散型Hopfield神經(jīng)網(wǎng)絡8.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)698.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)連續(xù)Hopfield神經(jīng)網(wǎng)絡模型網(wǎng)絡的穩(wěn)定性應用舉例708.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)1.連續(xù)Hopfield神經(jīng)網(wǎng)絡模型718.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)1.連續(xù)Hopfield神經(jīng)網(wǎng)絡模型728.4.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)2.網(wǎng)絡的穩(wěn)定性

計算能量函數(shù)：

定理：對于連續(xù)型

Hopfield神經(jīng)網(wǎng)絡，若為單調(diào)遞增的連續(xù)函數(shù)，Ci>0,wij=wji,則；當且僅當

738.4.3隨機神經(jīng)網(wǎng)絡Hopfield神經(jīng)網(wǎng)絡中，神經(jīng)元狀態(tài)為1是根據(jù)其輸入是否大于閾值確定的，是確定性的。隨機神經(jīng)網(wǎng)絡中，神經(jīng)元狀態(tài)為1是隨機的，服從一定的概率分布。例如，服從玻爾茲曼(Boltzmann)、高斯(Gaussian)、柯西(Cauchy)分布等，從而構(gòu)成玻爾茲曼機、高斯機、柯西機等隨機機。748.4.3隨機神經(jīng)網(wǎng)絡1.Boltzmann機

1985年，加拿大多倫多大學教授欣頓(Hinton)等人借助統(tǒng)計物理學的概念和方法，提出了Boltzmann機神經(jīng)網(wǎng)絡模型。

Boltzmann機是離散Hopfield神經(jīng)網(wǎng)絡的一種變型，通過對離散Hopfield神經(jīng)網(wǎng)絡加以擾動，使其以概率的形式表達，而網(wǎng)絡的模型方程不變，只是輸出值類似于Boltzmann分布以概率分布取值。

Boltzmann機是按Boltzmann概率分布動作的神經(jīng)網(wǎng)絡。758.4.3隨機神經(jīng)網(wǎng)絡1.Boltzmann機（續(xù)）離散Hopfield神經(jīng)網(wǎng)絡的輸出：

Boltzman機的內(nèi)部狀態(tài)：神經(jīng)元輸出值為0和1時的概率：768.4.3隨機神經(jīng)網(wǎng)絡1.Boltzmann機（續(xù)）

Boltzmann的能量函數(shù)：

神經(jīng)元狀態(tài)轉(zhuǎn)換時網(wǎng)絡能量的變化：

神經(jīng)元改變?yōu)闋顟B(tài)“1”的概率：)exp(11TEpiiD-+=772.高斯機

8.4.3隨機神經(jīng)網(wǎng)絡:均值為0的高斯隨機變量（白噪聲），其方差為

3.柯西機:柯西隨機變量（有色噪聲）

788.4.4混沌神經(jīng)網(wǎng)絡1.混沌混沌：自然界中一種較為普遍的非線性現(xiàn)象，其行為看似混亂復雜且類似隨機，卻存在精致的內(nèi)在規(guī)律性?；煦绲男再|(zhì)：（1）隨機性：類似隨機變量的雜亂表現(xiàn)。（2）遍歷性：不重復地歷經(jīng)一定范圍內(nèi)的所有狀態(tài)。（3）規(guī)律性：由確定性的迭代式產(chǎn)生。

791.混沌（續(xù)）混沌學的研究熱潮開始于20世紀70年代初期。1963年，Lorenz在分析氣候數(shù)據(jù)時發(fā)現(xiàn)：初值十分接近的兩條曲線的最終結(jié)果會相差很大，從而獲得了混沌的第一個例子。1975年，Li-Yorke的論文《周期3意味著混沌》使“混沌”一詞首先出現(xiàn)在科技文獻中?；煦绲陌l(fā)現(xiàn)，對科學的發(fā)展具有深遠的影響。8.4.4混沌神經(jīng)網(wǎng)絡808.4.4混沌神經(jīng)網(wǎng)絡2.混沌神經(jīng)元混沌神經(jīng)元（1987年，F(xiàn)reeman）：構(gòu)造混沌神經(jīng)網(wǎng)絡的基本單位。

混沌神經(jīng)元模型：818.4.4混沌神經(jīng)網(wǎng)絡3.混沌神經(jīng)網(wǎng)絡

1990年，Aihara等提出了第一個混沌神經(jīng)網(wǎng)絡模型(chaoticneuralnetwork，CNN)。

1991年，Inoue等利用兩個混沌振蕩子耦合成一個神經(jīng)元的方法，構(gòu)造出一個混沌神經(jīng)計算機.1992年，Nozawa基于歐拉離散化的Hopfield神經(jīng)網(wǎng)絡，通過增加一個大的自反饋項，得到了一個與Aihara等提出的類似的CNN模型。

828.4.4混沌神經(jīng)網(wǎng)絡3.混沌神經(jīng)網(wǎng)絡（1）基于模擬退火策略的自抑制混沌神經(jīng)網(wǎng)絡

1995年，Chen等提出的暫態(tài)混沌神經(jīng)網(wǎng)絡(transientchaoticneuralnetwork，TCNN)：838.4.4混沌神經(jīng)網(wǎng)絡3.混沌神經(jīng)網(wǎng)絡（1）基于模擬退火策略的自抑制混沌神經(jīng)網(wǎng)絡①具有暫態(tài)混沌特性。②能演化到一個穩(wěn)定狀態(tài)。③搜索區(qū)域為一分形結(jié)構(gòu)。④具有混沌退火機制。⑤一種廣義的混沌神經(jīng)網(wǎng)絡。⑥可求解0-1問題，也可求解連續(xù)非線性優(yōu)化問題。848.4.4混沌神經(jīng)網(wǎng)絡非線性函數(shù)：

858.4.4混沌神經(jīng)網(wǎng)絡3.混沌神經(jīng)網(wǎng)絡（2）基于加大時間步長的混沌神經(jīng)網(wǎng)絡CHNN的歐拉離散化：1998年，Wang和Smith采用加大時間步長產(chǎn)生混沌：868.4.4混沌神經(jīng)網(wǎng)絡3.混沌神經(jīng)網(wǎng)絡（3）引入噪聲的混沌神經(jīng)網(wǎng)絡1995年，Hayakawa等的混沌神經(jīng)網(wǎng)絡：878.5Hopfield神經(jīng)網(wǎng)絡的應用8.5.1Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用8.5.2Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法88如何實現(xiàn)HNN的聯(lián)想記憶功能?

網(wǎng)絡能夠通過聯(lián)想來輸出和輸入模式最為相似的樣本模式。8.5.1Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用89例

傳感器輸出：[外形，質(zhì)地，重量]T

8.5.1Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用90例

樣本:

步驟：

（1）設計DHNN結(jié)構(gòu)（2）設計連接權(quán)矩陣（3）測試具體怎樣實現(xiàn)聯(lián)想記憶？8.5.1Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用

傳感器輸出：[外形，質(zhì)地，重量]T

91

樣本:

（1）設計DHNN結(jié)構(gòu)3神經(jīng)元的DHNN結(jié)構(gòu)圖注：8.5.1Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用92

樣本:

，

連接權(quán)：（2）設計連接權(quán)矩陣8.5.1Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用93

樣本:

，

連接權(quán)：T]01,0,[)2(=x

（2）設計連接權(quán)矩陣8.5.1Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用94

（2）設計連接權(quán)矩陣8.5.1Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用95

輸入：[1，1，1]T

輸出?

（3）測試8.5.1Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用96

（3）測試

調(diào)整次序：

初始狀態(tài)：

測試用例：

樣本：8.5.1Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用97

調(diào)整次序：2→1→3k=08.5.1Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用98k=1

調(diào)整次序：2→1→38.5.1Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用99k=2

調(diào)整次序：2→1→38.5.1Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用100k=2k=3k=0k=1

樣本：

調(diào)整次序：2132132132138.5.1Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用101

例

輸入：[1，1，1]T

輸出：[1，0，1]T

8.5.1Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用102

連續(xù)Hopfiled神經(jīng)網(wǎng)絡求解約束優(yōu)化問題的基本思路：8.5.2Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法1985年，霍普菲爾德和塔克（D.W.Tank）應用連續(xù)Hopfield神經(jīng)網(wǎng)絡求解旅行商問題（travelingsalesmanproblem，TSP）獲得成功。1038.5.2Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法

用神經(jīng)網(wǎng)絡方法求解優(yōu)化問題的一般步驟：（1）將優(yōu)化問題的每一個可行解用換位矩陣表示。（2）將換位矩陣與由n

個神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡相對應：每一個可行解的換位矩陣的各元素與相應的神經(jīng)元穩(wěn)態(tài)輸出相對應。（3）構(gòu)造能量函數(shù)，使其最小值對應于優(yōu)化問題的最優(yōu)解，并滿足約束條件。（4）用罰函數(shù)法構(gòu)造目標函數(shù)，與Hopfield神經(jīng)網(wǎng)絡的計算能量函數(shù)表達式相等，確定各連接權(quán)和偏置參數(shù)。（5）給定網(wǎng)絡初始狀態(tài)和網(wǎng)絡參數(shù)等，使網(wǎng)絡按動態(tài)方程運行，直到穩(wěn)定狀態(tài)，并將它解釋為優(yōu)化問題的解。104

應用舉例：Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法求解TSP。1985年，霍普菲爾德和塔克（D.W.Tank）應用連續(xù)Hopfield神經(jīng)網(wǎng)絡求解旅行商問題獲得成功。

旅行商問題（travelingsalesmanproblem，TSP）：有n

個城市，城市間的距離或旅行成本已知，求合理的路線使每個城市都訪問一次，且總路徑（或者總成本）為最短。8.5.2Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法105

應用舉例：Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法求解TSP

旅行商問題（TSP）：典型的組合優(yōu)化問題用窮舉法，Cray計算機的計算速度：108次/秒。1985年，Hopfield和Tank用Hopfield網(wǎng)絡求解n＝30的TSP問題，0.2s就得到次優(yōu)解。

8.5.2Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法1065個城市的TSP：神經(jīng)元數(shù)目：258.5.2Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法107TSP的描述：

用罰函數(shù)法，寫出優(yōu)化問題的目標函數(shù)：8.5.2Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法108Hopfield神經(jīng)網(wǎng)絡能量函數(shù)：8.5.2Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法

令E1與目標函數(shù)J相等，確定神經(jīng)網(wǎng)絡的連接權(quán)值和偏置電流：109神經(jīng)網(wǎng)絡的動態(tài)方程：8.5.2Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法110

選擇合適的A、B、C、D和網(wǎng)絡的初始狀態(tài)，按網(wǎng)絡動態(tài)方程演化直到收斂。8.5.2Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法111

神經(jīng)網(wǎng)絡優(yōu)化計算目前存在的問題：（1）解的不穩(wěn)定性。（2）參數(shù)難以確定。（3）能量函數(shù)存在大量局部極小值，難以保證最優(yōu)解。8.5.2Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法1128.6Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法求解JSP8.6.1作業(yè)車間調(diào)度問題8.6.2JSP的Hopfield神經(jīng)網(wǎng)絡及其求解8.6.3作業(yè)車間生產(chǎn)調(diào)度舉例8.6.4基于隨機神經(jīng)網(wǎng)絡的生產(chǎn)調(diào)度方法1138.6.1作業(yè)車間調(diào)度問題

作業(yè)車間調(diào)度問題（job-shopschedulingProblem，JSP）:一類滿足任務配置和順序約束要求的資源分配問題。問題描述：給定一個作業(yè)（工件）的集合和一個機器的集合，每個作業(yè)包括多道工序，每道工序需要在一臺給定的機器上非間斷地加工一段時間；每臺機器一次最多只能加工一道工序，調(diào)度就是把工序分配給機器上某個時間段，使加工完成時間最短。114FooS.Y.和Y.Takefuji在1988年最早提出用Hopfield神經(jīng)網(wǎng)絡求解JSP。8.6.1作業(yè)車間調(diào)度問題

對于單臺機器加工問題，如果有個作業(yè)而每個作業(yè)只考慮加工時間以及與操作序列有關的安裝時間，則這個問題就和個城市的TSP等價。

Conway等（1967），《生產(chǎn)調(diào)度理論》：“一般作業(yè)車間調(diào)度問題是一個迷人的挑戰(zhàn)性問題。盡管問題本身描述非常容易，但是朝著問題求解的方向作任何的推進都是極端困難的”。

1151.JSP的換位矩陣表示

01,1,11,2,22,2,12,1,21,1,1100001,2,2000012,2,1001002,1,2100002－作業(yè)2－機器JSP8.6.2JSP的Hopfield神經(jīng)網(wǎng)絡及其求解“工序(2,2,1)依賴于另一工序(1,2,2)”的命題成立。(1,2,2)：作業(yè)1的工序2在機器2上執(zhí)行。“工序不依賴于任何別的工序”的命題。

1168.6.2JSP的Hopfield神經(jīng)網(wǎng)絡及其求解

作業(yè)機器JSP的工序約束條件：（1）各工序應服從優(yōu)先順序關系。任一工序可以依賴于另一個工序，也可以不依賴于任何工序（如在0時刻啟動的工序）。（2）所有工序不允許自依賴和互依賴。（3）允許在0時刻啟動的工序數(shù)不超過。即在時，在0時刻啟動的工序數(shù)應為。（4）在同一時刻啟動的同一作業(yè)的工序不多于一個。（5）在同一時刻同一機器上啟動的工序不多于一個。1178.6.2JSP的Hopfield神經(jīng)網(wǎng)絡及其求解2.JSP計算能量函數(shù)

:與矩陣中位置相對應的神經(jīng)元的輸出狀態(tài)。行約束

全局約束

非對稱約束

列約束

1188.6.2JSP的Hopfield神經(jīng)網(wǎng)絡及其求解3.Hopfield神經(jīng)網(wǎng)絡的參數(shù)連續(xù)型Hopfield神經(jīng)網(wǎng)絡的計算能量函數(shù):

神經(jīng)元與神經(jīng)元之間的連接權(quán)

神經(jīng)元的偏置電流:

1198.6.2JSP的Hopfield神經(jīng)網(wǎng)絡及其求解4.Hopfield神經(jīng)網(wǎng)絡的運動方程1208.6.2JSP的Hopfield神經(jīng)網(wǎng)絡及其求解

5.成本樹

step1：根據(jù)換位矩陣，構(gòu)造成本樹。

step2：計算成本樹上各操作的開始時間和結(jié)束時間。

step3：判斷是否出現(xiàn)死鎖調(diào)度。

step4：調(diào)整死鎖調(diào)度。1218.6.2JSP的Hopfield神經(jīng)網(wǎng)絡及其求解6.甘特圖step1：根據(jù)換位矩陣，計算成本樹上各操作的開始時間和結(jié)束時間，并給出相應的甘特圖。step2：判斷甘特圖中每臺機器上各作業(yè)的開始時間是否發(fā)生重疊。step3：判斷同一作業(yè)的各操作的開始時間是否發(fā)生重疊。step4：重復step2和step3，直至甘特圖中同一機器上各作業(yè)的開始時間和同一作業(yè)的各操作的開始時間都不發(fā)生重疊為止。1228.6.3作業(yè)車間生產(chǎn)調(diào)度舉例2作業(yè)3機器的JSP例子

所有的操作：111，122，133