第8章人工神經網絡與其應用(AI應用3版)

第8章人工神經網絡與其應用(AI應用3版)第一頁，共154頁。第8章人工神經網絡及其應用神經網絡（neuralnetworks，NN）

生物神經網絡(naturalneuralnetwork,NNN):由中樞神經系統(tǒng)（腦和脊髓）及周圍神經系統(tǒng)（感覺神經、運動神經等）所構成的錯綜復雜的神經網絡，其中最重要的是腦神經系統(tǒng)。人工神經網絡(artificialneuralnetworks,ANN):模擬人腦神經系統(tǒng)的結構和功能，運用大量簡單處理單元經廣泛連接而組成的人工網絡系統(tǒng)。神經網絡方法：隱式的知識表示方法2第二頁，共154頁。第8章人工神經網絡及其應用8.1神經元與神經網絡8.2BP神經網絡及其學習算法8.3BP神經網絡的應用

8.4Hopfield神經網絡及其改進

8.5Hopfield神經網絡的應用8.6Hopfield神經網絡優(yōu)化方法求解JSP8.7卷積神經網絡及其應用3第三頁，共154頁。第8章人工神經網絡及其應用8.1神經元與神經網絡

8.2BP神經網絡及其學習算法8.3BP神經網絡的應用8.4Hopfield神經網絡及其改進8.5Hopfield神經網絡的應用8.6Hopfield神經網絡優(yōu)化方法求解JSP8.7卷積神經網絡

及其應用4第四頁，共154頁。8.1神經元與神經網絡8.1.1生物神經元的結構8.1.2神經元數學模型8.1.3神經網絡結構與工作方式5第五頁，共154頁。8.1.1生物神經元的結構人腦由一千多億（1011億－1014億）個神經細胞（神經元）交織在一起的網狀結構組成，其中大腦皮層約140億個神經元，小腦皮層約1000億個神經元。

神經元約有1000種類型，每個神經元大約與103－104個其他神經元相連接，形成極為錯綜復雜而又靈活多變的神經網絡。人的智能行為就是由如此高度復雜的組織產生的。浩瀚的宇宙中，也許只有包含數千憶顆星球的銀河系的復雜性能夠與大腦相比。6第六頁，共154頁。8.1.1生物神經元的結構（輸入）（輸出）

神經沖動生物神經元結構7第七頁，共154頁。8.1.1生物神經元的結構

工作狀態(tài)：

興奮狀態(tài)：細胞膜電位>

動作電位的閾值→神經沖動

抑制狀態(tài)：細胞膜電位<動作電位的閾值學習與遺忘：由于神經元結構的可塑性，突觸的傳遞作用可增強和減弱

。8第八頁，共154頁。8.1神經元與神經網絡8.1.1生物神經元的結構8.1.2神經元數學模型8.1.3神經網絡的結構與工作方式9第九頁，共154頁。8.1.2神經元數學模型1943年，麥克洛奇和皮茲提出M－P模型。一般模型：10第十頁，共154頁。8.1.2神經元數學模型

：第個神經元的輸出。：第個神經元的閾值。：外部輸入。：權值。

加權求和：其矩陣形式：11第十一頁，共154頁。線性環(huán)節(jié)的傳遞函數：：1；；；及其組合等。

8.1.2神經元數學模型12第十二頁，共154頁。8.1.2神經元數學模型非線性激勵函數（傳輸函數、輸出變換函數）

（硬極限函數或階躍函數）（對稱硬極限函數）13第十三頁，共154頁。8.1.2神經元數學模型非線性激勵函數（傳輸函數、輸出變換函數）

（對數-S形函數或S型函數）（雙曲正切S形函數）14第十四頁，共154頁。8.1.2神經元數學模型非線性激勵函數（傳輸函數、輸出變換函數）

（飽和線性函數）（對稱飽和線性函數）15第十五頁，共154頁。8.1.2神經元數學模型非線性激勵函數（傳輸函數、輸出變換函數）

（線性函數）（高斯或徑向基函數）16第十六頁，共154頁。8.1.2神經元數學模型

工作過程:從各輸入端接收輸入信號

uj(j=1,2,…,n)根據連接權值求出所有輸入的加權和

用非線性激勵函數進行轉換，得到輸出

17第十七頁，共154頁。8.1.2神經元數學模型18第十八頁，共154頁。8.1神經元與神經網絡8.1.1生物神經元的結構8.1.2神經元的數學模型8.1.3神經網絡的結構與工作方式19第十九頁，共154頁。8.1.3神經網絡的結構與工作方式決定人工神經網絡性能的三大要素：神經元的特性。神經元之間相互連接的形式——拓撲結構。為適應環(huán)境而改善性能的學習規(guī)則。20第二十頁，共154頁。1.神經網絡的結構（1）前饋型（前向型）

8.1.3神經網絡的結構與工作方式21第二十一頁，共154頁。

1.神經網絡的結構（2）反饋型（Hopfield神經網絡）8.1.3神經網絡的結構與工作方式22第二十二頁，共154頁。2.神經網絡的工作方式同步（并行）方式：任一時刻神經網絡中所有神經元同時調整狀態(tài)。異步（串行）方式：任一時刻只有一個神經元調整狀態(tài)，而其它神經元的狀態(tài)保持不變。8.1.3神經網絡的結構與工作方式23第二十三頁，共154頁。

探索時期（開始于20世紀40年代）：

1943年，麥克勞（W.S.McCullocn）和匹茨（W.A.Pitts）首次提出一個神經網絡模型——M－P模型。

1949年，赫布（D.O.Hebb）提出改變神經元連接強度的Hebb學習規(guī)則。8.1.4神經網絡的發(fā)展概況24第二十四頁，共154頁。1958年，羅森布拉特（F.Rosenblatt）提出感知器模型（perceptron）。

1959年，威德羅(B.Widrow)等提出自適應線性元件（adaline）網絡，通過訓練后可用于抵消通信中的回波和噪聲。1960年，他和M.Hoff提出LMS（LeastMeanSquare最小方差）算法的學習規(guī)則。8.1.4神經網絡的發(fā)展概況

第一次熱潮時期：20世紀50年代末－20世紀60年代初

25第二十五頁，共154頁。1969年，明斯基（M.Minsky）等在《Perceptron》中對感知器功能得出悲觀結論。

1972年，T.Kohonen和J.Anderson分別提出能完成記憶的新型神經網絡。

1976年，S.Grossberg在自組織神經網絡方面的研究十分活躍。8.1.4神經網絡的發(fā)展概況

低潮時期：20世紀60年代末－20世紀70年代

26第二十六頁，共154頁。

第二次熱潮時期：20世紀80年代至今

1982年－1986年，霍普菲爾德（J.J.Hopfield）陸續(xù)提出離散的和連續(xù)的全互連神經網絡模型，并成功求解旅行商問題（TSP）。

1986年，魯姆爾哈特（Rumelhart）和麥克勞（McCellan）等在《ParallelDistributedProcessing》中提出反向傳播學習算法（B－P算法）。

1987年6月，首屆國際神經網絡學術會議在美國圣地亞哥召開，成立了國際神經網絡學會（INNS）。8.1.4神經網絡的發(fā)展概況27第二十七頁，共154頁。

神經網絡控制的研究領域

基于神經網絡的系統(tǒng)辨識神經網絡控制器神經網絡與其他算法（模糊邏輯、專家系統(tǒng)、遺傳算法等）相結合優(yōu)化計算8.1.4神經網絡的發(fā)展概況28第二十八頁，共154頁。第8章人工神經網絡及其應用8.1神經元與神經網絡8.2BP神經網絡及其學習算法

8.3BP神經網絡的應用

8.4Hopfield神經網絡及其改進

8.5Hopfield神經網絡的應用8.6Hopfield神經網絡優(yōu)化方法求解JSP8.7卷積神經網絡及其應用29第二十九頁，共154頁。8.2BP神經網絡及其學習算法8.2.1BP神經網絡（back-propagationneuralnetwork）的結構8.2.2BP學習算法8.2.3BP算法的實現30第三十頁，共154頁。8.2BP神經網絡及其學習算法8.2.1BP神經網絡（back-propagationneuralnetwork）的結構8.2.2BP學習算法8.2.3BP算法的實現31第三十一頁，共154頁。8.2.1BP神經網絡的結構

1.BP網絡結構

32第三十二頁，共154頁。8.2.1BP神經網絡的結構

2.輸入輸出變換關系

33第三十三頁，共154頁。8.2.1BP神經網絡的結構3.工作過程

第一階段或網絡訓練階段：

N組輸入輸出樣本：xi=[xi1,xi2,…,xip1]Tdi=[di1,di2,…,dipm]T

i=1,2,…,N

對網絡的連接權進行學習和調整，以使該網絡實現給定樣本的輸入輸出映射關系。

第二階段或稱工作階段：把實驗數據或實際數據輸入到網絡，網絡在誤差范圍內預測計算出結果。

34第三十四頁，共154頁。8.2BP神經網絡及其學習算法8.2.1BP神經網絡的結構8.2.2BP學習算法8.2.3BP算法的實現35第三十五頁，共154頁。（1）是否存在一個BP神經網絡能夠逼近給定的樣本或者函數。8.2.2BP學習算法兩個問題：（2）如何調整BP神經網絡的連接權，使網絡的輸入與輸出與給定的樣本相同。

1986年，魯梅爾哈特（D.Rumelhart）等提出BP學習算法。36第三十六頁，共154頁。8.2.2BP學習算法

目標函數：

約束條件：

連接權值的修正量：

1.基本思想

37第三十七頁，共154頁。8.2.2BP學習算法記先求（1）對輸出層的神經元（2）對隱單元層，則有38第三十八頁，共154頁。8.2.2BP學習算法2.學習算法39第三十九頁，共154頁。8.2.2BP學習算法

正向傳播：輸入信息由輸入層傳至隱層，最終在輸出層輸出。反向傳播：修改各層神經元的權值，使誤差信號最小。

2.學習算法

40第四十頁，共154頁。8.2.2BP學習算法2.學習算法41第四十一頁，共154頁。8.2BP神經網絡及其學習算法8.2.1BP神經網絡的結構8.2.2BP學習算法8.2.3BP算法的實現42第四十二頁，共154頁。8.2.3BP算法的實現（1）隱層數及隱層神經元數的確定：目前尚無理論指導。（2）初始權值的設置：一般以一個均值為0的隨機分布設置網絡的初始權值。（3）訓練數據預處理：線性的特征比例變換，將所有的特征變換到[0，1]或者[-1，1]區(qū)間內，使得在每個訓練集上，每個特征的均值為0，并且具有相同的方差。（4）后處理過程：當應用神經網絡進行分類操作時，通常將輸出值編碼成所謂的名義變量，具體的值對應類別標號。1.BP算法的設計

43第四十三頁，共154頁。8.2.3BP算法的實現（1）初始化：對所有連接權和閾值賦以隨機任意小值；（2）從N組輸入輸出樣本中取一組樣本：x=[x1,x2,…,xp1]T,d=[d1,d2,…,dpm]T,把輸入信息x=[x1,x2,…,xp1]T輸入到BP網絡中（3）正向傳播：計算各層節(jié)點的輸出：（4）計算網絡的實際輸出與期望輸出的誤差：

2.BP算法的計算機實現流程

44第四十四頁，共154頁。8.2.3BP算法的實現（5）反向傳播：從輸出層方向計算到第一個隱層，按連接權值修正公式向減小誤差方向調整網絡的各個連接權值。（6）讓t+1→t，取出另一組樣本重復（2）－（5），直到N組輸入輸出樣本的誤差達到要求時為止。

2.BP算法的計算機實現流程

45第四十五頁，共154頁。8.2.3BP算法的實現BP學習算法的程序框圖46第四十六頁，共154頁。1.特點BP網絡：多層前向網絡（輸入層、隱層、輸出層）。連接權值：通過Delta學習算法進行修正。神經元傳輸函數：S形函數。學習算法：正向傳播、反向傳播。層與層的連接是單向的，信息的傳播是雙向的。8.2.4BP算法的特點分析47第四十七頁，共154頁。2.BP網絡的主要優(yōu)缺點

很好的逼近特性。具有較強的泛化能力。具有較好的容錯性。

優(yōu)點

收斂速度慢。局部極值。難以確定隱層和隱層結點的數目。

缺點8.2.4BP算法的特點分析48第四十八頁，共154頁。8.3BP神經網絡的應用8.3.1BP神經網絡在模式識別中的應用8.3.2BP神經網絡在軟測量中的應用49第四十九頁，共154頁。8.3.1BP神經網絡在模式識別中的應用

模式識別研究用計算機模擬生物、人的感知，對模式信息，如圖像、文字、語音等，進行識別和分類。傳統(tǒng)人工智能的研究部分地顯示了人腦的歸納、推理等智能。但是，對于人類底層的智能，如視覺、聽覺、觸覺等方面，現代計算機系統(tǒng)的信息處理能力還不如一個幼兒園的孩子。神經網絡模型模擬了人腦神經系統(tǒng)的特點：處理單元的廣泛連接；并行分布式信息儲存、處理；自適應學習能力等。神經網絡模式識別方法具有較強的容錯能力、自適應學習能力、并行信息處理能力。50第五十頁，共154頁。

例

輸入輸出樣本：測試數據：8.3.1BP神經網絡在模式識別中的應用51第五十一頁，共154頁。8.3.1BP神經網絡在模式識別中的應用例

設計一個三層BP網絡對數字0至9進行分類。

每個數字用97的網格表示，灰色像素代表0，黑色像素代表1。將每個網格表示為0，1的長位串。位映射由左上角開始向下直到網格的整個一列，然后重復其他列。

選擇BP網絡結構為63-6-9。97個輸入結點，對應上述網格的映射。9個輸出結點對應10種分類。使用的學習步長為0.3。訓練600個周期，如果輸出結點的值大于0.9，則取為ON，如果輸出結點的值小于0.1，則取為OFF。52第五十二頁，共154頁。

測試結果表明：除了8以外，所有被測的數字都能夠被正確地識別。對于數字8，神經網絡的第6個結點的輸出值為0.53，第8個結點的輸出值為0.41，表明第8個樣本是模糊的，可能是數字6，也可能是數字8，但也不完全確信是兩者之一。

8.3.1BP神經網絡在模式識別中的應用當訓練成功后，對如圖所示測試數據進行測試。測試數據都有一個或者多個位丟失。53第五十三頁，共154頁。8.3.2BP神經網絡在軟測量中的應用軟測量技術

主導變量：被估計的變量。輔助變量：與被估計變量相關的一組可測變量。54第五十四頁，共154頁。軟測量系統(tǒng)的設計：輔助變量的選擇：變量類型、變量數量和檢測點位置的選擇。數據采集與處理。軟測量模型的建立：通過輔助變量來獲得對主導變量的最佳估計。

8.3.2BP神經網絡在軟測量中的應用55第五十五頁，共154頁。序批式活性污泥法（SBR）8.3.2BP神經網絡在軟測量中的應用56第五十六頁，共154頁。BOD、COD、N和P：為軟測量模型的主導變量。ORP、DO、PH和MLSS：輔助變量。三層BP網絡：8.3.2BP神經網絡在軟測量中的應用57第五十七頁，共154頁。第8章人工神經網絡及其應用8.1神經元與神經網絡8.2BP神經網絡及其學習算法8.3BP神經網絡的應用

8.4Hopfield神經網絡及其改進

8.5Hopfield神經網絡的應用8.6Hopfield神經網絡優(yōu)化方法求解JSP8.7卷積神經網絡

及其應用58第五十八頁，共154頁。8.4Hopfield神經網絡及其改進8.4.1離散型Hopfield神經網絡8.4.2連續(xù)型Hopfield神經網絡及其VLSI實現8.4.3隨機神經網絡8.4.4混沌神經網絡59第五十九頁，共154頁。8.4Hopfield神經網絡及其改進8.4.1離散型Hopfield神經網絡8.4.2連續(xù)型Hopfield神經網絡及其VLSI實現8.4.3隨機神經網絡8.4.4混沌神經網絡60第六十頁，共154頁。離散Hopfield神經網絡結構圖……12(狀態(tài)）(閾值）（連接權值）8.4.1離散Hopfield神經網絡1.離散Hopfield神經網絡模型網絡結構：61第六十一頁，共154頁?！?/p>

注：…或連接權閾值8.4.1離散Hopfield神經網絡-11.離散Hopfield神經網絡模型輸入輸出關系：62第六十二頁，共154頁。

工作方式：異步（串行）方式:同步（并行）方式:8.4.1離散Hopfield神經網絡1.離散Hopfield神經網絡模型63第六十三頁，共154頁。（異步或同步方式）初態(tài)：穩(wěn)態(tài)：8.4.1離散Hopfield神經網絡1.離散Hopfield神經網絡模型工作過程：64第六十四頁，共154頁。（異步或同步方式）初態(tài)記憶樣本的部分信息穩(wěn)態(tài)記憶樣本

聯想記憶8.4.1離散Hopfield神經網絡1.離散Hopfield神經網絡模型工作過程：65第六十五頁，共154頁。

穩(wěn)定性定義：若從某一時刻開始，網絡中所有神經元的狀態(tài)不再改變，即，則稱該網絡是穩(wěn)定的，為網絡的穩(wěn)定點或吸引子。

Hopfield神經網絡是高維非線性系統(tǒng)，可能有許多穩(wěn)定優(yōu)態(tài)。從任何初始狀態(tài)開始運動，總可以到某個穩(wěn)定狀態(tài)。這些穩(wěn)定狀態(tài)可以通過改變網絡參數得到。8.4.1離散Hopfield神經網絡2.網絡的穩(wěn)定性66第六十六頁，共154頁。

穩(wěn)定性定理證明：1983年，科恩（Cohen）、葛勞斯伯格（S.Grossberg）。穩(wěn)定性定理（Hopfield）8.4.1離散Hopfield神經網絡2.網絡的穩(wěn)定性

并行穩(wěn)定性——W：非負定對稱陣

串行穩(wěn)定性——W：對稱陣67第六十七頁，共154頁。8.4Hopfield神經網絡及其改進8.4.1離散型Hopfield神經網絡8.4.2連續(xù)型Hopfield神經網絡及其VLSI實現68第六十八頁，共154頁。8.4.2連續(xù)型Hopfield神經網絡及其VLSI實現連續(xù)Hopfield神經網絡模型網絡的穩(wěn)定性應用舉例69第六十九頁，共154頁。8.4.2連續(xù)型Hopfield神經網絡及其VLSI實現1.連續(xù)Hopfield神經網絡模型70第七十頁，共154頁。8.4.2連續(xù)型Hopfield神經網絡及其VLSI實現1.連續(xù)Hopfield神經網絡模型71第七十一頁，共154頁。8.4.2連續(xù)型Hopfield神經網絡及其VLSI實現2.網絡的穩(wěn)定性

計算能量函數：

定理：對于連續(xù)型

Hopfield神經網絡，若為單調遞增的連續(xù)函數，Ci>0,wij=wji,則；當且僅當

72第七十二頁，共154頁。8.4.3隨機神經網絡Hopfield神經網絡中，神經元狀態(tài)為1是根據其輸入是否大于閾值確定的，是確定性的。隨機神經網絡中，神經元狀態(tài)為1是隨機的，服從一定的概率分布。例如，服從玻爾茲曼(Boltzmann)、高斯(Gaussian)、柯西(Cauchy)分布等，從而構成玻爾茲曼機、高斯機、柯西機等隨機機。73第七十三頁，共154頁。8.4.3隨機神經網絡1.Boltzmann機

1985年，加拿大多倫多大學教授欣頓(Hinton)等人借助統(tǒng)計物理學的概念和方法，提出了Boltzmann機神經網絡模型。

Boltzmann機是離散Hopfield神經網絡的一種變型，通過對離散Hopfield神經網絡加以擾動，使其以概率的形式表達，而網絡的模型方程不變，只是輸出值類似于Boltzmann分布以概率分布取值。

Boltzmann機是按Boltzmann概率分布動作的神經網絡。74第七十四頁，共154頁。8.4.3隨機神經網絡1.Boltzmann機（續(xù)）離散Hopfield神經網絡的輸出：

Boltzman機的內部狀態(tài)：神經元輸出值為0和1時的概率：75第七十五頁，共154頁。8.4.3隨機神經網絡1.Boltzmann機（續(xù)）

Boltzmann的能量函數：

神經元狀態(tài)轉換時網絡能量的變化：

神經元改變?yōu)闋顟B(tài)“1”的概率：)exp(11TEpiiD-+=76第七十六頁，共154頁。2.高斯機

8.4.3隨機神經網絡:均值為0的高斯隨機變量（白噪聲），其方差為

3.柯西機:柯西隨機變量（有色噪聲）

77第七十七頁，共154頁。8.4.4混沌神經網絡1.混沌混沌：自然界中一種較為普遍的非線性現象，其行為看似混亂復雜且類似隨機，卻存在精致的內在規(guī)律性?；煦绲男再|：（1）隨機性：類似隨機變量的雜亂表現。（2）遍歷性：不重復地歷經一定范圍內的所有狀態(tài)。（3）規(guī)律性：由確定性的迭代式產生。

78第七十八頁，共154頁。1.混沌（續(xù)）混沌學的研究熱潮開始于20世紀70年代初期。1963年，Lorenz在分析氣候數據時發(fā)現：初值十分接近的兩條曲線的最終結果會相差很大，從而獲得了混沌的第一個例子。1975年，Li-Yorke的論文《周期3意味著混沌》使“混沌”一詞首先出現在科技文獻中?；煦绲陌l(fā)現，對科學的發(fā)展具有深遠的影響。8.4.4混沌神經網絡79第七十九頁，共154頁。8.4.4混沌神經網絡2.混沌神經元混沌神經元（1987年，Freeman）：構造混沌神經網絡的基本單位。

混沌神經元模型：80第八十頁，共154頁。8.4.4混沌神經網絡3.混沌神經網絡

1990年，Aihara等提出了第一個混沌神經網絡模型(chaoticneuralnetwork，CNN)。

1991年，Inoue等利用兩個混沌振蕩子耦合成一個神經元的方法，構造出一個混沌神經計算機.1992年，Nozawa基于歐拉離散化的Hopfield神經網絡，通過增加一個大的自反饋項，得到了一個與Aihara等提出的類似的CNN模型。

81第八十一頁，共154頁。8.4.4混沌神經網絡3.混沌神經網絡（1）基于模擬退火策略的自抑制混沌神經網絡

1995年，Chen等提出的暫態(tài)混沌神經網絡(transientchaoticneuralnetwork，TCNN)：82第八十二頁，共154頁。8.4.4混沌神經網絡3.混沌神經網絡（1）基于模擬退火策略的自抑制混沌神經網絡①具有暫態(tài)混沌特性。②能演化到一個穩(wěn)定狀態(tài)。③搜索區(qū)域為一分形結構。④具有混沌退火機制。⑤一種廣義的混沌神經網絡。⑥可求解0-1問題，也可求解連續(xù)非線性優(yōu)化問題。83第八十三頁，共154頁。8.4.4混沌神經網絡非線性函數：

84第八十四頁，共154頁。8.4.4混沌神經網絡3.混沌神經網絡（2）基于加大時間步長的混沌神經網絡CHNN的歐拉離散化：1998年，Wang和Smith采用加大時間步長產生混沌：85第八十五頁，共154頁。8.4.4混沌神經網絡3.混沌神經網絡（3）引入噪聲的混沌神經網絡1995年，Hayakawa等的混沌神經網絡：86第八十六頁，共154頁。8.5Hopfield神經網絡的應用8.5.1Hopfield神經網絡在聯想記憶中的應用8.5.2Hopfield神經網絡優(yōu)化方法87第八十七頁，共154頁。如何實現HNN的聯想記憶功能?

網絡能夠通過聯想來輸出和輸入模式最為相似的樣本模式。8.5.1Hopfield神經網絡在聯想記憶中的應用88第八十八頁，共154頁。例

傳感器輸出：[外形，質地，重量]T

8.5.1Hopfield神經網絡在聯想記憶中的應用89第八十九頁，共154頁。例

樣本:

步驟：

（1）設計DHNN結構（2）設計連接權矩陣（3）測試具體怎樣實現聯想記憶？8.5.1Hopfield神經網絡在聯想記憶中的應用

傳感器輸出：[外形，質地，重量]T

90第九十頁，共154頁。

樣本:

（1）設計DHNN結構3神經元的DHNN結構圖注：8.5.1Hopfield神經網絡在聯想記憶中的應用91第九十一頁，共154頁。

樣本:

，

連接權：（2）設計連接權矩陣8.5.1Hopfield神經網絡在聯想記憶中的應用92第九十二頁，共154頁。

樣本:

，

連接權：T]01,0,[)2(=x

（2）設計連接權矩陣8.5.1Hopfield神經網絡在聯想記憶中的應用93第九十三頁，共154頁。

（2）設計連接權矩陣8.5.1Hopfield神經網絡在聯想記憶中的應用94第九十四頁，共154頁。

輸入：[1，1，1]T

輸出?

（3）測試8.5.1Hopfield神經網絡在聯想記憶中的應用95第九十五頁，共154頁。

（3）測試

調整次序：

初始狀態(tài)：

測試用例：

樣本：8.5.1Hopfield神經網絡在聯想記憶中的應用96第九十六頁，共154頁。

調整次序：2→1→3k=08.5.1Hopfield神經網絡在聯想記憶中的應用97第九十七頁，共154頁。k=1

調整次序：2→1→38.5.1Hopfield神經網絡在聯想記憶中的應用98第九十八頁，共154頁。k=2

調整次序：2→1→38.5.1Hopfield神經網絡在聯想記憶中的應用99第九十九頁，共154頁。k=2k=3k=0k=1

樣本：

調整次序：2132132132138.5.1Hopfield神經網絡在聯想記憶中的應用100第一百頁，共154頁。

例

輸入：[1，1，1]T

輸出：[1，0，1]T

8.5.1Hopfield神經網絡在聯想記憶中的應用101第一百零一頁，共154頁。

連續(xù)Hopfiled神經網絡求解約束優(yōu)化問題的基本思路：8.5.2Hopfield神經網絡優(yōu)化方法1985年，霍普菲爾德和塔克（D.W.Tank）應用連續(xù)Hopfield神經網絡求解旅行商問題（travelingsalesmanproblem，TSP）獲得成功。102第一百零二頁，共154頁。8.5.2Hopfield神經網絡優(yōu)化方法

用神經網絡方法求解優(yōu)化問題的一般步驟：（1）將優(yōu)化問題的每一個可行解用換位矩陣表示。（2）將換位矩陣與由n

個神經元構成的神經網絡相對應：每一個可行解的換位矩陣的各元素與相應的神經元穩(wěn)態(tài)輸出相對應。（3）構造能量函數，使其最小值對應于優(yōu)化問題的最優(yōu)解，并滿足約束條件。（4）用罰函數法構造目標函數，與Hopfield神經網絡的計算能量函數表達式相等，確定各連接權和偏置參數。（5）給定網絡初始狀態(tài)和網絡參數等，使網絡按動態(tài)方程運行，直到穩(wěn)定狀態(tài)，并將它解釋為優(yōu)化問題的解。103第一百零三頁，共154頁。

應用舉例：Hopfield神經網絡優(yōu)化方法求解TSP。1985年，霍普菲爾德和塔克（D.W.Tank）應用連續(xù)Hopfield神經網絡求解旅行商問題獲得成功。

旅行商問題（travelingsalesmanproblem，TSP）：有n

個城市，城市間的距離或旅行成本已知，求合理的路線使每個城市都訪問一次，且總路徑（或者總成本）為最短。8.5.2Hopfield神經網絡優(yōu)化方法104第一百零四頁，共154頁。

應用舉例：Hopfield神經網絡優(yōu)化方法求解TSP

旅行商問題（TSP）：典型的組合優(yōu)化問題用窮舉法，Cray計算機的計算速度：108次/秒。1985年，Hopfield和Tank用Hopfield網絡求解n＝30的TSP問題，0.2s就得到次優(yōu)解。

8.5.2Hopfield神經網絡優(yōu)化方法105第一百零五頁，共154頁。5個城市的TSP：神經元數目：258.5.2Hopfield神經網絡優(yōu)化方法106第一百零六頁，共154頁。TSP的描述：

用罰函數法，寫出優(yōu)化問題的目標函數：8.5.2Hopfield神經網絡優(yōu)化方法107第一百零七頁，共154頁。Hopfield神經網絡能量函數：8.5.2Hopfield神經網絡優(yōu)化方法

令E1與目標函數J相等，確定神經網絡的連接權值和偏置電流：108第一百零八頁，共154頁。神經網絡的動態(tài)方程：8.5.2Hopfield神經網絡優(yōu)化方法109第一百零九頁，共154頁。

選擇合適的A、B、C、D和網絡的初始狀態(tài)，按網絡動態(tài)方程演化直到收斂。8.5.2Hopfield神經網絡優(yōu)化方法110第一百一十頁，共154頁。

神經網絡優(yōu)化計算目前存在的問題：（1）解的不穩(wěn)定性。（2）參數難以確定。（3）能量函數存在大量局部極小值，難以保證最優(yōu)解。8.5.2Hopfield神經網絡優(yōu)化方法111第一百一十一頁，共154頁。8.6Hopfield神經網絡優(yōu)化方法求解JSP8.6.1作業(yè)車間調度問題8.6.2JSP的Hopfield神經網絡及其求解8.6.3作業(yè)車間生產調度舉例8.6.4基于隨機神經網絡的生產調度方法112第一百一十二頁，共154頁。8.6.1作業(yè)車間調度問題

作業(yè)車間調度問題（job-shopschedulingProblem，JSP）:一類滿足任務配置和順序約束要求的資源分配問題。問題描述：給定一個作業(yè)（工件）的集合和一個機器的集合，每個作業(yè)包括多道工序，每道工序需要在一臺給定的機器上非間斷地加工一段時間；每臺機器一次最多只能加工一道工序，調度就是把工序分配給機器上某個時間段，使加工完成時間最短。113第一百一十三頁，共154頁。FooS.Y.和Y.Takefuji在1988年最早提出用Hopfield神經網絡求解JSP。8.6.1作業(yè)車間調度問題

對于單臺機器加工問題，如果有個作業(yè)而每個作業(yè)只考慮加工時間以及與操作序列有關的安裝時間，則這個問題就和個城市的TSP等價。

Conway等（1967），《生產調度理論》：“一般作業(yè)車間調度問題是一個迷人的挑戰(zhàn)性問題。盡管問題本身描述非常容易，但是朝著問題求解的方向作任何的推進都是極端困難的”。

114第一百一十四頁，共154頁。1.JSP的換位矩陣表示

01,1,11,2,22,2,12,1,21,1,1100001,2,2000012,2,1001002,1,2100002－作業(yè)2－機器JSP8.6.2JSP的Hopfield神經網絡及其求解“工序(2,2,1)依賴于另一工序(1,2,2)”的命題成立。(1,2,2)：作業(yè)1的工序2在機器2上執(zhí)行。“工序不依賴于任何別的工序”的命題。

115第一百一十五頁，共154頁。8.6.2JSP的Hopfield神經網絡及其求解

作業(yè)機器JSP的工序約束條件：（1）各工序應服從優(yōu)先順序關系。任一工序可以依賴于另一個工序，也可以不依賴于任何工序（如在0時刻啟動的工序）。（2）所有工序不允許自依賴和互依賴。（3）允許在0時刻啟動的工序數不超過。即在時，在0時刻啟動的工序數應為。（4）在同一時刻啟動的同一作業(yè)的工序不多于一個。（5）在同一時刻同一機器上啟動的工序不多于一個。116第一百一十六頁，共154頁。8.6.2JSP的Hopfield神經網絡及其求解2.JSP計算能量函數

:與矩陣中位置相對應的神經元的輸出狀態(tài)。行約束

全局約束

非對稱約束

列約束

117第一百一十七頁，共154頁。8.6.2JSP的Hopfield神經網絡及其求解3.Hopfield神經網絡的參數連續(xù)型Hopfield神經網絡的計算能量函數:

神經元與神經元之間的連接權

神經元的偏置電流:

118第一百一十八頁，共154頁。8.6.2JSP的Hopfield神經網絡及其求解4.Hopfield神經網絡的運動方程119第一百一十九頁，共154頁。8.6.2JSP的Hopfield神經網絡及其求解

5.成本樹

step1：根據換位矩陣，構造成本樹。

step2：計算成本樹上各操作的開始時間和結束時間。

step3：判斷是否出現死鎖調度。

step4：調整死鎖調度。120第一百二十頁，共154頁。8.6.2JSP的Hopfield神經網絡及其求解6.甘特圖step1：根據換位矩陣，計算成本樹上各操作的開始時間和結束時間，并給出相應的甘特圖。step2：判斷甘特圖中每臺機器上各作業(yè)的開始時間是否發(fā)生重疊。step3：判斷同一作業(yè)的各操作的開始時間是否發(fā)生重疊。step4：重復step2和step3，直至甘特圖中同一機器上各作業(yè)的開始時間和同一作業(yè)的各操作的開始時間都不發(fā)生重疊為止。121第一百二十一頁，共154頁。8.6.3作業(yè)車間生產調度舉例2作業(yè)3機器的JSP例子

所有的操作：111，122，133，213，221，232。

122第一百二十二頁，共154頁。8.6.3作業(yè)車間生產調度舉例換位矩陣Hopfield神經網絡：6行7列的神經元陣列

123第一百二十三頁，共154頁。8.6.3作業(yè)車間生產調度舉例神經網絡偏置電流矩陣

124第一百二十四頁，共154頁。8.6.3作業(yè)車間生產調度舉例計算能量函數為0的換位矩陣125第一百二十五頁，共154頁。8.6.3作業(yè)車間生產調度舉例成本樹返回126第一百二十六頁，共154頁。8.6.3作業(yè)車間生產調度舉例甘特圖

返回127第一百二十七頁，共154頁。

基本思想：在系統(tǒng)尋優(yōu)過程中，利用神經元狀態(tài)更新的隨機性，允許向較差方向搜索，以跳出局部極小。經多次尋查后，最終使系統(tǒng)穩(wěn)定于能量最低狀態(tài)，使神經網絡收斂到計算能量函數的最小值0，從而使神經網絡輸出是一個可行調度解。8.6.4基于隨機神經網絡的生產調度方法128第一百二十八頁，共154頁。

根據改進Metropolis方法，求解JSP的基于模擬退火的神經網絡算法：（1）初始化：設置初始溫度，合適的輸入偏置電流，凝結溫度，溫度下降速率，在每個溫度點的循環(huán)處理次數。8.6.4基于隨機神經網絡的生產調度方法（2）隨機爬山：對每個神經元，由求解網絡方程計算輸出電壓。由網絡穩(wěn)定狀態(tài)集組成成本樹；求出最大成本變化量。

129第一百二十九頁，共154頁。8.6.4基于隨機神經網絡的生產調度方法

若，則轉去（3）；否則計算能量變化量

若，則令否則，令計算概率130第一百三十頁，共154頁。第8章人工神經網絡及其應用8.1神經元與神經網絡8.2BP神經網絡及其學習算法8.3BP神經網絡的應用

8.4Hopfield神經網絡及其改進8.5Hopfield神經網絡的應用8.6Hopfield神經網絡優(yōu)化方法求解JSP8.7卷積神經網絡及其應用131第一百三十一頁，共154頁。1328.7卷積神經網絡卷積神經網絡（ConvolutionalNeuralNetworks，CNN）1962年Hubel和Wiesel通過對貓視覺皮層細胞的研究，提出了感受野(receptivefield)的概念。視覺皮層的神經元就是局部接受信息的，只受某些特定區(qū)域刺激的響應，而不是對全局圖像進行感知。1984年日本學者Fukushima基于感受野概念提出神經認知機(neocognitron)。CNN可看作是神經認知機的推廣形式。132第一百三十二頁，共154頁。8.7.1卷積神經網絡的結構卷積神經網絡的結構概念示范：輸入圖像通過與m個可訓練的濾波器和可加偏置進行卷積，在C1層產生m個特征映射圖，然后特征映射圖中每組的n個像素再求和，加權值，加偏置，通過Sigmoid函數得到m個S2層的特征映射圖。這些映射圖再進過濾波得到C3層。這個層級結構再和S2一樣產生S4。最終，這些像素值被光柵化，并連接成一個向量輸入到傳統(tǒng)神經網絡，得到輸出。CNN是一個多層的神經網絡，每層由多個二維平面組成，而每個平面由多個獨立神經元組成。C層為特征提取層（卷積層）S層是特征映射層（下采樣層）。CNN中的每一個C層都緊跟著一個S層。133133第一百三十三頁，共154頁。1348.7.1卷積神經網絡的結構特征提取層（卷積層）——C層（Convolutionlayer）左圖展示了一個3*3的卷積核在5*5的圖像上做卷積的過程。卷積實際上提供了一個權重模板。卷積運算是一種用鄰域點按一定權重去重新定義該點值的運算。對圖像用一個卷積核進行卷積運算，實際上是一個濾波的過程。每個卷積核都是一種特征提取方式，就像是一個篩子，將圖像中符合條件的部分篩選出來。134第一百三十四頁，共154頁。1358.7.1卷積神經網絡的結構特征提取層（卷積層）——C層（Convolutionlayer）大部分的特征提取都依賴于卷積運算利用卷積算子對圖像進行濾波，可以得到顯著的邊緣特征。135第一百三十五頁，共154頁。1368.7.1卷積神經網絡的結構特征映射層（下采樣層）——S層（Subsamplinglayer）卷積層的作用是探測上一層特征的局部連接，然而下采樣層的作用是在語義上把相似的特征合并起來。136第一百三十六頁，共154頁。1378.7.1卷積神經網絡的結構特征映射層（下采樣層）——S層（Subsamplinglayer）下采樣層降低了每個特征圖的空間分辨率。137第一百三十七頁，共154頁。1388.7.1卷積神經網絡的結構特征映射層（下采樣層）——S層（Subsamplinglayer）CNN中的每一個特征提取層（C）都緊跟著一個用來求局部平均與二次提取的計算層（S）。這種特有的兩次特征提取結構能夠容許識別過程中輸入樣本有較嚴重的畸變。138第一百三十八頁，共154頁。1398.7.1卷積神經網絡的結構卷積過程：用一個可訓練的濾波器fx去卷積一個輸入的圖像（第一階段是輸入的圖像，后面的階段就是FeatureMap了），然后加一個偏置bx，得到卷積層Cx。下采樣過程：鄰域n個像素通過池化（pooling）步驟變?yōu)橐粋€像素，然后通過標量Wx+1加權，再增加偏置bx+1，然后通過一個sigmoid激活函數，產生一個大概縮小n倍的特征映射圖Sx+1。139第一百三十九頁，共154頁。1408.7.1卷積神經網絡的結構卷積后下采樣后140第一百四十頁，共154頁。8.7.1卷積神經網絡的結構卷積神經網絡的結構概念示范：輸入圖像通過與m個可訓練的濾波器和可加偏置進行卷積，在C1層產生m個特征映射圖，然后特征映射圖中每組的n個像素再進行求和，加權值，加偏置，通過一個Sigmoid函數得到m個S2層的特征映射圖。這些映射圖再進過濾波得到C3層。這個層級結構再和S2一樣產生S4。最終，這些像素值被光柵化，并連接成一個向量輸入到傳統(tǒng)的神經網絡，得到輸出。CNN是一個多層的神經網絡，每層由多個二維平面組成，而每個平面由