神經(jīng)網(wǎng)絡(luò)導論第三章

神經(jīng)網(wǎng)絡(luò)導論第三章第1頁，課件共64頁，創(chuàng)作于2023年2月概述反饋神經(jīng)網(wǎng)絡(luò)模型可用一完備的無向圖表示。從系統(tǒng)的觀點看，反饋神經(jīng)網(wǎng)絡(luò)模型是一反饋動力學系統(tǒng)，它具有極復雜的動力學特性。在反饋神經(jīng)網(wǎng)絡(luò)模型中，我們關(guān)心的是其穩(wěn)定性,穩(wěn)定性是神經(jīng)網(wǎng)絡(luò)相聯(lián)存儲性質(zhì)的體現(xiàn)，可以說穩(wěn)定就意味著完成回憶。從計算的角度講，反饋神經(jīng)網(wǎng)絡(luò)模型具有比前饋神經(jīng)網(wǎng)絡(luò)模型更強的計算能力。第2頁，課件共64頁，創(chuàng)作于2023年2月內(nèi)容提要

Hopfield神經(jīng)網(wǎng)絡(luò)模型

海明神經(jīng)網(wǎng)絡(luò)模型雙向聯(lián)想存儲器應(yīng)用實例分析第3頁，課件共64頁，創(chuàng)作于2023年2月第一節(jié)Hopfield模型第4頁，課件共64頁，創(chuàng)作于2023年2月Hopfield神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)第5頁，課件共64頁，創(chuàng)作于2023年2月Hopfield神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)描述

Hopfield神經(jīng)網(wǎng)絡(luò)模型一般由單層全互連的神經(jīng)元ui(i=1,…，n)組成。神經(jīng)元沒有自連接,即wii＝0；神經(jīng)元與神經(jīng)元之間的連接是對稱的，即wij＝wji。第6頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型數(shù)學描述

輸入該模型中神經(jīng)元實際上是一線性閾值單元。圖中x1，x2，…，xn為該自適應(yīng)線性元在t時刻的外部輸入，用向量表示為:X＝（x1，x2，…，xn）T

這個向量稱為自適應(yīng)線性元的輸入信號向量或輸入模式向量。第7頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型數(shù)學描述

連接權(quán)值第8頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型數(shù)學描述

輸出

二值輸出第9頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型的學習當用Hopfield網(wǎng)絡(luò)作相聯(lián)存儲器時，其權(quán)值賦予的規(guī)則稱為外積存儲規(guī)則。假設(shè)有m個樣本向量X1、X2、…、Xm要存入Hopfield神經(jīng)網(wǎng)絡(luò)中，則第i個神經(jīng)元與第j個神經(jīng)元之間相連的權(quán)值ｗij為：第10頁，課件共64頁，創(chuàng)作于2023年2月Hopfoeld模型回憶過程圖解第11頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型的回憶過程描述首先要將模式向量X的n個元素x1,x2,…，xn分別賦予與之對應(yīng)的神經(jīng)元，作為相應(yīng)神經(jīng)元元的初始狀態(tài)，即：ai(0)=xi。然后在Hopfield神經(jīng)網(wǎng)絡(luò)模型中按其動力學特性sgn函數(shù)進行操作，反復迭代，直到收斂為止。當整個神經(jīng)網(wǎng)絡(luò)穩(wěn)定后，處理單元的輸出就最終給出了匹配輸入模式X的標準樣本模式，直接完成了提取記憶信息的操作。第12頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型的學習舉例假設(shè)Hopfield模型有4個神經(jīng)元，現(xiàn)希望其儲存如下模式向量：(11-1-1)T/(-1-111)T。第13頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型的回憶舉例要求回憶樣本(11-1-1)T、(1-111)T。第14頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型應(yīng)用之模式補全問題描述

10×10的點陣表示的圖案存儲在Hopfield網(wǎng)絡(luò)中?，F(xiàn)將受損壞的圖案輸入，讓受損壞的圖案恢復原狀。去噪過程。模擬第15頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型的容量問題作為相聯(lián)存儲器的Hopfield網(wǎng)絡(luò)有兩個局限，第一是存儲在Hopfield神經(jīng)網(wǎng)絡(luò)模型中的標準樣本模式不能太多，可以證明，當m≤0.15n時，一般都能達到比較好的匹配。第二是如果兩類標準樣本模式向量中相同的元素很多，那么其中任何一個標準樣本模式開始迭代，但最后可能會收斂于另一個標準樣本模式。第16頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型與組合優(yōu)化求解

在組合優(yōu)化問題中，讓神經(jīng)元的某狀態(tài)表示某命題的真假，而神經(jīng)元之間的連接則表示兩命題的關(guān)聯(lián)程度，正為相互支持，負為相互否定。當兩命題關(guān)聯(lián)程度為wij時，有花費（cost）值wijaiaj，則可以用能量函數(shù)代表其總花費。第17頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型與組合優(yōu)化求解能量函數(shù)要根據(jù)不同的問題進行不同的構(gòu)造，只要定義好適當?shù)哪芰亢瘮?shù)，就能通過類比的方法設(shè)置神經(jīng)網(wǎng)絡(luò)的連接權(quán)值，然后用上述迭代方法得到組合優(yōu)化問題的近似解。因此，網(wǎng)絡(luò)收斂于穩(wěn)定點過程表示在眾多約束之下不斷調(diào)整網(wǎng)絡(luò)狀態(tài)，直到使總花費值達到某個局部極小值或全局極小值的近似。

第18頁，課件共64頁，創(chuàng)作于2023年2月能量函數(shù)

能量函數(shù)展現(xiàn)的是神經(jīng)網(wǎng)絡(luò)系統(tǒng)集團計算能力而不是單個神經(jīng)元的計算能力。能量的概念也可以推廣到其它類型的神經(jīng)網(wǎng)絡(luò)模型中。在能量概念的基礎(chǔ)上，神經(jīng)計算可以描述為在能量曲面上的一條軌跡。

第19頁，課件共64頁，創(chuàng)作于2023年2月能量函數(shù)收斂性證明第20頁，課件共64頁，創(chuàng)作于2023年2月能量函數(shù)收斂性證明當狀態(tài)由0或1變?yōu)?時，因為：

所以：

第21頁，課件共64頁，創(chuàng)作于2023年2月能量函數(shù)收斂性證明當狀態(tài)由0或1變?yōu)?時，因為：

所以：

第22頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型應(yīng)用實例8皇后問題問題描述

8皇后問題是：給定一個標準的棋盤和8個皇后，要求正確地放置8個皇后，使得沒有任何一個皇后可以攻擊到另外的一個皇后。這里我們將用Hopfield模型求解這一問題。第23頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型應(yīng)用實例8皇后問題能量函數(shù)的定義定義表示處于位置(i,j)的方塊。有：第24頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型應(yīng)用實例8皇后問題能量函數(shù)的定義考察下式：該式表明當每行只有一個皇后時，該式可以取得最小值0，否則該式的值將大于0。第25頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型應(yīng)用實例8皇后問題能量函數(shù)的定義考察下式：該式表明當每列只有一個皇后時，該式可以取得最小值0，否則該式的值將大于0。第26頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型應(yīng)用實例8皇后問題能量函數(shù)的定義第27頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型應(yīng)用實例8皇后問題能量函數(shù)的定義每條對角線只有一個皇后時，該式取最小值。第28頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型應(yīng)用實例8皇后問題能量函數(shù)的定義顯然，H取得最小值時，可以得到最優(yōu)解。

第29頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型應(yīng)用實例8皇后問題權(quán)值定義第30頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型應(yīng)用實例8皇后問題神經(jīng)元狀態(tài)修改為溫度系數(shù)，目的是為了避免局部極小。第31頁，課件共64頁，創(chuàng)作于2023年2月Hopfield模型應(yīng)用實例8皇后問題模擬第32頁，課件共64頁，創(chuàng)作于2023年2月第二節(jié)海明神經(jīng)網(wǎng)絡(luò)模型第33頁，課件共64頁，創(chuàng)作于2023年2月海明模型的結(jié)構(gòu)第34頁，課件共64頁，創(chuàng)作于2023年2月海明模型的結(jié)構(gòu)描述

海明網(wǎng)絡(luò)由匹配子網(wǎng)和競爭子網(wǎng)組成。匹配子網(wǎng)的功能是將輸入樣本和存儲在該子網(wǎng)中的標準模板相互匹配（如計算海明距離等）。而競爭子網(wǎng)是迭代尋找匹配子網(wǎng)中的最大匹配輸出。第35頁，課件共64頁，創(chuàng)作于2023年2月海明網(wǎng)絡(luò)的運行機理匹配子網(wǎng)在學習階段將若干類別的樣本記憶存儲在網(wǎng)絡(luò)的連接權(quán)值中；在工作階段（回憶階段），該子網(wǎng)計算輸入模式和各個樣本模式的匹配程度，并將結(jié)果送入競爭子網(wǎng)中，由競爭子網(wǎng)選擇出匹配子網(wǎng)中最大的輸出。從而，實現(xiàn)了對離散輸入模式進行在海明距離最小意義下的識別和分類。第36頁，課件共64頁，創(chuàng)作于2023年2月海明距離如果將模式用向量來表示，Hamming距離是指兩個模式不同元素的個數(shù)。如：A＝(00110)B=(10101）則：H(A,B)=3第37頁，課件共64頁，創(chuàng)作于2023年2月海明網(wǎng)絡(luò)的學習之權(quán)值設(shè)置競爭子網(wǎng)的連接權(quán)值設(shè)置方法：匹配子網(wǎng)的連接權(quán)值設(shè)置方法：第38頁，課件共64頁，創(chuàng)作于2023年2月海明網(wǎng)絡(luò)的學習之閾值設(shè)置競爭子網(wǎng)神經(jīng)元的閾值設(shè)置為0；匹配子網(wǎng)神經(jīng)元閾值的設(shè)置為：

N為匹配子網(wǎng)中神經(jīng)元的個數(shù)。第39頁，課件共64頁，創(chuàng)作于2023年2月海明網(wǎng)絡(luò)的回憶過程第40頁，課件共64頁，創(chuàng)作于2023年2月海明網(wǎng)絡(luò)的回憶過程匹配子網(wǎng)計算匹配度：將匹配子網(wǎng)的輸出送入競爭子網(wǎng)第41頁，課件共64頁，創(chuàng)作于2023年2月海明網(wǎng)絡(luò)的回憶過程計算競爭子網(wǎng)的初始輸出：競爭子網(wǎng)迭代直至收斂：第42頁，課件共64頁，創(chuàng)作于2023年2月函數(shù)f的選擇函數(shù)f

為非線性閾值函數(shù)：第43頁，課件共64頁，創(chuàng)作于2023年2月海明網(wǎng)絡(luò)的特點這種神經(jīng)網(wǎng)絡(luò)與Hopfield神經(jīng)網(wǎng)絡(luò)不同，它分別計算未知輸入模式與每個已知標準樣本模式的Hamming距離，對應(yīng)距離最小的那個標準樣本模式即是可以和輸入模式匹配的模式。而對Hopfield網(wǎng)絡(luò)而言，作為一識別器，要么精確地找到一個可以匹配的標準樣本模式，要么找不到，即得到“不能匹配”的結(jié)果。第44頁，課件共64頁，創(chuàng)作于2023年2月海明神經(jīng)網(wǎng)絡(luò)應(yīng)用模式識別海明網(wǎng)絡(luò)中保存了5幅圖象，現(xiàn)對其加噪，或挑選一幅沒有學習過的圖象，通過求相似性，選取最佳匹配的圖象。模擬第45頁，課件共64頁，創(chuàng)作于2023年2月第三節(jié)雙向聯(lián)想存儲器（BAM）第46頁，課件共64頁，創(chuàng)作于2023年2月BAM模型簡介雙向聯(lián)想存儲器是由日本的Kosko提出的一種神經(jīng)網(wǎng)絡(luò)模型，它是ART神經(jīng)網(wǎng)絡(luò)模型（將在第4章中介紹）的一種簡化形式，是一種異聯(lián)想存儲器。它能存儲成對的模式(A1,B1),(A2,B2),…，(AN,BN)。Ai和Bi是不同向量空間中的向量。如果模式A輸入到BAM，輸出是模式B，且若A與Ai最為接近，B就是在BAM所存儲的向量Bi。第47頁，課件共64頁，創(chuàng)作于2023年2月BAM模型的結(jié)構(gòu)在FA中有n個處理單元FA={a1,a2,…，an}，在FB中有p個處理單元FB={b1,b2,…,bp}。每一個域中的神經(jīng)元均與另域中所有神經(jīng)元相連；第48頁，課件共64頁，創(chuàng)作于2023年2月BAM模型的神經(jīng)元處理特性雙向聯(lián)想存儲器神經(jīng)網(wǎng)絡(luò)模型中的神經(jīng)元為非線性單元，每個神經(jīng)元的作用相當于一個非線性函數(shù)，這個函數(shù)一般取為Ｓ型函數(shù)：第49頁，課件共64頁，創(chuàng)作于2023年2月BAM模型神經(jīng)元的輸出一般情況下,每個處理單元的輸出?。?,1］之間的值，但在應(yīng)用中通常取輸出值為二值：0或1，這樣按處理單元門限規(guī)定，每個處理單元要么為開狀態(tài)，要么為關(guān)狀態(tài)。若輸入大于閾值，則輸出為1；若輸入小于閾值，則輸出為0；當輸入與閾值相等時，處理單元輸出保持原來狀態(tài)不變。第50頁，課件共64頁，創(chuàng)作于2023年2月BAM模型的信息存儲在雙向聯(lián)想存儲模型中，所有的信息都是包含在一個n×p的矩陣M中的。這個矩陣M實際上是一個權(quán)值矩陣，信息就是由這個權(quán)值矩陣來表達。如果M產(chǎn)生一個穩(wěn)定的雙向聯(lián)想存儲器，則所有的輸入都可以很快地映射到穩(wěn)定的輸出模式。第51頁，課件共64頁，創(chuàng)作于2023年2月BAM模型的存儲能力由于要將不同的聯(lián)想模式對（Ai，Bi）收斂到局部能量極小點上，所以所要學習的模式對或聯(lián)想個數(shù)m必須小于域FA和域FB中處理單元的個數(shù)，即：m＜min(n,p)第52頁，課件共64頁，創(chuàng)作于2023年2月BAM模型學習基礎(chǔ)雙極矩陣（向量）雙極矩陣（或向量）是在二元矩陣（或向量）的基礎(chǔ)上，將0代之以－1而得到的。如：二元向量

A1=(101010)和B1=(1100)

其相應(yīng)的雙極向量為

X1=(1-11-11-1)和Y1=(11-1-1)第53頁，課件共64頁，創(chuàng)作于2023年2月BAM模型的學習雙向聯(lián)想存儲器在學習時，先將二元向量對(Ai,Bi)轉(zhuǎn)換成雙極向量對(Xi,Yi)，然后計算雙極伴隨矩陣XiTYi，最后將所有的雙極伴隨矩陣相加起來便得到權(quán)值矩陣M，即:第54頁，課件共64頁，創(chuàng)作于2023年2月BAM學習過程舉例聯(lián)想對到雙極向量對的轉(zhuǎn)換第55頁，課件共64頁，創(chuàng)作于2023年2月BAM學習過程舉例計算雙極伴隨矩陣第56頁，課件共64頁，創(chuàng)作于2023年2月BAM學習過程舉例計算雙極伴隨矩陣第57頁，課件共64頁，創(chuàng)作于2023年2月BAM學習過程舉例計算權(quán)值矩陣第58頁，課件共64頁，創(chuàng)作于2023年2月BAM模型記憶模式擦除要從雙向聯(lián)想存儲器中擦去某個記憶模式，例如要去掉模式對(Ai,Bi)，只要在權(quán)值矩陣M