神經(jīng)網(wǎng)絡(luò)導(dǎo)論第三章

神經(jīng)網(wǎng)絡(luò)導(dǎo)論第三章第1頁(yè)，共64頁(yè)，2023年，2月20日，星期六概述反饋神經(jīng)網(wǎng)絡(luò)模型可用一完備的無向圖表示。從系統(tǒng)的觀點(diǎn)看，反饋神經(jīng)網(wǎng)絡(luò)模型是一反饋動(dòng)力學(xué)系統(tǒng)，它具有極復(fù)雜的動(dòng)力學(xué)特性。在反饋神經(jīng)網(wǎng)絡(luò)模型中，我們關(guān)心的是其穩(wěn)定性,穩(wěn)定性是神經(jīng)網(wǎng)絡(luò)相聯(lián)存儲(chǔ)性質(zhì)的體現(xiàn)，可以說穩(wěn)定就意味著完成回憶。從計(jì)算的角度講，反饋神經(jīng)網(wǎng)絡(luò)模型具有比前饋神經(jīng)網(wǎng)絡(luò)模型更強(qiáng)的計(jì)算能力。第2頁(yè)，共64頁(yè)，2023年，2月20日，星期六內(nèi)容提要

Hopfield神經(jīng)網(wǎng)絡(luò)模型

海明神經(jīng)網(wǎng)絡(luò)模型雙向聯(lián)想存儲(chǔ)器應(yīng)用實(shí)例分析第3頁(yè)，共64頁(yè)，2023年，2月20日，星期六第一節(jié)Hopfield模型第4頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)第5頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)描述

Hopfield神經(jīng)網(wǎng)絡(luò)模型一般由單層全互連的神經(jīng)元ui(i=1,…，n)組成。神經(jīng)元沒有自連接,即wii＝0；神經(jīng)元與神經(jīng)元之間的連接是對(duì)稱的，即wij＝wji。第6頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型數(shù)學(xué)描述

輸入該模型中神經(jīng)元實(shí)際上是一線性閾值單元。圖中x1，x2，…，xn為該自適應(yīng)線性元在t時(shí)刻的外部輸入，用向量表示為:X＝（x1，x2，…，xn）T

這個(gè)向量稱為自適應(yīng)線性元的輸入信號(hào)向量或輸入模式向量。第7頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型數(shù)學(xué)描述

連接權(quán)值第8頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型數(shù)學(xué)描述

輸出

二值輸出第9頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型的學(xué)習(xí)當(dāng)用Hopfield網(wǎng)絡(luò)作相聯(lián)存儲(chǔ)器時(shí)，其權(quán)值賦予的規(guī)則稱為外積存儲(chǔ)規(guī)則。假設(shè)有m個(gè)樣本向量X1、X2、…、Xm要存入Hopfield神經(jīng)網(wǎng)絡(luò)中，則第i個(gè)神經(jīng)元與第j個(gè)神經(jīng)元之間相連的權(quán)值ｗij為：第10頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfoeld模型回憶過程圖解第11頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型的回憶過程描述首先要將模式向量X的n個(gè)元素x1,x2,…，xn分別賦予與之對(duì)應(yīng)的神經(jīng)元，作為相應(yīng)神經(jīng)元元的初始狀態(tài)，即：ai(0)=xi。然后在Hopfield神經(jīng)網(wǎng)絡(luò)模型中按其動(dòng)力學(xué)特性sgn函數(shù)進(jìn)行操作，反復(fù)迭代，直到收斂為止。當(dāng)整個(gè)神經(jīng)網(wǎng)絡(luò)穩(wěn)定后，處理單元的輸出就最終給出了匹配輸入模式X的標(biāo)準(zhǔn)樣本模式，直接完成了提取記憶信息的操作。第12頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型的學(xué)習(xí)舉例假設(shè)Hopfield模型有4個(gè)神經(jīng)元，現(xiàn)希望其儲(chǔ)存如下模式向量：(11-1-1)T/(-1-111)T。第13頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型的回憶舉例要求回憶樣本(11-1-1)T、(1-111)T。第14頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型應(yīng)用之模式補(bǔ)全問題描述

10×10的點(diǎn)陣表示的圖案存儲(chǔ)在Hopfield網(wǎng)絡(luò)中。現(xiàn)將受損壞的圖案輸入，讓受損壞的圖案恢復(fù)原狀。去噪過程。模擬第15頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型的容量問題作為相聯(lián)存儲(chǔ)器的Hopfield網(wǎng)絡(luò)有兩個(gè)局限，第一是存儲(chǔ)在Hopfield神經(jīng)網(wǎng)絡(luò)模型中的標(biāo)準(zhǔn)樣本模式不能太多，可以證明，當(dāng)m≤0.15n時(shí)，一般都能達(dá)到比較好的匹配。第二是如果兩類標(biāo)準(zhǔn)樣本模式向量中相同的元素很多，那么其中任何一個(gè)標(biāo)準(zhǔn)樣本模式開始迭代，但最后可能會(huì)收斂于另一個(gè)標(biāo)準(zhǔn)樣本模式。第16頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型與組合優(yōu)化求解

在組合優(yōu)化問題中，讓神經(jīng)元的某狀態(tài)表示某命題的真假，而神經(jīng)元之間的連接則表示兩命題的關(guān)聯(lián)程度，正為相互支持，負(fù)為相互否定。當(dāng)兩命題關(guān)聯(lián)程度為wij時(shí)，有花費(fèi)（cost）值wijaiaj，則可以用能量函數(shù)代表其總花費(fèi)。第17頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型與組合優(yōu)化求解能量函數(shù)要根據(jù)不同的問題進(jìn)行不同的構(gòu)造，只要定義好適當(dāng)?shù)哪芰亢瘮?shù)，就能通過類比的方法設(shè)置神經(jīng)網(wǎng)絡(luò)的連接權(quán)值，然后用上述迭代方法得到組合優(yōu)化問題的近似解。因此，網(wǎng)絡(luò)收斂于穩(wěn)定點(diǎn)過程表示在眾多約束之下不斷調(diào)整網(wǎng)絡(luò)狀態(tài)，直到使總花費(fèi)值達(dá)到某個(gè)局部極小值或全局極小值的近似。

第18頁(yè)，共64頁(yè)，2023年，2月20日，星期六能量函數(shù)

能量函數(shù)展現(xiàn)的是神經(jīng)網(wǎng)絡(luò)系統(tǒng)集團(tuán)計(jì)算能力而不是單個(gè)神經(jīng)元的計(jì)算能力。能量的概念也可以推廣到其它類型的神經(jīng)網(wǎng)絡(luò)模型中。在能量概念的基礎(chǔ)上，神經(jīng)計(jì)算可以描述為在能量曲面上的一條軌跡。

第19頁(yè)，共64頁(yè)，2023年，2月20日，星期六能量函數(shù)收斂性證明第20頁(yè)，共64頁(yè)，2023年，2月20日，星期六能量函數(shù)收斂性證明當(dāng)狀態(tài)由0或1變?yōu)?時(shí)，因?yàn)椋?/p>

所以：

第21頁(yè)，共64頁(yè)，2023年，2月20日，星期六能量函數(shù)收斂性證明當(dāng)狀態(tài)由0或1變?yōu)?時(shí)，因?yàn)椋?/p>

所以：

第22頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題問題描述

8皇后問題是：給定一個(gè)標(biāo)準(zhǔn)的棋盤和8個(gè)皇后，要求正確地放置8個(gè)皇后，使得沒有任何一個(gè)皇后可以攻擊到另外的一個(gè)皇后。這里我們將用Hopfield模型求解這一問題。第23頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題能量函數(shù)的定義定義表示處于位置(i,j)的方塊。有：第24頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題能量函數(shù)的定義考察下式：該式表明當(dāng)每行只有一個(gè)皇后時(shí)，該式可以取得最小值0，否則該式的值將大于0。第25頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題能量函數(shù)的定義考察下式：該式表明當(dāng)每列只有一個(gè)皇后時(shí)，該式可以取得最小值0，否則該式的值將大于0。第26頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題能量函數(shù)的定義第27頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題能量函數(shù)的定義每條對(duì)角線只有一個(gè)皇后時(shí)，該式取最小值。第28頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題能量函數(shù)的定義顯然，H取得最小值時(shí)，可以得到最優(yōu)解。

第29頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題權(quán)值定義第30頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題神經(jīng)元狀態(tài)修改為溫度系數(shù)，目的是為了避免局部極小。第31頁(yè)，共64頁(yè)，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題模擬第32頁(yè)，共64頁(yè)，2023年，2月20日，星期六第二節(jié)海明神經(jīng)網(wǎng)絡(luò)模型第33頁(yè)，共64頁(yè)，2023年，2月20日，星期六海明模型的結(jié)構(gòu)第34頁(yè)，共64頁(yè)，2023年，2月20日，星期六海明模型的結(jié)構(gòu)描述

海明網(wǎng)絡(luò)由匹配子網(wǎng)和競(jìng)爭(zhēng)子網(wǎng)組成。匹配子網(wǎng)的功能是將輸入樣本和存儲(chǔ)在該子網(wǎng)中的標(biāo)準(zhǔn)模板相互匹配（如計(jì)算海明距離等）。而競(jìng)爭(zhēng)子網(wǎng)是迭代尋找匹配子網(wǎng)中的最大匹配輸出。第35頁(yè)，共64頁(yè)，2023年，2月20日，星期六海明網(wǎng)絡(luò)的運(yùn)行機(jī)理匹配子網(wǎng)在學(xué)習(xí)階段將若干類別的樣本記憶存儲(chǔ)在網(wǎng)絡(luò)的連接權(quán)值中；在工作階段（回憶階段），該子網(wǎng)計(jì)算輸入模式和各個(gè)樣本模式的匹配程度，并將結(jié)果送入競(jìng)爭(zhēng)子網(wǎng)中，由競(jìng)爭(zhēng)子網(wǎng)選擇出匹配子網(wǎng)中最大的輸出。從而，實(shí)現(xiàn)了對(duì)離散輸入模式進(jìn)行在海明距離最小意義下的識(shí)別和分類。第36頁(yè)，共64頁(yè)，2023年，2月20日，星期六海明距離如果將模式用向量來表示，Hamming距離是指兩個(gè)模式不同元素的個(gè)數(shù)。如：A＝(00110)B=(10101）則：H(A,B)=3第37頁(yè)，共64頁(yè)，2023年，2月20日，星期六海明網(wǎng)絡(luò)的學(xué)習(xí)之權(quán)值設(shè)置競(jìng)爭(zhēng)子網(wǎng)的連接權(quán)值設(shè)置方法：匹配子網(wǎng)的連接權(quán)值設(shè)置方法：第38頁(yè)，共64頁(yè)，2023年，2月20日，星期六海明網(wǎng)絡(luò)的學(xué)習(xí)之閾值設(shè)置競(jìng)爭(zhēng)子網(wǎng)神經(jīng)元的閾值設(shè)置為0；匹配子網(wǎng)神經(jīng)元閾值的設(shè)置為：

N為匹配子網(wǎng)中神經(jīng)元的個(gè)數(shù)。第39頁(yè)，共64頁(yè)，2023年，2月20日，星期六海明網(wǎng)絡(luò)的回憶過程第40頁(yè)，共64頁(yè)，2023年，2月20日，星期六海明網(wǎng)絡(luò)的回憶過程匹配子網(wǎng)計(jì)算匹配度：將匹配子網(wǎng)的輸出送入競(jìng)爭(zhēng)子網(wǎng)第41頁(yè)，共64頁(yè)，2023年，2月20日，星期六海明網(wǎng)絡(luò)的回憶過程計(jì)算競(jìng)爭(zhēng)子網(wǎng)的初始輸出：競(jìng)爭(zhēng)子網(wǎng)迭代直至收斂：第42頁(yè)，共64頁(yè)，2023年，2月20日，星期六函數(shù)f的選擇函數(shù)f

為非線性閾值函數(shù)：第43頁(yè)，共64頁(yè)，2023年，2月20日，星期六海明網(wǎng)絡(luò)的特點(diǎn)這種神經(jīng)網(wǎng)絡(luò)與Hopfield神經(jīng)網(wǎng)絡(luò)不同，它分別計(jì)算未知輸入模式與每個(gè)已知標(biāo)準(zhǔn)樣本模式的Hamming距離，對(duì)應(yīng)距離最小的那個(gè)標(biāo)準(zhǔn)樣本模式即是可以和輸入模式匹配的模式。而對(duì)Hopfield網(wǎng)絡(luò)而言，作為一識(shí)別器，要么精確地找到一個(gè)可以匹配的標(biāo)準(zhǔn)樣本模式，要么找不到，即得到“不能匹配”的結(jié)果。第44頁(yè)，共64頁(yè)，2023年，2月20日，星期六海明神經(jīng)網(wǎng)絡(luò)應(yīng)用模式識(shí)別海明網(wǎng)絡(luò)中保存了5幅圖象，現(xiàn)對(duì)其加噪，或挑選一幅沒有學(xué)習(xí)過的圖象，通過求相似性，選取最佳匹配的圖象。模擬第45頁(yè)，共64頁(yè)，2023年，2月20日，星期六第三節(jié)雙向聯(lián)想存儲(chǔ)器（BAM）第46頁(yè)，共64頁(yè)，2023年，2月20日，星期六BAM模型簡(jiǎn)介雙向聯(lián)想存儲(chǔ)器是由日本的Kosko提出的一種神經(jīng)網(wǎng)絡(luò)模型，它是ART神經(jīng)網(wǎng)絡(luò)模型（將在第4章中介紹）的一種簡(jiǎn)化形式，是一種異聯(lián)想存儲(chǔ)器。它能存儲(chǔ)成對(duì)的模式(A1,B1),(A2,B2),…，(AN,BN)。Ai和Bi是不同向量空間中的向量。如果模式A輸入到BAM，輸出是模式B，且若A與Ai最為接近，B就是在BAM所存儲(chǔ)的向量Bi。第47頁(yè)，共64頁(yè)，2023年，2月20日，星期六BAM模型的結(jié)構(gòu)在FA中有n個(gè)處理單元FA={a1,a2,…，an}，在FB中有p個(gè)處理單元FB={b1,b2,…,bp}。每一個(gè)域中的神經(jīng)元均與另域中所有神經(jīng)元相連；第48頁(yè)，共64頁(yè)，2023年，2月20日，星期六BAM模型的神經(jīng)元處理特性雙向聯(lián)想存儲(chǔ)器神經(jīng)網(wǎng)絡(luò)模型中的神經(jīng)元為非線性單元，每個(gè)神經(jīng)元的作用相當(dāng)于一個(gè)非線性函數(shù)，這個(gè)函數(shù)一般取為Ｓ型函數(shù)：第49頁(yè)，共64頁(yè)，2023年，2月20日，星期六BAM模型神經(jīng)元的輸出一般情況下,每個(gè)處理單元的輸出取［0,1］之間的值，但在應(yīng)用中通常取輸出值為二值：0或1，這樣按處理單元門限規(guī)定，每個(gè)處理單元要么為開狀態(tài)，要么為關(guān)狀態(tài)。若輸入大于閾值，則輸出為1；若輸入小于閾值，則輸出為0；當(dāng)輸入與閾值相等時(shí)，處理單元輸出保持原來狀態(tài)不變。第50頁(yè)，共64頁(yè)，2023年，2月20日，星期六BAM模型的信息存儲(chǔ)在雙向聯(lián)想存儲(chǔ)模型中，所有的信息都是包含在一個(gè)n×p的矩陣M中的。這個(gè)矩陣M實(shí)際上是一個(gè)權(quán)值矩陣，信息就是由這個(gè)權(quán)值矩陣來表達(dá)。如果M產(chǎn)生一個(gè)穩(wěn)定的雙向聯(lián)想存儲(chǔ)器，則所有的輸入都可以很快地映射到穩(wěn)定的輸出模式。第51頁(yè)，共64頁(yè)，2023年，2月20日，星期六BAM模型的存儲(chǔ)能力由于要將不同的聯(lián)想模式對(duì)（Ai，Bi）收斂到局部能量極小點(diǎn)上，所以所要學(xué)習(xí)的模式對(duì)或聯(lián)想個(gè)數(shù)m必須小于域FA和域FB中處理單元的個(gè)數(shù)，即：m＜min(n,p)第52頁(yè)，共64頁(yè)，2023年，2月20日，星期六BAM模型學(xué)習(xí)基礎(chǔ)雙極矩陣（向量）雙極矩陣（或向量）是在二元矩陣（或向量）的基礎(chǔ)上，將0代之以－1而得到的。如：二元向量

A1=(101010)和B1=(1100)

其相應(yīng)的雙極向量為

X1=(1-11-11-1)和Y1=(11-1-1)第53頁(yè)，共64頁(yè)，2023年，2月20日，星期六BAM模型的學(xué)習(xí)雙向聯(lián)想存儲(chǔ)器在學(xué)習(xí)時(shí)，先將二元向量對(duì)(Ai,Bi)轉(zhuǎn)換成雙極向量對(duì)(Xi,Yi)，然后計(jì)算雙極伴隨矩陣XiTYi，最后將所有的雙極伴隨矩陣相加起來便得到權(quán)值矩陣M，即:第54頁(yè)，共64頁(yè)，2023年，2月20日，星期六BAM學(xué)習(xí)過程舉例聯(lián)想對(duì)到雙極向量對(duì)的轉(zhuǎn)換第55頁(yè)，共64頁(yè)，2023年，2月20日，星期六BAM學(xué)習(xí)過程舉例計(jì)算雙極伴隨矩陣第56頁(yè)，共64頁(yè)，2023年，2月20日，星期六BAM學(xué)習(xí)過程舉例計(jì)算雙極伴隨矩陣第57頁(yè)，共64頁(yè)，2023年，2月20日，星期六BAM學(xué)習(xí)過程舉例計(jì)算權(quán)值矩陣第58頁(yè)，共64頁(yè)，2023年，2月20日，星期六BAM模型記憶模式擦除要從雙向聯(lián)想存儲(chǔ)器中擦去某個(gè)記憶模式，例如要去掉模式對(duì)(Ai,Bi)，只要在權(quán)值矩陣