神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第1頁(yè)2023/4/272目錄1.神經(jīng)計(jì)算2.并行分布式理論框架3.交互與競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)4.誤差反向傳輸神經(jīng)網(wǎng)絡(luò)5.Hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第2頁(yè)2023/4/273神經(jīng)網(wǎng)絡(luò)一個(gè)神經(jīng)網(wǎng)絡(luò)是由簡(jiǎn)單處理元組成規(guī)模宏大并行分布處理器。天然含有存放經(jīng)驗(yàn)知識(shí)和使之可用特征。神經(jīng)網(wǎng)絡(luò)從兩個(gè)方面上模擬大腦：

神經(jīng)網(wǎng)絡(luò)獲取知識(shí)是從外界環(huán)境中學(xué)習(xí)得來(lái)。

內(nèi)部神經(jīng)元連接強(qiáng)度，即突觸權(quán)值，用于儲(chǔ)存獲取知識(shí)。神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第3頁(yè)2023/4/274發(fā)展歷史

萌芽期（20世紀(jì)40年代）人工神經(jīng)網(wǎng)絡(luò)研究最早能夠追溯到人類開始研究自己智能時(shí)期，到1949年止。

1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名閾值加權(quán)和模型，簡(jiǎn)稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會(huì)刊《BulletinofMethematicalBiophysics》

949年，心理學(xué)家D.O.Hebb提出神經(jīng)元之間突觸聯(lián)絡(luò)是可變假說(shuō)——Hebb學(xué)習(xí)律。

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第4頁(yè)2023/4/275發(fā)展歷史第一高潮期（1950~1968）

以MarvinMinsky，F(xiàn)rankRosenblatt，BernardWidrow等為代表人物，代表作是單級(jí)感知器（Perceptron）。

可用電子線路模擬。

大家樂(lè)觀地認(rèn)為幾乎已經(jīng)找到了智能關(guān)鍵。許多部門都開始大批地投入此項(xiàng)研究，希望盡快占領(lǐng)制高點(diǎn)。

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第5頁(yè)2023/4/276發(fā)展歷史反思期（1969~1982）

M.L.Minsky和S.Papert，《Perceptron》，MITPress，1969年

異或”運(yùn)算不可表示

二十世紀(jì)70年代和80年代早期研究結(jié)果神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第6頁(yè)2023/4/277發(fā)展歷史第二高潮期（1983~1990）

1982年，J.Hopfield提出Hopfield網(wǎng)絡(luò)用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定能量函數(shù)，建立ANN穩(wěn)定性判別依據(jù)說(shuō)明了ANN與動(dòng)力學(xué)關(guān)系用非線性動(dòng)力學(xué)方法來(lái)研究ANN特征指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元聯(lián)接上

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第7頁(yè)2023/4/278發(fā)展歷史第二高潮期（1983~1990）

1984年，

J.Hopfield設(shè)計(jì)研制了以后被大家稱為Hopfield網(wǎng)-Tank

電路。很好地處理了著名TSP問(wèn)題，找到了最正確解近似解，引發(fā)了較大轟動(dòng)。

1985年，UCSDHinton、Sejnowsky、Rumelhart等人所在并行分布處理（PDP）小組研究者在Hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制，提出所謂Boltzmann機(jī)。

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第8頁(yè)2023/4/279發(fā)展歷史

1986年，并行分布處理小組Rumelhart等研究者重新獨(dú)立地提出多層網(wǎng)絡(luò)學(xué)習(xí)算法——BP算法，很好地處理了多層網(wǎng)絡(luò)學(xué)習(xí)問(wèn)題。（Paker1982和Werbos1974年）

自適應(yīng)共振理論（ART）

自組織特征映射理論神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第9頁(yè)2023/4/2710發(fā)展歷史Hinton等人最近提出了Helmboltz機(jī)

徐雷提出Ying-Yang機(jī)理論模型

甘利俊一(S.Amari)開創(chuàng)和發(fā)展基于統(tǒng)計(jì)流形方法應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)研究,

我國(guó)首屆神經(jīng)網(wǎng)絡(luò)大會(huì)是1990年12月在北京舉行。神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第10頁(yè)2023/4/2711并行分布式理論框架

1986年，美國(guó)加州大學(xué)圣地亞哥分校（UCSD）Rumellhart，McClelland，Hinton：

ParallelandDistributedProcessing,MITPress,Cambridge神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第11頁(yè)2023/4/2712并行分布式理論框架PDP模型1）

一組處理單元（PE或AN）2）

處理單元激活狀態(tài)（ai）3）

每個(gè)處理單元輸出函數(shù)（fi）4）

處理單元之間連接模式5）

傳遞規(guī)則（∑wijoi）6）

把處理單元輸入及當(dāng)前狀態(tài)結(jié)合起來(lái)產(chǎn)生激活值激活規(guī)則（Fi）7）

經(jīng)過(guò)經(jīng)驗(yàn)修改連接強(qiáng)度學(xué)習(xí)規(guī)則8）

系統(tǒng)運(yùn)行環(huán)境（樣本集合）神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第12頁(yè)2023/4/2713神經(jīng)網(wǎng)絡(luò)維數(shù)VarioustypesofneuronsVariousnetworkarchitecturesVariouslearningalgorithmsVariousapplications神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第13頁(yè)2023/4/2714自組織神經(jīng)網(wǎng)絡(luò)經(jīng)典結(jié)構(gòu)交互與競(jìng)爭(zhēng)IAC神經(jīng)網(wǎng)絡(luò)競(jìng)爭(zhēng)層輸入層神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第14頁(yè)2023/4/2715競(jìng)爭(zhēng)學(xué)習(xí)相同性測(cè)量＿歐式距離法神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第15頁(yè)2023/4/2716相同性測(cè)量＿余弦法競(jìng)爭(zhēng)學(xué)習(xí)神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第16頁(yè)2023/4/2717競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——Winner-Take-All

網(wǎng)絡(luò)輸出神經(jīng)元之間相互競(jìng)爭(zhēng)以求被激活，結(jié)果在每一時(shí)刻只有一個(gè)輸出神經(jīng)元被激活。這個(gè)被激活神經(jīng)元稱為競(jìng)爭(zhēng)獲勝神經(jīng)元，而其它神經(jīng)元狀態(tài)被抑制，故稱為WinnerTakeAll。競(jìng)爭(zhēng)學(xué)習(xí)原理神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第17頁(yè)2023/4/2718尋找獲勝神經(jīng)元

當(dāng)網(wǎng)絡(luò)得到一個(gè)輸入模式向量時(shí)，競(jìng)爭(zhēng)層全部神經(jīng)元對(duì)應(yīng)內(nèi)星權(quán)向量均與其進(jìn)行相同性比較，并將最相同內(nèi)星權(quán)向量判為競(jìng)爭(zhēng)獲勝神經(jīng)元。欲使兩單位向量最相同，須使其點(diǎn)積最大。即：競(jìng)爭(zhēng)學(xué)習(xí)原理神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第18頁(yè)2023/4/2719

從上式能夠看出，欲使兩單位向量歐式距離最小，須使兩向量點(diǎn)積最大。即：競(jìng)爭(zhēng)學(xué)習(xí)原理神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第19頁(yè)2023/4/27203.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整

jj*

步驟3完成后回到步驟1繼續(xù)訓(xùn)練，直到學(xué)習(xí)率衰減到0。競(jìng)爭(zhēng)學(xué)習(xí)原理神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第20頁(yè)2023/4/2721單層感知器模型前饋神經(jīng)網(wǎng)絡(luò)j=1,2,…,m

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第21頁(yè)2023/4/2722凈輸入：輸出：ojx1-1xn…單層感知器神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第22頁(yè)2023/4/2723感知器功效(1)設(shè)輸入向量X=(x1,x2)T輸出：則由方程w1jx1+w2jx2-Tj=0

確定了二維平面上一條分界限。ojx1-1x2單計(jì)算節(jié)點(diǎn)感知器單層感知器神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第23頁(yè)2023/4/2724感知器功效單層感知器神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第24頁(yè)2023/4/2725感知器功效(2)設(shè)輸入向量X=(x1,x2,x3)T輸出：則由方程w1jx1+w2jx2+w3j

x3–Tj=0(3.4)確定了三維空間上一個(gè)分界平面。x2ojx1x3-1單層感知器神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第25頁(yè)2023/4/2726感知器功效單層感知器神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第26頁(yè)2023/4/2727多層感知器x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第27頁(yè)2023/4/2728雙層感知器“異或”問(wèn)題分類用兩計(jì)算層感知器處理“異或”問(wèn)題?！爱惢颉闭嬷当韝1x2y1y2o001011100111多層感知器神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第28頁(yè)2023/4/2729雙層感知器“異或”問(wèn)題分類用兩計(jì)算層感知器處理“異或”問(wèn)題“異或”真值表x1x2y1y2o001010101111多層感知器神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第29頁(yè)2023/4/2730雙層感知器“異或”問(wèn)題分類用兩計(jì)算層感知器處理“異或”問(wèn)題?！爱惢颉闭嬷当韝1x2y1y2o0011011010011111多層感知器神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第30頁(yè)2023/4/2731雙層感知器“異或”問(wèn)題分類例四用兩計(jì)算層感知器處理“異或”問(wèn)題?！爱惢颉闭嬷当韝1x2y1y2o00110011011001111110多層感知器神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第31頁(yè)2023/4/2732含有不一樣隱層數(shù)感知器分類能力對(duì)比多層感知器神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第32頁(yè)2023/4/2733基于BP算法多層前饋網(wǎng)絡(luò)模型誤差反向傳輸（BP）網(wǎng)路神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第33頁(yè)2023/4/2734基于BP算法多層前饋網(wǎng)絡(luò)模型輸入向量：

X=(x1,x2,…,xi,…,xn)T隱層輸出向量：

Y=(y1,y2,…,yj,…,ym)T輸出層輸出向量：

O=(o1,o2,…,ok,…,ol)T期望輸出向量：d=(d1,d2,…,dk,…,dl)T輸入層到隱層之間權(quán)值矩陣：V=(V1,V2,…,Vj,…,Vm)隱層到輸出層之間權(quán)值矩陣：W=(W1,W2,…,Wk,…,Wl)誤差反向傳輸（BP）網(wǎng)路神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第34頁(yè)2023/4/27353.4.1基于BP算法多層前饋網(wǎng)絡(luò)模型對(duì)于輸出層：k=1,2,…,lk=1,2,…,l對(duì)于隱層：j=1,2,…,mj=1,2,…,m誤差反向傳輸（BP）網(wǎng)路神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第35頁(yè)2023/4/27363.4.1基于BP算法多層前饋網(wǎng)絡(luò)模型雙極性Sigmoid函數(shù)：?jiǎn)螛O性Sigmoid函數(shù)：誤差反向傳輸（BP）網(wǎng)路神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第36頁(yè)2023/4/2737一、網(wǎng)絡(luò)誤差定義與權(quán)值調(diào)整思緒輸出誤差E定義：將以上誤差定義式展開至隱層：BP學(xué)習(xí)算法神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第37頁(yè)2023/4/2738一、網(wǎng)絡(luò)誤差與權(quán)值調(diào)整深入展開至輸入層：BP學(xué)習(xí)算法神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第38頁(yè)2023/4/2739BP學(xué)習(xí)算法j=0,1,2,…,m;k=1,2,…,li=0,1,2,…,n;j=1,2,…,m式中負(fù)號(hào)表示梯度下降，常數(shù)η∈(0,1)表示百分比系數(shù)。在全部推導(dǎo)過(guò)程中，對(duì)輸出層有j=0,1,2,…,m;k=1,2,…,l對(duì)隱層有i=0,1,2,…,n;j=1,2,…,mBP學(xué)習(xí)算法神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第39頁(yè)2023/4/2740對(duì)于輸出層，式(3.4.9a)可寫為對(duì)隱層，式(3.4.9b)可寫為對(duì)輸出層和隱層各定義一個(gè)誤差信號(hào)，令

(3.4.11a)yjxiBP算法推導(dǎo)神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第40頁(yè)2023/4/2741(1)初始化；

(4)計(jì)算各層誤差信號(hào)；

(5)調(diào)整各層權(quán)值；

(6)檢驗(yàn)是否對(duì)全部樣本完成一次輪訓(xùn)；(7)檢驗(yàn)網(wǎng)絡(luò)總誤差是否到達(dá)精度要求。(2)輸入訓(xùn)練樣本對(duì)XXp、ddp計(jì)算各層輸出；(3)計(jì)算網(wǎng)絡(luò)輸出誤差；BP算法程序?qū)崿F(xiàn)神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第41頁(yè)2023/4/2742然后依據(jù)總誤差計(jì)算各層誤差信號(hào)并調(diào)整權(quán)值。

另一個(gè)方法是在全部樣本輸入之后，計(jì)算網(wǎng)絡(luò)總誤差：BP算法程序?qū)崿F(xiàn)神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第42頁(yè)2023/4/2743(1)非線性映射能力

多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無(wú)需事先了解描述這種映射關(guān)系數(shù)學(xué)方程。只要能提供足夠多樣本模式對(duì)供BP網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間非線性映射。多層前饋網(wǎng)(感知器)主要能力神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第43頁(yè)2023/4/2744(2)泛化能力

當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見過(guò)非樣本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間正確映射。這種能力稱為多層前饋網(wǎng)泛化能力。(3)容錯(cuò)能力

輸入樣本中帶有較大誤差甚至個(gè)別錯(cuò)誤對(duì)網(wǎng)絡(luò)輸入輸出規(guī)律影響很小。多層前饋網(wǎng)(感知器)主要能力神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第44頁(yè)2023/4/2745

誤差函數(shù)可調(diào)整參數(shù)個(gè)數(shù)nw等于各層權(quán)值數(shù)加上閾值數(shù)，即：

誤差E是nw+1維空間中一個(gè)形狀極為復(fù)雜曲面，該曲面上每個(gè)點(diǎn)“高度”對(duì)應(yīng)于一個(gè)誤差值，每個(gè)點(diǎn)坐標(biāo)向量對(duì)應(yīng)著nw個(gè)權(quán)值，所以稱這么空間為誤差權(quán)空間。BP算法不足神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第45頁(yè)2023/4/2746誤差曲面分布有兩個(gè)特點(diǎn)：特點(diǎn)之一：存在平坦區(qū)域

BP算法不足神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第46頁(yè)2023/4/2747特點(diǎn)之二：存在多個(gè)極小點(diǎn)

多數(shù)極小點(diǎn)都是局部極小，即使是全局極小往往也不是唯一，但其特點(diǎn)都是誤差梯度為零。

誤差曲面平坦區(qū)域會(huì)使訓(xùn)練次數(shù)大大增加，從而影響了收斂速度；而誤差曲面多極小點(diǎn)會(huì)使訓(xùn)練陷入局部極小，從而使訓(xùn)練無(wú)法收斂于給定誤差。BP算法不足神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第47頁(yè)2023/4/2748標(biāo)準(zhǔn)BP算法在應(yīng)用中暴露出不少內(nèi)在缺點(diǎn)：⑴易形成局部極小而得不到全局最優(yōu)；⑵訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；⑶隱節(jié)點(diǎn)選取缺乏理論指導(dǎo)；⑷訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本趨勢(shì)。

針對(duì)上述問(wèn)題，我國(guó)外已提出不少有效改進(jìn)算法，下面僅介紹其中3種較常見方法。標(biāo)準(zhǔn)BP算法改進(jìn)神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第48頁(yè)2023/4/27491增加動(dòng)量項(xiàng)α為動(dòng)量系數(shù)，普通有α∈(0，1)2自適應(yīng)調(diào)整學(xué)習(xí)率

設(shè)一初始學(xué)習(xí)率，若經(jīng)過(guò)一批次權(quán)值調(diào)整后使總誤差↑，則此次調(diào)整無(wú)效，且=β(β<1)；若經(jīng)過(guò)一批次權(quán)值調(diào)整后使總誤差↓，則此次調(diào)整有效，且=θ(θ>1)。標(biāo)準(zhǔn)BP算法改進(jìn)神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第49頁(yè)2023/4/27503引入陡度因子

實(shí)現(xiàn)這一思緒詳細(xì)作法是，在原轉(zhuǎn)移函數(shù)中引入一個(gè)陡度因子λ標(biāo)準(zhǔn)BP算法改進(jìn)神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第50頁(yè)2023/4/2751概述Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上一個(gè)主要里程碑。由美國(guó)加州理工學(xué)院物理學(xué)家J.J.Hopfield教授于1982年提出，是一個(gè)單層反饋神經(jīng)網(wǎng)絡(luò)。Hopfield網(wǎng)絡(luò)是一個(gè)由非線性元件組成反饋系統(tǒng)，其穩(wěn)定狀態(tài)分析比前向神經(jīng)網(wǎng)絡(luò)要復(fù)雜得多。1984年，Hopfield設(shè)計(jì)并研制了網(wǎng)絡(luò)模型電路，并成功地處理了旅行商(TSP)計(jì)算難題(優(yōu)化問(wèn)題)。Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)。Hello,I’mJohnHopfield神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第51頁(yè)2023/4/2752離散Hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第52頁(yè)2023/4/2753離散Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型表示法二神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第53頁(yè)2023/4/2754離散Hopfield神經(jīng)網(wǎng)絡(luò)相關(guān)參數(shù)說(shuō)明任意神經(jīng)元i與

j間突觸權(quán)值為，神經(jīng)元之間連接是對(duì)稱，神經(jīng)元本身無(wú)連接.每個(gè)神經(jīng)元都同其它神經(jīng)元相連,其輸出信號(hào)經(jīng)過(guò)其它神經(jīng)元又有可能反饋給自己設(shè)Hopfield網(wǎng)絡(luò)中有n個(gè)神經(jīng)元，其中任意神經(jīng)元輸入用表示，輸出用表示，它們都是時(shí)間函數(shù)，其中也稱為神經(jīng)元在時(shí)刻t

狀態(tài)。神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第54頁(yè)2023/4/2755離散Hopfield神經(jīng)網(wǎng)絡(luò)激勵(lì)函數(shù)神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第55頁(yè)2023/4/2756離散Hopfield神經(jīng)網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)運(yùn)行規(guī)則(1)串行(異步)工作方式在任—時(shí)刻，只有某—神經(jīng)元(隨機(jī)或確定選擇)依上式改變，而其它神經(jīng)元狀態(tài)不變。(2)并行(同時(shí))工作方式在任一時(shí)刻，個(gè)別神經(jīng)元或全部神經(jīng)元狀態(tài)同時(shí)改變。

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第56頁(yè)2023/4/2757離散Hopfield神經(jīng)網(wǎng)絡(luò)串行(異步)工作方式運(yùn)行步驟第一步對(duì)網(wǎng)絡(luò)進(jìn)行初始化； 第二步從網(wǎng)絡(luò)中隨機(jī)選取一個(gè)神經(jīng)元； 第三步按式(2-5)求出該神經(jīng)元i輸出； 第四步按式(2-6)求出該神經(jīng)元經(jīng)激活函數(shù)處理后輸出，此時(shí)網(wǎng)絡(luò)中其它神經(jīng)元輸出保持不變； 第五步判斷網(wǎng)絡(luò)是否到達(dá)穩(wěn)定狀態(tài)，若到達(dá)穩(wěn)定狀態(tài)或滿足給定條件則結(jié)束；不然轉(zhuǎn)到第二步繼續(xù)運(yùn)行。

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第57頁(yè)2023/4/2758離散Hopfield神經(jīng)網(wǎng)絡(luò)穩(wěn)定狀態(tài)若網(wǎng)絡(luò)從某一時(shí)刻以后，狀態(tài)不再發(fā)生改變，則稱網(wǎng)絡(luò)處于穩(wěn)定狀態(tài)網(wǎng)絡(luò)為對(duì)稱連接，即；神經(jīng)元本身無(wú)連接能量函數(shù)在網(wǎng)絡(luò)運(yùn)行中不停降低，最終到達(dá)穩(wěn)定神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第58頁(yè)2023/4/2759離散Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)中神經(jīng)元能量函數(shù)改變量Hopfield網(wǎng)絡(luò)狀態(tài)向著能量函數(shù)減小方向演化。因?yàn)槟芰亢瘮?shù)有界，所以系統(tǒng)必定會(huì)趨于穩(wěn)定狀態(tài)。神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第59頁(yè)2023/4/2760連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第60頁(yè)2023/4/2761連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析將下式代入得：

因?yàn)檫B續(xù)Hopfield網(wǎng)絡(luò)模型是穩(wěn)定神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第61頁(yè)2023/4/2762連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)模型主要特征1)連續(xù)Hopfield網(wǎng)絡(luò)神經(jīng)元作為I/O轉(zhuǎn)換，其傳輸特征含有Sigmoid特征；2)含有時(shí)空整合作用；3)在神經(jīng)元之間存在著大量興奮性和抑制性連接，這種聯(lián)接主要是經(jīng)過(guò)反饋來(lái)實(shí)現(xiàn)。4)含有既代表產(chǎn)生動(dòng)作電位神經(jīng)元，又有代表按漸進(jìn)方式工作神經(jīng)元，即保留了動(dòng)態(tài)和非線性兩個(gè)最主要計(jì)算特征。Hopfield神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)目標(biāo)就是使得網(wǎng)絡(luò)存放一些特定平衡點(diǎn)，當(dāng)給定網(wǎng)絡(luò)一個(gè)初始條件時(shí)，網(wǎng)絡(luò)最終會(huì)在這么點(diǎn)上停下來(lái)神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第62頁(yè)2023/4/2763Hopfield神經(jīng)網(wǎng)絡(luò)MATLAB實(shí)現(xiàn)函數(shù)名功能satlin()飽和線性傳遞函數(shù)satlins()對(duì)稱飽和線性傳遞函數(shù)newhop()生成一個(gè)Hopfield回歸網(wǎng)絡(luò)nnt2hop()更新NNT2.0Hopfield回歸網(wǎng)絡(luò)MATLAB中Hopfield網(wǎng)絡(luò)主要函數(shù)和功效

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第63頁(yè)2023/4/2764Hopfield神經(jīng)網(wǎng)絡(luò)MATLAB實(shí)現(xiàn)MATLAB中與Hopfield網(wǎng)絡(luò)相關(guān)主要函數(shù)和功效

newhop()功效生成一個(gè)Hopfield回歸網(wǎng)絡(luò)。格式net=newhop(T)說(shuō)明net為生成神經(jīng)網(wǎng)絡(luò)，含有在T中向量上穩(wěn)定點(diǎn)；T是含有Q個(gè)目標(biāo)向量R*Q矩陣（元素必須為-1或1）。Hopfield神經(jīng)網(wǎng)絡(luò)經(jīng)常被應(yīng)用于模式聯(lián)想記憶中。Hopfield神經(jīng)網(wǎng)絡(luò)僅有一層，其激活函數(shù)用satlins()函數(shù)，層中神經(jīng)元有來(lái)自它本身連接權(quán)和閾值。

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第64頁(yè)2023/4/2765Hopfield神經(jīng)網(wǎng)絡(luò)MATLAB實(shí)現(xiàn)MATLAB中與Hopfield網(wǎng)絡(luò)相關(guān)主要函數(shù)和功效satlins()功效對(duì)稱飽和線性傳遞函數(shù)格式A=satlins(N)A輸出向量矩陣；N是由網(wǎng)絡(luò)輸入向量組成S*Q矩陣，返回矩陣A與N維數(shù)大小一致，A元素取值位于區(qū)間[0，1]內(nèi)。當(dāng)N中元素介于-1和1之間時(shí)，其輸出等于輸入；當(dāng)輸入值小于-1時(shí)返回-1；當(dāng)輸入值大于1時(shí)返回1。神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第65頁(yè)2023/4/2766Hopfield神經(jīng)網(wǎng)絡(luò)MATLAB實(shí)現(xiàn)設(shè)印刷體數(shù)字由1010點(diǎn)陣組成，就是將數(shù)字分成很多小方塊，每個(gè)方塊就對(duì)應(yīng)數(shù)字一個(gè)別，組成數(shù)字本個(gè)別方塊用1表示，空白處用-1表示。試設(shè)計(jì)一個(gè)Hopfield網(wǎng)絡(luò)，能夠正確識(shí)別印刷體數(shù)字。由點(diǎn)陣組成數(shù)字1由點(diǎn)陣組成數(shù)字2神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第66頁(yè)2023/4/2767程序神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第67頁(yè)2023/4/2768穩(wěn)定性分析

網(wǎng)絡(luò)穩(wěn)定性是與收斂性不一樣問(wèn)題

Cohen和Grossberg[1983年]:Hopfield網(wǎng)絡(luò)穩(wěn)定性定理

假如Hopfield網(wǎng)絡(luò)聯(lián)接權(quán)矩陣是對(duì)角線為0對(duì)稱矩陣，則它是穩(wěn)定

用著名Lyapunov函數(shù)作為Hopfield網(wǎng)絡(luò)能量函數(shù)

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第68頁(yè)2023/4/2769Lyapunov函數(shù)——能量函數(shù)

作為網(wǎng)絡(luò)穩(wěn)定性度量wijoioj：網(wǎng)絡(luò)一致性測(cè)度。xjoj：神經(jīng)元輸入和輸出一致性測(cè)度。θjoj：神經(jīng)元本身穩(wěn)定性測(cè)度。

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第69頁(yè)2023/4/2770當(dāng)ANk狀態(tài)從ok變成ok′

1、ANk是輸入神經(jīng)元

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第70頁(yè)2023/4/2771當(dāng)ANk狀態(tài)從ok變成ok′wkk=0神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第71頁(yè)2023/4/2772ΔΕ=-(netk-θk)ΔokANk狀態(tài)改變：Δok=(ok′-ok)Δok=0，ΔΕ=0Δok>0，ok′=1&ok=0，ok由0變到1，netk>θk，netk-θk>0所以，-(netk-θk)Δok<0故ΔΕ<0結(jié)論：網(wǎng)絡(luò)目標(biāo)函數(shù)總是下降Δok<0,ok′=0&ok=1，ok由1變到0netk<θk，netk-θk<0-(netk-θk)Δok<0故ΔΕ<0神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第72頁(yè)2023/4/2773當(dāng)ANk狀態(tài)從ok變成ok′2、ANk不是輸入神經(jīng)元

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第73頁(yè)2023/4/2774當(dāng)ANk狀態(tài)從ok變成ok′不論ANk狀態(tài)是怎樣改變，總有ΔΕ≤0

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第74頁(yè)2023/4/2775聯(lián)想記憶結(jié)構(gòu)

自聯(lián)想異聯(lián)想雙聯(lián)想記憶（BidirectionalAssociativeMemory—BAM）。雙聯(lián)想記憶含有一定泛化能力它對(duì)含有一定缺點(diǎn)輸入向量，經(jīng)過(guò)對(duì)信號(hào)不停變換、修補(bǔ)，最終給出一個(gè)正確輸出。

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第75頁(yè)2023/4/2776基礎(chǔ)聯(lián)想記憶結(jié)構(gòu)

W第1層輸入向量第2層輸出向量WTx1xnymy1……………神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第76頁(yè)2023/4/2777網(wǎng)絡(luò)運(yùn)行

Y=F(XW)X=F(YWT)X=(x1，x2，…，xn)Y=(y1，y2，…，ym)F為神經(jīng)元激活函數(shù)，普通可采取S形函數(shù)

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第77頁(yè)2023/4/2778激活函數(shù)——閾值函數(shù)伴隨λ增加，該函數(shù)趨近于閾值為0閾值函數(shù)。

1 ifneti>0yi= 0 ifneti<0 yi ifneti=0

λ2>λ1λ1λ21/2神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第78頁(yè)2023/4/2779基礎(chǔ)BAM穩(wěn)定Kosko(1987)：基礎(chǔ)雙聯(lián)存放器無(wú)條件穩(wěn)定——聯(lián)接權(quán)矩陣是互為轉(zhuǎn)置矩陣。當(dāng)輸入向量維數(shù)與輸出向量維數(shù)相同時(shí)，W為方陣，此時(shí)假如聯(lián)接矩陣W是對(duì)稱，則基礎(chǔ)雙聯(lián)存放器退化成一個(gè)Hopfield網(wǎng)

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第79頁(yè)2023/4/2780異聯(lián)想記憶

樣本集：S={(X1,Y1)，(X2,Y2)…,(Xs,Ys)}權(quán)矩陣網(wǎng)絡(luò)需要對(duì)輸入向量進(jìn)行循環(huán)處理情況當(dāng)輸入向量中含有“噪音”樣本集所含信息超出網(wǎng)絡(luò)容量

神經(jīng)信息學(xué)專題知識(shí)培訓(xùn)第80頁(yè)2023/4/2781容量

Kosko（1987），普通情況下，相聯(lián)存放器容量不會(huì)超出網(wǎng)絡(luò)最小層神