《人工神經(jīng)元網(wǎng)絡(luò)ANN》精品PPT

1、人工神經(jīng)元網(wǎng)絡(luò)（ANN）生物神經(jīng)元及生物神經(jīng)網(wǎng)絡(luò)什么是人工神經(jīng)網(wǎng)絡(luò)? 人工神經(jīng)網(wǎng)絡(luò)就是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)或計(jì)算機(jī)。生物神經(jīng)元及生物神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的分類按照網(wǎng)絡(luò)特性 靜態(tài)網(wǎng)絡(luò) 動(dòng)態(tài)網(wǎng)絡(luò)按照學(xué)習(xí)方法 有導(dǎo)師學(xué)習(xí) 無(wú)導(dǎo)師學(xué)習(xí)感知器（Perceptron）感知器的非線性激勵(lì)函數(shù)感知器的數(shù)學(xué)描述感知器的線性可分問(wèn)題多層神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)多層神經(jīng)網(wǎng)絡(luò)的例子模式分類與函數(shù)逼近神經(jīng)網(wǎng)絡(luò)的反向擴(kuò)散學(xué)習(xí)算法ul,1 ul,2 ul,Nlul,j u2,1 u2,2 u2,N2u2,j uL,1 uL,NL 輸入層 第一層 第二層 輸出層 u0,1 u0,2 u0,j u0,N0

2、 W l, j, i = ?神經(jīng)網(wǎng)絡(luò)的反向擴(kuò)散學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)的反向擴(kuò)散學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)的反向擴(kuò)散學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)的反向擴(kuò)散學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)的反向擴(kuò)散學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)的反向擴(kuò)散學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)的反向擴(kuò)散學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)的反向擴(kuò)散學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)的反向擴(kuò)散學(xué)習(xí)算法動(dòng)態(tài)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò) 若按照神經(jīng)網(wǎng)絡(luò)運(yùn)行過(guò)程中的信息流向來(lái)分類，那么所有網(wǎng)絡(luò)都可分為前饋式網(wǎng)絡(luò)和反饋式網(wǎng)絡(luò)，在前一章中，主要介紹了前饋式網(wǎng)絡(luò)通過(guò)許多具有簡(jiǎn)單處理能力的神經(jīng)元的復(fù)合作用使整個(gè)網(wǎng)絡(luò)具有復(fù)雜的非線性映射能力。在那里，著重分析了網(wǎng)絡(luò)學(xué)習(xí)算法，研究的重點(diǎn)是怎樣盡快地得到網(wǎng)絡(luò)的整體非線性處理能力。在本章中，我們將集中討論反饋

3、式網(wǎng)絡(luò)，通過(guò)網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于某一狀態(tài)而得到聯(lián)想存貯或神經(jīng)計(jì)算的結(jié)果。在這里，主要關(guān)心的是網(wǎng)絡(luò)穩(wěn)定性的問(wèn)題，研究的重點(diǎn)是怎樣得到和利用穩(wěn)定的反饋式網(wǎng)絡(luò)。動(dòng)態(tài)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò) 哈波菲爾德 (Hopfield)網(wǎng)絡(luò)是得到最充分研究和廣泛應(yīng)用的神經(jīng)網(wǎng)絡(luò)模型之一。在眾多的研究者之中。美國(guó)科學(xué)家J. J哈波菲爾德 (J. JHopfield)的工作具有特別重要的意義，他為這一類網(wǎng)絡(luò)引入了一種隱定過(guò)程，即提出了人工神經(jīng)網(wǎng)絡(luò)能量函數(shù) (也稱李雅普諾夫函數(shù))的概念 使網(wǎng)絡(luò)的運(yùn)行穩(wěn)定性判斷有了可靠而簡(jiǎn)便的依據(jù)。Hopfield網(wǎng)絡(luò)在聯(lián)想存取及優(yōu)化計(jì)算等領(lǐng)域得到了成功的應(yīng)用，拓寬了神經(jīng)網(wǎng)絡(luò)的

4、應(yīng)用范圍。另外Hopfield網(wǎng)絡(luò)還有一個(gè)顯著的優(yōu)點(diǎn)，其與電子電路存在明顯的對(duì)應(yīng)關(guān)系，使得該網(wǎng)絡(luò)易于理解和便于實(shí)現(xiàn)。Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)N1 N2 NnNn-1 N3 W21W31Wn-1,1Wn,1x1x2x3xn-1xnv1(t)v2(t)v3(t)vn-1(t)vn(t)y1y2y3yn-1ynHopfield網(wǎng)絡(luò)的結(jié)構(gòu) Hopfield網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖所示，N1， N2 ， ， Nn 表示網(wǎng)絡(luò)的n個(gè)神經(jīng)元，其轉(zhuǎn)移特性函數(shù)為f1， f2 ， ， fn 。門限值為1， 2 ， ， n 。對(duì)于離散型Hopfield網(wǎng)絡(luò)，各節(jié)點(diǎn)一般選相同的轉(zhuǎn)移特性函數(shù)，且為符號(hào)函數(shù)，即有f1(x) =

5、 f2 (x) = = fn (x) = sgn (x)為以后分析方便，我們選各節(jié)點(diǎn)門限值相等，且等于0 ，即有 1= 2 = = n = 0同時(shí)，x = (x1, x2, , xn )， x -1, +1n 為網(wǎng)絡(luò)的輸出， y = (y1, y2, , yn )， y -1, +1n 為網(wǎng)絡(luò)的輸出v (t) = (v1(t1), v2(t2), , vn(tn), v (t) -1, +1n 為網(wǎng)絡(luò)在時(shí)刻t的狀態(tài)，其中t (0，1，2，)為離散時(shí)間變量，Wij為從Ni到Nj的連接權(quán)值， Hopfield網(wǎng)絡(luò)是對(duì)稱的，即Wij = Wji ，i, j 1,2, , n。Hopfield網(wǎng)絡(luò)的結(jié)

6、構(gòu) Hopfield網(wǎng)絡(luò)為一層結(jié)構(gòu)的反饋網(wǎng)絡(luò)，能處理雙極型離散數(shù)據(jù) (即輸入x -1, +1，及二進(jìn)制數(shù)據(jù) (x 0，1)。當(dāng)網(wǎng)絡(luò)經(jīng)過(guò)適當(dāng)訓(xùn)練后，可以認(rèn)為網(wǎng)絡(luò)處于等待工作狀態(tài)。而對(duì)網(wǎng)絡(luò)給定初始輸入x時(shí)，網(wǎng)絡(luò)就處于特定的初始狀態(tài)。由此初始狀態(tài)開(kāi)始運(yùn)行，可得到網(wǎng)絡(luò)輸出(即網(wǎng)絡(luò)的下一狀態(tài))。然后這個(gè)輸出狀態(tài)通過(guò)反饋連接回送到網(wǎng)絡(luò)的輸入端，作為網(wǎng)絡(luò)下一階段運(yùn)行的輸入信號(hào)。而該輸入信號(hào)可能與初始輸入信號(hào)x不同。由這個(gè)新的輸入又可得到下一步的輸出，該輸出也可能與上一步的輸出不同。如此下去，網(wǎng)絡(luò)的整個(gè)運(yùn)行過(guò)程就是上述反饋過(guò)程的重復(fù)。如果網(wǎng)絡(luò)是穩(wěn)定的，那么隨著多次反饋運(yùn)行，網(wǎng)絡(luò)狀態(tài)的變化逐漸減少，最后不再變化

7、，達(dá)到穩(wěn)態(tài)。這時(shí)由輸出端可得到網(wǎng)絡(luò)的穩(wěn)定輸出y。用公式表達(dá)為vj(0) =xj ; vj(t+1) = fj ( Wij vi (t) - j ) 當(dāng)v (t+1) = v (t)時(shí)，y = v (t)Hopfield網(wǎng)絡(luò)的狀態(tài)更新在網(wǎng)絡(luò)運(yùn)行過(guò)程中，網(wǎng)絡(luò)神經(jīng)元狀態(tài)的演變有兩種形式。異步更新 在任一時(shí)刻t，只有某一神經(jīng)元Nj的狀態(tài)被更新，而其余神經(jīng)元狀態(tài)保持不變，即vj(t+1) = sgn( Wij vi (t) 對(duì)某個(gè)特定的jvj(t+1) = vj(t) i 1,2, , n ij同步更新 在任一時(shí)刻t，更新的神經(jīng)元數(shù)目多于一個(gè)，稱同步更新。特殊情況下，所有神經(jīng)元都同時(shí)更新，稱全并行工作方

8、式，即vj(t+1) = sgn( Wij vi (t) i 1,2, , n 寫成向量形式v (t+1) =sgn(v (t) W)Hopfield網(wǎng)絡(luò)的穩(wěn)定性 下面給出幾個(gè)基本概念的定義。這些基本概念與網(wǎng)絡(luò)運(yùn)行過(guò)程中狀態(tài)的變遷有關(guān)。 定義1 網(wǎng)絡(luò)的穩(wěn)定性 若網(wǎng)絡(luò)從初始狀態(tài)v(0)開(kāi)始，經(jīng)過(guò)有限時(shí)間t后，網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即則稱網(wǎng)絡(luò)是穩(wěn)定的。 定義2 網(wǎng)絡(luò)的吸引子 設(shè)t=0時(shí)對(duì)網(wǎng)絡(luò)輸入模式x，網(wǎng)絡(luò)處于狀態(tài)v(0)，而在時(shí)刻t，網(wǎng)絡(luò)到達(dá)狀態(tài)v(t) 。若v(t)穩(wěn)定，則稱v(t)為網(wǎng)絡(luò)的穩(wěn)定吸引子，否則稱v(t)為非穩(wěn)定吸引子。在非穩(wěn)定吸引子的情況，若網(wǎng)絡(luò)狀態(tài)有規(guī)律地在某些狀態(tài)之間振蕩，

9、則稱網(wǎng)絡(luò)處于有限環(huán)(Limited Circle)狀態(tài)。若網(wǎng)絡(luò)無(wú)規(guī)律地在某些狀態(tài)之間振蕩，則稱網(wǎng)絡(luò)處于混沌(Chaos)狀態(tài)。 定義3 吸引子的吸引域 對(duì)于某些特定的初始狀態(tài)，網(wǎng)絡(luò)按一定的運(yùn)行規(guī)則最后可能都穩(wěn)定在同一吸引子v(t)上。稱能夠穩(wěn)定在吸引子v(t)的所有初始狀態(tài)集合為v(t)的吸引域。Hopfield網(wǎng)絡(luò)的聯(lián)想原理E= mc2EinstanNewtNewtonNewyNewyearHopfield網(wǎng)絡(luò)的聯(lián)想原理 所謂聯(lián)想可以理解為從一種事物聯(lián)系到與共相關(guān)事物的過(guò)程。在日常生活中。由一種事物出發(fā)，人們會(huì)非常自然地聯(lián)想到與該事物密切相關(guān)或有因果關(guān)系的種種事物。 在這里，我們區(qū)分兩種聯(lián)想

10、形式，即 。由某種代表事物 (或該事物的主要特征。也可能是部分主要特征)聯(lián)想到其所表示的實(shí)際事物，稱自聯(lián)想，由一種事物 (或該事物的主要特征，也可能是部分主要特征)聯(lián)想到與其密切相關(guān)的另一事物，稱異聯(lián)想。聯(lián)想的定義首先考慮x類模式向量集合(x1, x2, , xp）及y類模式向量集合(y1, y2, , yp)，其中xi=(x1i, x2i, , xni ) ， xi -1, +1n yi=(y1i, y2i, , ymi ) ， yi -1, +1m 聯(lián)想的定義自聯(lián)想 (Autoassociation) 給出向量模式xi ， xi滿足關(guān)系D(xi , x i) = min(x i, xj)，

11、即xi含有x i的主要特征，其中D為某種度量，用以測(cè)量?jī)蓚€(gè)模式的相似度。若由x i得到了xi ，即重新構(gòu)造出xi ，則稱此構(gòu)造過(guò)程為自聯(lián)想過(guò)程。異聯(lián)想 (Heteroassociation) 給出向量模式xi 。若由xi得到y(tǒng)i ，即實(shí)現(xiàn)了兩種不同事物之間的對(duì)應(yīng)，則稱這個(gè)對(duì)應(yīng)過(guò)程為異聯(lián)想過(guò)程。聯(lián)想的定義按地址尋找 傳統(tǒng)計(jì)算機(jī)所使用的搜索方法。該方法的實(shí)現(xiàn)特點(diǎn)是忽賂了對(duì)應(yīng)事物的內(nèi)在聯(lián)系而把事物轉(zhuǎn)換成沒(méi)有特征的數(shù)字 (地址)。以后按地址的變換以某種策略進(jìn)行尋找。隨后對(duì)事物進(jìn)行比較，按某種廢量得到所要尋找的目標(biāo)事物。按內(nèi)容尋找 基于事物全部或部分特征來(lái)找出目標(biāo)事物。尋找過(guò)程就是事物間特征的對(duì)比，而不

12、必知道這些事物的具體貯存地址。從匹配過(guò)程來(lái)看，這種方法不需要地址的管理及變換，這就有可能極大地提高查尋速度。從觀念上來(lái)講，本方法較按地址尋找更接近于人的思維方法，因?yàn)樵谌四X辨識(shí)決策過(guò)程中，絕大多數(shù)是墓千事物之間的聯(lián)系，也即聯(lián)想過(guò)程。但是，本方法在傳統(tǒng)計(jì)算機(jī)上用確定性算法難以實(shí)現(xiàn)，而神經(jīng)網(wǎng)絡(luò)方法卻能提供一種較好的實(shí)現(xiàn)方案。聯(lián)想的定義定義 Hamming距離，兩個(gè)向量中對(duì)應(yīng)元素不相同的個(gè)數(shù)，稱作這兩個(gè)向量的漢明距離。例如：x1與x2漢明距離可用下式計(jì)算DH (x1, x2)=1/2(1 xi1xi2)聯(lián)想的定義模式匹配 對(duì)于集合x(chóng)1, x2 , , xp，其中xi=(x1i, x2i , , xn

13、i) ， xi1,+1n給出輸入測(cè)試模式x，試在該模式集合中找出與x在漢明距離最為接近意義下的xi， i1, 2 , , n。聯(lián)想的定義計(jì)算步驟 (按地址尋找 ) 計(jì)算x與所有已存貯模式的漢明距離for j=1, pDH (x, xj)=1/2(1 xixij)找出與x最為相似的模式標(biāo)號(hào)（用k表示） k1 for j=2, p if DH (x, xj) DH (x, xj-1) then kj 由標(biāo)號(hào)k查找得xkprint (xk)聯(lián)想的定義計(jì)算步驟 (按內(nèi)容尋找 ) 學(xué)習(xí)階段：形成W（與x1, x2 , , xp有關(guān)）初始階段：v(0)=x （假設(shè)輸入x = xk）運(yùn)行過(guò)程： v(t+1)=sgn(v(t) W)穩(wěn)定輸出： v= xkx11 x21 xn1x12 x22 xn2LOC(x1)LOC(x2)x1k x2k xnkx1p x2p xnpLOC(xk)LOC(xp)x1 x2 xn輸入 xDH (x1, x)DH (x2, x)DH (xk, x)DH (x