人工神經(jīng)網(wǎng)絡(luò)綜述

1、 /26 /26目錄TOC o 1-5 h z HYPERLINK l bookmark6 人工神經(jīng)網(wǎng)絡(luò)算法的工作原理3 HYPERLINK l bookmark8 人工神經(jīng)網(wǎng)絡(luò)研究?jī)?nèi)容4 HYPERLINK l bookmark10 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)5 HYPERLINK l bookmark12 典型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)6 HYPERLINK l bookmark14 4.1前饋神經(jīng)網(wǎng)絡(luò)模型6 HYPERLINK l bookmark16 4.1.1自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)（Adaline）6 HYPERLINK l bookmark20 網(wǎng)絡(luò)結(jié)構(gòu)6 HYPERLINK l bookmark24 4

2、.1.1.2學(xué)習(xí)算法步驟7 HYPERLINK l bookmark26 4.1.1.3優(yōu)缺點(diǎn)7 HYPERLINK l bookmark28 4.1.2單層感知器8 HYPERLINK l bookmark30 網(wǎng)絡(luò)結(jié)構(gòu)8 HYPERLINK l bookmark34 4.1.2.2學(xué)習(xí)算法步驟9 HYPERLINK l bookmark42 4.1.2.3優(yōu)缺點(diǎn)9 HYPERLINK l bookmark44 4.1.3多層感知器和BP算法10 HYPERLINK l bookmark46 網(wǎng)絡(luò)結(jié)構(gòu)：10 HYPERLINK l bookmark50 BP算法10 HYPERLINK l

3、bookmark52 4.1.3.3算法學(xué)習(xí)規(guī)則11 HYPERLINK l bookmark56 4.1.3.4算法步驟11 HYPERLINK l bookmark64 4.1.3.5優(yōu)缺點(diǎn)12 HYPERLINK l bookmark66 4.2反饋神經(jīng)網(wǎng)絡(luò)模型13 HYPERLINK l bookmark68 Hopfield神經(jīng)網(wǎng)絡(luò)13 HYPERLINK l bookmark70 網(wǎng)絡(luò)結(jié)構(gòu)13 HYPERLINK l bookmark80 4.2.1.2學(xué)習(xí)算法15 HYPERLINK l bookmark82 Hopfield網(wǎng)絡(luò)工作方式15 HYPERLINK l bookma

4、rk84 Hopfield網(wǎng)絡(luò)運(yùn)行步驟15 HYPERLINK l bookmark92 4.2.1.5優(yōu)缺點(diǎn)16 HYPERLINK l bookmark94 4.2.2海明神經(jīng)網(wǎng)絡(luò)（Hamming）16 HYPERLINK l bookmark96 網(wǎng)絡(luò)結(jié)構(gòu)16 HYPERLINK l bookmark100 4.2.2.2學(xué)習(xí)算法17 HYPERLINK l bookmark128 4.2.2.3特點(diǎn)18 HYPERLINK l bookmark130 4.2.3雙向聯(lián)想存儲(chǔ)器（BAM）19 HYPERLINK l bookmark134 網(wǎng)絡(luò)結(jié)構(gòu)19 HYPERLINK l bookm

5、ark138 4.2.3.2學(xué)習(xí)算法194.2.3.4優(yōu)缺點(diǎn)21 HYPERLINK l bookmark156 5.人工神經(jīng)網(wǎng)絡(luò)發(fā)展趨勢(shì)以及待解決的關(guān)鍵問(wèn)題22 HYPERLINK l bookmark158 5.1與小波分析的結(jié)合22 HYPERLINK l bookmark160 小波神經(jīng)網(wǎng)絡(luò)的應(yīng)用23 HYPERLINK l bookmark162 5.1.2待解決的關(guān)鍵技術(shù)問(wèn)題23 HYPERLINK l bookmark164 5.2混沌神經(jīng)網(wǎng)絡(luò)23 HYPERLINK l bookmark166 混沌神經(jīng)網(wǎng)絡(luò)的應(yīng)用24 HYPERLINK l bookmark168 5.2.2待

6、解決的關(guān)鍵技術(shù)問(wèn)題24 HYPERLINK l bookmark170 5.3基于粗集理論245.3.1粗集與神經(jīng)網(wǎng)絡(luò)結(jié)合的應(yīng)用25 HYPERLINK l bookmark172 5.3.2待解決的關(guān)鍵技術(shù)問(wèn)題25 HYPERLINK l bookmark174 5.4分形神經(jīng)網(wǎng)絡(luò)25 HYPERLINK l bookmark176 5.4.1分形神經(jīng)網(wǎng)絡(luò)的應(yīng)用25 HYPERLINK l bookmark178 5.4.2待解決的關(guān)鍵技術(shù)問(wèn)題25 HYPERLINK l bookmark180 參考文獻(xiàn)26 /26 /26人工神經(jīng)網(wǎng)絡(luò)綜述人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNet

7、works,ANN)系統(tǒng)是20世紀(jì)40年代后出現(xiàn)的。它是由眾多的神經(jīng)元可調(diào)的連接權(quán)值連接而成，具有大規(guī)模并行處理、分布式信息存儲(chǔ)、良好的自組織自學(xué)習(xí)能力等特點(diǎn)。BP(BackPropagation)算法又稱(chēng)為誤差反向傳播算法，是人工神經(jīng)網(wǎng)絡(luò)中的一種監(jiān)督式的學(xué)習(xí)算法。BP神經(jīng)網(wǎng)絡(luò)算法在理論上可以逼近任意函數(shù)，基本的結(jié)構(gòu)由非線性變化單元組成，具有很強(qiáng)的非線性映射能力。而且網(wǎng)絡(luò)的中間層數(shù)、各層的處理單元數(shù)及網(wǎng)絡(luò)的學(xué)習(xí)系數(shù)等參數(shù)可根據(jù)具體情況設(shè)定，靈活性很大，在優(yōu)化、信號(hào)處理與模式識(shí)別、智能控制、故障診斷等許多領(lǐng)域都有著廣泛的應(yīng)用前景。人工神經(jīng)網(wǎng)絡(luò)算法的工作原理人工神經(jīng)元的研究起源于腦神經(jīng)元學(xué)說(shuō)。19

8、世紀(jì)末，在生物、生理學(xué)領(lǐng)域，Waldeger等人創(chuàng)建了神經(jīng)元學(xué)說(shuō)。人們認(rèn)識(shí)到復(fù)雜的神經(jīng)系統(tǒng)是由數(shù)目繁多的神經(jīng)元組合而成。大腦皮層包括有100億個(gè)以上的神經(jīng)元，每立方毫米約有數(shù)萬(wàn)個(gè)，它們互相聯(lián)結(jié)形成神經(jīng)網(wǎng)絡(luò)，通過(guò)感覺(jué)器官和神經(jīng)接受來(lái)自身體內(nèi)外的各種信息，傳遞至中樞神經(jīng)系統(tǒng)內(nèi)，經(jīng)過(guò)對(duì)信息的分析和綜合，再通過(guò)運(yùn)動(dòng)神經(jīng)發(fā)出控制信息，以此來(lái)實(shí)現(xiàn)機(jī)體與內(nèi)外環(huán)境的聯(lián)系，協(xié)調(diào)全身的各種機(jī)能活動(dòng)。神經(jīng)元也和其他類(lèi)型的細(xì)胞一樣，包括有細(xì)胞膜、細(xì)胞質(zhì)和細(xì)胞核。但是神經(jīng)細(xì)胞的形態(tài)比較特殊，具有許多突起，因此又分為細(xì)胞體、軸突和樹(shù)突三部分。細(xì)胞體內(nèi)有細(xì)胞核，突起的作用是傳遞信息。樹(shù)突是作為引入輸入信號(hào)的突起，而軸突是作

9、為輸出端的突起，它只有一個(gè)。樹(shù)突是細(xì)胞體的延伸部分，它由細(xì)胞體發(fā)出后逐漸變細(xì)，全長(zhǎng)各部位都可與其他神經(jīng)元的軸突末梢相互聯(lián)系，形成所謂“突觸”。在突觸處兩神經(jīng)元并未連通，它只是發(fā)生信息傳遞功能的結(jié)合部，聯(lián)系界面之間間隙約為(1550)x10米。突觸可分為興奮性與抑制性?xún)煞N類(lèi)型，它相應(yīng)于神經(jīng)元之間耦合的極性。每個(gè)神經(jīng)元的突觸數(shù)目正常，最高可達(dá)10個(gè)。各神經(jīng)元之間的連接強(qiáng)度和極性有所不同，并且都可調(diào)整、基于這一特性，人腦具有存儲(chǔ)信息的功能。利用大量神經(jīng)元相互聯(lián)接組成人工神經(jīng)網(wǎng)絡(luò)可顯示出人的大腦的某些特征。人工神經(jīng)網(wǎng)絡(luò)是由大量的簡(jiǎn)單基本元件神經(jīng)元相互聯(lián)接而成的自適應(yīng)非線性動(dòng)態(tài)系統(tǒng)。每個(gè)神經(jīng)元的結(jié)構(gòu)和功

10、能比較簡(jiǎn)單，但大量神經(jīng)元組合產(chǎn)生的系統(tǒng)行為卻非常復(fù)雜。人工神經(jīng)網(wǎng)絡(luò)反映了人腦功能的若干基本特性，但并非生物系統(tǒng)的逼真描述，只是某種模仿、簡(jiǎn)化和抽象。與數(shù)字計(jì)算機(jī)比較，人工神經(jīng)網(wǎng)絡(luò)在構(gòu)成原理和功能特點(diǎn)等方面更加接近人腦，它不是按給定的程序一步一步地執(zhí)行運(yùn)算，而是能夠自身適應(yīng)環(huán)境、總結(jié)規(guī)律、完成某種運(yùn)算、識(shí)別或過(guò)程控制。人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作?，F(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對(duì)于寫(xiě)“A”、“B”兩個(gè)字母的識(shí)別為例進(jìn)行說(shuō)明，規(guī)定當(dāng)“A”輸入網(wǎng)絡(luò)時(shí)，應(yīng)該輸出T”，而當(dāng)輸入為“B”時(shí)，輸出為“0”。所以網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)則應(yīng)該是：如果網(wǎng)絡(luò)作出錯(cuò)誤的的判決，則通過(guò)網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得網(wǎng)絡(luò)減少下次

11、犯同樣錯(cuò)誤的可能性。首先，給網(wǎng)絡(luò)的各連接權(quán)值賦予（0,1）區(qū)間內(nèi)的隨機(jī)值，將“A”所對(duì)應(yīng)的圖象模式輸入給網(wǎng)絡(luò)，網(wǎng)絡(luò)將輸入模式加權(quán)求和、與門(mén)限比較、再進(jìn)行非線性運(yùn)算，得到網(wǎng)絡(luò)的輸出。在此情況下，網(wǎng)絡(luò)輸出為“1”和“0”的概率各為50%，也就是說(shuō)是完全隨機(jī)的。這時(shí)如果輸出為“1”（結(jié)果正確），則使連接權(quán)值增大，以便使網(wǎng)絡(luò)再次遇到“A”模式輸入時(shí)，仍然能作出正確的判斷。如果輸出為“0”（即結(jié)果錯(cuò)誤），則把網(wǎng)絡(luò)連接權(quán)值朝著減小綜合輸入加權(quán)值的方向調(diào)整，其目的在于使網(wǎng)絡(luò)下次再遇到“A”模式輸入時(shí)，減小犯同樣錯(cuò)誤的可能性。如此操作調(diào)整，當(dāng)給網(wǎng)絡(luò)輪番輸入若干個(gè)手寫(xiě)字母“A”、“B”后，經(jīng)過(guò)網(wǎng)絡(luò)按以上學(xué)習(xí)方法

12、進(jìn)行若干次學(xué)習(xí)后，網(wǎng)絡(luò)判斷的正確率將大大提高。這說(shuō)明網(wǎng)絡(luò)對(duì)這兩個(gè)模式的學(xué)習(xí)已經(jīng)獲得了成功，它已將這兩個(gè)模式分布地記憶在網(wǎng)絡(luò)的各個(gè)連接權(quán)值上。當(dāng)網(wǎng)絡(luò)再次遇到其中任何一個(gè)模式時(shí)，能夠作出迅速、準(zhǔn)確的判斷和識(shí)別。一般說(shuō)來(lái)，網(wǎng)絡(luò)中所含的神經(jīng)元個(gè)數(shù)越多，則它能記憶、識(shí)別的模式也就越多。人工神經(jīng)網(wǎng)絡(luò)研究?jī)?nèi)容神經(jīng)網(wǎng)絡(luò)的研究?jī)?nèi)容相當(dāng)廣泛，反映了多學(xué)科交叉技術(shù)領(lǐng)域的特點(diǎn)。目前，主要的研究工作集中在以下幾個(gè)方面：（1）生物原型研究從生理學(xué)，心理學(xué)、剖析學(xué)、腦科學(xué)、病理學(xué)等生物科學(xué)方面研究神經(jīng)細(xì)胞、神經(jīng)網(wǎng)絡(luò)、神經(jīng)系統(tǒng)的生物原型結(jié)構(gòu)及其功能基理。（2）建立理論模型根據(jù)生物原型的研究，建立神經(jīng)元、神經(jīng)網(wǎng)絡(luò)的理論模型，包

13、括概念模型、知識(shí)模型、物理化學(xué)模型、數(shù)學(xué)模型等。（3）網(wǎng)絡(luò)模型與算法研究在理論模型研究的基礎(chǔ)上構(gòu)建具體的神經(jīng)網(wǎng)絡(luò)模型，以實(shí)現(xiàn)計(jì)算機(jī)模擬或準(zhǔn)備制作硬件，包括網(wǎng)絡(luò)學(xué)習(xí)算法的研究。這方面的工作也被稱(chēng)為技術(shù)模型研究。神經(jīng)網(wǎng)絡(luò)用到的算法就是向量乘法，并且廣泛應(yīng)用符號(hào)函數(shù)及其各種逼近。并行、容錯(cuò)、可以硬件實(shí)現(xiàn)以及自我學(xué)習(xí)特征，是神經(jīng)網(wǎng)絡(luò)的幾個(gè)基本優(yōu)點(diǎn)，也是神經(jīng)網(wǎng)絡(luò)計(jì)算方法與傳統(tǒng)方法的區(qū)別所在。（4）人工神經(jīng)網(wǎng)絡(luò)應(yīng)用系統(tǒng)在網(wǎng)絡(luò)模型與算法研究的基礎(chǔ)上，利用人工神經(jīng)網(wǎng)絡(luò)組成實(shí)際的應(yīng)用系統(tǒng)，例如，完成某種信號(hào)處理活模式識(shí)別的功能、構(gòu)建專(zhuān)家系統(tǒng)、制成機(jī)器人等。人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)主要具有以下幾個(gè)特點(diǎn)：（1

14、）自適應(yīng)能力。人類(lèi)大腦有很強(qiáng)的自適應(yīng)與自組織特性，后天的學(xué)習(xí)與訓(xùn)練可以開(kāi)發(fā)許多各具特色的活動(dòng)功能。如盲人的聽(tīng)覺(jué)和觸覺(jué)非常靈敏；聾啞人善于運(yùn)用手勢(shì)；訓(xùn)練有素的運(yùn)動(dòng)員可以表現(xiàn)出非凡的運(yùn)動(dòng)技巧等等。普通計(jì)算機(jī)的功能取決于程序中給出的知識(shí)和能力。顯然，對(duì)于智能活動(dòng)要通過(guò)總結(jié)編制程序?qū)⑹掷щy。人工神經(jīng)網(wǎng)絡(luò)也具有初步的自適應(yīng)與自組織能力。在學(xué)習(xí)或訓(xùn)練過(guò)程中改變突觸權(quán)重值，以適應(yīng)周?chē)h(huán)境的要求。同一網(wǎng)絡(luò)因?qū)W習(xí)方式及內(nèi)容不同可具有不同的功能。人工神經(jīng)網(wǎng)絡(luò)是一個(gè)具有學(xué)習(xí)能力的系統(tǒng)，可以發(fā)展知識(shí)，以致超過(guò)設(shè)計(jì)者原有的知識(shí)水平。通常，它的學(xué)習(xí)訓(xùn)練方式可分為兩種，一種是有監(jiān)督或稱(chēng)有導(dǎo)師的學(xué)習(xí)，這時(shí)利用給定的樣本標(biāo)準(zhǔn)

15、進(jìn)行分類(lèi)或模仿；另一種是無(wú)監(jiān)督學(xué)習(xí)或稱(chēng)無(wú)為導(dǎo)師學(xué)習(xí)，這時(shí)，只規(guī)定學(xué)習(xí)方式或某些規(guī)則，則具體的學(xué)習(xí)內(nèi)容隨系統(tǒng)所處環(huán)境（即輸入信號(hào)情況）而異，系統(tǒng)可以自動(dòng)發(fā)現(xiàn)環(huán)境特征和規(guī)律性，具有更近似人腦的功能。（2）泛化能力泛化能力指對(duì)沒(méi)有訓(xùn)練過(guò)的樣本，有很好的預(yù)測(cè)能力和控制能力。特別是，當(dāng)存在一些有噪聲的樣本，網(wǎng)絡(luò)具備很好的預(yù)測(cè)能力。（3）非線性映射能力當(dāng)對(duì)系統(tǒng)對(duì)于設(shè)計(jì)人員來(lái)說(shuō)，很透徹或者很清楚時(shí)，則一般利用數(shù)值分析，偏微分方程等數(shù)學(xué)工具建立精確的數(shù)學(xué)模型，但當(dāng)對(duì)系統(tǒng)很復(fù)雜，或者系統(tǒng)未知，系統(tǒng)信息量很少時(shí)，建立精確的數(shù)學(xué)模型很困難時(shí)，神經(jīng)網(wǎng)絡(luò)的非線性映射能力則表現(xiàn)出優(yōu)勢(shì)，因?yàn)樗恍枰獙?duì)系統(tǒng)進(jìn)行透徹的了解，但

16、是同時(shí)能達(dá)到輸入與輸出的映射關(guān)系，這就大大簡(jiǎn)化設(shè)計(jì)的難度。（4）高度并行性并行性具有一定的爭(zhēng)議性。承認(rèn)具有并行性理由：神經(jīng)網(wǎng)絡(luò)是根據(jù)人的大腦而抽象出來(lái)的數(shù)學(xué)模型，由于人可以同時(shí)做一些事，所以從功能的模擬角度上看，神經(jīng)網(wǎng)絡(luò)也應(yīng)具備很強(qiáng)的并行性。典型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是神經(jīng)網(wǎng)絡(luò)的重要特性，神經(jīng)網(wǎng)絡(luò)的各種模型層出不窮，但最常見(jiàn)的結(jié)構(gòu)是前饋神經(jīng)網(wǎng)絡(luò)和反饋神經(jīng)網(wǎng)絡(luò)兩大類(lèi)。前饋神經(jīng)網(wǎng)絡(luò)模型4.11自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)（Adaline）自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)（AdaptiveLinear，簡(jiǎn)稱(chēng)Adaline）是由威德羅(Widrow)和霍夫(Hoff)首先提出的。它與感知器的主要不同之處在于其神經(jīng)元有一

17、個(gè)線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1。它采用的是W-H學(xué)習(xí)法則，也稱(chēng)最小均方差(LMS)規(guī)則對(duì)權(quán)值進(jìn)行訓(xùn)練。自適應(yīng)線性元件的主要用途是線性逼近一個(gè)函數(shù)式而進(jìn)行模式聯(lián)想。4.1.1.1網(wǎng)絡(luò)結(jié)構(gòu)圖4-1為其網(wǎng)絡(luò)結(jié)構(gòu)：訓(xùn)韓號(hào)期望輸出圖4-14.1.1.2學(xué)習(xí)算法步驟(1)設(shè)置變量和參量：X(n)=1,x(n),x(n),x(n)為輸入向量，或稱(chēng)12m訓(xùn)練樣本。W(n)=b(n),w(n),w(n),w(n)為權(quán)值向量。b(n)為偏差，y(n)12m為實(shí)際輸出，d(n)為期望輸出，耳為學(xué)習(xí)速率，n為迭代次數(shù)。(2)初始化，賦給W(0)各一個(gè)較小的隨機(jī)非零值，n

18、=0。j(3)對(duì)于一組輸入樣本X(n)二1,x(n),x(n),x(n)和對(duì)應(yīng)的期望輸出12md，計(jì)算：e(n)二d(n)XT(n)W(n)W(n+1)二W(n)+nX(n)e(n)(4)判斷是否滿(mǎn)足條件，若滿(mǎn)足算法條件，則結(jié)束。若不滿(mǎn)足，將n值加1，轉(zhuǎn)第三步重新執(zhí)行。4.1.1.3優(yōu)缺點(diǎn)優(yōu)點(diǎn)：Adaline網(wǎng)絡(luò)可以學(xué)習(xí)輸入輸出矢量之間的線性關(guān)系，并產(chǎn)生一個(gè)具有誤差平方和最小的線性逼近；對(duì)于一些實(shí)際問(wèn)題，常常并不需要求出其完美的零誤差時(shí)的解。也就是說(shuō)允許存在一定的誤差。這時(shí)，采用Adaline網(wǎng)絡(luò)求解，可以很快地訓(xùn)練出滿(mǎn)足一定要求的網(wǎng)絡(luò)權(quán)值。缺點(diǎn)：輸入和輸出之間的非線性關(guān)系不能用Adaline

19、網(wǎng)絡(luò)精確地設(shè)計(jì)出。對(duì)于特別簡(jiǎn)單的問(wèn)題，采用自適應(yīng)線性網(wǎng)絡(luò)的訓(xùn)練不一定能夠得到足夠精確的解。因?yàn)楫?dāng)訓(xùn)練誤差達(dá)到期望誤差值后，訓(xùn)練即被終止。4.1.2單層感知器單層感知器(Perceptron)是由美國(guó)計(jì)算機(jī)科學(xué)家羅森布拉特(F.Roseblatt)于1957年提出的。它是一個(gè)具有單層神經(jīng)元的網(wǎng)絡(luò)，由線性閾值邏輯單元所組成。它的輸入可以是非離散量，而且可以通過(guò)學(xué)習(xí)而得到，這使單層感知器在神經(jīng)網(wǎng)絡(luò)研究中有著重要的意義和地位：它提出了自組織、自學(xué)習(xí)的思想，對(duì)能夠解決的問(wèn)題，有一個(gè)收斂的算法，并從數(shù)學(xué)上給出了嚴(yán)格的證明。4.1.2.1網(wǎng)絡(luò)結(jié)構(gòu)當(dāng)給定一個(gè)輸入向量X,在閾值9和權(quán)值W的作用下，單層感知器的輸

20、出為：Y=f(因Wxiii=11-1Wx0iii=1Wx0iii=14-1)如果輸入向量X有k個(gè)樣本，即Xp,p=1,2,.,k，把樣本Xp看作是n維空間的一個(gè)向量，那么k個(gè)樣本就是輸入空間的k個(gè)向量。由于單層感知器神經(jīng)元的輸出只有兩種可能，即1或-1。這樣方程(4-1)就把這n維輸入空間分為兩個(gè)子空間，其分界線為n-1維的超平面。通過(guò)調(diào)節(jié)權(quán)值W和閾值9可以改變i這個(gè)n-1維超平面的位置以達(dá)到對(duì)樣本的正確劃分。圖4-2為其網(wǎng)絡(luò)結(jié)構(gòu)：圖4-24.1.2.2學(xué)習(xí)算法步驟單層感知器的具體學(xué)習(xí)步驟如下：給定初始值：各賦給W(0)和9一個(gè)較小的隨機(jī)非零值，這里W(t)為tii時(shí)刻第i個(gè)輸入上的權(quán)(1in

21、)。輸入一樣本X二(x,xx)和它的希望輸出d，如果XeA類(lèi)，d=1；12n如果XeB類(lèi)，d=-1。計(jì)算實(shí)際輸出：Y(t)二f(1W(t)x-9)iii=1修正權(quán)W:W(t+1)=W(t)+ndY(t)x，i=1,2,.,n+1iii式中0耳0ijjiv(t+1)=ij=1Vj*i一1,工wv(t)+b0。4.2.1.5優(yōu)缺點(diǎn)優(yōu)點(diǎn)：Hopfield網(wǎng)絡(luò)主要用于從片段中進(jìn)行圖像和數(shù)據(jù)的完全恢復(fù)。缺點(diǎn)：處理單元間連接權(quán)值需預(yù)先設(shè)置，并且單元之間的連接是要對(duì)稱(chēng)的，它沒(méi)有學(xué)習(xí)能力。422海明神經(jīng)網(wǎng)絡(luò)（Hamming）海明（Hamming）網(wǎng)絡(luò)由匹配子網(wǎng)和競(jìng)爭(zhēng)子網(wǎng)組成。匹配子網(wǎng)在學(xué)習(xí)階段將若干類(lèi)別的樣本

22、記憶存儲(chǔ)在網(wǎng)絡(luò)的連接權(quán)值中；在工作階段（回憶階段），該子網(wǎng)計(jì)算輸入模式和各個(gè)樣本模式的匹配程度，并將結(jié)果送入競(jìng)爭(zhēng)子網(wǎng)中，由競(jìng)爭(zhēng)子網(wǎng)選擇出匹配子網(wǎng)中最大的輸出。從而，實(shí)現(xiàn)了對(duì)離散輸入模式進(jìn)行在海明距離最小意義下的識(shí)別和分類(lèi)。4.2.2.1網(wǎng)絡(luò)結(jié)構(gòu)圖4-6為其構(gòu)ESJTF1726盍爭(zhēng)干網(wǎng)m網(wǎng)絡(luò)結(jié) /26 /26圖4-64.2.2.2學(xué)習(xí)算法(1)Hamming距離如果將模式用向量來(lái)表示，Hamming距離是指兩個(gè)模式不同元素的個(gè)數(shù)。如：A=(00110),B=(l0101)則:H(A,B)=3。Hamming網(wǎng)絡(luò)的學(xué)習(xí)之權(quán)值設(shè)置1k二l競(jìng)爭(zhēng)子網(wǎng)的連接權(quán)值設(shè)置方法：=屮|klk豐lJ匹配子網(wǎng)的連接權(quán)

23、值設(shè)置方法：=x川2ijiHamming網(wǎng)絡(luò)的學(xué)習(xí)之閾值設(shè)置：競(jìng)爭(zhēng)子網(wǎng)神經(jīng)元的閾值設(shè)置為0；匹配子網(wǎng)神經(jīng)元閾值的設(shè)置為：0=-N;N為匹配子網(wǎng)中神經(jīng)元的個(gè)j2數(shù)。Hamming網(wǎng)絡(luò)學(xué)習(xí)算法描述網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程采用競(jìng)爭(zhēng)學(xué)習(xí)算法，而競(jìng)爭(zhēng)學(xué)習(xí)包含以下主要過(guò)程：網(wǎng)絡(luò)對(duì)刺激做出響應(yīng)，具有最大響應(yīng)的神經(jīng)元被激活，該神經(jīng)元成為獲勝神經(jīng)元并獲得學(xué)習(xí)的機(jī)會(huì)，更改獲勝神經(jīng)元的權(quán)值。其中，只有最大響應(yīng)的神經(jīng)元被激活的這一特征被稱(chēng)為“勝者為王”機(jī)制。其具體學(xué)習(xí)算法描述如下：設(shè)置變量和參量：X(n)=x(n),x(n),x(n)T為輸入向量，其元素均12N為二進(jìn)制元素。Wi(n)=wi(n),wi(n),wi(n)t,i

24、二1,2,M為前向子網(wǎng)絡(luò)ii1i2iN的權(quán)值向量；W為競(jìng)爭(zhēng)子網(wǎng)絡(luò)的權(quán)值。Y(n)=y(n),y(n),y(n)T為實(shí)際輸kl12M出。n為學(xué)習(xí)速率，n代表Hamming網(wǎng)絡(luò)的第n次訓(xùn)練，n為競(jìng)爭(zhēng)子網(wǎng)絡(luò)迭代過(guò)程中的迭代步數(shù)，而N為預(yù)設(shè)的總的訓(xùn)練次數(shù)。初始化：對(duì)于前向子網(wǎng)絡(luò)權(quán)值wi，用小的隨機(jī)值進(jìn)行初始化并滿(mǎn)足約束ij條件wi=1,i=1,2,Mijj=1+1當(dāng)kl對(duì)于wii(k,/=1,2,M)，wii斗:而神經(jīng)元的輸出函數(shù)klkl-,當(dāng)k主/f(.),f(.)選取線性函數(shù)并且給定總的迭代次數(shù)N。12選取訓(xùn)練樣本X。計(jì)算競(jìng)爭(zhēng)子網(wǎng)絡(luò)神經(jīng)元的初始輸入即前向子網(wǎng)絡(luò)的輸出(、y(0)=Vi=fwix,i

25、=1,2,Mki1ijjIj=1丿計(jì)算競(jìng)爭(zhēng)子網(wǎng)絡(luò)的迭代過(guò)程：yk(n1+1)=f2k=1,2,M觀察競(jìng)爭(zhēng)子網(wǎng)絡(luò)的輸出，當(dāng)輸出達(dá)到要求時(shí)(只有一個(gè)輸出為正，其余為零)轉(zhuǎn)第七步，否則n等于n+1，轉(zhuǎn)到第五步繼續(xù)迭代。11將輸出最大的神經(jīng)元c定為獲勝神經(jīng)元，并將其輸出y(n)置為1,其他c神經(jīng)元的輸出置為0,實(shí)現(xiàn)“勝者為王”。更新獲勝神經(jīng)元的權(quán)值向量：Wi(n+1)=Wi(n)+ncc(X-Wi(n)其中,p為在輸入向量X(X,X,X)中元素為1的個(gè)數(shù)。12M判斷網(wǎng)絡(luò)的當(dāng)前訓(xùn)練次數(shù)n是否大于N，如果小于，則n等于n+1，回到第三步進(jìn)行新的一次訓(xùn)練，否則結(jié)束網(wǎng)絡(luò)訓(xùn)練過(guò)程。4.2.2.3特點(diǎn)Hammin

26、g網(wǎng)絡(luò)與Hopfield網(wǎng)絡(luò)不同，它分別計(jì)算未知輸入模式與每個(gè)已知標(biāo)準(zhǔn)樣本模式的Hamming距離，對(duì)應(yīng)距離最小的那個(gè)標(biāo)準(zhǔn)樣本模式即是可以和輸入模式匹配的模式。而對(duì)Hopfield網(wǎng)絡(luò)而言，作為一識(shí)別器，要么精確地找到一個(gè)可以匹配的標(biāo)準(zhǔn)樣本模式，要么找不到，即得到“不能匹配”的結(jié)果。4.2.3雙向聯(lián)想存儲(chǔ)器(BAM)雙向聯(lián)想存儲(chǔ)器(BAM)是由日本的Kosko提出的一種神經(jīng)網(wǎng)絡(luò)模型，它是ART網(wǎng)絡(luò)模型的一種簡(jiǎn)化形式，是一種異聯(lián)想存儲(chǔ)器。它能存儲(chǔ)成對(duì)的模式(A,B)，(A,B),(A,B)。A和B是不同向量空間中的向量。如果模式1122NNiiA輸入到BAM，輸出是模式B，且若A與A最為接近，B

27、就是在BAM所存儲(chǔ)i的向量B。iBAM網(wǎng)絡(luò)模型中的神經(jīng)元為非線性單元，每個(gè)神經(jīng)元的作用相當(dāng)于一個(gè)非線性函數(shù)，這個(gè)函數(shù)一般取為S型函數(shù)：y二1+exp-x4.2.3.1網(wǎng)絡(luò)結(jié)構(gòu)在F中有n個(gè)處理單元F=a,a,a，在F中有p個(gè)處理單元AA12nBF=b,b,b。每一個(gè)域中的神經(jīng)元均與另一個(gè)域中所有神經(jīng)元相連。圖B12p4-7為其網(wǎng)絡(luò)結(jié)構(gòu)：圖4-74.2.3.2學(xué)習(xí)算法BAM模型神經(jīng)元的輸出一般情況下，每個(gè)處理單元的輸出取0,1之間的值，但在應(yīng)用中通常取輸出值為二值：0或1，這樣按處理單元門(mén)限規(guī)定，每個(gè)處理單元要么為開(kāi)狀態(tài)，要么為關(guān)狀態(tài)。若輸入大于閾值，則輸出為1；若輸入小于閾值，則輸出為0；當(dāng)輸入

28、與閾值相等時(shí)，處理單元輸出保持原來(lái)狀態(tài)不變。BAM模型的信息存儲(chǔ)在雙向聯(lián)想存儲(chǔ)模型中，所有的信息都是包含在一個(gè)nxp的矩陣M中的。這個(gè)矩陣M實(shí)際上是一個(gè)權(quán)值矩陣，信息就是由這個(gè)權(quán)值矩陣來(lái)表達(dá)。如果M產(chǎn)生一個(gè)穩(wěn)定的雙向聯(lián)想存儲(chǔ)器，則所有的輸入都可以很快地映射到穩(wěn)定的輸出模式。由于要將不同的聯(lián)想模式對(duì)(A,B)收斂到局部能量極小點(diǎn)上，所以所要學(xué)ii習(xí)的模式對(duì)或聯(lián)想個(gè)數(shù)m必須小于域F和域F中處理單元的個(gè)數(shù)，即：ABm0I(i=1,2,n)BMj(j=h2，.，p)AMj0、JAMj0當(dāng)BMj=9或AMj=9時(shí),ji則神經(jīng)元保持原來(lái)狀態(tài)不變。然后重復(fù)上述過(guò)程，直到系統(tǒng)進(jìn)入穩(wěn)定狀態(tài)，也即a與b的狀態(tài)不再

29、改ij變?yōu)橹?。這時(shí)域F的輸出即為最終所得結(jié)果。B4234優(yōu)缺點(diǎn)優(yōu)點(diǎn):BAM模型的聯(lián)想和學(xué)習(xí)方式具有糾錯(cuò)功能，也就是說(shuō)當(dāng)輸入模式與學(xué)習(xí)模式不完全相同時(shí)，它可以聯(lián)想出正確的模式；主要用作按內(nèi)容尋址的相聯(lián)存儲(chǔ)。缺點(diǎn)：存儲(chǔ)容量小而且需很好地進(jìn)行編碼。5.人工神經(jīng)網(wǎng)絡(luò)發(fā)展趨勢(shì)以及待解決的關(guān)鍵問(wèn)題神經(jīng)網(wǎng)絡(luò)在很多領(lǐng)域已經(jīng)得到了很好的應(yīng)用，但其需要研究的方面還很多。其中，具有分布存儲(chǔ)、并行處理、自學(xué)習(xí)、自組織以及非線性映射等優(yōu)點(diǎn)的神經(jīng)網(wǎng)絡(luò)與其他技術(shù)的結(jié)合以及由此而來(lái)的混合方法和混合系統(tǒng)，已成為一大研究熱點(diǎn)。由于其他方法也有它們各自的優(yōu)點(diǎn)，所以將神經(jīng)網(wǎng)絡(luò)與其他方法相結(jié)合，取長(zhǎng)補(bǔ)短。繼而可以獲得更好的應(yīng)用效果。目

30、前這方面工作有神經(jīng)網(wǎng)絡(luò)與模糊邏輯、專(zhuān)家系統(tǒng)、遺傳算法、小波分析、混沌、粗集理論、分形理論和灰色系統(tǒng)分等的融合。下面主要就神經(jīng)網(wǎng)絡(luò)與小波分析、混沌、粗集理論、分形理論的融合進(jìn)行分析。與小波分析的結(jié)合傳統(tǒng)的信號(hào)理論，是建立在Fourier分析基礎(chǔ)上的，而Fourier變換作為一種全局性的變化，其有一定的局限性，如不具備局部化分析能力、不能分析非平穩(wěn)信號(hào)等。在實(shí)際應(yīng)用中人們開(kāi)始對(duì)Fourier變換進(jìn)行各種改進(jìn)，以改善這種局限性，如STFT(短時(shí)傅立葉變換)。由于STFT采用的的滑動(dòng)窗函數(shù)一經(jīng)選定就固定不變，故決定了其時(shí)頻分辨率固定不變，不具備自適應(yīng)能力，而小波分析很好的解決了這個(gè)問(wèn)題。小波分析是一種

31、新興的數(shù)學(xué)分支，它是泛函數(shù)、Fourier分析、調(diào)和分析、數(shù)值分析的最完美的結(jié)晶；在應(yīng)用領(lǐng)域，特別是在信號(hào)處理、圖像處理、語(yǔ)音處理以及眾多非線性科學(xué)領(lǐng)域，它被認(rèn)為是繼Fourier分析之后的又一有效的時(shí)頻分析方法。小波變換與Fourier變換相比，是一個(gè)時(shí)間和頻域的局域變換因而能有效地從信號(hào)中提取信息，通過(guò)伸縮和平移等運(yùn)算功能對(duì)函數(shù)或信號(hào)進(jìn)行多尺度細(xì)化分析(MultiscaleAnalysis)，解決了Fourier變換不能解決的許多困難問(wèn)題。小波神經(jīng)網(wǎng)絡(luò)將小波變換良好的時(shí)頻局域化特性和神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)功能相結(jié)合，因而具有較強(qiáng)的逼近能力和容錯(cuò)能力。在結(jié)合方法上，可以將小波函數(shù)作為傳遞函數(shù)構(gòu)造神

32、經(jīng)網(wǎng)絡(luò)形成小波網(wǎng)絡(luò)，或者小波變換作為前饋神經(jīng)網(wǎng)絡(luò)的輸入前置處理工具，即以小波變換的多分辨率特性對(duì)過(guò)程狀態(tài)信號(hào)進(jìn)行處理，實(shí)現(xiàn)信噪分離，并提取出對(duì)加工誤差影響最大的狀態(tài)特征，作為神經(jīng)網(wǎng)絡(luò)的輸入。5.1.1小波神經(jīng)網(wǎng)絡(luò)的應(yīng)用小波神經(jīng)網(wǎng)絡(luò)在電機(jī)故障診斷、電壓電網(wǎng)故障信號(hào)處理與保護(hù)研究。軸承等機(jī)械故障診斷以及許多方面都有應(yīng)用，將小波神經(jīng)網(wǎng)絡(luò)用于感應(yīng)伺服電機(jī)的智能控制，使該系統(tǒng)具有良好的跟蹤控制性能，以及好的魯棒性，利用小波神經(jīng)網(wǎng)絡(luò)進(jìn)行心血管疾病的智能診斷，小波層進(jìn)行時(shí)頻域的自適應(yīng)特征提取，前向神經(jīng)網(wǎng)絡(luò)用來(lái)進(jìn)行分類(lèi)，正確分類(lèi)率達(dá)到94%。5.1.2待解決的關(guān)鍵技術(shù)問(wèn)題小波神經(jīng)網(wǎng)絡(luò)雖然應(yīng)用于很多方面，但仍存

33、在一些不足。（1）從提取精度和小波變換實(shí)時(shí)性的要求出發(fā)，有必要根據(jù)實(shí)際情況構(gòu)造一些適應(yīng)應(yīng)用需求的特殊小波基，以便在應(yīng)用中取得更好的效果；（2）在應(yīng)用中的實(shí)時(shí)性要求，也需要結(jié)合DSP的發(fā)展，開(kāi)發(fā)專(zhuān)門(mén)的處理芯片，從而滿(mǎn)足這方面的要求。5.2混沌神經(jīng)網(wǎng)絡(luò)由于神經(jīng)網(wǎng)絡(luò)是高度非線性動(dòng)力學(xué)系統(tǒng)，而混沌又具有上述的特性，因此神經(jīng)網(wǎng)絡(luò)與混沌密切相關(guān)，所以混沌神經(jīng)網(wǎng)絡(luò)被認(rèn)為是可實(shí)現(xiàn)其真實(shí)世界計(jì)算的智能信息處理系統(tǒng)之一。目前對(duì)混沌神經(jīng)網(wǎng)絡(luò)的研究還處于初始階段，其研究主要限于認(rèn)識(shí)單個(gè)神經(jīng)元的混沌特性和對(duì)簡(jiǎn)單混沌神經(jīng)網(wǎng)絡(luò)的行為分析。1990年，Aihara等在前人推導(dǎo)和動(dòng)物實(shí)驗(yàn)的基礎(chǔ)上，給出了一個(gè)混沌神經(jīng)網(wǎng)絡(luò)模型。大

34、量的生物實(shí)驗(yàn)表明，腦神經(jīng)系統(tǒng)具有分岔、混沌和奇怪吸引子動(dòng)力學(xué)行為，然而，神經(jīng)網(wǎng)絡(luò)作為一個(gè)極其復(fù)雜的非線性系統(tǒng)是否也具有類(lèi)似的動(dòng)力學(xué)行為呢？下面先介紹兩種混沌神經(jīng)元的基本模型，并對(duì)神經(jīng)元模型特性進(jìn)行分析，進(jìn)而引出了混沌神經(jīng)網(wǎng)絡(luò)模型。目前廣泛研究的混沌神經(jīng)網(wǎng)絡(luò)模型是在Hopfield神經(jīng)網(wǎng)絡(luò)中引入了一個(gè)具有混沌特性的負(fù)反饋?lái)?xiàng)，進(jìn)而得到了混沌神經(jīng)網(wǎng)絡(luò)模型，因此在深入研究混沌神經(jīng)網(wǎng)絡(luò)之前，有必要先介紹一下Hopfield神經(jīng)網(wǎng)絡(luò)。美國(guó)物理學(xué)家J.J.Hopfield首先提出一種單層反饋網(wǎng)絡(luò)系統(tǒng)，這種單層反饋網(wǎng)絡(luò)就稱(chēng)為Hopfield網(wǎng)絡(luò)。反饋神經(jīng)網(wǎng)絡(luò)的非線性和高維數(shù)，使得現(xiàn)有工具難以確定其狀態(tài)軌跡，甚

35、至可能出現(xiàn)混沌現(xiàn)象。由于具有混沌特性的神經(jīng)網(wǎng)絡(luò)其動(dòng)力學(xué)特性十分復(fù)雜，因此獲得了廣泛研究。5.2.1混沌神經(jīng)網(wǎng)絡(luò)的應(yīng)用混沌神經(jīng)網(wǎng)絡(luò)由于其復(fù)雜的動(dòng)力學(xué)特性，在動(dòng)態(tài)聯(lián)想記憶。系統(tǒng)優(yōu)化、信息提取、人工智能等領(lǐng)域受到人們極大的關(guān)注?；煦缥拥奈虼嬖冢纬闪嘶煦缟窠?jīng)網(wǎng)絡(luò)固有容錯(cuò)功能。這對(duì)復(fù)雜的模式識(shí)別、圖像處理等工程應(yīng)用發(fā)揮著重要作用。5.2.2待解決的關(guān)鍵技術(shù)問(wèn)題為了更好地應(yīng)用混沌神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)特性，并對(duì)其存在的混沌現(xiàn)象進(jìn)行有效的控制，仍需要對(duì)混沌神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行進(jìn)一步的改進(jìn)和調(diào)整，以及對(duì)混沌神經(jīng)網(wǎng)絡(luò)算法的進(jìn)一步研究。5.3基于粗集理論粗糙集理論作為智能計(jì)算的科學(xué)研究，無(wú)論是在理論方面還是在應(yīng)用實(shí)踐方面都取得了很大的進(jìn)