人工神經(jīng)網(wǎng)絡(luò)之反饋型網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)之反饋神經(jīng)網(wǎng)絡(luò)從生物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)概述離散Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)TSP問題中的應(yīng)用

從生物神經(jīng)網(wǎng)絡(luò)到

人工神經(jīng)網(wǎng)絡(luò)FromBiologicalNeuralNetworkToArtificialNeuralNetworkWhat’sthis?大腦

Brain重量:約1200－1500g體積:約600Cm3神經(jīng)元數(shù):約1011個(gè)大腦的組織結(jié)構(gòu)和功能是人體器官中最為復(fù)雜的，它接受外界信號(hào)、產(chǎn)生感覺、形成意識(shí)、進(jìn)行邏輯思維、發(fā)出指令產(chǎn)生行為，掌管著人們的語(yǔ)言、思維、感覺、情緒、運(yùn)動(dòng)等高級(jí)活動(dòng)。feelinghearingseeingtastesmell雖然人們還并不完全清楚生物神經(jīng)網(wǎng)絡(luò)是如何進(jìn)行工作的，但幻想構(gòu)造一些“人工神經(jīng)元”，進(jìn)而將它們以某種方式連接起來，以模擬“人腦”的某些功能。早在1943年，心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitts合作，從數(shù)理邏輯的角度，提出了神經(jīng)元和神經(jīng)網(wǎng)絡(luò)最早的數(shù)學(xué)模型（MP模型），標(biāo)志著神經(jīng)網(wǎng)絡(luò)研究的開端。半個(gè)多世紀(jì)以來，神經(jīng)網(wǎng)絡(luò)經(jīng)歷了萌芽期、第一次高潮期、反思低潮期、第二次高潮期、再認(rèn)識(shí)與應(yīng)用研究期五個(gè)階段。目前，神經(jīng)網(wǎng)絡(luò)已成為涉及計(jì)算機(jī)科學(xué)、人工智能、腦神經(jīng)科學(xué)、信息科學(xué)和智能控制等多種學(xué)科和領(lǐng)域的一門新興的前沿交叉學(xué)科。

生物神經(jīng)元樹突：從細(xì)胞體延伸出象樹枝一樣向四處分散開來的的許多突起，稱之為樹突，其作用是感受其它神經(jīng)元的傳遞信號(hào)，相當(dāng)于信息的輸入通道。軸突：神經(jīng)元從細(xì)胞體伸出一根粗細(xì)均勻、表面光滑的突起，長(zhǎng)度從幾個(gè)

m到1m左右，稱為軸突，它的功能是傳出從細(xì)胞體來的神經(jīng)信息，相當(dāng)于信息的輸出通道。神經(jīng)末梢與突觸：軸突末端有許多細(xì)的分枝，稱之為神經(jīng)末梢，每一條神經(jīng)末梢可以與其它神經(jīng)元連接，其連接的末端稱之為突觸。其功能是將軸突傳出來的信息傳給其它神經(jīng)細(xì)胞，相當(dāng)于信息的輸入/輸出接口。神經(jīng)細(xì)胞單元的信息：寬度和幅度都相同的脈沖串。興奮與抑制：軸突輸出的脈沖串的頻率高與低，決定神經(jīng)細(xì)胞是興奮還是抑制。興奮性的突觸可能引起下一個(gè)神經(jīng)細(xì)胞興奮，抑制性的突觸使下一個(gè)神經(jīng)細(xì)胞抑制。生物神經(jīng)元的信息傳遞與處理膜電位：神經(jīng)細(xì)胞的細(xì)胞膜將細(xì)胞體內(nèi)外分開，從而使細(xì)胞體內(nèi)外有不同的電位，一般內(nèi)部電位比外部低，其內(nèi)外電位差稱之為膜電位。膜電位加權(quán)：突觸使神經(jīng)細(xì)胞的膜電位發(fā)生變化，且電位的變化是可以累加的，該神經(jīng)細(xì)胞膜電位是它所有突觸產(chǎn)生的電位加權(quán)，當(dāng)該神經(jīng)細(xì)胞的膜電位升高到超過一個(gè)閾值時(shí)，就會(huì)產(chǎn)生一個(gè)脈沖，從而總和的膜電位直接影響該神經(jīng)細(xì)胞興奮發(fā)放的脈沖數(shù)。突觸延遲：突觸傳遞信息需要一定的延遲，對(duì)溫血?jiǎng)游铮舆t時(shí)間為0.3~1.0ms。生物神經(jīng)元的信息傳遞與處理示意圖甲：這樣便宜就有水用了？！乙：想得美，交了錢別人才放水的！

生物神經(jīng)元的基本特征神經(jīng)元具有感知外界信息或其它神經(jīng)元信息的輸入端神經(jīng)元具有向外界或其它神經(jīng)元輸出信息的輸出端神經(jīng)元之間的連接強(qiáng)度（連接權(quán)）決定信號(hào)傳遞的強(qiáng)弱，而且聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的信號(hào)可以是起刺激作用的，也可以是起抑制作用的，即連接權(quán)的值（權(quán)值）可正、可負(fù)每個(gè)神經(jīng)元有一個(gè)閾值神經(jīng)元可以對(duì)接受的信號(hào)進(jìn)行累積（加權(quán)）神經(jīng)元的興奮程度（輸出值的大小），取決于其傳輸函數(shù)及其輸入（輸入信號(hào)的加權(quán)與閾值之和）

人工神經(jīng)元的一般模型甲：講了半天，人工神經(jīng)元就是一個(gè)公式！太簡(jiǎn)單了吧？乙：還是聽聽再說……What’sthis？It’saplane.Wait………..Idon’tknow!Don’taskme

神經(jīng)網(wǎng)絡(luò)的特點(diǎn)

信息的分布式存儲(chǔ)及其與信息處理的合二為一

信息的并行協(xié)同處理

具有學(xué)習(xí)能力以及自組織、自學(xué)習(xí)性，善于聯(lián)想、綜合和推廣

問題：

即便是Pentium-II微處理器，其時(shí)鐘頻率也高于200MHz。相反地，一個(gè)神經(jīng)元的脈沖發(fā)放率典型值僅僅在100Hz的范圍內(nèi)。計(jì)算機(jī)要快上百萬倍！但為何大腦能夠瞬間完成對(duì)飛機(jī)圖像的識(shí)別，計(jì)算機(jī)反而對(duì)此的反應(yīng)卻如此遲鈍呢？為什么100天的小孩沒有成人一樣的識(shí)別能力呢？

人工神經(jīng)網(wǎng)絡(luò)的一般結(jié)構(gòu)

簡(jiǎn)單公式中的復(fù)雜問題人工神經(jīng)網(wǎng)絡(luò)的分布式存儲(chǔ)是如何實(shí)現(xiàn)的？信息分布存儲(chǔ)在眾多神經(jīng)元的權(quán)值和閾值中。

神經(jīng)元的權(quán)值和閾值是如何確定的？

人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與訓(xùn)練。

神經(jīng)元的傳輸函數(shù)代表什么含義？它對(duì)神經(jīng)元和神經(jīng)網(wǎng)絡(luò)有什么影響？

傳輸函數(shù)表示了神經(jīng)元對(duì)輸入信號(hào)加權(quán)的響應(yīng)。不同的傳輸函數(shù)，代表不同的神經(jīng)元模型，進(jìn)而影響神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。

人工神經(jīng)網(wǎng)絡(luò)（ANN—ArtificialNeuralNetworks）是采用可物理實(shí)現(xiàn)的系統(tǒng)來模仿人腦神經(jīng)細(xì)胞結(jié)構(gòu)和功能的系統(tǒng)。未來的腦科學(xué)將加強(qiáng)與行為科學(xué)、認(rèn)知科學(xué)和信息科學(xué)的聯(lián)系。腦科學(xué)與信息科學(xué)及技術(shù)的結(jié)合將引起以腦為中心的科技革命

智能革命!

ANN定義從生物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)的探索，雖然經(jīng)歷了半個(gè)多世紀(jì)的里程，但探究大腦—思維—計(jì)算之間的關(guān)系還剛剛開始，關(guān)于腦的計(jì)算原理及其復(fù)雜性；關(guān)于學(xué)習(xí)、聯(lián)想和記憶過程的機(jī)理及其模擬等方面的研究道路還十分漫長(zhǎng)。反饋神經(jīng)網(wǎng)絡(luò)知識(shí)結(jié)構(gòu)概述離散Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)的應(yīng)用——優(yōu)化計(jì)算概述聯(lián)想特性是ANN的一個(gè)重要特性。前面介紹的網(wǎng)絡(luò)模型屬于前向NN，從學(xué)習(xí)的角度看，具有較強(qiáng)的學(xué)習(xí)能力，結(jié)構(gòu)簡(jiǎn)單，易于編程。從系統(tǒng)角度看，屬于靜態(tài)的非線性映射，通過簡(jiǎn)單的非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性處理能力。但他們因此缺乏反饋,所以并不是強(qiáng)有力的動(dòng)力學(xué)系統(tǒng)。聯(lián)想特性是ANN的一個(gè)重要特性，主要包括聯(lián)想映射和聯(lián)想記憶。前饋網(wǎng)絡(luò)具有誘人的聯(lián)想映射能力，而不具備聯(lián)想記憶能力。在反饋NN中，我們將著重介紹NN的聯(lián)想記憶和優(yōu)化計(jì)算的能力。概述聯(lián)想記憶是指當(dāng)網(wǎng)絡(luò)輸入某個(gè)矢量后，網(wǎng)絡(luò)經(jīng)過反饋演化，從網(wǎng)絡(luò)輸出端得到另一個(gè)矢量，這樣輸出矢量就稱作網(wǎng)絡(luò)從初始輸入矢量聯(lián)想得到的一個(gè)穩(wěn)定記憶，即網(wǎng)絡(luò)的一個(gè)平衡點(diǎn)。優(yōu)化計(jì)算是指當(dāng)某一問題存在多種解法時(shí)，可以設(shè)計(jì)一個(gè)目標(biāo)函數(shù)，然后尋求滿足這一目標(biāo)函數(shù)的最優(yōu)解法。例如，在很多情況下可以把能量函數(shù)作為目標(biāo)函數(shù)，得到的最優(yōu)解法需要使能量函數(shù)達(dá)到極小點(diǎn)，即能量函數(shù)的穩(wěn)定平衡點(diǎn)?？傊?，反饋網(wǎng)絡(luò)的設(shè)計(jì)思想就是在初始輸入下，使網(wǎng)絡(luò)經(jīng)過反饋計(jì)算最后到達(dá)穩(wěn)定狀態(tài)，這時(shí)的輸出即是用戶需要的平衡點(diǎn)。1982年,美國(guó)加州工學(xué)院J.Hopfield提出了可用作聯(lián)想存儲(chǔ)器和優(yōu)化計(jì)算的反饋網(wǎng)絡(luò),這個(gè)網(wǎng)絡(luò)稱為Hopfield神經(jīng)網(wǎng)絡(luò)(HNN)模型,也稱Hopfield模型.HNN是一種循環(huán)NN,從輸出到輸入有反饋連接.HNN有離散型和連續(xù)型兩種.概述反饋網(wǎng)絡(luò)(RecurrentNetwork),又稱自聯(lián)想記憶網(wǎng)絡(luò),如下圖所示:概述反饋網(wǎng)絡(luò)的目的是為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲(chǔ)存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)通過自行運(yùn)行而最終收斂到這個(gè)設(shè)計(jì)的平衡點(diǎn)上。反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動(dòng)力學(xué)系統(tǒng)的動(dòng)態(tài)特性。它所具有的主要特性為以下兩點(diǎn)：第一、網(wǎng)絡(luò)系統(tǒng)具有若干個(gè)穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運(yùn)動(dòng)，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個(gè)穩(wěn)定的平衡狀態(tài)；第二、系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值而被存儲(chǔ)到網(wǎng)絡(luò)中。

概述由于HNN為動(dòng)力學(xué)系統(tǒng),且其平衡態(tài)關(guān)系到信息的存儲(chǔ)與聯(lián)想記憶,其平衡態(tài)與穩(wěn)定性是非常關(guān)鍵的問題。反饋網(wǎng)絡(luò)根據(jù)信號(hào)的時(shí)間域的性質(zhì)的分類為如果激活函數(shù)f(·)是一個(gè)二值型的階躍函數(shù),則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò),主要用于聯(lián)想記憶;如果f(·)為一個(gè)連續(xù)單調(diào)上升的有界函數(shù),這類網(wǎng)絡(luò)被稱為連續(xù)型反饋網(wǎng)絡(luò),主要用于優(yōu)化計(jì)算。概述反饋NN由于其輸出端有反饋到其輸入端,所以,HNN在輸入的激勵(lì)下,會(huì)產(chǎn)生不斷的狀態(tài)變化.當(dāng)有輸入之后,可以求取出HNN的輸出,這個(gè)輸出反饋到輸入從而產(chǎn)生新的輸出,這個(gè)反饋過程一直進(jìn)行下去.如果HNN是一個(gè)能穩(wěn)定的網(wǎng)絡(luò),則這個(gè)反饋與迭代的計(jì)算過程所產(chǎn)生的變化越來越小,一旦到達(dá)了穩(wěn)定平衡狀態(tài),那么HNN就會(huì)輸出一個(gè)穩(wěn)定的恒值.對(duì)于HNN來說,關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù).應(yīng)該指出,反饋網(wǎng)絡(luò)有穩(wěn)定的,也有不穩(wěn)定的.對(duì)于HNN來說,還存在如何判別它是穩(wěn)定網(wǎng)絡(luò),亦或是不穩(wěn)定的問題.而判別依據(jù)是什么,也是需要確定的.概述對(duì)于如HNN類似的反饋網(wǎng)絡(luò),研究的重點(diǎn)為:如何通過網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于平衡狀態(tài),得到聯(lián)想存儲(chǔ)或優(yōu)化計(jì)算的結(jié)果網(wǎng)絡(luò)的穩(wěn)定性問題怎樣設(shè)計(jì)和利用穩(wěn)定的反饋網(wǎng)絡(luò)網(wǎng)絡(luò)系統(tǒng)能夠達(dá)到穩(wěn)定收斂網(wǎng)絡(luò)的穩(wěn)定點(diǎn)吸引域的設(shè)計(jì)下面開始介紹HNN,分別介紹兩種主要的HNN:離散Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)概述離散Hopfield網(wǎng)絡(luò)Hopfield最早提出的網(wǎng)絡(luò)是神經(jīng)元的輸出為0-1二值的NN,所以,也稱離散的HNN(簡(jiǎn)稱為DHNN).下面分別討論DHNN的結(jié)構(gòu)動(dòng)力學(xué)穩(wěn)定性(網(wǎng)絡(luò)收斂性)聯(lián)想存儲(chǔ)中的應(yīng)用記憶容量問題在DHNN網(wǎng)絡(luò)中,神經(jīng)元所輸出的離散值1和0分別表示神經(jīng)元處于興奮和抑制狀態(tài).各神經(jīng)元通過賦有權(quán)重的連接來互聯(lián).下面,首先考慮由三個(gè)神經(jīng)元組成的DHNN,其結(jié)構(gòu)如圖3.1所示.離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)在圖中,第0層僅僅是作為網(wǎng)絡(luò)的輸入,它不是實(shí)際神經(jīng)元,所以無計(jì)算功能;而第一層是實(shí)際神經(jīng)元,故而執(zhí)行對(duì)輸入信息和權(quán)系數(shù)乘積求累加和,并由非線性函數(shù)f處理后產(chǎn)生輸出信息.f是一個(gè)簡(jiǎn)單的閾值函效,如果神經(jīng)元的輸入信息的綜合大于閾值

,那么,神經(jīng)元的輸出就取值為1;小于閾值

,則神經(jīng)元的輸出就取值為0.對(duì)于二值神經(jīng)元,它的計(jì)算公式如下離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)其中xj為外部輸入,并且有yj=1,當(dāng)uj

j時(shí)yj=0,當(dāng)uj<

j時(shí)對(duì)于DHNN,其網(wǎng)絡(luò)狀態(tài)是輸出神經(jīng)元信息的集合.對(duì)于一個(gè)輸出層是n個(gè)神經(jīng)元的網(wǎng)絡(luò),則其t時(shí)刻的狀態(tài)為一個(gè)n維向量:y(t)=[y1(t),y2(t),...,yn(t)]

因?yàn)閥i(t)可以取值為1或0,故n維向量y(t),即網(wǎng)絡(luò)狀態(tài),有2n種狀態(tài).離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)對(duì)于3個(gè)神經(jīng)元的DHNN,它的輸出層就是3位二進(jìn)制數(shù).每一個(gè)3位二進(jìn)制數(shù)就是一種網(wǎng)絡(luò)狀態(tài),從而共有8個(gè)網(wǎng)絡(luò)狀態(tài),如圖2中所示.在圖中,立方體的每一個(gè)頂角表示一種網(wǎng)絡(luò)狀態(tài).同理,對(duì)于n個(gè)神經(jīng)元的輸出層,它有2n個(gè)網(wǎng)絡(luò)狀態(tài),也和一個(gè)n維超立方體的頂角相對(duì)應(yīng).如果HNN是一個(gè)穩(wěn)定網(wǎng)絡(luò),那么在網(wǎng)絡(luò)的輸入端加入一個(gè)輸入向量,則網(wǎng)絡(luò)的狀態(tài)會(huì)產(chǎn)生變化,也就是從超立方體的一個(gè)頂角轉(zhuǎn)移向另一個(gè)頂角,并且最終穩(wěn)定于某頂角.離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)對(duì)于一個(gè)由n個(gè)神經(jīng)元組成的DHNN,則有n

n權(quán)系數(shù)矩陣w={wij|i=1,2,...,n;j=1,2,...,n},同時(shí),有n維閾值向量

=[

1,

2,...,

n]

.一般而言,w和

可以確定一個(gè)唯一的DHNN.對(duì)于圖3.1所示的三神經(jīng)元組成的HNN,也可以用圖3.3所示的圖形表示,這兩個(gè)圖形的意義是一樣的.離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)考慮DHNN的節(jié)點(diǎn)狀態(tài),用yj(t)表示第j個(gè)神經(jīng)元,即節(jié)點(diǎn)j在時(shí)刻t的狀態(tài),則節(jié)點(diǎn)的下一個(gè)時(shí)刻t+1的狀態(tài)可以求出如下:離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)對(duì)圖3所示的DHNN網(wǎng)絡(luò)當(dāng)wi,j在i=j時(shí)等于0,則說明一個(gè)神經(jīng)元的輸出并不會(huì)反饋到它自己的輸入.這時(shí),DHNN稱為無自反饋網(wǎng)絡(luò).當(dāng)wi,j在i=j時(shí)不等于0,則說明—個(gè)神經(jīng)元的輸出會(huì)反饋到它自己的輸入.這時(shí),DHNN稱為有自反饋的網(wǎng)絡(luò).DHNN有二種不同的工作方式:串行(異步)方式和并行(同步)方式.下面分別加以介紹.離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)(1)串行(異步)方式在時(shí)刻t時(shí),只有某一個(gè)神經(jīng)元j的狀態(tài)產(chǎn)生變化,而其它n-1個(gè)神經(jīng)元的狀態(tài)不變這時(shí)稱串行工作方式.并且有在不考慮外部輸入時(shí),則有離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)(2)并行(同步)方式在任一時(shí)刻t,所有的神經(jīng)元的狀態(tài)都產(chǎn)生了變化,則稱并行工作方式.并且有在不考慮外部輸入時(shí),則有從DHNN可以看出:它是一種多輸入,含有閾值的二值非線性動(dòng)力系統(tǒng).在動(dòng)力系統(tǒng)中,平衡穩(wěn)定狀態(tài)可以理解為系統(tǒng)的某種形式的能量函數(shù)在系統(tǒng)運(yùn)動(dòng)過程中,其能量值不斷減小,最后處于最小值.因此,對(duì)HNN可引入一個(gè)Lyapunov函數(shù),即所謂能量函數(shù):DHNN的動(dòng)力學(xué)穩(wěn)定性即有DHNN的動(dòng)力學(xué)穩(wěn)定性對(duì)HNN的能量函數(shù)有