人工智能神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是集腦科學(xué)、神經(jīng)心理學(xué)和信息科學(xué)等多學(xué)科的交叉研究領(lǐng)域，是近年來高科技領(lǐng)域的一個(gè)研究熱點(diǎn)。它的研究目標(biāo)是通過研究人腦的組成機(jī)理和思維方式，探索人類智能的奧秘，進(jìn)而通過模擬人腦的結(jié)構(gòu)和工作模式，使機(jī)器具有類似人類的智能。它已在模式識(shí)別、機(jī)器學(xué)習(xí)、專家系統(tǒng)等多個(gè)方面得到應(yīng)用，成為人工智能研究中的活躍領(lǐng)域。本章將簡(jiǎn)要介紹神經(jīng)網(wǎng)絡(luò)基本的概念、模型以及學(xué)習(xí)算法。神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性9.1.1生物神經(jīng)元的結(jié)構(gòu)與功能特性

1.生物神經(jīng)元的結(jié)構(gòu)神經(jīng)細(xì)胞是構(gòu)成神經(jīng)系統(tǒng)的基本單元，稱之為生物神經(jīng)元，簡(jiǎn)稱神經(jīng)元。神經(jīng)元主要由三部分構(gòu)成：（1）細(xì)胞體;（2）軸突;（3）樹突;(如圖)生物神經(jīng)元結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性

突觸是神經(jīng)元之間相互連接的接口部分，即一個(gè)神經(jīng)元的神經(jīng)末梢與另一個(gè)神經(jīng)元的樹突相接觸的交界面，位于神經(jīng)元的神經(jīng)末梢尾端。突觸是軸突的終端。

2.神經(jīng)元的功能特性（1）時(shí)空整合功能。（2）神經(jīng)元的動(dòng)態(tài)極化性。（3）興奮與抑制狀態(tài)。（4）結(jié)構(gòu)的可塑性。（5）脈沖與電位信號(hào)的轉(zhuǎn)換。（6）突觸延期和不應(yīng)期。（7）學(xué)習(xí)、遺忘和疲勞。9.1.2人工神經(jīng)網(wǎng)絡(luò)的組成與結(jié)構(gòu)

1.人工神經(jīng)網(wǎng)絡(luò)的組成人工神經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱ANN）是由大量處理單元經(jīng)廣泛互連而組成的人工網(wǎng)絡(luò)，用來模擬腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。而這些處理單元我們把它稱作人工神經(jīng)元。人工神經(jīng)網(wǎng)絡(luò)（ANN）可看成是以人工神經(jīng)元為節(jié)點(diǎn)，用有向加權(quán)弧連接起來的有向圖。在此有向圖中，人工神經(jīng)元就是對(duì)生物神經(jīng)元的模擬，而有向弧則是軸突—突觸—樹突對(duì)的模擬。有向弧的權(quán)值表示相互連接的兩個(gè)人工神經(jīng)元間相互作用的強(qiáng)弱。

9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性

圖9.2人工神經(jīng)網(wǎng)絡(luò)的組成

圖9.3M－P神經(jīng)元模型

9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性

2.人工神經(jīng)元的工作過程對(duì)于某個(gè)處理單元（神經(jīng)元）來說，假設(shè)來自其他處理單元（神經(jīng)元）i的信息為Xi，它們與本處理單元的互相作用強(qiáng)度即連接權(quán)值為Wi,i=0,1,…,n-1,處理單元的內(nèi)部閾值為θ。那么本處理單元（神經(jīng)元）的輸入為而處理單元的輸出為（）（）式中，xi為第i個(gè)元素的輸入，wi為第i個(gè)處理單元與本處理單元的互聯(lián)權(quán)重。f稱為激發(fā)函數(shù)或作用函數(shù)，它決定節(jié)點(diǎn)（神經(jīng)元）的輸出。9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性

(a)閾值型

(b)分段線性型

(c)Sigmoid函數(shù)型

(d)雙曲正切型

圖

常用的激發(fā)函數(shù)

這里，激發(fā)函數(shù)一般具有非線性特性,常用的非線性激發(fā)函數(shù)如圖所示稱為激活值9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性閾值型函數(shù)又稱階躍函數(shù)，它表示激活值σ和其輸出f(σ)之間的關(guān)系。閾值型函數(shù)為激發(fā)函數(shù)的神經(jīng)元是一種最簡(jiǎn)單的人工神經(jīng)元，也就是我們前面提到的M-P模型。線性分段函數(shù)可以看作是一種最簡(jiǎn)單的非線性函數(shù)，它的特點(diǎn)是將函數(shù)的值域限制在一定的范圍內(nèi)，其輸入、輸出之間在一定范圍內(nèi)滿足線性關(guān)系，一直延續(xù)到輸出為最大域值為止。但當(dāng)達(dá)到最大值后，輸出就不再增大。

S型函數(shù)是一個(gè)有最大輸出值的非線性函數(shù)，其輸出值是在某個(gè)范圍內(nèi)連續(xù)取值的。以它為激發(fā)函數(shù)的神經(jīng)元也具有飽和特性。雙曲正切型函數(shù)實(shí)際只是一種特殊的S型函數(shù)，其飽和值是－1和1。

9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性3.人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)中，各神經(jīng)元的不同連接方式就構(gòu)成了網(wǎng)絡(luò)的不同連接模型。常見的連接模型有:

前向網(wǎng)絡(luò)。從輸入層到輸出層有反饋的網(wǎng)絡(luò)。層內(nèi)有互聯(lián)的網(wǎng)絡(luò)?；ヂ?lián)網(wǎng)絡(luò)。9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性4.人工神神經(jīng)網(wǎng)網(wǎng)絡(luò)的的分類類及其其主要要特征征分類按性能能分：：連續(xù)續(xù)型和和離散散型網(wǎng)網(wǎng)絡(luò)，，或確確定型型和隨隨機(jī)型型網(wǎng)絡(luò)絡(luò)。按拓?fù)鋼浣Y(jié)構(gòu)構(gòu)分：：有反反饋網(wǎng)網(wǎng)絡(luò)和和無反反饋網(wǎng)網(wǎng)絡(luò)。。按學(xué)習(xí)習(xí)方法法分：：有教教師的的學(xué)習(xí)習(xí)網(wǎng)絡(luò)絡(luò)和無無教師師的學(xué)學(xué)習(xí)網(wǎng)網(wǎng)絡(luò)。。按連接接突觸觸性質(zhì)質(zhì)分：：一階階線性性關(guān)聯(lián)聯(lián)網(wǎng)絡(luò)絡(luò)和高高階非非線性性關(guān)聯(lián)聯(lián)網(wǎng)絡(luò)絡(luò)。9.1神經(jīng)網(wǎng)網(wǎng)絡(luò)的的基本本概念念及組組成特特性人工神神經(jīng)網(wǎng)網(wǎng)絡(luò)具具有以以下主主要特特征：：（1）能較較好的的模擬擬人的的形象象思維維。（2）具有大大規(guī)模模并行行協(xié)同同處理理能力力。（3）具有較較強(qiáng)的的學(xué)習(xí)習(xí)能力力。（4）具有較較強(qiáng)的的容錯(cuò)錯(cuò)能力力和聯(lián)聯(lián)想能能力。。（5）是一一個(gè)大大規(guī)模模自組組織、、自適適應(yīng)的的非線線性動(dòng)動(dòng)力系系統(tǒng)。。9.1神經(jīng)網(wǎng)網(wǎng)絡(luò)的的基本本概念念及組組成特特性人工神神經(jīng)網(wǎng)網(wǎng)絡(luò)研研究的的興起起與發(fā)發(fā)展人工神神經(jīng)網(wǎng)網(wǎng)絡(luò)的的研究究經(jīng)歷歷了不不少的的曲折折，大大體上上可分分為四四個(gè)階階段:產(chǎn)生時(shí)時(shí)期(20世紀(jì)50年代中中期之之前)高潮時(shí)時(shí)期(20世紀(jì)50年代中中期到到20世紀(jì)60年代末期)低潮時(shí)期(20世紀(jì)60年代末到20世紀(jì)80年代初期)蓬勃發(fā)展時(shí)時(shí)期(20世紀(jì)80年代以后)9.1神經(jīng)網(wǎng)絡(luò)的的基本概念念及組成特特性感知器模型型感知器模型型是美國(guó)學(xué)學(xué)者羅森勃勃拉特（Rosenblatt）為研究大大腦的存儲(chǔ)儲(chǔ)、學(xué)習(xí)和和認(rèn)知過程程而提出的的一類具有有自學(xué)習(xí)能能力的神經(jīng)經(jīng)網(wǎng)絡(luò)模型型，它把神神經(jīng)網(wǎng)絡(luò)的的研究從純純理論探討討引向了從從工程上的的實(shí)現(xiàn)。Rosenblatt提出的感知知器模型是一個(gè)只有有單層計(jì)算算單元的前前向神經(jīng)網(wǎng)網(wǎng)絡(luò)，稱為為單層感知知器。9.2感知器模型型及其學(xué)習(xí)習(xí)算法單層感知器器模型的學(xué)學(xué)習(xí)算法算法思想：：首先把連接接權(quán)和閾值值初始化為為較小的非非零隨機(jī)數(shù)數(shù)，然后把把有n個(gè)連接權(quán)值值的輸入送送入網(wǎng)絡(luò)，，經(jīng)加權(quán)運(yùn)運(yùn)算處理，，得到的輸輸出如果與與所期望的的輸出有較較大的差別別，就對(duì)連連接權(quán)值參參數(shù)按照某某種算法進(jìn)進(jìn)行自動(dòng)調(diào)調(diào)整，經(jīng)過過多次反復(fù)復(fù)，直到所所得到的輸輸出與所期期望的輸出出間的差別別滿足要求求為止。為簡(jiǎn)單起見見，僅考慮慮只有一個(gè)個(gè)輸出的簡(jiǎn)簡(jiǎn)單情況。。設(shè)xi(t)是時(shí)刻t感知器的輸輸入（i=1,2,......,n），ωi(t)是相應(yīng)的連連接權(quán)值，，y(t)是實(shí)際的輸輸出，d(t)是所期望的的輸出，且且感知器的的輸出或者者為1，或者為0，則單層感感知器的學(xué)學(xué)習(xí)算法9.2感知器模型型及其學(xué)習(xí)習(xí)算法感知器模型型學(xué)習(xí)算法法線性不可分分問題單層感知器器不能表達(dá)達(dá)的問題被被稱為線性性不可分問問題。1969年，明斯基基證明了“異或”問問題是線性不可可分問題：：“異或”（（XOR）運(yùn)算的定定義如下：：其相應(yīng)的邏邏輯運(yùn)算真真值表9.2感知器模型型及其學(xué)習(xí)習(xí)算法由于單層感感知器的輸輸出為y(x1,x2)=f(ωω1×x1+ω2×x2-θ)所以，用感感知器實(shí)現(xiàn)現(xiàn)簡(jiǎn)單邏輯輯運(yùn)算的情情況如下：：（1）“與”運(yùn)運(yùn)算（x1∧x2）令ω1=ω2=1，θ=2，則y=f(1×x1+1×x2-2)顯然，當(dāng)x1和x2均為1時(shí)，y的值1；而當(dāng)x1和x2有一個(gè)為為0時(shí)，y的值就為為0。（2）“或””運(yùn)算（（x1∨x2）令ω1=ω2=1,θθ=0.5y=f(1×x1+1×x2-0.5)顯然，只只要x1和x2中有一個(gè)個(gè)為1，則y的值就為為1；只有當(dāng)當(dāng)x1和x2都為0時(shí)，y的值才為為0。9.2感知器模模型及其其學(xué)習(xí)算算法（3）“非””運(yùn)算（（～X1）令ω1=-1，ω2=O，θ=-0.5，則y=f((-1)×x1+1×x2+0.5))顯然，無無論x2為何值，，x1為1時(shí)，y的值都為為0；x1為O時(shí)，y的值為1。即y總等于～～x1。（4）“異或或”運(yùn)算算（x1XORx2）如果“異異或”（（XOR）問題能能用單層層感知器器解決，，則由XOR的真值表表9-1可知，ω1、ω2和θ必須滿足足如下方方程組：：ω1+ω2-θ＜0ω1+0-θθ≥00+0-θ＜00+ω2-θ≥0顯然，該該方程組組是無解解，這就就說明單單層感知知器是無無法解決決異或問問題的。。9.2感知器模模型及其其學(xué)習(xí)算算法異或問題是一一個(gè)只有兩個(gè)個(gè)輸入和一個(gè)個(gè)輸出，且輸輸入輸出都只只取1和0兩個(gè)值的問題題，分析起來來比較簡(jiǎn)單。。對(duì)于比較復(fù)復(fù)雜的多輸入入變量函數(shù)來來說，到底有有多少是線性性可分的？多多少是線性不不可分的呢？？相關(guān)研究表明，線線性不可分函函數(shù)的數(shù)量隨隨著輸入變量量個(gè)數(shù)的增加加而快速增加加，甚至遠(yuǎn)遠(yuǎn)遠(yuǎn)超過了線性性可分函數(shù)的的個(gè)數(shù)。也就就是說，單層層感知器不能能表達(dá)的問題題的數(shù)量遠(yuǎn)遠(yuǎn)遠(yuǎn)超過了它所所能表達(dá)的問問題的數(shù)量。。這也難怪當(dāng)當(dāng)Minsky給出單層感知知器的這一致致命缺陷時(shí)，，會(huì)使人工神神經(jīng)網(wǎng)絡(luò)的研研究跌入漫長(zhǎng)長(zhǎng)的黑暗期。。9.2感知器模型及及其學(xué)習(xí)算法法多層感知器在單層感知器器的輸入部分分和輸出層之之間加入一層層或多層處理理單元，就構(gòu)構(gòu)成了二層或或多層感知器器。在多層感知器器模型中，只只允許某一層層的連接權(quán)值值可調(diào)，這是是因?yàn)闊o法知知道網(wǎng)絡(luò)隱層層的神經(jīng)元的的理想輸出，，因而難以給給出一個(gè)有效效的多層感知知器學(xué)習(xí)算法法。多層感知器克克服了單層感感知器的許多多缺點(diǎn)，原來來一些單層感感知器無法解解決的問題，，在多層感知知器中就可以以解決。例如如，應(yīng)用二層層感知器就可可以解決異或或邏輯運(yùn)算問問題9.2感知器模型及及其學(xué)習(xí)算法法反向傳播模型型及其網(wǎng)絡(luò)結(jié)結(jié)構(gòu)反向傳播模型型也稱B-P模型，是一種種用于前向多多層的反向傳傳播學(xué)習(xí)算法法。之所以稱稱它是一種學(xué)學(xué)習(xí)方法，是是因?yàn)橛盟煽梢詫?duì)組成前前向多層網(wǎng)絡(luò)絡(luò)的各人工神神經(jīng)元之間的的連接權(quán)值進(jìn)進(jìn)行不斷的修修改，從而使使該前向多層層網(wǎng)絡(luò)能夠?qū)⑤斎胨男判畔⒆儞Q成所所期望的輸出出信息。之所以將其稱稱作為反向?qū)W學(xué)習(xí)算法，是是因?yàn)樵谛薷母母魅斯ど窠?jīng)經(jīng)元的連接權(quán)權(quán)值時(shí)，所依依據(jù)的是該網(wǎng)網(wǎng)絡(luò)的實(shí)際輸輸出與其期望望的輸出之差差，將這一差差值反向一層層一層的向回回傳播，來決決定連接權(quán)值值的修改。9.3反向傳傳播模模型及及其學(xué)學(xué)習(xí)算算法B-P算法的的網(wǎng)絡(luò)絡(luò)結(jié)構(gòu)構(gòu)是一一個(gè)前前向多多層網(wǎng)網(wǎng)絡(luò)，，如圖圖所示示。9.3反向向傳傳播播模模型型及及其其學(xué)學(xué)習(xí)習(xí)算算法法反向向傳傳播播網(wǎng)網(wǎng)絡(luò)絡(luò)的的學(xué)學(xué)習(xí)習(xí)算算法法B-P算法法的的學(xué)學(xué)習(xí)習(xí)目目的的是是對(duì)對(duì)網(wǎng)網(wǎng)絡(luò)絡(luò)的的連連接接權(quán)權(quán)值值進(jìn)進(jìn)行行調(diào)調(diào)整整，，使使得得調(diào)調(diào)整整后后的的網(wǎng)網(wǎng)絡(luò)絡(luò)對(duì)對(duì)任任一一輸輸入入都都能能得得到到所所期期望望的的輸輸出出。。學(xué)習(xí)過程程由正向向傳播和和反向傳傳播組成成。正向傳播播用于對(duì)對(duì)前向網(wǎng)網(wǎng)絡(luò)進(jìn)行行計(jì)算，，即對(duì)某某一輸入入信息，，經(jīng)過網(wǎng)網(wǎng)絡(luò)計(jì)算算后求出出它的輸輸出結(jié)果果。反向傳播播用于逐逐層傳遞遞誤差，，修改神神經(jīng)元間間的連接接權(quán)值，，以使網(wǎng)網(wǎng)絡(luò)對(duì)輸輸入信息息經(jīng)過計(jì)計(jì)算后所所得到的的輸出能能達(dá)到期期望的誤誤差要求求。9.3反向傳播播模型及及其學(xué)習(xí)習(xí)算法B-P算法的學(xué)學(xué)習(xí)過程程如下：：（1）選擇一一組訓(xùn)練練樣例，，每一個(gè)個(gè)樣例由由輸入信信息和期期望的輸輸出結(jié)果果兩部分分組成。。（2）從訓(xùn)練練樣例集集中取一一樣例，，把輸入入信息輸輸入到網(wǎng)網(wǎng)絡(luò)中。。（3）分別計(jì)計(jì)算經(jīng)神神經(jīng)元處處理后的的各層節(jié)節(jié)點(diǎn)的輸輸出。（4）計(jì)算網(wǎng)網(wǎng)絡(luò)的實(shí)實(shí)際輸出出和期望望輸出的的誤差。。（5）從輸出出層反向向計(jì)算到到第一個(gè)個(gè)隱層，，并按照照某種能能使誤差差向減小小方向發(fā)發(fā)展的原原則，調(diào)調(diào)整網(wǎng)絡(luò)絡(luò)中各神神經(jīng)元的的連接權(quán)權(quán)值。（6）對(duì)訓(xùn)練練樣例集集中的每每一個(gè)樣樣例重復(fù)復(fù)（3）—（5）的步驟驟，直到到對(duì)整個(gè)個(gè)訓(xùn)練樣樣例集的的誤差達(dá)達(dá)到要求求時(shí)為止止。9.3反向傳播播模型及及其學(xué)習(xí)習(xí)算法在以上的的學(xué)習(xí)過過程中，，第（5）步是最最重要的的，如何何確定一一種調(diào)整整連接權(quán)權(quán)值的原原則，使使誤差沿沿著減小小的方向向發(fā)展，，是B-P學(xué)習(xí)算法法必須解解決的問問題。9.3反向傳播播模型及及其學(xué)習(xí)習(xí)算法圖9.11B-P學(xué)習(xí)算法法的流程程圖B-P算法的優(yōu)優(yōu)缺點(diǎn)：：優(yōu)點(diǎn)：理理論基礎(chǔ)礎(chǔ)牢固，，推導(dǎo)過過程嚴(yán)謹(jǐn)謹(jǐn)，物理理概念清清晰，通通用性好好等。所所以，它它是目前前用來訓(xùn)訓(xùn)練前向向多層網(wǎng)網(wǎng)絡(luò)較好好的算法法。缺點(diǎn)：（（1）該學(xué)習(xí)習(xí)算法的的收斂速速度慢；；（2）網(wǎng)絡(luò)中中隱節(jié)點(diǎn)點(diǎn)個(gè)數(shù)的的選取尚尚無理論論上的指指導(dǎo)；（3）從數(shù)學(xué)學(xué)角度看看，B-P算法是一種種梯度最速速下降法，，這就可能能出現(xiàn)局部部極小的問問題。當(dāng)出出現(xiàn)局部極極小時(shí)，從從表面上看看，誤差符符合要求，，但這時(shí)所所得到的解解并不一定定是問題的的真正解。。所以B-P算法是不完完備的。9.3反向傳播模模型及其學(xué)學(xué)習(xí)算法反向傳播計(jì)計(jì)算的舉例例設(shè)圖9.12是一個(gè)簡(jiǎn)單單的前向傳傳播網(wǎng)絡(luò)，，用B-P算法確定其其中的各連連接權(quán)值時(shí)時(shí)，的計(jì)算方方法如下：：9.3反向傳播模模型及其學(xué)學(xué)習(xí)算法9.3反向傳播模模型及其學(xué)學(xué)習(xí)算法9.3反向傳播模模型及其學(xué)學(xué)習(xí)算法9.3反向傳播模模型及其學(xué)學(xué)習(xí)算法9.4.1Hopfield模型Hopfield模型是霍普普菲爾德分分別于1982年及1984提出的兩個(gè)個(gè)神經(jīng)網(wǎng)絡(luò)絡(luò)模型。1982年提出的是是離散型，，1984年提出的是是連續(xù)型，，但它們都都是反饋網(wǎng)網(wǎng)絡(luò)結(jié)構(gòu)。。圖9.13給出了一個(gè)個(gè)簡(jiǎn)單的反反饋神經(jīng)網(wǎng)網(wǎng)絡(luò)圖。9.4Hopfield模型及其學(xué)學(xué)習(xí)算法由于在反饋饋網(wǎng)絡(luò)中，，網(wǎng)絡(luò)的輸輸出要反復(fù)復(fù)地作為輸輸入再送入入網(wǎng)絡(luò)中，，這就使得得網(wǎng)絡(luò)具有有了動(dòng)態(tài)性性，網(wǎng)絡(luò)的的狀態(tài)在不不斷的改變變之中，因因而就提出出了網(wǎng)絡(luò)的的穩(wěn)定性問問題。所謂謂一個(gè)網(wǎng)絡(luò)絡(luò)是穩(wěn)定的的是指從某某一時(shí)刻開開始，網(wǎng)絡(luò)絡(luò)的狀態(tài)不不再改變。。設(shè)用X(t)表示網(wǎng)絡(luò)在在時(shí)刻t的狀態(tài)，如如果從t=０的任一初初態(tài)X(0)開始，存在在一個(gè)有限限的時(shí)刻t，使得從此此時(shí)刻開始始神經(jīng)網(wǎng)絡(luò)絡(luò)的狀態(tài)不不再發(fā)生變變化，即(9.4.1)就稱此網(wǎng)絡(luò)絡(luò)是穩(wěn)定的的。9.4Hopfield模型及其學(xué)學(xué)習(xí)算法離散網(wǎng)絡(luò)模模型是一個(gè)個(gè)離散時(shí)間間系統(tǒng)，每每個(gè)神經(jīng)元元只有兩個(gè)個(gè)狀態(tài)，可可以用1和0來表示，由由連接權(quán)值值Ｗij所構(gòu)成的矩矩陣是一個(gè)個(gè)對(duì)角線為為0的對(duì)稱矩陣陣，即）如果用x(t)表示整個(gè)網(wǎng)網(wǎng)絡(luò)在時(shí)刻刻ｔ的狀態(tài)態(tài)，則X是一個(gè)向量量，它包含含了網(wǎng)絡(luò)中中每個(gè)人工工神經(jīng)元的的狀態(tài)。所所以，狀態(tài)態(tài)向量X中的分量個(gè)個(gè)數(shù)就是網(wǎng)網(wǎng)絡(luò)中人工工神經(jīng)元的的個(gè)數(shù)。假假設(shè)網(wǎng)絡(luò)中中的節(jié)點(diǎn)（（人工神經(jīng)經(jīng)元）個(gè)數(shù)數(shù)為n，則向量X的構(gòu)成如下下：9.4Hopfield模型及其學(xué)學(xué)習(xí)算法這里，,其中的Ｗij為節(jié)點(diǎn)ｉ到到節(jié)點(diǎn)ｊ的連接權(quán)值值；為為節(jié)點(diǎn)ｊ的的閾值。(9.4.3)Xi(t)表示節(jié)點(diǎn)i（第個(gè)i神經(jīng)元）在在時(shí)刻t的狀態(tài)，該該節(jié)點(diǎn)在時(shí)時(shí)刻t+1的狀態(tài)由下下式?jīng)Q定：：(9.4.4)9.4Hopfield模型及其學(xué)學(xué)習(xí)算法Hopfield網(wǎng)絡(luò)離散模模型有兩種種工作模式式：（1）串行方式式，是指在在任一時(shí)刻刻t，只有一個(gè)個(gè)神經(jīng)元i發(fā)生狀態(tài)變變化，而其其余的神經(jīng)經(jīng)元保持狀狀態(tài)不變。。（2）并行方式式，是指在在任一時(shí)刻刻t，都有部分分或全體神神經(jīng)元同時(shí)時(shí)改變狀態(tài)態(tài)。有關(guān)離散的的Hopfield網(wǎng)絡(luò)的穩(wěn)定性性問題，已于于1983年由Cohen和Grossberg給于了證明。。而Hopfield等人又進(jìn)一步步證明，只要連接權(quán)權(quán)值構(gòu)成的矩矩陣是非負(fù)對(duì)對(duì)角元的對(duì)稱稱矩陣，則該該網(wǎng)絡(luò)就具有有串行穩(wěn)定性性。9.4Hopfield模型及其學(xué)習(xí)習(xí)算法1984年，Hop