人工神經(jīng)元網(wǎng)絡(luò)模型

1、人工神經(jīng)元網(wǎng)絡(luò)模型第1頁，共55頁，2022年，5月20日，11點4分，星期日1982：Hopfield HNN模型（Hopfield Neural Networks）1986：Rumelhart BP算法（back propagation）誤差反向傳播學(xué)習(xí)算法神經(jīng)元網(wǎng)絡(luò)系統(tǒng)主要研究三個方面的內(nèi)容：神經(jīng)元模型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法線性非線性處理單元前向網(wǎng)絡(luò)(BP)反饋網(wǎng)絡(luò)(Hopfield)自組織網(wǎng)絡(luò)(ART)有導(dǎo)師指導(dǎo)無學(xué)習(xí)：神經(jīng)元系統(tǒng)根據(jù)某種學(xué)習(xí)方法調(diào)整它內(nèi)部參數(shù)以完成特定的任務(wù)的過程。第2頁，共55頁，2022年，5月20日，11點4分，星期日一、神經(jīng)元模型神經(jīng)元是生物神經(jīng)系統(tǒng)的最

2、基本單元1、神經(jīng)細(xì)胞結(jié)構(gòu) 樹突（輸入端）細(xì)胞體 軸突（輸出端）突觸（軸突末梢）（聯(lián)系接口） 兩種狀態(tài)（有無神經(jīng)沖動）興奮（有）：電位差內(nèi)正外負(fù)（約60100mV）抑制（無） ：電位差內(nèi)負(fù)外正（約50100mV）細(xì)胞膜內(nèi)外之間的不同電位差來表征的。第3頁，共55頁，2022年，5月20日，11點4分，星期日神經(jīng)元模型是生物神經(jīng)元的抽象和模擬。是神經(jīng)網(wǎng)絡(luò)的最基本組成部分，一般是多輸入-單輸出的非線性器件。2、神經(jīng)元模型（人工神經(jīng)元）結(jié)構(gòu)圖神經(jīng)元結(jié)構(gòu)模型 f()其中：為閾值；為表示神經(jīng)元j到神經(jīng)元i的連接權(quán)系數(shù) 激勵函數(shù)（非線性函數(shù)）第4頁，共55頁，2022年，5月20日，11點4分，星期日（1）

3、閾值型（2）分段線性型圖4-3閾值函數(shù)圖4-4線性函數(shù)激勵函數(shù)f()形式:第5頁，共55頁，2022年，5月20日，11點4分，星期日（3）Sigmoid 函數(shù)型(S型)（4）Tan函數(shù)型圖4-5Sigmoid 函數(shù)圖4-6Tan函數(shù)第6頁，共55頁，2022年，5月20日，11點4分，星期日二、神經(jīng)網(wǎng)絡(luò)的模型分類按層次：（1）神經(jīng)元層次模型：只是研究單一神經(jīng)元的動態(tài)特性和自適應(yīng)特性，探索神經(jīng)元對輸入信息的處理和存儲能力。（2）組合式模型這種模型是由數(shù)種相互補充、相互協(xié)作的神經(jīng)元組成，用于完成某些特定的任務(wù)。（3）網(wǎng)絡(luò)層次模型它是由眾多相同神經(jīng)元相互連接而成的網(wǎng)絡(luò)，著重研究神經(jīng)網(wǎng)絡(luò)的整體性能。

4、（4）神經(jīng)系統(tǒng)層次模型一般由多個不同性質(zhì)的神經(jīng)網(wǎng)絡(luò)構(gòu)成，以模擬生物神經(jīng)系統(tǒng)更復(fù)雜、更抽象的特性。第7頁，共55頁，2022年，5月20日，11點4分，星期日按連接方式分類：(1)前向網(wǎng)絡(luò)特點：神經(jīng)元分層排列，組成輸入層、隱含層（可以有若干層）和輸出層。每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。各神經(jīng)元之間不存在反饋。感知器和誤差反向傳播算法中使用的網(wǎng)絡(luò)都屬于這種類型。輸入層隱含層輸出層第8頁，共55頁，2022年，5月20日，11點4分，星期日特點：只在輸出層到輸入層存在反饋，即每一個輸入節(jié)點都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋， (2)反饋網(wǎng)絡(luò)第9頁，共55頁，2022年，5月20

5、日，11點4分，星期日(3)相互結(jié)合型網(wǎng)絡(luò)（網(wǎng)狀結(jié)構(gòu)）特點：在任意兩個神經(jīng)元之間都可能有連接。HNN屬于這一類。 在無反饋的前向網(wǎng)絡(luò)中，信號一旦通過某個神經(jīng)元,過程就結(jié)束了。而在相互結(jié)合網(wǎng)絡(luò)中，信號要在神經(jīng)元之間反復(fù)往返傳遞，網(wǎng)絡(luò)處在一種不斷改變狀態(tài)的動態(tài)之中。從某種初態(tài)開始。經(jīng)過若干次的變化，才會到達(dá)某種平衡狀態(tài)，根據(jù)網(wǎng)絡(luò)的結(jié)構(gòu)和神經(jīng)元的特性，還有可能進(jìn)入周期振蕩。第10頁，共55頁，2022年，5月20日，11點4分，星期日(4)混合型網(wǎng)絡(luò)（層次型網(wǎng)絡(luò)和網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò)的結(jié)合）特點：同一層內(nèi)神經(jīng)元可以連接；不同層之間是無反饋的。輸入輸出第11頁，共55頁，2022年，5月20日，11點4分，星

6、期日距離計算神經(jīng)網(wǎng)絡(luò)三、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法學(xué)習(xí)：針對一組給定輸入，通過外部校正（調(diào)整權(quán)系數(shù)），使網(wǎng)絡(luò)產(chǎn)生相應(yīng)的期望輸出的過程。圖4-8 有導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式在訓(xùn)練過程中，紿終存在一個期望的網(wǎng)絡(luò)輸出。期望輸出和實際輸出之間的距離作為誤差度量并用于調(diào)整權(quán)值。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法分為兩大類：有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)1、有導(dǎo)師指導(dǎo)的學(xué)習(xí)（BP算法）特點：須多次重復(fù)訓(xùn)練（調(diào)整權(quán)值），使誤差值e0；學(xué)習(xí)需消耗一定時間。實時控制關(guān)鍵：提高神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度。第12頁，共55頁，2022年，5月20日，11點4分，星期日圖4-9 無導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式2、無導(dǎo)師指導(dǎo)的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)評價函數(shù)評價函數(shù)作用：

7、對網(wǎng)絡(luò)的某種行為趨向作出評價，實現(xiàn)對網(wǎng)絡(luò)的訓(xùn)練。學(xué)習(xí)規(guī)則根據(jù)連接權(quán)系數(shù)的改變方式不同分為三類：相關(guān)學(xué)習(xí)、糾錯學(xué)習(xí)、無導(dǎo)師學(xué)習(xí)第13頁，共55頁，2022年，5月20日，11點4分，星期日（1）相關(guān)學(xué)習(xí)（聯(lián)想式）特點：僅僅根據(jù)連接間的激活水平改變權(quán)系數(shù)。它常用于自聯(lián)想網(wǎng)絡(luò)，執(zhí)行特殊記憶狀態(tài)的死記式學(xué)習(xí)。學(xué)習(xí)算法：Hebb規(guī)則。下一時刻的權(quán)值當(dāng)前權(quán)值激活水平理論依據(jù)：突觸前與突觸后兩者同時興奮，即兩個神經(jīng)元同時處于激發(fā)狀態(tài)時，它們之間的連接強度將得到加強。第14頁，共55頁，2022年，5月20日，11點4分，星期日（2）糾錯學(xué)習(xí)特點：依賴關(guān)于輸出節(jié)點的外部反饋改變權(quán)系數(shù)。它常用于感知器網(wǎng)絡(luò)、多層

8、前向傳播網(wǎng)絡(luò)。學(xué)習(xí)方法：梯度下降法； 學(xué)習(xí)算法：規(guī)則(BP算法采用) 。（3）無導(dǎo)師學(xué)習(xí)（競爭式學(xué)習(xí)） 特點：自動實現(xiàn)輸入空間的檢測和分類，調(diào)整權(quán)值以反映所觀察事件 的分布。 它常用于ART網(wǎng)絡(luò)。步驟：1.識別與輸入最匹配的節(jié)點。定義距離dj為接近距離測度，即具有最短距離的節(jié)點選作勝者。2. 勝者的權(quán)向量經(jīng)修正使該節(jié)點對輸入u更敏感。定義Nc，其半徑逐漸減小至接近于0。權(quán)值學(xué)習(xí)規(guī)則為：第15頁，共55頁，2022年，5月20日，11點4分，星期日每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入（即前一層的輸出作為下一層的輸入）。各神經(jīng)元之間不存在反饋。第二節(jié) 前向神經(jīng)網(wǎng)絡(luò)模型前向神經(jīng)網(wǎng)絡(luò)可以看成一種一組

9、輸入模式到一組輸出模式的系統(tǒng)變換。這種變換通過對某一給定的輸入樣本相應(yīng)的輸出數(shù)據(jù)集的訓(xùn)練而得到。此神經(jīng)網(wǎng)絡(luò)為有導(dǎo)師指導(dǎo)下的學(xué)習(xí)。在導(dǎo)師的指導(dǎo)下，使網(wǎng)絡(luò)的突觸權(quán)系數(shù)陣能在某種學(xué)習(xí)規(guī)則的指導(dǎo)下進(jìn)行自適應(yīng)學(xué)習(xí)。前向網(wǎng)絡(luò)的訓(xùn)練需要一組輸入輸出樣本集。輸入層隱含層輸出層特點：神經(jīng)元分層排列，組成輸入層、隱含層（可以有若干層）和輸出層。第16頁，共55頁，2022年，5月20日，11點4分，星期日一、單一人工神經(jīng)元式中：為閾值 ；是第j個輸入的突觸權(quán)系數(shù)(即權(quán)值)圖單一人工神經(jīng)元的示意圖第17頁，共55頁，2022年，5月20日，11點4分，星期日二、單層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖單層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)示意圖輸入變量：

10、輸出變量：第18頁，共55頁，2022年，5月20日，11點4分，星期日三、多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)多層傳播結(jié)構(gòu)是在輸入層和輸出層之間嵌入一層或多層隱含層的網(wǎng)絡(luò)結(jié)構(gòu)。第一層輸出：輸出：隱層：第L層的輸入是第L-1層的輸出第19頁，共55頁，2022年，5月20日，11點4分，星期日四、多層傳播網(wǎng)絡(luò)的學(xué)習(xí)算法(BP算法：誤差反向傳播學(xué)習(xí)算法)前向傳播網(wǎng)絡(luò)實質(zhì)：一種從輸入空間到輸出空間的映射。對于給定的輸入矢量X，其網(wǎng)絡(luò)的響應(yīng)可以由Y=T(X)給出。 其中T為與網(wǎng)絡(luò)結(jié)構(gòu)相關(guān)的非線性算子。神經(jīng)網(wǎng)絡(luò)可以通過合適樣本集，即輸入輸出矢量對(Xp,Tp)，(p=1,2, ,N；p為樣本數(shù))，來進(jìn)行訓(xùn)練。網(wǎng)絡(luò)的訓(xùn)練實

11、質(zhì)上是對突觸權(quán)陣的調(diào)整，以滿足當(dāng)輸入為Xp時其輸出應(yīng)為Tp。第20頁，共55頁，2022年，5月20日，11點4分，星期日誤差準(zhǔn)則函數(shù)：使誤差準(zhǔn)則函數(shù)極小來進(jìn)行權(quán)陣的調(diào)整tpi :期望輸出ypi：實際輸出通常，前向傳播網(wǎng)絡(luò)的訓(xùn)練是一個周期一個周期地進(jìn)行的，即在每一個周期內(nèi)，訓(xùn)練將是針對所有的樣本集的，一旦一個周期完成，下一個周期仍然對此樣本集進(jìn)行重新訓(xùn)練，直到性能指標(biāo)E滿足要求為止特點：第r+1層的輸入是第r層的輸出。第21頁，共55頁，2022年，5月20日，11點4分，星期日規(guī)則圖單層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)示意圖問題：如何調(diào)整權(quán)值，使Ep最小誤差準(zhǔn)則函數(shù)：方法：梯度下降法第22頁，共55頁，20

12、22年，5月20日，11點4分，星期日梯度下降法公式：定義：（廣義誤差）則：復(fù)合求導(dǎo)規(guī)則第23頁，共55頁，2022年，5月20日，11點4分，星期日推廣到多層：輸入層（r=1）：若r=L（輸出層）：第24頁，共55頁，2022年，5月20日，11點4分，星期日?。篠igmoid型(S型)激勵函數(shù)第25頁，共55頁，2022年，5月20日，11點4分，星期日若rL（隱含層）：考慮到r+1層所有的神經(jīng)元輸入激勵信號都與第r層的神經(jīng)元輸出相關(guān)。利用復(fù)合微分規(guī)則對求微分需對所有r+1層的輸入激勵信號 分別求微分之和來得到，即第26頁，共55頁，2022年，5月20日，11點4分，星期日計算步驟：初始

13、化wij 、j、最大容許誤差E、給定輸入向量Xp和期望目標(biāo)輸出Tp計算各層輸出求誤差Ep調(diào)整權(quán)值EpE結(jié)束NY前向計算誤差反向計算網(wǎng)絡(luò)權(quán)陣的更新是通過反向傳播網(wǎng)絡(luò)的期望輸出（樣本輸出）與實際輸出的誤差來實現(xiàn)的。第27頁，共55頁，2022年，5月20日，11點4分，星期日注意的有關(guān)問題：（1）權(quán)系數(shù)的初值權(quán)系數(shù)通常初始化成小的隨機值，盡量可能覆蓋整個權(quán)陣的空間域。（2）學(xué)習(xí)方式 單樣本學(xué)習(xí)：每輸入一個樣本就進(jìn)行一次學(xué)習(xí)，然后提供下一個樣本重復(fù)學(xué)習(xí)（適合在線學(xué)習(xí)）。批量學(xué)習(xí)：樣本集全部輸入到神經(jīng)網(wǎng)絡(luò)中，才進(jìn)行一次權(quán)值調(diào)整（適合離線學(xué)習(xí)）。（3）激勵函數(shù) 采用S型激勵函數(shù)時，由于輸出層各神經(jīng)元的輸

14、出只能趨于1或0，不能達(dá)到1或0。在設(shè)置各訓(xùn)練樣本時，期望的輸出分量不能設(shè)置為1或0，以設(shè)置0.95或0.05較為適宜。第28頁，共55頁，2022年，5月20日，11點4分，星期日（4）學(xué)習(xí)速度學(xué)習(xí)速率越大，收斂越快，但容易產(chǎn)生振蕩；而學(xué)習(xí)速率越小，收斂越慢。 一般取值0.0010.1。（5）局部極小問題 BP學(xué)習(xí)不可避免地存在局部極小問題，且學(xué)習(xí)速度很慢，甚至?xí)跇O值點附近出現(xiàn)振蕩現(xiàn)象，而不能平滑地趨于最優(yōu)解。解決方案：加動量項(momentum)其中：學(xué)習(xí)開始階段， 選較大的值可以加快學(xué)習(xí)速度；學(xué)習(xí)接近優(yōu)化區(qū)時， 值必須相當(dāng)小，否則權(quán)值將產(chǎn)生振蕩而不收斂。第29頁，共55頁，2022年，

15、5月20日，11點4分，星期日例4-1如下圖所示的多層前向傳播神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。圖4-15例4-1的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖假設(shè)對于期望的輸入網(wǎng)絡(luò)權(quán)系數(shù)的初始值見圖。試用BP算法訓(xùn)練此網(wǎng)絡(luò)（本例中只給出一步迭代學(xué)習(xí)過程）。這里，取神經(jīng)元激勵函數(shù)學(xué)習(xí)步長為1。解 1）輸入最大容許誤差值E，最大迭代學(xué)習(xí)次數(shù) iterafe max。置初始迭代學(xué)習(xí)次數(shù) iterate=0。2）計算當(dāng)前輸入狀態(tài)下、當(dāng)前網(wǎng)絡(luò)的連接權(quán)系數(shù)下的神經(jīng)網(wǎng)絡(luò)輸出（即前向計算）。第30頁，共55頁，2022年，5月20日，11點4分，星期日3)判斷神經(jīng)網(wǎng)絡(luò)最大容許誤差滿足要求或迭代學(xué)習(xí)達(dá)到最大容許值否？若上述不等式中有一個滿足，則退出學(xué)習(xí)。否則

16、進(jìn)入4）。第31頁，共55頁，2022年，5月20日，11點4分，星期日4）計算廣義誤差。輸出層廣義誤差：隱含層廣義誤差：誤差反向傳播第32頁，共55頁，2022年，5月20日，11點4分，星期日5）連接權(quán)系數(shù)更新繼續(xù)迭代計算直至滿足終止條件為止例如：第33頁，共55頁，2022年，5月20日，11點4分，星期日例4-2 利用多層前向傳播神經(jīng)網(wǎng)絡(luò)逼近非線性函數(shù)解訓(xùn)練算法采用傳統(tǒng)的BP學(xué)習(xí)算法，其中樣本集取20點即期望值： 選擇多層前向網(wǎng)絡(luò)結(jié)構(gòu)為：1個輸入神經(jīng)元、6個隱含層神經(jīng)元和1個輸出神經(jīng)元（隱層數(shù)為1）。神經(jīng)元激勵函數(shù)都為Sigmoid函數(shù)。圖4-16多層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)圖初始權(quán)系數(shù)陣由（

17、0,1）之間的隨機數(shù)組成。學(xué)習(xí)步長前向計算誤差反向傳播學(xué)習(xí)方式是批量學(xué)習(xí)還是單樣本學(xué)習(xí)？計算過程：第34頁，共55頁，2022年，5月20日，11點4分，星期日 選擇30個校驗樣本數(shù)據(jù)集，它們的取值為為了驗證含多隱含層的前向傳播網(wǎng)絡(luò)的逼近性能，對含有兩個隱含層的多層前向網(wǎng)絡(luò)進(jìn)行了仿真試驗。取第一隱含層的隱含神元經(jīng)數(shù)為4、第二隱含層的隱含神元經(jīng)數(shù)為2。圖4-16b)多層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)第35頁，共55頁，2022年，5月20日，11點4分，星期日均方誤差均方誤差yy圖4-17兩種MLP模型的學(xué)習(xí)曲線和網(wǎng)絡(luò)的逼近測試圖（比較）BP算法的學(xué)習(xí)曲線網(wǎng)絡(luò)的測試集逼近性能系統(tǒng)的實際輸出（如虛線所示）神經(jīng)網(wǎng)

18、絡(luò)的逼近輸出（如實線所示）第36頁，共55頁，2022年，5月20日，11點4分，星期日結(jié)論：增加隱含層的數(shù)目并不一定意味著能夠改善逼近精度（隱含層越多，計算量越大，收斂速度就受影響慢）。對于本例而言，這一非線性函數(shù)的神經(jīng)網(wǎng)絡(luò)逼近問題用單一隱含層已經(jīng)足以滿足逼近精度了。第37頁，共55頁，2022年，5月20日，11點4分，星期日上機試驗題（P87）（BP算法的應(yīng)用字符識別） 1. 編寫一個利用前向神經(jīng)傳播網(wǎng)絡(luò)進(jìn)行字符識別的程序。設(shè)神經(jīng)網(wǎng)絡(luò)為具有一個隱含層的BP網(wǎng)絡(luò)，需識別的字符有三個A、I和O，其輸入為44象素的掃描輸入，見圖425。 目標(biāo)輸出分別為A=(1,-1,-1)，I=(-1,1,1

19、)，O=(-1,-1,1)。網(wǎng)絡(luò)為16個輸入節(jié)點、3個輸出節(jié)點、9個隱含層節(jié)點。圖425 習(xí)題6圖問題：輸入樣本集為？第38頁，共55頁，2022年，5月20日，11點4分，星期日第三節(jié)動態(tài)神經(jīng)網(wǎng)絡(luò)模型前向傳播網(wǎng)絡(luò)特點：從學(xué)習(xí)觀點看是一種強有力的學(xué)習(xí)系統(tǒng)，系統(tǒng)結(jié)構(gòu)簡單且易于編程；從系統(tǒng)觀點看是一種靜態(tài)非線性映射，通過簡單非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性處理能力；從計算觀點看不是一種強有力的系統(tǒng)，缺乏豐富的動力學(xué)行為，大部分前向神經(jīng)網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，并不注重系統(tǒng)的動力學(xué)行為。反饋型神經(jīng)網(wǎng)絡(luò)：非線性動力學(xué)系統(tǒng)。具備豐富的動力學(xué)特征，如穩(wěn)定性、極限環(huán)、奇異吸引子（即渾沌現(xiàn)象）等 。第39頁

20、，共55頁，2022年，5月20日，11點4分，星期日反饋動力學(xué)神經(jīng)網(wǎng)絡(luò)系統(tǒng)的兩個重要特征： 1）系統(tǒng)有若干個穩(wěn)定狀態(tài)（稱為記憶）。如果從某一初始狀態(tài)開紿運動，系統(tǒng)總可以進(jìn)入某一穩(wěn)定狀態(tài)（即尋找記憶的過程）。穩(wěn)態(tài)的存在是實現(xiàn)聯(lián)想記憶的基礎(chǔ)。定點吸引子：相空間（即狀態(tài)空間）的一個不動點。穩(wěn)定性定義：定義4-1神經(jīng)網(wǎng)絡(luò)從任一初態(tài)X(0)開紿運動，若存在某一有限的時刻ts。從ts以后神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即 ，則稱網(wǎng)絡(luò)是穩(wěn)定的。處于穩(wěn)定時刻的網(wǎng)絡(luò)狀態(tài)叫穩(wěn)定狀態(tài)，又稱定點吸引子。吸引子分類：穩(wěn)定的吸引子（如定點吸引子）；不穩(wěn)定的吸引子（如極限環(huán)吸引子周期重復(fù)的循環(huán)）。2）系統(tǒng)的穩(wěn)定狀態(tài)可以通過改

21、變相連單元的權(quán)值而產(chǎn)生。難點：怎樣通過調(diào)整網(wǎng)絡(luò)權(quán)值來產(chǎn)生需要的穩(wěn)定狀態(tài)。第40頁，共55頁，2022年，5月20日，11點4分，星期日 Hopfield 神經(jīng)網(wǎng)絡(luò)（以二值型的Hopfield網(wǎng)絡(luò)為例）二值型的Hopfield網(wǎng)絡(luò)又稱離散型的Hopfield網(wǎng)絡(luò)（簡記為DHNN）。特點：單層（只有一個神經(jīng)元層次）、全連接，即每個神經(jīng)元的輸出都通過權(quán)系數(shù)wij反饋到所有其它神經(jīng)元（包括自身神經(jīng)元）。圖4-20二值型Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)圖第41頁，共55頁，2022年，5月20日，11點4分，星期日節(jié)點方程式：閾值型激勵函數(shù)式中：K表示時間變量；表示外部輸入(閥值)；表示神經(jīng)元輸出；表示神經(jīng)元

22、內(nèi)部狀態(tài)；f()表示閥值函數(shù)。某一時刻的網(wǎng)絡(luò)狀態(tài)可以用一個包含0和1的矢量來表示，如 。狀態(tài)變化采用隨機性異步更新策略。隨機性異步更新策略特點：每次只有一個神經(jīng)元節(jié)點進(jìn)行狀態(tài)的調(diào)整計算（即隨機地選擇下一個要更新的神經(jīng)元，且允許所有神經(jīng)元節(jié)點具有相同的平均變化概率） ，其它節(jié)點狀態(tài)均保持不變。第42頁，共55頁，2022年，5月20日，11點4分，星期日 節(jié)點狀態(tài)更新包括三種情況：01、10，或狀態(tài)保持。某一時刻網(wǎng)絡(luò)中只有一個節(jié)點被選擇進(jìn)行狀態(tài)更新，當(dāng)該節(jié)點狀態(tài)變化時，網(wǎng)絡(luò)狀態(tài)就可以以某一概率轉(zhuǎn)移到另一狀態(tài)；當(dāng)該節(jié)點狀態(tài)保持時，網(wǎng)絡(luò)狀態(tài)更新的結(jié)果保持前一時刻狀態(tài)。 網(wǎng)絡(luò)從某一初始狀態(tài)開始經(jīng)多次更

23、換狀態(tài)才能達(dá)到某一穩(wěn)定狀態(tài)。給定網(wǎng)絡(luò)的權(quán)值和閥值，就可以確定網(wǎng)絡(luò)的狀態(tài)轉(zhuǎn)移序列。第43頁，共55頁，2022年，5月20日，11點4分，星期日解：對節(jié)點V1 ： 0.00.00.1-0.50.20.6例4-3假設(shè)一個3節(jié)點的離散Hopfield神經(jīng)網(wǎng)絡(luò)，已知網(wǎng)絡(luò)權(quán)值與閥值如下圖所示。計算狀態(tài)轉(zhuǎn)移關(guān)系。已知初始狀態(tài)為 ；且 ； 。圖421 一個3節(jié)點離散Hopfield網(wǎng)絡(luò)狀態(tài)a）已知網(wǎng)絡(luò)權(quán)值初值，圈內(nèi)為閥值， 線上為連接系數(shù)節(jié)點V1狀態(tài)y1由01。網(wǎng)絡(luò)狀態(tài)由000100，轉(zhuǎn)移概率為1/3。對節(jié)點V2 ：節(jié)點V2狀態(tài)y2由00，狀態(tài)保持不變。對節(jié)點V3 ：節(jié)點V3狀態(tài)y3由00 ，狀態(tài)保持不變

24、。第44頁，共55頁，2022年，5月20日，11點4分，星期日110000001-0.6-0.43/31/30100111111000.41/30.01/3-0.32/32/31/31/30.01/31/31/30.01/3-0.11/31/31/31/31/31012/3圖4-24 b)網(wǎng)絡(luò)狀態(tài)轉(zhuǎn)移，圈內(nèi)為狀態(tài)，線上為轉(zhuǎn)移概率網(wǎng)絡(luò)從任意一個初始狀態(tài)開始經(jīng)幾次的狀態(tài)更新后都將到達(dá)此穩(wěn)態(tài)。每個狀態(tài)定義一個能量E，Hopfield用非線性動力學(xué)系統(tǒng)理論中的能量函數(shù)方法（或Liapunov函數(shù)）研究反饋神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性。能量函數(shù)：網(wǎng)絡(luò)的穩(wěn)定狀態(tài)：例：第45頁，共55頁，2022年，5月20日，11

25、點4分，星期日特點：Hopfield網(wǎng)絡(luò)神經(jīng)元狀態(tài)要么在同一“高度”上變化，要么從上向下轉(zhuǎn)移（能量E減小的方向上轉(zhuǎn)移）。這是Hopfield網(wǎng)絡(luò)系統(tǒng)穩(wěn)定的重要標(biāo)記。定理4-1離散Hopfield神經(jīng)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)與能量函數(shù)E在狀態(tài)空間的局部極小狀態(tài)是一一對應(yīng)的。能量函數(shù)的極小值點與網(wǎng)絡(luò)穩(wěn)定狀態(tài)有著緊密的關(guān)系。神經(jīng)網(wǎng)絡(luò)的能量極小狀態(tài)又稱為能量井。能量井的存在為信息的分布存儲記憶、神經(jīng)優(yōu)化計算提供了基礎(chǔ)。應(yīng)用：將記憶的樣本信息存儲于不同的能量井，則當(dāng)輸入某一模式時，神經(jīng)網(wǎng)絡(luò)就能回想起與其相關(guān)記憶的樣本以實現(xiàn)聯(lián)想記憶(DHNN的重要應(yīng)用特征)。第46頁，共55頁，2022年，5月20日，11點4分，

26、星期日一旦神經(jīng)網(wǎng)絡(luò)的能量井可以由用戶選擇或產(chǎn)生時， Hopfield網(wǎng)絡(luò)所具有的能力才能得到充分的發(fā)揮。能量井的分布由連接權(quán)值決定。設(shè)計能量井的核心：如何獲得一組合適的權(quán)值。權(quán)值設(shè)計有兩種方法：一、靜態(tài)產(chǎn)生方法：根據(jù)求解問題的要求直接計算出所需要的連接權(quán)值。特點：一旦權(quán)值確定下來就不再改變。二、動態(tài)產(chǎn)生方法：通過提供一種學(xué)習(xí)機制來訓(xùn)練網(wǎng)絡(luò)，使其能自動調(diào)整連接權(quán)值，產(chǎn)生期望的能量井。學(xué)習(xí)方法如Hebb規(guī)則、規(guī)則。第47頁，共55頁，2022年，5月20日，11點4分，星期日例4-5以圖4-22所示的3節(jié)點DHNN為例，要求設(shè)計的能量井為狀態(tài)和111。權(quán)值和閥值可在-1,1區(qū)間取值。試確定網(wǎng)絡(luò)權(quán)值

27、和閥值。圖4-22 3節(jié)點DHNN模型解：為能量井為能量井注意：網(wǎng)絡(luò)權(quán)值和閥值的選擇可以在某一個范圍內(nèi)進(jìn)行，解非唯一。大于還是小于等于0？第48頁，共55頁，2022年，5月20日，11點4分，星期日100101011001000010111110圖4-23例4-5的DHNN狀態(tài)轉(zhuǎn)移圖在某種情況下，所選擇的一組參數(shù)雖然能滿足能量井的設(shè)計要求，但同時也會產(chǎn)生我們不期望的能量井（即假能量井）。針對上例，如果選擇權(quán)值和閥值為：可以驗證，這組值是滿足上面約束的要求，由這組參數(shù)構(gòu)成DHNN有三個能量井，除010、111外，還有一假能量井100。第49頁，共55頁，2022年，5月20日，11點4分，星期日通過一定的學(xué)習(xí)規(guī)則自動調(diào)整連接權(quán)值，使網(wǎng)絡(luò)具有期望的能量井分布，并經(jīng)記憶樣本存儲在不同的能量井中（DHNN的重要應(yīng)用：聯(lián)想記憶）。權(quán)值設(shè)計的動態(tài)產(chǎn)生方法：常用的學(xué)習(xí)規(guī)則：Hebb學(xué)習(xí)規(guī)則和學(xué)習(xí)規(guī)則。Hebb學(xué)習(xí)規(guī)則：訓(xùn)練方法：設(shè)有N個神經(jīng)元相互連接，每個神經(jīng)元的活化狀態(tài)只能取0