神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用詳解課件

神經(jīng)計(jì)算--吳廣發(fā)20112420021神經(jīng)計(jì)算--吳廣發(fā)20112420021神經(jīng)計(jì)算-神經(jīng)網(wǎng)絡(luò)算法在實(shí)際應(yīng)用中經(jīng)常遇到一些復(fù)雜優(yōu)化問(wèn)題，而往往需要求解它的全局最優(yōu)解。由于許多問(wèn)題具有多個(gè)局部最優(yōu)解，特別是有些問(wèn)題的目標(biāo)函數(shù)是非凸的、或是不可微的、甚至是不可表達(dá)的。這樣一來(lái)，傳統(tǒng)的非線性規(guī)劃問(wèn)題算法就不適用了。二十世紀(jì)以來(lái)，一些優(yōu)秀的優(yōu)化算法，如神經(jīng)計(jì)算、遺傳算法、蟻群算法、模擬退火算法等，通過(guò)模擬某些自然現(xiàn)象和過(guò)程而得到發(fā)展，為解決復(fù)雜優(yōu)化問(wèn)題提供了新的思路和手段。其中，神經(jīng)計(jì)算是以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的計(jì)算。2神經(jīng)計(jì)算-神經(jīng)網(wǎng)絡(luò)算法在實(shí)際應(yīng)用中經(jīng)常遇到一些復(fù)雜優(yōu)化問(wèn)題，神經(jīng)網(wǎng)絡(luò)-演示的主要內(nèi)容神經(jīng)網(wǎng)絡(luò)概述神經(jīng)元結(jié)構(gòu)與連接BP網(wǎng)絡(luò)及其應(yīng)用舉例Hopfield網(wǎng)絡(luò)及其應(yīng)用舉例神經(jīng)網(wǎng)絡(luò)重要結(jié)論神經(jīng)網(wǎng)絡(luò)研究分析3神經(jīng)網(wǎng)絡(luò)-演示的主要內(nèi)容神經(jīng)網(wǎng)絡(luò)概述3神經(jīng)網(wǎng)絡(luò)概述（1）人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，簡(jiǎn)稱(chēng)ANN）又稱(chēng)神經(jīng)網(wǎng)絡(luò)，是由具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和工作機(jī)理基本上以人腦的組織結(jié)構(gòu)（大腦神經(jīng)元網(wǎng)絡(luò)）和活動(dòng)規(guī)律為背景的，它反映了人腦的某些基本特征，但并不是對(duì)人腦部分的真實(shí)再現(xiàn)，可以說(shuō)人工神經(jīng)網(wǎng)絡(luò)是利用人工的方式對(duì)生物神經(jīng)網(wǎng)絡(luò)的模擬。4神經(jīng)網(wǎng)絡(luò)概述（1）人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeu神經(jīng)網(wǎng)絡(luò)概述（2）人工神經(jīng)網(wǎng)絡(luò)的特性1.并行分布處理：網(wǎng)絡(luò)具有良好的并行結(jié)構(gòu)和并行實(shí)現(xiàn)能力，因而具有較好的耐故障能力和總體處理能力。2.非線性映射：網(wǎng)絡(luò)固有的非線性特性，這源于其近似任意非線性映射（變換）能力，尤其適用于處理非線性問(wèn)題。3.通過(guò)訓(xùn)練進(jìn)行學(xué)習(xí)：一個(gè)經(jīng)過(guò)適當(dāng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)具有歸納全部數(shù)據(jù)的能力。因此適用于解決那些由數(shù)學(xué)模型或描述規(guī)則難以解決的問(wèn)題。5神經(jīng)網(wǎng)絡(luò)概述（2）人工神經(jīng)網(wǎng)絡(luò)的特性5神經(jīng)網(wǎng)絡(luò)概述（3）4.適應(yīng)與集成：網(wǎng)絡(luò)能夠適應(yīng)在線運(yùn)行，并能同時(shí)進(jìn)行定量和定性操作。神經(jīng)網(wǎng)絡(luò)的強(qiáng)適應(yīng)和信息融合能力使得它可以同時(shí)輸入大量不同的控制信號(hào)，解決輸入信息間的互補(bǔ)和冗余問(wèn)題，并實(shí)現(xiàn)信息集成和融合處理。適于復(fù)雜、大規(guī)模和多變量系統(tǒng)。5.硬件實(shí)現(xiàn)：神經(jīng)網(wǎng)絡(luò)不僅能夠通過(guò)軟件而且可以借助硬件實(shí)現(xiàn)并行處理。一些超大規(guī)模集成電路實(shí)現(xiàn)硬件已經(jīng)問(wèn)世，如神經(jīng)計(jì)算機(jī)，它的研制開(kāi)始于20世紀(jì)80年代后期?！邦A(yù)言神”是我國(guó)第一臺(tái)研制成功的神經(jīng)計(jì)算機(jī)。6神經(jīng)網(wǎng)絡(luò)概述（3）4.適應(yīng)與集成：網(wǎng)絡(luò)能夠適應(yīng)在線運(yùn)行，并神經(jīng)網(wǎng)絡(luò)概述（4）我國(guó)第一臺(tái)神經(jīng)計(jì)算機(jī)面世的報(bào)道7神經(jīng)網(wǎng)絡(luò)概述（4）我國(guó)第一臺(tái)神經(jīng)計(jì)算機(jī)面世的報(bào)道7神經(jīng)網(wǎng)絡(luò)概述（5）一般而言，神經(jīng)網(wǎng)絡(luò)與經(jīng)典計(jì)算方法相比并非優(yōu)越，只有當(dāng)常規(guī)方法解決不了或效果不佳時(shí)神經(jīng)網(wǎng)絡(luò)方法才能顯示出其優(yōu)越性。尤其對(duì)問(wèn)題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng)，如故障診斷、特征提取和預(yù)測(cè)等問(wèn)題，神經(jīng)網(wǎng)絡(luò)往往是最有利的工具。另一方面，神經(jīng)網(wǎng)絡(luò)對(duì)處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問(wèn)題，也表現(xiàn)出一定靈活性和自適應(yīng)性。8神經(jīng)網(wǎng)絡(luò)概述（5）一般而言，神經(jīng)網(wǎng)絡(luò)與經(jīng)典計(jì)算方法相比并非優(yōu)神經(jīng)網(wǎng)絡(luò)概述（6）人工神經(jīng)網(wǎng)絡(luò)研究的局限性：ANN研究受到腦科學(xué)研究成果的限制ANN缺少一個(gè)完整、成熟的理論體系A(chǔ)NN研究帶有濃厚的策略和經(jīng)驗(yàn)色彩ANN與傳統(tǒng)技術(shù)的接口不成熟9神經(jīng)網(wǎng)絡(luò)概述（6）人工神經(jīng)網(wǎng)絡(luò)研究的局限性：9神經(jīng)元結(jié)構(gòu)與連接（1）神經(jīng)元是大腦處理信息的基本單元，人腦大約由百億個(gè)神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)。神經(jīng)元以細(xì)胞體為主體，由許多向周?chē)由斓牟灰?guī)則樹(shù)枝狀纖維構(gòu)成的神經(jīng)細(xì)胞，其形狀很像一棵枯樹(shù)的枝干。主要由細(xì)胞體、樹(shù)突、軸突和突觸（又稱(chēng)神經(jīng)鍵）組成。10神經(jīng)元結(jié)構(gòu)與連接（1）神經(jīng)元是大腦處理信息的基本單元，人腦大神經(jīng)元結(jié)構(gòu)與連接（2）大腦神經(jīng)網(wǎng)絡(luò)是由神經(jīng)元經(jīng)突觸與樹(shù)突連接起來(lái)形成的。人工神經(jīng)網(wǎng)絡(luò)是由基本處理單元及其互連方法決定的。11神經(jīng)元結(jié)構(gòu)與連接（2）大腦神經(jīng)網(wǎng)絡(luò)是由神經(jīng)元經(jīng)突觸與樹(shù)突連接神經(jīng)元結(jié)構(gòu)與連接（3）神經(jīng)元的M-P模型，即將人工神經(jīng)元的基本模型和激活函數(shù)合在一起構(gòu)成人工神經(jīng)元，稱(chēng)之為處理單元。12

yx1……x2

1

2xn

ns神經(jīng)元結(jié)構(gòu)與連接（3）神經(jīng)元的M-P模型，即將人工神經(jīng)元的基神經(jīng)元結(jié)構(gòu)與連接（4）單輸出神經(jīng)元（感知器）的工作過(guò)程是：從輸入端接收輸入信號(hào)根據(jù)連接權(quán)值，求出所有輸入的加權(quán)和

用非線性特征函數(shù)

進(jìn)行轉(zhuǎn)換，獲得輸出

13神經(jīng)元結(jié)構(gòu)與連接（4）單輸出神經(jīng)元（感知器）的工作過(guò)程是：1神經(jīng)元結(jié)構(gòu)與連接（5）尋找感知器網(wǎng)絡(luò)的判定邊界感知器的學(xué)習(xí)是有導(dǎo)師學(xué)習(xí)，如：訓(xùn)練算法的基本原理來(lái)源于著名的Delta學(xué)習(xí)率，即逐步地將樣本集中的樣本輸入到網(wǎng)絡(luò)中，根據(jù)輸出結(jié)果和理想輸出之間的差別來(lái)調(diào)整網(wǎng)絡(luò)中的權(quán)矩陣，如：14

神經(jīng)元結(jié)構(gòu)與連接（5）尋找感知器網(wǎng)絡(luò)的判定邊界14

神經(jīng)元結(jié)構(gòu)與連接（6）無(wú)獎(jiǎng)問(wèn)答環(huán)節(jié)：感知器曾一度讓人工神經(jīng)網(wǎng)絡(luò)展現(xiàn)出其獨(dú)特的功能和誘人的發(fā)展前景。但當(dāng)Minsky嚴(yán)格地對(duì)問(wèn)題進(jìn)行了分析，證明了單級(jí)網(wǎng)（感知器）無(wú)法解決“異或”等最基本的問(wèn)題時(shí)，人工神經(jīng)網(wǎng)絡(luò)便從第一個(gè)高潮期進(jìn)入了反思期。那么如何理解感知器無(wú)法解決“異或”的問(wèn)題呢？15

神經(jīng)元結(jié)構(gòu)與連接（6）無(wú)獎(jiǎng)問(wèn)答環(huán)節(jié)：15

神經(jīng)元結(jié)構(gòu)與連接（7）神經(jīng)網(wǎng)絡(luò)每個(gè)節(jié)點(diǎn)均具有相同的結(jié)構(gòu)，其動(dòng)作在時(shí)間和空間上均同步。模型主要考慮網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)、神經(jīng)元的特征、學(xué)習(xí)規(guī)則、傳遞函數(shù)等。目前已有近40種不同神經(jīng)網(wǎng)絡(luò)模型。實(shí)驗(yàn)表明，對(duì)大部分網(wǎng)絡(luò)模型來(lái)說(shuō)（也有例外情況），W的各個(gè)元素不能用相同的數(shù)據(jù)進(jìn)行初始化，因?yàn)檫@樣會(huì)使網(wǎng)絡(luò)失去學(xué)習(xí)能力。一般地，使用一系列小偽隨機(jī)數(shù)對(duì)W進(jìn)行初始化?！靶‰S機(jī)數(shù)”用來(lái)保證網(wǎng)絡(luò)不會(huì)因?yàn)闄?quán)過(guò)大而進(jìn)入飽和狀態(tài)，從而導(dǎo)致訓(xùn)練失??；“不同”用來(lái)保證網(wǎng)絡(luò)可以正常地學(xué)習(xí)。16神經(jīng)元結(jié)構(gòu)與連接（7）神經(jīng)網(wǎng)絡(luò)每個(gè)節(jié)點(diǎn)均具有相同的結(jié)構(gòu)，其動(dòng)神經(jīng)元結(jié)構(gòu)與連接（8）神經(jīng)元互連基本形式（分為前饋和反饋兩種）：17…………………前向網(wǎng)絡(luò)反饋網(wǎng)絡(luò)層內(nèi)互連網(wǎng)絡(luò)互連網(wǎng)絡(luò)輸入層輸出層隱層輸入層輸出層隱層輸入層輸出層隱層輸入層輸出層隱層神經(jīng)元結(jié)構(gòu)與連接（8）神經(jīng)元互連基本形式（分為前饋和反饋兩種神經(jīng)元結(jié)構(gòu)與連接（9）神經(jīng)網(wǎng)絡(luò)訓(xùn)練模式：有導(dǎo)師學(xué)習(xí)：根據(jù)期望與實(shí)際的網(wǎng)絡(luò)輸出之間的差調(diào)整神經(jīng)元連接的強(qiáng)度或權(quán)，訓(xùn)練方法主要有Delta規(guī)則等。

無(wú)導(dǎo)師學(xué)習(xí)：自動(dòng)地適應(yīng)連接權(quán)，以便按相似特征把輸入模式分組聚集，訓(xùn)練方法主要有Hebb學(xué)習(xí)律、競(jìng)爭(zhēng)與協(xié)同學(xué)習(xí)規(guī)則、隨機(jī)聯(lián)接學(xué)習(xí)規(guī)則等。強(qiáng)化學(xué)習(xí)：不需要老師給出目標(biāo)輸出，采用一個(gè)“評(píng)論員”來(lái)評(píng)價(jià)與給定輸入相對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)輸出的優(yōu)度。遺傳算法就是一個(gè)例子。18神經(jīng)元結(jié)構(gòu)與連接（9）神經(jīng)網(wǎng)絡(luò)訓(xùn)練模式：18神經(jīng)元結(jié)構(gòu)與連接（10）無(wú)導(dǎo)師學(xué)習(xí)Hebb學(xué)習(xí)率：如果處理單元從另一個(gè)處理單元接收到一個(gè)輸入，并且兩個(gè)單元都處于高度活動(dòng)狀態(tài)，這時(shí)兩單元間的連接權(quán)重就要被加強(qiáng)。競(jìng)爭(zhēng)與協(xié)同學(xué)習(xí)規(guī)則：利用不同層間或同一層內(nèi)很近的神經(jīng)元發(fā)生興奮性連接，而距離較遠(yuǎn)的神經(jīng)元產(chǎn)生抑制性連接。隨機(jī)連接學(xué)習(xí)規(guī)則：從統(tǒng)計(jì)力學(xué)、分子熱力學(xué)和概率論中關(guān)于系統(tǒng)穩(wěn)態(tài)能量的標(biāo)準(zhǔn)出發(fā)，進(jìn)行神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方式稱(chēng)概率式學(xué)習(xí)。如基于模擬退火統(tǒng)計(jì)優(yōu)化方法的玻爾茲曼機(jī)學(xué)習(xí)規(guī)則。19神經(jīng)元結(jié)構(gòu)與連接（10）無(wú)導(dǎo)師學(xué)習(xí)19神經(jīng)元結(jié)構(gòu)與連接（11）神經(jīng)網(wǎng)絡(luò)的訓(xùn)練次數(shù)也稱(chēng)為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)時(shí)間。在一定范圍內(nèi)，訓(xùn)練次數(shù)的增加可以提高神經(jīng)網(wǎng)絡(luò)的泛化能力，然而，在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中經(jīng)常出現(xiàn)一種過(guò)擬合現(xiàn)象，即在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，隨著網(wǎng)絡(luò)訓(xùn)練次數(shù)的增加，網(wǎng)絡(luò)對(duì)訓(xùn)練樣本的誤差逐漸減少，并很容易達(dá)到中止訓(xùn)練的最小誤差的要求，從而停止訓(xùn)練。然而，在訓(xùn)練樣本的誤差逐漸減少并達(dá)到某個(gè)定值以后，往往會(huì)出現(xiàn)網(wǎng)絡(luò)對(duì)訓(xùn)練樣本意外的測(cè)試樣本的誤差反而開(kāi)始增加的情況。20神經(jīng)元結(jié)構(gòu)與連接（11）神經(jīng)網(wǎng)絡(luò)的訓(xùn)練次數(shù)也稱(chēng)為神經(jīng)網(wǎng)絡(luò)的學(xué)神經(jīng)元結(jié)構(gòu)與連接（12）神經(jīng)網(wǎng)絡(luò)的泛化性能還體現(xiàn)在網(wǎng)絡(luò)對(duì)噪聲應(yīng)具有一定的抗干擾能力上。最佳的泛化能力往往出現(xiàn)在訓(xùn)練誤差的全局最小點(diǎn)出現(xiàn)之前，最佳泛化點(diǎn)出現(xiàn)存在一定的時(shí)間范圍。理論上可以證明在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，存在最優(yōu)的停止時(shí)間。泛化特性的好壞取決于人工神經(jīng)網(wǎng)絡(luò)是否從訓(xùn)練樣本中找到內(nèi)部的真正規(guī)律。影響泛化能力的因素主要有：訓(xùn)練樣本的質(zhì)量和數(shù)量；網(wǎng)絡(luò)結(jié)構(gòu)；問(wèn)題本身的復(fù)雜程度。21神經(jīng)元結(jié)構(gòu)與連接（12）神經(jīng)網(wǎng)絡(luò)的泛化性能還體現(xiàn)在網(wǎng)絡(luò)對(duì)噪聲BP網(wǎng)絡(luò)及其應(yīng)用舉例（1）感知器算法中，理想輸出與實(shí)際輸出之差被用來(lái)估計(jì)直接到達(dá)該神經(jīng)元的連接的權(quán)重的誤差。當(dāng)為解決線性不可分問(wèn)題而引入多級(jí)網(wǎng)絡(luò)后，如何估計(jì)網(wǎng)絡(luò)隱藏層的神經(jīng)元的誤差就成了難題。反向傳播網(wǎng)絡(luò)（Back-PropagationNetwork，簡(jiǎn)稱(chēng)BP網(wǎng)絡(luò)）在于利用輸出層的誤差來(lái)估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差。如此下去，就獲得了所有其他各層的誤差估計(jì)。這樣就形成了將輸出端表現(xiàn)出的誤差沿著與輸入信號(hào)傳送相反的方向逐級(jí)向網(wǎng)絡(luò)的輸入端傳遞的過(guò)程。22BP網(wǎng)絡(luò)及其應(yīng)用舉例（1）感知器算法中，理想輸出與實(shí)際輸出之BP網(wǎng)絡(luò)及其應(yīng)用舉例（2）BP算法是非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法。權(quán)值的調(diào)整采用反向傳播的學(xué)習(xí)算法，它是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是S型函數(shù)（也可以采用其他處處可導(dǎo)的激活函數(shù)）。輸出量為0到1之間的連續(xù)量，它可實(shí)現(xiàn)從輸入到輸出的任意的非線性映射。反向傳播采用的是Delta規(guī)則，按照梯度下降的方向修正各連接權(quán)的權(quán)值。BP網(wǎng)絡(luò)的缺陷：容易導(dǎo)致局部最小值、過(guò)度擬合以及收斂速度較慢等。23BP網(wǎng)絡(luò)及其應(yīng)用舉例（2）BP算法是非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法BP網(wǎng)絡(luò)及其應(yīng)用舉例（3）多層BP網(wǎng)絡(luò)是一種具有三層或三層以上的多層神經(jīng)網(wǎng)絡(luò)，每一層都由若干個(gè)神經(jīng)元組成，如下圖所示，它的左、右各層之間各個(gè)神經(jīng)元實(shí)現(xiàn)全連接，即左層的每個(gè)神經(jīng)元與右層的每個(gè)神經(jīng)元都有連接，而層內(nèi)的神經(jīng)元無(wú)連接。24ri1ri2rimO1O2OmBP網(wǎng)絡(luò)及其應(yīng)用舉例（3）多層BP網(wǎng)絡(luò)是一種具有三層或三層以BP網(wǎng)絡(luò)及其應(yīng)用舉例（4）一般地，BP網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生變量（影響因子或自變量），一般根據(jù)專(zhuān)業(yè)知識(shí)確定。輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)性能指標(biāo)或因變量），可以是一個(gè)，也可以是多個(gè)。事實(shí)上，增加隱藏層的層數(shù)和隱藏層神經(jīng)元的個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)的精度和表達(dá)能力。以下通過(guò)BP網(wǎng)絡(luò)模擬程序的運(yùn)行，展示網(wǎng)絡(luò)訓(xùn)練的過(guò)程以及實(shí)驗(yàn)證明上述論點(diǎn)。25BP網(wǎng)絡(luò)及其應(yīng)用舉例（4）一般地，BP網(wǎng)絡(luò)的輸入變量即為待分BP網(wǎng)絡(luò)及其應(yīng)用舉例（5）問(wèn)題描述：基于神經(jīng)網(wǎng)絡(luò)及其模型優(yōu)化技術(shù)，對(duì)大規(guī)模肉雞養(yǎng)殖中性能預(yù)測(cè)問(wèn)題進(jìn)行深入研究和建模實(shí)現(xiàn)。大量的研究揭示了氣象因素是影響家禽生長(zhǎng)的最重要的環(huán)節(jié)因素之一。采用小雞和成雞的兩階段季節(jié)性因素進(jìn)行建模，即單因素兩輸入模型。溫度->上市率26BP網(wǎng)絡(luò)及其應(yīng)用舉例（5）問(wèn)題描述：26BP網(wǎng)絡(luò)及其應(yīng)用舉例（6）應(yīng)用集均方差比對(duì)圖27BP網(wǎng)絡(luò)及其應(yīng)用舉例（6）應(yīng)用集均方差比對(duì)圖27BP網(wǎng)絡(luò)及其應(yīng)用舉例（7）由于知識(shí)是分布表示的，所以人工神經(jīng)網(wǎng)絡(luò)可以在實(shí)際應(yīng)用中根據(jù)不斷獲取的經(jīng)驗(yàn)來(lái)增加自己的處理能力。因此，它的學(xué)習(xí)可以不是一次完成的。這就要求在一定的范圍內(nèi)，網(wǎng)絡(luò)在學(xué)會(huì)新知識(shí)的同時(shí)，保持原來(lái)學(xué)會(huì)的東西不被忘記。這種特性被稱(chēng)作可塑性。BP網(wǎng)絡(luò)不具有這種可塑性。BP網(wǎng)絡(luò)接收樣本的順序也會(huì)對(duì)訓(xùn)練的結(jié)果有一定影響。比較而言，它更“偏愛(ài)”較后出現(xiàn)的樣本。因?yàn)锽P根據(jù)后來(lái)的樣本修改網(wǎng)絡(luò)的連接矩陣時(shí)，進(jìn)行的是全面的修改，這使得“信息的破壞”不是局部的。28BP網(wǎng)絡(luò)及其應(yīng)用舉例（7）由于知識(shí)是分布表示的，所以人工神經(jīng)Hopfield網(wǎng)絡(luò)及其應(yīng)用舉例（1）在非循環(huán)網(wǎng)中，信息被從輸入端加在網(wǎng)上，通過(guò)網(wǎng)絡(luò)的逐級(jí)加工，最后由輸出端輸出。這個(gè)過(guò)程不存在信號(hào)的反饋。在循環(huán)網(wǎng)中，網(wǎng)絡(luò)在接收到一個(gè)信號(hào)后，它要讓這個(gè)信號(hào)在網(wǎng)絡(luò)中經(jīng)過(guò)反反復(fù)復(fù)的循環(huán)處理，直到變化停止，或者變化的幅度足夠小時(shí)，網(wǎng)絡(luò)在此時(shí)可給出的相應(yīng)輸出才能算是它的輸出。顯然，對(duì)一個(gè)給定的輸入，網(wǎng)絡(luò)輸出的不斷變化是由它的反饋信號(hào)引起的。網(wǎng)絡(luò)對(duì)輸入信號(hào)進(jìn)行的處理是一個(gè)逐漸“修復(fù)”、“加強(qiáng)”的過(guò)程。29Hopfield網(wǎng)絡(luò)及其應(yīng)用舉例（1）在非循環(huán)網(wǎng)中，信息被從Hopfield網(wǎng)絡(luò)及其應(yīng)用舉例（2）Hopfield網(wǎng)絡(luò)是有反饋的全互聯(lián)型網(wǎng)絡(luò)，其形式如下圖所示，網(wǎng)絡(luò)中各神經(jīng)元彼此互相連接，即每個(gè)神經(jīng)元將自己的輸出通過(guò)連接權(quán)傳給其它神經(jīng)元，同時(shí)每個(gè)神經(jīng)元接受其它神經(jīng)元傳來(lái)的信息。30Hopfield網(wǎng)絡(luò)及其應(yīng)用舉例（2）Hopfield網(wǎng)絡(luò)是Hopfield網(wǎng)絡(luò)及其應(yīng)用舉例（3）Hopfield網(wǎng)絡(luò)的穩(wěn)定性是由能量函數(shù)來(lái)描述的，即對(duì)網(wǎng)絡(luò)的每個(gè)狀態(tài)發(fā)生變化時(shí)，能量函數(shù)E隨網(wǎng)絡(luò)狀態(tài)變化而嚴(yán)格單調(diào)遞減，這樣Hopfield模型的穩(wěn)定與能量函數(shù)E在狀態(tài)空間的局部極小點(diǎn)將一一對(duì)應(yīng)。Hopfield網(wǎng)絡(luò)作為記憶的學(xué)習(xí)時(shí)，穩(wěn)定狀態(tài)是給定的，通過(guò)網(wǎng)絡(luò)的學(xué)習(xí)求適合的權(quán)矩陣W（對(duì)稱(chēng)陣），學(xué)習(xí)完成后以計(jì)算的方式進(jìn)行聯(lián)想。31Hopfield網(wǎng)絡(luò)及其應(yīng)用舉例（3）Hopfield網(wǎng)絡(luò)的Hopfield網(wǎng)絡(luò)及其應(yīng)用舉例（4）問(wèn)題描述：設(shè)計(jì)一個(gè)Hopfield網(wǎng)絡(luò)，使其具有聯(lián)想記憶功能，能正確識(shí)別阿拉伯?dāng)?shù)字，當(dāng)數(shù)字被噪聲污染后仍可以正確地識(shí)別。程序流程：先設(shè)計(jì)好標(biāo)準(zhǔn)的數(shù)字點(diǎn)陣（本文采用10*10矩陣表示），根據(jù)這些標(biāo)準(zhǔn)的數(shù)字點(diǎn)陣創(chuàng)建并訓(xùn)練網(wǎng)絡(luò)，使網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)，用帶噪聲的數(shù)字測(cè)試訓(xùn)練的網(wǎng)絡(luò)。32Hopfield網(wǎng)絡(luò)及其應(yīng)用舉例（4）問(wèn)題描述：32Hopfield網(wǎng)絡(luò)及其應(yīng)用舉例（5）流程圖如下：33設(shè)計(jì)數(shù)字點(diǎn)陣（0-9）創(chuàng)建Hopfield網(wǎng)絡(luò)產(chǎn)生帶噪聲的數(shù)字點(diǎn)陣數(shù)字識(shí)別測(cè)試結(jié)果分析Hopfield網(wǎng)絡(luò)及其應(yīng)用舉例（5）流程圖如下：33設(shè)計(jì)數(shù)神經(jīng)網(wǎng)絡(luò)重要結(jié)論（1）傳統(tǒng)人工智能系統(tǒng)中所用的方法是知識(shí)的顯式表示，而神經(jīng)網(wǎng)絡(luò)中的知識(shí)表示是一種隱式的表示方法?；谏窠?jīng)網(wǎng)絡(luò)的知識(shí)推理實(shí)質(zhì)上是在一個(gè)已經(jīng)訓(xùn)練成熟的網(wǎng)絡(luò)基礎(chǔ)上對(duì)未知樣本進(jìn)行反應(yīng)或者判斷。在網(wǎng)絡(luò)推理中不會(huì)出現(xiàn)傳統(tǒng)人工智能系統(tǒng)中推理的沖突問(wèn)題；網(wǎng)絡(luò)推理只與輸入及網(wǎng)絡(luò)自身的參數(shù)有關(guān)，而這些參數(shù)又是通過(guò)使用學(xué)習(xí)算法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到的，因此它是一種自適應(yīng)推理。34神經(jīng)網(wǎng)絡(luò)重要結(jié)論（1）傳統(tǒng)人工智能系統(tǒng)中所用的方法是知識(shí)的顯神經(jīng)網(wǎng)絡(luò)重要結(jié)論（2）過(guò)于簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)預(yù)測(cè)效果不佳，而過(guò)于復(fù)雜的結(jié)構(gòu)則容易產(chǎn)生“過(guò)擬合”。學(xué)習(xí)步長(zhǎng)的選擇很重要，過(guò)大容易振蕩，無(wú)法收斂到深窄的極小點(diǎn)，過(guò)小則容易爬行，或陷入局部極小。要想得到準(zhǔn)確度高的模型，必須認(rèn)真地進(jìn)行數(shù)據(jù)清洗、整理、轉(zhuǎn)換、選擇等工作。神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性和訓(xùn)