第9章 人工神經(jīng)網(wǎng)絡簡介課件

第9章人工神經(jīng)網(wǎng)絡第9章人工神經(jīng)網(wǎng)絡簡介

人工神經(jīng)網(wǎng)絡是集腦科學、神經(jīng)心理學和信息科學等多學科的交叉研究領域，是近年來高科技領域的一個研究熱點。它的研究目標是通過研究人腦的組成機理和思維方式，探索人類智能的奧秘，進而通過模擬人腦的結構和工作模式，使機器具有類似人類的智能。它已在模式識別、機器學習、專家系統(tǒng)等多個方面得到應用，成為人工智能研究中的活躍領域。本章將簡要介紹神經(jīng)網(wǎng)絡基本的概念、模型以及學習算法。

第9章人工神經(jīng)網(wǎng)絡簡介9.1.1生物神經(jīng)元的結構與功能特性

1.生物神經(jīng)元的結構

神經(jīng)細胞是構成神經(jīng)系統(tǒng)的基本單元，稱之為生物神經(jīng)元，簡稱神經(jīng)元。神經(jīng)元主要由三部分構成：（1）細胞體;（2）軸突;（3）樹突;(如圖9.1)圖9.1生物神經(jīng)元結構9.1神經(jīng)網(wǎng)絡的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡簡介

突觸是神經(jīng)元之間相互連接的接口部分，即一個神經(jīng)元的神經(jīng)末梢與另一個神經(jīng)元的樹突相接觸的交界面，位于神經(jīng)元的神經(jīng)末梢尾端。突觸是軸突的終端。

2.神經(jīng)元的功能特性（1）時空整合功能。（2）神經(jīng)元的動態(tài)極化性。（3）興奮與抑制狀態(tài)。（4）結構的可塑性。（5）脈沖與電位信號的轉換。（6）突觸延期和不應期。（7）學習、遺忘和疲勞。9.1神經(jīng)網(wǎng)絡的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡簡介9.1.2人工神經(jīng)網(wǎng)絡的組成與結構

1.人工神經(jīng)網(wǎng)絡的組成人工神經(jīng)網(wǎng)絡（簡稱ANN）是由大量處理單元經(jīng)廣泛互連而組成的人工網(wǎng)絡，用來模擬腦神經(jīng)系統(tǒng)的結構和功能。而這些處理單元我們把它稱作人工神經(jīng)元。人工神經(jīng)網(wǎng)絡（ANN）可看成是以人工神經(jīng)元為節(jié)點，用有向加權弧連接起來的有向圖。在此有向圖中，人工神經(jīng)元就是對生物神經(jīng)元的模擬，而有向弧則是軸突—突觸—樹突對的模擬。有向弧的權值表示相互連接的兩個人工神經(jīng)元間相互作用的強弱。9.1神經(jīng)網(wǎng)絡的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡簡介

圖9.2人工神經(jīng)網(wǎng)絡的組成

圖9.3M－P神經(jīng)元模型

9.1神經(jīng)網(wǎng)絡的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡簡介

2.人工神經(jīng)元的工作過程

對于某個處理單元（神經(jīng)元）來說，假設來自其他處理單元（神經(jīng)元）i的信息為Xi，它們與本處理單元的互相作用強度即連接權值為Wi,i=0,1,…,n-1,處理單元的內部閾值為θ。那么本處理單元（神經(jīng)元）的輸入為而處理單元的輸出為（9.1.1）（9.1.2）式中，xi為第i個元素的輸入，wi為第i個處理單元與本處理單元的互聯(lián)權重。f稱為激發(fā)函數(shù)或作用函數(shù)，它決定節(jié)點（神經(jīng)元）的輸出。9.1神經(jīng)網(wǎng)絡的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡簡介

(a)閾值型(b)分段線性型(c)Sigmoid函數(shù)型(d)雙曲正切型圖常用的激發(fā)函數(shù)這里，激發(fā)函數(shù)一般具有非線性特性,常用的非線性激發(fā)函數(shù)如圖所示稱為激活值9.1神經(jīng)網(wǎng)絡的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡簡介

閾值型函數(shù)又稱階躍函數(shù)，它表示激活值σ和其輸出f(σ)之間的關系。閾值型函數(shù)為激發(fā)函數(shù)的神經(jīng)元是一種最簡單的人工神經(jīng)元，也就是我們前面提到的M-P模型。線性分段函數(shù)可以看作是一種最簡單的非線性函數(shù)，它的特點是將函數(shù)的值域限制在一定的范圍內，其輸入、輸出之間在一定范圍內滿足線性關系，一直延續(xù)到輸出為最大域值為止。但當達到最大值后，輸出就不再增大。

S型函數(shù)是一個有最大輸出值的非線性函數(shù)，其輸出值是在某個范圍內連續(xù)取值的。以它為激發(fā)函數(shù)的神經(jīng)元也具有飽和特性。雙曲正切型函數(shù)實際只是一種特殊的S型函數(shù)，其飽和值是－1和1。9.1神經(jīng)網(wǎng)絡的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡簡介3.人工神經(jīng)網(wǎng)絡的結構人工神經(jīng)網(wǎng)絡中，各神經(jīng)元的不同連接方式就構成了網(wǎng)絡的不同連接模型。常見的連接模型有:

前向網(wǎng)絡。從輸入層到輸出層有反饋的網(wǎng)絡。層內有互聯(lián)的網(wǎng)絡。互聯(lián)網(wǎng)絡。9.1神經(jīng)網(wǎng)絡的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡簡介4.人工神經(jīng)網(wǎng)絡的分類及其主要特征分類按性能分：連續(xù)型和離散型網(wǎng)絡，或確定型和隨機型網(wǎng)絡。按拓撲結構分：有反饋網(wǎng)絡和無反饋網(wǎng)絡。按學習方法分：有教師的學習網(wǎng)絡和無教師的學習網(wǎng)絡。按連接突觸性質分：一階線性關聯(lián)網(wǎng)絡和高階非線性關聯(lián)網(wǎng)絡。9.1神經(jīng)網(wǎng)絡的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡簡介

人工神經(jīng)網(wǎng)絡具有以下主要特征：（1）能較好的模擬人的形象思維。（2）具有大規(guī)模并行協(xié)同處理能力。（3）具有較強的學習能力。（4）具有較強的容錯能力和聯(lián)想能力。（5）是一個大規(guī)模自組織、自適應的非線性動力系統(tǒng)。9.1神經(jīng)網(wǎng)絡的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡簡介9.1.3人工神經(jīng)網(wǎng)絡研究的興起與發(fā)展人工神經(jīng)網(wǎng)絡的研究經(jīng)歷了不少的曲折，大體上可分為四個階段:

產生時期(20世紀50年代中期之前)

高潮時期(20世紀50年代中期到20世紀60年代末期)

低潮時期(20世紀60年代末到20世紀80年代初期)

蓬勃發(fā)展時期(20世紀80年代以后)9.1神經(jīng)網(wǎng)絡的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡簡介9.2.1感知器模型

感知器模型是美國學者羅森勃拉特（Rosenblatt）為研究大腦的存儲、學習和認知過程而提出的一類具有自學習能力的神經(jīng)網(wǎng)絡模型，它把神經(jīng)網(wǎng)絡的研究從純理論探討引向了從工程上的實現(xiàn)。

Rosenblatt提出的感知器模型是一個只有單層計算單元的前向神經(jīng)網(wǎng)絡，稱為單層感知器。教材中圖9.5所示的即為一個單層感知器模型。9.2感知器模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介9.2.2單層感知器模型的學習算法算法思想：首先把連接權和閾值初始化為較小的非零隨機數(shù)，然后把有n個連接權值的輸入送入網(wǎng)絡，經(jīng)加權運算處理，得到的輸出如果與所期望的輸出有較大的差別，就對連接權值參數(shù)按照某種算法進行自動調整，經(jīng)過多次反復，直到所得到的輸出與所期望的輸出間的差別滿足要求為止。為簡單起見，僅考慮只有一個輸出的簡單情況。設xi(t)是時刻t感知器的輸入（i=1,2,......,n），ωi(t)是相應的連接權值，y(t)是實際的輸出，d(t)是所期望的輸出，且感知器的輸出或者為1，或者為0，則單層感知器的學習算法請參見教材P3259.2感知器模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介9.2.3線性不可分問題

單層感知器不能表達的問題被稱為線性不可分問題。1969年，明斯基證明了“異或”問題是線性不可分問題：

“異或”（XOR）運算的定義如下：其相應的邏輯運算真值表如表9-1所示。（見教材）9.2感知器模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介由于單層感知器的輸出為

y(x1,x2)=f(ω1×x1+ω2×x2-θ)所以，用感知器實現(xiàn)簡單邏輯運算的情況如下：

（1）“與”運算（x1∧x2）令ω1=ω2=1，θ=2，則

y=f(1×x1+1×x2-2)顯然，當x1和x2均為1時，y的值1；而當x1和x2有一個為0時，y的值就為0。（2）“或”運算（x1∨x2）令ω1=ω2=1,θ=0.5y=f(1×x1+1×x2-0.5)顯然，只要x1和x2中有一個為1，則y的值就為1；只有當x1和x2都為0時，y的值才為0。9.2感知器模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介（3）“非”運算（～X1）令ω1=-1，ω2=O，θ=-0.5，則

y=f((-1)×x1+1×x2+0.5))顯然，無論x2為何值，x1為1時，y的值都為0；x1為O時，y的值為1。即y總等于～x1。（4）“異或”運算（x1XORx2）如果“異或”（XOR）問題能用單層感知器解決，則由XOR的真值表9-1可知，ω1、ω2

和θ必須滿足如下方程組：

ω1+ω2-θ＜0ω1+0-θ≥00+0-θ＜00+ω2-θ≥0顯然，該方程組是無解，這就說明單層感知器是無法解決異或問題的。9.2感知器模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介

異或問題是一個只有兩個輸入和一個輸出，且輸入輸出都只取1和0兩個值的問題，分析起來比較簡單。對于比較復雜的多輸入變量函數(shù)來說，到底有多少是線性可分的？多少是線性不可分的呢？相關研究表明（參見文獻[19]），線性不可分函數(shù)的數(shù)量隨著輸入變量個數(shù)的增加而快速增加，甚至遠遠超過了線性可分函數(shù)的個數(shù)。也就是說，單層感知器不能表達的問題的數(shù)量遠遠超過了它所能表達的問題的數(shù)量。這也難怪當Minsky給出單層感知器的這一致命缺陷時，會使人工神經(jīng)網(wǎng)絡的研究跌入漫長的黑暗期。9.2感知器模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介9.2.4多層感知器

在單層感知器的輸入部分和輸出層之間加入一層或多層處理單元，就構成了二層或多層感知器。在多層感知器模型中，只允許某一層的連接權值可調，這是因為無法知道網(wǎng)絡隱層的神經(jīng)元的理想輸出，因而難以給出一個有效的多層感知器學習算法。多層感知器克服了單層感知器的許多缺點，原來一些單層感知器無法解決的問題，在多層感知器中就可以解決。例如，應用二層感知器就可以解決異或邏輯運算問題，如圖9.8所示(見教材P329)。9.2感知器模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介9.3.1反向傳播模型及其網(wǎng)絡結構反向傳播模型也稱B-P模型，是一種用于前向多層的反向傳播學習算法。之所以稱它是一種學習方法，是因為用它可以對組成前向多層網(wǎng)絡的各人工神經(jīng)元之間的連接權值進行不斷的修改，從而使該前向多層網(wǎng)絡能夠將輸入它的信息變換成所期望的輸出信息。之所以將其稱作為反向學習算法，是因為在修改各人工神經(jīng)元的連接權值時，所依據(jù)的是該網(wǎng)絡的實際輸出與其期望的輸出之差，將這一差值反向一層一層的向回傳播，來決定連接權值的修改。9.3反向傳播模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介B-P算法的網(wǎng)絡結構是一個前向多層網(wǎng)絡，如圖所示。9.3反向傳播模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介9.3.2反向傳播網(wǎng)絡的學習算法B-P算法的學習目的是對網(wǎng)絡的連接權值進行調整，使得調整后的網(wǎng)絡對任一輸入都能得到所期望的輸出。學習過程由正向傳播和反向傳播組成。正向傳播用于對前向網(wǎng)絡進行計算，即對某一輸入信息，經(jīng)過網(wǎng)絡計算后求出它的輸出結果。反向傳播用于逐層傳遞誤差，修改神經(jīng)元間的連接權值，以使網(wǎng)絡對輸入信息經(jīng)過計算后所得到的輸出能達到期望的誤差要求。9.3反向傳播模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介B-P算法的學習過程如下：（1）選擇一組訓練樣例，每一個樣例由輸入信息和期望的輸出結果兩部分組成。（2）從訓練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡中。（3）分別計算經(jīng)神經(jīng)元處理后的各層節(jié)點的輸出。（4）計算網(wǎng)絡的實際輸出和期望輸出的誤差。（5）從輸出層反向計算到第一個隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調整網(wǎng)絡中各神經(jīng)元的連接權值。（6）對訓練樣例集中的每一個樣例重復（3）—（5）的步驟，直到對整個訓練樣例集的誤差達到要求時為止。9.3反向傳播模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介

在以上的學習過程中，第（5）步是最重要的，如何確定一種調整連接權值的原則，使誤差沿著減小的方向發(fā)展，是B-P學習算法必須解決的問題。9.3反向傳播模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介圖9.11B-P學習算法的流程圖第9章人工神經(jīng)網(wǎng)絡簡介B-P算法的優(yōu)缺點：優(yōu)點：理論基礎牢固，推導過程嚴謹，物理概念清晰，通用性好等。所以，它是目前用來訓練前向多層網(wǎng)絡較好的算法。缺點：（1）該學習算法的收斂速度慢；（2）網(wǎng)絡中隱節(jié)點個數(shù)的選取尚無理論上的指導；（3）從數(shù)學角度看，B-P算法是一種梯度最速下降法，這就可能出現(xiàn)局部極小的問題。當出現(xiàn)局部極小時，從表面上看，誤差符合要求，但這時所得到的解并不一定是問題的真正解。所以B-P算法是不完備的。9.3反向傳播模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介9.3.3反向傳播計算的舉例設圖9.12是一個簡單的前向傳播網(wǎng)絡，用B-P算法確定其中的各連接權值時，的計算方法如下：9.3反向傳播模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介9.3反向傳播模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介9.3反向傳播模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介9.3反向傳播模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介9.4.1Hopfield模型Hopfield模型是霍普菲爾德分別于1982年及1984提出的兩個神經(jīng)網(wǎng)絡模型。1982年提出的是離散型，1984年提出的是連續(xù)型，但它們都是反饋網(wǎng)絡結構。圖9.13給出了一個簡單的反饋神經(jīng)網(wǎng)絡圖。9.4Hopfield模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介

由于在反饋網(wǎng)絡中，網(wǎng)絡的輸出要反復地作為輸入再送入網(wǎng)絡中，這就使得網(wǎng)絡具有了動態(tài)性，網(wǎng)絡的狀態(tài)在不斷的改變之中，因而就提出了網(wǎng)絡的穩(wěn)定性問題。所謂一個網(wǎng)絡是穩(wěn)定的是指從某一時刻開始，網(wǎng)絡的狀態(tài)不再改變。設用X(t)表示網(wǎng)絡在時刻t的狀態(tài)，如果從t=０的任一初態(tài)X(0)開始，存在一個有限的時刻t，使得從此時刻開始神經(jīng)網(wǎng)絡的狀態(tài)不再發(fā)生變化，即

(9.4.1)

就稱此網(wǎng)絡是穩(wěn)定的。9.4Hopfield模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介

離散網(wǎng)絡模型是一個離散時間系統(tǒng)，每個神經(jīng)元只有兩個狀態(tài)，可以用1和0來表示，由連接權值Ｗij所構成的矩陣是一個對角線為0的對稱矩陣，即

(9.4.2）

如果用x(t)表示整個網(wǎng)絡在時刻ｔ的狀態(tài)，則X是一個向量，它包含了網(wǎng)絡中每個人工神經(jīng)元的狀態(tài)。所以，狀態(tài)向量X中的分量個數(shù)就是網(wǎng)絡中人工神經(jīng)元的個數(shù)。假設網(wǎng)絡中的節(jié)點（人工神經(jīng)元）個數(shù)為n，則向量X的構成如下：9.4Hopfield模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介

這里，,其中的Ｗij為節(jié)點ｉ到節(jié)點ｊ的連接權值；為節(jié)點ｊ的閾值。

(9.4.3)Xi(t)表示節(jié)點i（第個i神經(jīng)元）在時刻t的狀態(tài)，該節(jié)點在時刻t+1的狀態(tài)由下式?jīng)Q定：(9.4.4)9.4Hopfield模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介

Hopfield網(wǎng)絡離散模型有兩種工作模式：（1）串行方式，是指在任一時刻t，只有一個神經(jīng)元i發(fā)生狀態(tài)變化，而其余的神經(jīng)元保持狀態(tài)不變。（2）并行方式，是指在任一時刻t，都有部分或全體神經(jīng)元同時改變狀態(tài)。有關離散的Hopfield網(wǎng)絡的穩(wěn)定性問題，已于1983年由Cohen和Grossberg給于了證明。而Hopfield等人又進一步證明，只要連接權值構成的矩陣是非負對角元的對稱矩陣，則該網(wǎng)絡就具有串行穩(wěn)定性。9.4Hopfield模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介

1984年，Hopfield又提出了連續(xù)時間的神經(jīng)網(wǎng)絡，在這種神經(jīng)網(wǎng)絡中，各節(jié)點可在0到1的區(qū)間內取任一實數(shù)值。

Hopfield網(wǎng)絡是一種非線性的動力網(wǎng)絡，可通過反復的網(wǎng)絡動態(tài)迭代來求解問題，這是符號邏輯方法所不具有的特性。在求解某些問題時，其求解問題的方法與人類求解問題的方法很相似，雖然所求得的解不是最佳解，但其求解速度快，更符合人們日常解決問題的策略9.4Hopfield模型及其學習算法第9章人工神經(jīng)網(wǎng)絡簡介9.4.2Hopfield網(wǎng)絡的學習算法(1)設置互連權值。