神經(jīng)網(wǎng)絡(luò)典型模型的比較研究

神經(jīng)網(wǎng)絡(luò)典型模型的比較研究杜華英杜華英(1975—杜華英(1975—)，女，江西樟樹人，惠州學(xué)院成教處計(jì)算機(jī)工程師，主研人工智能，中南大學(xué)信息科學(xué)與工程學(xué)院在讀工程碩士。趙躍龍(1958—)，男，湖南湘潭人，中南大學(xué)信息科學(xué)與工程學(xué)院計(jì)算機(jī)系教授，主要從事計(jì)算機(jī)體系結(jié)構(gòu)、磁盤陣列、計(jì)算機(jī)控制、神經(jīng)網(wǎng)絡(luò)應(yīng)用等方面的研究。（中南大學(xué)信息科學(xué)與工程學(xué)院，湖南長(zhǎng)沙410083）摘要神經(jīng)網(wǎng)絡(luò)是近年來(lái)發(fā)展起來(lái)的一門新興學(xué)科，具有較高的研究?jī)r(jià)值，本文介紹了神經(jīng)網(wǎng)絡(luò)的基本概念，針對(duì)神經(jīng)網(wǎng)絡(luò)在不同的應(yīng)用領(lǐng)域如何選取問(wèn)題，對(duì)感知器、BP網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)和ART網(wǎng)絡(luò)四種神經(jīng)網(wǎng)絡(luò)模型在優(yōu)缺點(diǎn)、有無(wú)教師方式、學(xué)習(xí)規(guī)則、正反向傳播、應(yīng)用領(lǐng)域等方面進(jìn)行了比較研究?？衫闷涮攸c(diǎn)有針對(duì)性地將神經(jīng)網(wǎng)絡(luò)應(yīng)用于計(jì)算機(jī)視覺、圖像處理、模式識(shí)別、信號(hào)處理、智能監(jiān)控、機(jī)器人等不同領(lǐng)域。關(guān)鍵詞神經(jīng)網(wǎng)絡(luò)；感知器；BP網(wǎng)絡(luò)；Hopfield網(wǎng)絡(luò)；ART網(wǎng)絡(luò)1引言人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork,ANN）是模仿生物神經(jīng)網(wǎng)絡(luò)功能的一種經(jīng)驗(yàn)?zāi)Ｐ?。生物神?jīng)元受到傳入的刺激，其作出的反應(yīng)又從輸出端傳到相連的其它神經(jīng)元，輸入和輸出之間的變換關(guān)系一般是非線性的。神經(jīng)網(wǎng)絡(luò)是由若干簡(jiǎn)單元件及其層次組織，以大規(guī)模并行連接方式構(gòu)造而成的網(wǎng)絡(luò)，按照生物神經(jīng)網(wǎng)絡(luò)類似的方式處理輸入的信息。模仿生物神經(jīng)網(wǎng)絡(luò)而建立的人工神經(jīng)網(wǎng)絡(luò)，對(duì)輸入信號(hào)有功能強(qiáng)大的反應(yīng)和處理能力。若干神經(jīng)元連接成網(wǎng)絡(luò)，其中的一個(gè)神經(jīng)元可以接受多個(gè)輸入信號(hào)，按照一定的規(guī)則轉(zhuǎn)換為輸出信號(hào)。由于神經(jīng)網(wǎng)絡(luò)中神經(jīng)元間復(fù)雜的連接關(guān)系和各神經(jīng)元傳遞信號(hào)的非線性方式，輸入和輸出信號(hào)間可以構(gòu)建出各種各樣的關(guān)系，因此在運(yùn)行網(wǎng)絡(luò)時(shí)，可視為一個(gè)“黑箱”模型，不必考慮其內(nèi)部具體情況。人工神經(jīng)網(wǎng)絡(luò)模擬人類部分形象思維的能力，是模擬人工智能的一條途徑，特別是可以利用人工神經(jīng)網(wǎng)絡(luò)解決人工智能研究中所遇到的一些難題。目前，人工神經(jīng)網(wǎng)絡(luò)理論的應(yīng)用已經(jīng)滲透到多個(gè)領(lǐng)域，在計(jì)算機(jī)視覺、圖像處理、模式識(shí)別、信號(hào)處理、智能監(jiān)控、機(jī)器人等方面取得了可喜的進(jìn)展。2神經(jīng)網(wǎng)絡(luò)的典型模型在人們提出的幾十種神經(jīng)網(wǎng)絡(luò)模型中，人們用得較多的是感知器、BP網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)和ART網(wǎng)絡(luò)。2.1感知器[2]羅森勃拉特（Rosenblatt）于1957年提出的感知器模型是一組可訓(xùn)練的分類器，為最古老的ANN之一，現(xiàn)已很少使用。然而，它把神經(jīng)網(wǎng)絡(luò)的研究從純理論探討引向了工程上的實(shí)現(xiàn)，在神經(jīng)網(wǎng)絡(luò)的發(fā)展史上占有重要的地位。盡管它有較大的局限性，甚至連簡(jiǎn)單的異或(XOR)邏輯運(yùn)算都不能實(shí)現(xiàn)，但它畢竟是最先提出來(lái)的網(wǎng)絡(luò)模型，而且它提出的自組織、自學(xué)習(xí)思想及收斂算法對(duì)后來(lái)發(fā)展起來(lái)的網(wǎng)絡(luò)模型都產(chǎn)生了重要的影響，甚至可以說(shuō)，后來(lái)發(fā)展的網(wǎng)絡(luò)模型都是對(duì)它的改進(jìn)與推廣。最初的感知器是一個(gè)只有單層計(jì)算單元的前向神經(jīng)網(wǎng)絡(luò)，由線性閾值單元組成，稱為單層感知器，后來(lái)針對(duì)其局限性進(jìn)行了改進(jìn)，提出了多層感知器。線性閾值單元是前向網(wǎng)絡(luò)(又稱前饋網(wǎng)絡(luò))中最基本的計(jì)算單元，它具有n個(gè)輸入(x1，x2，x3，…，xn)，一個(gè)輸出y，n個(gè)連接權(quán)值(w1，w2，w3，，…，wn)，且符合下式：?jiǎn)屋敵龅母兄髂Ｐ腿鐖D1所示。yy┆x2w2x3w3xnwnx1w1∑f圖1單輸出的感知器單輸出的感知器的缺點(diǎn)是只能作線性分類；只能是0和1的輸出值；由于學(xué)習(xí)規(guī)則的局限性，當(dāng)輸入差別較大時(shí)，收斂較慢。如需解決感知器只能作線性分類的問(wèn)題，可采用神經(jīng)網(wǎng)絡(luò)的另一種經(jīng)典模型——BP網(wǎng)絡(luò)。2.2BP網(wǎng)絡(luò)[1][4][5]BP網(wǎng)絡(luò)是誤差反向傳播(BackPropagation)網(wǎng)絡(luò)。最初由Werbos開發(fā)的反向傳播訓(xùn)練算法是一種迭代梯度算法，用于求解前饋網(wǎng)絡(luò)的實(shí)際輸出與期望輸出間的最小均方差值。它是一種多層前向網(wǎng)絡(luò)，采用最小均方差學(xué)習(xí)方式。當(dāng)參數(shù)適當(dāng)時(shí)，此網(wǎng)絡(luò)能夠收斂到較小的均方差，是目前應(yīng)用最廣的網(wǎng)絡(luò)之一。它可用于語(yǔ)言綜合，識(shí)別和自適應(yīng)控制等用途。B-P模型是一種用于前向多層神經(jīng)網(wǎng)絡(luò)的誤差反向傳播學(xué)習(xí)算法，由魯梅爾哈特(D.Ruvmelhar)和麥克萊倫德(McClelland)于1985年提出。B-P算法用于多層網(wǎng)絡(luò)，網(wǎng)絡(luò)中不僅有輸入層節(jié)點(diǎn)及輸出層節(jié)點(diǎn)，而且還有一層至多層隱層節(jié)點(diǎn)。圖2所示模型是只有一層隱層節(jié)點(diǎn)的BP網(wǎng)絡(luò)。輸入層輸入層輸出層隱層┇┇┇x1x2xny1y2yn圖2BP網(wǎng)絡(luò)當(dāng)有信息向網(wǎng)絡(luò)輸入時(shí)，信息首先由輸入層傳至隱層節(jié)點(diǎn)，經(jīng)特性函數(shù)作用后，再傳至下一隱層，直到最終傳至輸出層進(jìn)行輸出，其間每經(jīng)過(guò)一層都要由相應(yīng)的特性函數(shù)進(jìn)行變換，節(jié)點(diǎn)的特性函數(shù)通常選用S型函數(shù)，例如：BP網(wǎng)絡(luò)具有多個(gè)輸出值，可以進(jìn)行非線性分類，其缺點(diǎn)是訓(xùn)練時(shí)間比較長(zhǎng)，易陷于局部極小，且收斂的速度依舊慢。2.3Hopfield網(wǎng)絡(luò)[3]Hopfield網(wǎng)絡(luò)是最典型的反饋網(wǎng)絡(luò)模型，它是目前人們研究得最多的模型之一。Hopfield網(wǎng)絡(luò)是由相同的神經(jīng)元構(gòu)成的單層，并且不具學(xué)習(xí)功能的自聯(lián)想網(wǎng)絡(luò)，可以完成制約優(yōu)化和聯(lián)想記憶等功能。Hopfield模型是霍普菲爾特（Hopfield）分別于1982年及1984年提出的兩個(gè)神經(jīng)網(wǎng)絡(luò)模型，一個(gè)是離散的，一個(gè)是連續(xù)的，但它們都屬于反饋網(wǎng)絡(luò)，即它們從輸入層至輸出層都有反饋存在。如圖3是一個(gè)單層反饋神經(jīng)網(wǎng)絡(luò)。圖3圖3單層反饋神經(jīng)網(wǎng)絡(luò)┇┇x1x2xny1y2yn霍普菲爾特提出的離散網(wǎng)絡(luò)模型是一個(gè)離散時(shí)間系統(tǒng)，每個(gè)神經(jīng)元只有兩種狀態(tài)，可用1和-1，或者1和0表示，由連接權(quán)值wij所構(gòu)成的矩陣是一個(gè)零對(duì)角的對(duì)稱矩陣，即在該網(wǎng)絡(luò)中，每當(dāng)有信息進(jìn)入輸入層時(shí)，在輸入層不做任何計(jì)算，直接將輸入信息分布地傳遞給下一層各有關(guān)節(jié)點(diǎn)。若用Xj(t)表示節(jié)點(diǎn)j在時(shí)刻t的狀態(tài)．則該節(jié)點(diǎn)在下一時(shí)刻(即t+1)的狀態(tài)由下式?jīng)Q定：其中，wij為從節(jié)點(diǎn)i到節(jié)點(diǎn)j的連接權(quán)值；θj為節(jié)點(diǎn)j的閾值。Hopfield網(wǎng)是一類不具有學(xué)習(xí)能力的單層自聯(lián)想網(wǎng)絡(luò)。它的網(wǎng)絡(luò)模型由一組可使某一個(gè)能量函數(shù)最小的微分方程組成。其不足之處是計(jì)算代價(jià)較高，而且需要對(duì)稱連接。2.4ART網(wǎng)絡(luò)[2]ART(自適應(yīng)諧振理論)網(wǎng)絡(luò)是一種自組織網(wǎng)絡(luò)模型。它是由Grossberg提出的，是一個(gè)根據(jù)可選參數(shù)對(duì)輸入數(shù)據(jù)進(jìn)行粗略分類的網(wǎng)絡(luò)。它是一種無(wú)教師學(xué)習(xí)網(wǎng)絡(luò)。它能夠較好地協(xié)調(diào)適應(yīng)性，穩(wěn)定性和復(fù)雜性的要求。在ART網(wǎng)絡(luò)中，通常需要兩個(gè)功能互補(bǔ)的子系統(tǒng)相互作用．這兩個(gè)子系統(tǒng)稱注意子系統(tǒng)和取向子系統(tǒng)。ART網(wǎng)絡(luò)具有不同的版本。圖4表示的是ART-１版本，用于處理二元輸入。新的版本，如ART-２，能夠處理連續(xù)值輸入。圖4一個(gè)圖4一個(gè)ART-1網(wǎng)絡(luò)自頂向下權(quán)V自底向上權(quán)W┇┇輸出層輸入層從圖4可見，一個(gè)ART-１網(wǎng)絡(luò)含有兩層，一個(gè)輸入層和一個(gè)輸出層。這兩層完全互連，該連接沿著正向（自底向上）和反饋（自頂向下）兩個(gè)方向進(jìn)行。自底向上連接至一個(gè)輸出神經(jīng)元i的權(quán)矢量Wi形成它所表示的類的一個(gè)樣本。全部權(quán)矢量Wi構(gòu)成網(wǎng)絡(luò)的長(zhǎng)期存儲(chǔ)器，用于選擇優(yōu)勝的神經(jīng)元，該神經(jīng)元的權(quán)矢量Wi最相似于當(dāng)前輸入模式。自頂向下從一個(gè)輸出神經(jīng)元i連接的權(quán)矢量用于警戒測(cè)試，即檢驗(yàn)?zāi)硞€(gè)輸入模式是否足夠靠近已存儲(chǔ)的樣本。警戒矢量Vi構(gòu)成網(wǎng)絡(luò)的短期存儲(chǔ)器。Vi和Wi是相關(guān)的,Wi是Vi的一個(gè)規(guī)格化副本，即式中，ε為一小的常數(shù)，Vji為Vi的第j個(gè)分量（即從輸出神經(jīng)元i到輸入神經(jīng)元j連接的權(quán)值）。ART網(wǎng)絡(luò)主要用于模式識(shí)別，它不足之處是在于對(duì)轉(zhuǎn)換、失真和規(guī)模變化較敏感，即輸入有小的變化時(shí)，輸出變化很大。3比較人工神經(jīng)網(wǎng)絡(luò)的模型各有各的特點(diǎn)，優(yōu)缺點(diǎn)及應(yīng)用領(lǐng)域也不盡相同。下表1是以上四種ANN模型的有無(wú)教師方式、學(xué)習(xí)規(guī)則、正反向傳播、應(yīng)用領(lǐng)域和缺點(diǎn)[2]。模型名稱有無(wú)教師學(xué)習(xí)規(guī)則正向或反向傳播應(yīng)用領(lǐng)域缺點(diǎn)感知器有師誤差修正

正向線性分類，預(yù)測(cè)等輸出單一，收斂慢BP網(wǎng)絡(luò)有師誤差修正

正向(誤差反向)分類，模式識(shí)別等易局部極小,收斂慢Hopfield無(wú)師Hebb律反向優(yōu)化計(jì)算,模式識(shí)別等計(jì)算代價(jià)高ART-1無(wú)師競(jìng)爭(zhēng)律

反向模式識(shí)別等對(duì)輸入值敏感表1神經(jīng)網(wǎng)絡(luò)典型模型的比較4結(jié)束語(yǔ)自從人們開始研究人工神經(jīng)網(wǎng)絡(luò)以來(lái)，已經(jīng)作出許多努力以開發(fā)各種行之有效的ANN，它們?cè)谟袩o(wú)教師、學(xué)習(xí)規(guī)則、正反向傳播等方面有著各自的特點(diǎn)，可利用其特點(diǎn)有針對(duì)性地應(yīng)用于計(jì)算機(jī)視覺、圖像處理、模式識(shí)別、信號(hào)處理、智能監(jiān)控、機(jī)器人等不同領(lǐng)域，并且取得了一定的成就。然而，基于目前的技術(shù)現(xiàn)狀，尤其是計(jì)算機(jī)技術(shù)和VLSI技術(shù)當(dāng)前水平的局限性，這些努力并非總是如愿以償?shù)?。其主要困難在VLSI意義上的人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和制造問(wèn)題[2]。要解決這一問(wèn)題，研究人員可能還要繼續(xù)走一段很長(zhǎng)的路。參考文獻(xiàn)張立明．人工神經(jīng)網(wǎng)絡(luò)的模型及應(yīng)用[M]．上海:復(fù)旦大學(xué)出版社．1993蔡自興.智能控制——基礎(chǔ)及應(yīng)用[M]．北京:國(guó)防工業(yè)出版社．1998蔣宗禮．人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論[M]．高等教育出版社．2001朱大奇史慧.人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用[M].科學(xué)出版社.2006王年，任彬，黃勇，汪炳權(quán)．基于神經(jīng)網(wǎng)絡(luò)的汽車車型圖象自動(dòng)識(shí)別[J]．中國(guó)圖象圖形學(xué)報(bào)．1999，4（8）：50-54.TheResearchingofArtificialNeuralNetworksDUHua-ying，ZHAOYue-long(SchoolofInformationScienceandEngineering,CentralSouthUniversity,AbstractTheartificialneuralnetworks(ANN)isanewcourseinrecentyears,soitisnecessaryandworthstudying.ThispaperintroducedthefundamentalconceptsoftheANN-Pereceptron,BP,HopfieldandART,howtochooseanANNindifferentfields,andalsoresearcheditsadvantagesanddisadvantages,self-studyingornot,ruleofstudying,backpropagationornot,appl