數(shù)學建模神經(jīng)網(wǎng)絡講稿.ppt_第1頁
數(shù)學建模神經(jīng)網(wǎng)絡講稿.ppt_第2頁
數(shù)學建模神經(jīng)網(wǎng)絡講稿.ppt_第3頁
數(shù)學建模神經(jīng)網(wǎng)絡講稿.ppt_第4頁
數(shù)學建模神經(jīng)網(wǎng)絡講稿.ppt_第5頁
已閱讀5頁,還剩67頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

1、人工神經(jīng)網(wǎng)絡,Artificial Neural Network,目錄,第1章 概述 11 人工神經(jīng)網(wǎng)絡研究與發(fā)展 12 生物神經(jīng)元 13 人工神經(jīng)網(wǎng)絡的構(gòu)成 第2章人工神經(jīng)網(wǎng)絡基本模型 21 MP模型 22 感知器模型 23 自適應線性神經(jīng)元 第3章 EBP網(wǎng)絡(反向傳播算法) 31 含隱層的前饋網(wǎng)絡的學習規(guī)則 32 Sigmoid激發(fā)函數(shù)下的BP算法 33 BP網(wǎng)絡的訓練與測試 34 BP算法的改進 35 多層網(wǎng)絡BP算法的程序設(shè)計 多層前向網(wǎng)絡BP算法源程序,第4章 Hopfield網(wǎng)絡模型 41 離散型Hopfield神經(jīng)網(wǎng)絡 42 連續(xù)型Hopfield神經(jīng)網(wǎng)絡 Hopfield網(wǎng)絡

2、模型源程序 43 旅行商問題(TSP)的HNN求解 Hopfield模型求解TSP源程序 第5章 隨機型神經(jīng)網(wǎng)絡 51 模擬退火算法 52 Boltzmann機 Boltzmann機模型源程序 53 Gaussian機 第6章自組織神經(jīng)網(wǎng)絡 61 競爭型學習 62 自適應共振理論(ART)模型 63 自組織特征映射(SOM)模型 64 CPN模型,目錄,第7章 聯(lián)想記憶神經(jīng)網(wǎng)絡 71 聯(lián)想記憶基本特點 72 線性聯(lián)想記憶LAM模型 73 雙向聯(lián)想記憶BAM模型 74 時間聯(lián)想記憶TAM模型 Hopfield模型聯(lián)想記憶源程序 第8章 CMAC模型 81 CMAC模型 82 CMAC映射算法 8

3、3 CMAC的輸出計算 84 CMAC控制器模型,目錄,神經(jīng)網(wǎng)絡研究與發(fā)展,40年代初,美國Mc Culloch和PiMs從信息處理的角度,研究神經(jīng)細胞行為的數(shù)學模型表達提出了二值神經(jīng)元模型。MP模型的提出開始了對神經(jīng)網(wǎng)絡的研究進程。1949年心理學家Hebb提出著名的Hebb學習規(guī)則,即由神經(jīng)元之間結(jié)合強度的改變來實現(xiàn)神經(jīng)學習的方法。雖然Hebb學習規(guī)則在人們研究神經(jīng)網(wǎng)絡的初期就已提出,但是其基本思想至今在神經(jīng)網(wǎng)絡的研究中仍發(fā)揮著重要作用。,50年代末期,Rosenblatt提出感知機模型(Perceptron),首先從工程角度出發(fā),研究了用于信息處理的神經(jīng)網(wǎng)絡模型.這是一種學習和自組織的心

4、理學模型,它基本符合神經(jīng)生理學的原理。感知機雖然比較簡單,卻已具有神經(jīng)網(wǎng)絡的一些基本性質(zhì),如分布式存貯、并行處理、可學習性、連續(xù)計算等。這些神經(jīng)網(wǎng)絡的特性與當時流行串行的、離散的、符號處理的電子計算機及其相應的人工智能技術(shù)有本質(zhì)上的不同,由此引起許多研究者的興趣,在60代掀起了神經(jīng)網(wǎng)絡研究的第一次高潮。但是,當時人們對神經(jīng)網(wǎng)絡研究過于樂觀,認為只要將這種神經(jīng)元互連成一個網(wǎng)絡,就可以解決人腦思維的模擬問題,然而,后來的研究結(jié)果卻又使人們走到另一個極端上。,在60年代末,美國著名人工智能專家Minsky和Papert對Rosenblatt的工作進行了深人研究,出版了有較大影響的(Perceptro

5、n)一書,指出感知機的功能和處理能力的局限性,甚至連XOR(異或)這樣的問題也不能解決,同時也指出如果在感知器中引入隱含神經(jīng)元,增加神經(jīng)網(wǎng)絡的層次,可以提高神經(jīng)網(wǎng)絡的處理能力,但是卻無法給出相應的網(wǎng)絡學習算法。因此Minsky的結(jié)論是悲觀的。另一方面,由于60年代以來集成電路和微電子技術(shù)日新月異的發(fā)展,使得電子計算機的計算速度飛速提高,加上那時以功能模擬為目標、以知識信息處理為基礎(chǔ)的知識工程等研究成果,給人工智能從實驗室走向?qū)嵱脦砹讼M?,這些技術(shù)進步給人們造成這樣的認識:以為串行信息處理及以它為基礎(chǔ)的傳統(tǒng)人工智能技術(shù)的潛力是無窮的,這就暫時掩蓋了發(fā)展新型計算機和尋找新的人工智能途徑的必要性和

6、迫切性。另外,當時對大腦的計算原理、對神經(jīng)網(wǎng)絡計算的優(yōu)點、缺點、可能性及其局限性等還很不清楚??傊?,認識上的局限性使對神經(jīng)網(wǎng)絡的研究進入了低潮。,在這一低潮時期,仍有一些學者扎扎實實地繼續(xù)著神經(jīng)網(wǎng)絡模型和學習算法的基礎(chǔ)理論研究,提出了許多有意義的理論和方法。其中,主要有自適應共振理論,自組織映射,認知機網(wǎng)絡模型理論,BSB模型等等,為神經(jīng)網(wǎng)絡的發(fā)展奠定了理論基礎(chǔ)。 進入80年代,首先是基于“知識庫”的專家系統(tǒng)的研究和運用,在許多方面取得了較大成功。但在一段時間以后,實際情況表明專家系統(tǒng)并不像人們所希望的那樣高明,特別是在處理視覺、聽覺、形象思維、聯(lián)想記憶以及運動控制等方面,傳統(tǒng)的計算機和人工智

7、能技術(shù)面臨著重重困難。模擬人腦的智能信息處理過程,如果僅靠串行邏輯和符號處理等傳統(tǒng)的方法來濟決復雜的問題,會產(chǎn)生計算量的組合爆炸。因此,具有并行分布處理模式的神經(jīng)網(wǎng)絡理論又重新受到人們的重視。對神經(jīng)網(wǎng)絡的研究又開始復興,掀起了第二次研究高潮。,1982年,美國加州理工學院物理學家JJHopfield提出了一種新的神經(jīng)網(wǎng)絡HNN。他引入了“能量函數(shù)”的概念,使得網(wǎng)絡穩(wěn)定性研究有了明確的判據(jù)。HNN的電子電路物理實現(xiàn)為神經(jīng)計算機的研究奠定了基礎(chǔ),并將其應用于目前電子計算機尚難解決的計算復雜度為NP完全型的問題,例如著名的“巡回推銷員問”(TSP),取得很好的效果。從事并行分布處理研究的學者,于19

8、85年對Hopfield模型引入隨機機制,提出了Boltzmann機。1986年Rumelhart等人在多層神經(jīng)網(wǎng)絡模型的基礎(chǔ)上,提出了多層神經(jīng)網(wǎng)絡模型的反向傳播學習算法(BP算法),解決了多層前向神經(jīng)網(wǎng)絡的學習問題,證明了多層神經(jīng)網(wǎng)絡具有很強的學習能力,它可以完成許多學習任務,解決許多實際問題。,近十幾年來,許多具備不同信息處理能力的神經(jīng)網(wǎng)絡已被提出來并應用于許多信息處理領(lǐng)域,如模式識別、自動控制、信號處理、決策輔助、人工智能等方面。神經(jīng)計算機的研究也為神經(jīng)網(wǎng)絡的理論研究提供了許多有利條件,各種神經(jīng)網(wǎng)絡模擬軟件包、神經(jīng)網(wǎng)絡芯片以及電子神經(jīng)計算機的出現(xiàn),體現(xiàn)了神經(jīng)網(wǎng)絡領(lǐng)域的各項研究均取得了長足

9、進展。同時,相應的神經(jīng)網(wǎng)絡學術(shù)會議和神經(jīng)網(wǎng)絡學術(shù)刊物的大量出現(xiàn),給神經(jīng)網(wǎng)絡的研究者們提供了許多討論交流的機會。,雖然人們已對神經(jīng)網(wǎng)絡在人工智能領(lǐng)域的研究達成了共識,對其巨大潛力也毋庸置疑,但是須知,人類對自身大腦的研究,尤其是對其中智能信息處理機制的了解,還十分膚淺。因而現(xiàn)有的研究成果僅僅處于起步階段,還需許多有識之士長期的艱苦努力。 概括以上的簡要介紹,可以看出,當前又處于神經(jīng)網(wǎng)絡理論的研究高潮,不僅給新一代智能計算機的研究帶來巨大影響,而且將推動整個人工智能領(lǐng)域的發(fā)展。但另一方面,由于問題本身的復雜性,不論是神經(jīng)網(wǎng)絡原理自身,還是正在努力進行探索和研究的神經(jīng)計算機,目前,都還處于起步發(fā)展階

10、段。 為了了解ANN,我們首先分析一下現(xiàn)行計算機所存在的問題。盡管馮諾依曼型計算機在當今世界發(fā)揮著巨大的作用,但它在智能化信息處理過程中存在著許多局限性。我們簡單分析一下馮諾依曼型計算機求解某個問題所采用的方法。,(1)根據(jù)該問題的特點,建立合適的數(shù)學模型。 (2)根據(jù)所建立的數(shù)學模型的原始數(shù)據(jù)資料,生成適合于輸入計算機的程序和數(shù)據(jù)。 (3)計算機的控制器命令輸入器將計算步驟的初始數(shù)據(jù)記錄到存貯器中。 (4) 控制器根據(jù)計算步驟的順序,依次按存貯器地址讀出第一個計算步驟,然后根據(jù)讀出步驟的規(guī)定,控制運算器對相應數(shù)據(jù)執(zhí)行規(guī)定的運算操作。 (5)反饋器從反饋信號中得知運算器操作完畢,把所得的中間結(jié)

11、果記錄到存貯器某個確定位置存貯好。 (6)反饋信號通知控制器再取第二個計算步騾,然后重復上述的執(zhí)行過程。一直到整個運算完成后,控制器就命令輸出器把存貯器中存放的最終結(jié)果用打印、顯示或繪圖等方式輸出。,將以上整個計算過程概括起來,可以看出現(xiàn)行馮諾依曼計算機有以下三個主要特點: (1)它必須不折不如地按照人們已經(jīng)編制好的程序步驟來進行相應的數(shù)值計算或邏輯運算,它沒有主動學習的能力和自適應能力,因此它是被動的。 (2)所有的程序指令都要調(diào)入CPU一條接一條地順序執(zhí)行。因此它的處理信息方式是集中的、串行的。 (3)存貯器的位置(即地址)和其中歷存貯的具體內(nèi)容無關(guān)。因此,在調(diào)用操作的指令或數(shù)據(jù)時,總是先

12、找它所在存貯器的地址,然后再查出所存貯的內(nèi)容。這就是說,存貯內(nèi)容和存貯地址是不相關(guān)的。 由于現(xiàn)行計算機的上述特點,一方面它在像數(shù)值計算或邏輯運算這類屬于順序性(串行性)信息處理中,表現(xiàn)出遠非人所能及的速度;另一方面,在涉及人類日常的信息活動,例如識別圖形、聽懂語言等,卻又顯得那樣低能和笨拙。,實際上腦對外界世界時空客體的描述和識別,乃是認知的基礎(chǔ)。認知問題離不開對低層次信息處理的研究和認識。雖然符號處理在腦的思維功能模擬等方面取得了很大進展,但它對諸如視覺、聽覺、聯(lián)想記憶和形象思維等問題的處理往往感到力不從心。所以符號處理不可能全面解決認知問題和機器智能化問題它對高層次腦功能的宏觀模擬很有效,

13、而對一些低層次的模式處理則至今還有許多困難。,正是由于認識到傳統(tǒng)的馮諾依曼計算機在智能信息處理中的這種難以逾越的局限性使得人們考慮到有必要進一步了解分析人腦神經(jīng)系統(tǒng)信息處理和存貯的機理特征以便尋求一條新的人工神經(jīng)網(wǎng)絡智能信息處理途徑。 人工神經(jīng)網(wǎng)絡研究是采用自下而上的方法,從腦的神經(jīng)系統(tǒng)結(jié)構(gòu)出發(fā)來研究腦的功能,研究大量簡單的神經(jīng)元的集團信息處理能力及其動態(tài)行為。目前,神經(jīng)網(wǎng)絡的研究使得對多年來困擾計算機科學和符號處理的一些難題可以得到比較令人滿意的解答,特別是對那些時空信息存貯及并行搜索、自組織聯(lián)想記億、時空數(shù)據(jù)統(tǒng)計描述的自組織以及從一些相互關(guān)聯(lián)的活 動中自動獲取知識等一般性問題的求解,更顯示

14、出獨特的能力。由此引起了智能研究者們的廣泛關(guān)注,并普遍認為神經(jīng)網(wǎng)絡方法適合于低層次的模式處理。,人腦信息處理機制,生物神經(jīng)系統(tǒng)是一個有高度組織和相互作用的數(shù)量巨大的細胞組織群體。人類大腦的神經(jīng)細胞大約在1011一1013個左右。神經(jīng)細胞也稱神經(jīng)元,是神經(jīng)系統(tǒng)的基本單元,它們按不同的結(jié)合方式構(gòu)成了復雜的神經(jīng)網(wǎng)絡。通過神經(jīng)元及其聯(lián)接的可塑性,使得大腦具有學習、記憶和認知等各種智能。 人工神經(jīng)網(wǎng)絡的研究出發(fā)點是以生物神經(jīng)元學說為基礎(chǔ)的。生物神經(jīng)元學說認為,神經(jīng)細胞即神經(jīng)元是神經(jīng)系統(tǒng)中獨立的營養(yǎng)和功能單元。生物神經(jīng)系統(tǒng)包括中樞神經(jīng)系統(tǒng)和大腦,均是由各類神經(jīng)元組成。其獨立性是指每一個神經(jīng)元均有自己的核和

15、自己的分界線或原生質(zhì)膜。,生物神經(jīng)元之間的相互連接從而讓信息傳遞的部位披稱為突觸(Synapse)。突觸按其傳遞信息的不同機制,可分為化學突觸和電突觸、其中化學突觸占大多數(shù),其神經(jīng)沖動傳遞借助于化學遞質(zhì)的作用。生物神經(jīng)元的結(jié)構(gòu)大致描述如下圖所示。,神經(jīng)元由細胞體和延伸部分組成。延伸部分按功能分有兩類,一種稱為樹突,占延伸部分的大多數(shù),用來接受來自其他神經(jīng)元的信息;另一種用來傳遞和輸出信息,稱為軸突。神經(jīng)元對信息的接受和傳遞都是通過突觸來進行的。單個神經(jīng)元可以從別的細胞接受多達上千個的突觸輸入。這些輸入可達到神經(jīng)元的樹突、胞體和軸突等不同部位,但其分布各不相同對神經(jīng)元的影響也不同。 人類大腦皮質(zhì)

16、的全部表面積約有20104mm2,平均厚度約25mm,皮質(zhì)的體積則約為50 104mm3。如果皮質(zhì)中突觸的平均密度是6 l09mm3左右,則可認為皮質(zhì)中的全部突觸數(shù)為3 1015個。如果再按上述人腦所含的全部神經(jīng)元數(shù)目計算,則每個神經(jīng)元平均的突觸數(shù)目可能就有1530萬個左右。,神經(jīng)元之間的聯(lián)系主要依賴其突觸的聯(lián)接作用。這種突觸的聯(lián)接是可塑的,也就是說突觸特性的變化是受到外界信息的影響或自身生長過程的影響。生理學的研究歸納有以下幾個方面的變化: (1)突觸傳遞效率的變化。首先是突觸的膨脹以及由此產(chǎn)生的突觸后膜表面積擴大,從而突觸所釋放出的傳遞物質(zhì)增多,使得突觸的傳遞效率提高。其次是突觸傳遞物質(zhì)質(zhì)

17、量的變化,包括比例成分的變化所引起傳遞效率的變化。 (2)突觸接觸間隙的變化。在突觸表面有許多形狀各異的小凸芽,調(diào)節(jié)其形狀變化可以改變接觸間隙,并影響傳遞效率。 (3)突觸的發(fā)芽。當某些神經(jīng)纖維被破壞后,可能又會長出新芽,并重新產(chǎn)生附著于神經(jīng)元上的突觸形成新的回路。由于新的回路的形成,使得結(jié)合模式發(fā)生變化,也會引起傳遞效率的變化。 (4)突觸數(shù)目的增減。由于種種復雜環(huán)境條件的刺激等原因,或者由于動物本身的生長或衰老,神經(jīng)系統(tǒng)的突觸數(shù)目會發(fā)生變化,并影響神經(jīng)元之間的傳遞效率。,神經(jīng)元對信息的接受和傳遞都是通過突觸來進行的。單個神經(jīng)元可以從別的細胞接受多個輸入。由于輸入分布于不同的部位,對神經(jīng)元影

18、響的比例(權(quán)重)是不相同的。另外,各突觸輸入抵達神經(jīng)元的先后時間也不一祥。因此,一個神經(jīng)元接受的信息,在時間和空間上常呈現(xiàn)出一種復雜多變的形式,需要神經(jīng)元對它們進行積累和整合加工,從而決定其輸出的時機和強度。正是神經(jīng)元這種整合作用,才使得億萬個神經(jīng)元在神經(jīng)系統(tǒng)中有條不紊、夜以繼日地處理各種復雜的信息,執(zhí)行著生物中樞神經(jīng)系統(tǒng)的各種信息處理功能。 多個神經(jīng)元以突觸聯(lián)接形成了一個神經(jīng)網(wǎng)絡。研究表明,生物神經(jīng)網(wǎng)絡的功能決不是單個神經(jīng)元生理和信息處理功能的簡單疊加,而是一個有層次的、多單元的動態(tài)信息處理系統(tǒng)。 它們有其獨特的運行方式和控制機制,以接受生物內(nèi)外環(huán)境的輸入信息,加以綜合分折處理,然后調(diào)節(jié)控制

19、機體對環(huán)境作出適當?shù)姆磻?以上是從宏觀上分析了人腦信息處理特點。從信息系統(tǒng)研究的觀點出發(fā),對于人腦這個智能信息處理系統(tǒng),有如下一些固有特征: (1)并行分布處理的工作模式。 實際上大腦中單個神經(jīng)元的信息處理速度是很慢的,每次約1毫秒(ms),比通常的電子門電路要慢幾個數(shù)量級。每個神經(jīng)元的處理功能也很有限,估計不會比計算機的一條指令更復雜。 但是人腦對某一復雜過程的處理和反應卻很快,一般只需幾百毫秒。例如要判定人眼看到的兩個圖形是否一樣,實際上約需400 ms,而在這個處理過程中,與腦神經(jīng)系統(tǒng)的一些主要功能,如視覺、記億、推理等有關(guān)。按照上述神經(jīng)元的處理速度,如果采用串行工作模式,就必須在幾百

20、個串行步內(nèi)完成,這實際上是不可能辦到的。因此只能把它看成是一個由眾多神經(jīng)元所組成的超高密度的并行處理系統(tǒng)。例如在一張照片尋找一個熟人的面孔,對人腦而言,幾秒鐘便可完成,但如用計算機來處理,以現(xiàn)有的技術(shù),是不可能在短時間內(nèi)完成的。由此可見,大腦信息處理的并行速度已達到了極高的程度。,(2)神經(jīng)系統(tǒng)的可塑性和自組織性。 神經(jīng)系統(tǒng)的可塑性和自組織性與人腦的生長發(fā)育過程有關(guān)。例如,人的幼年時期約在9歲左右,學習語言的能力十分強,說明在幼年時期,大腦的可塑性和柔軟性特別良好。從生理學的角度看,它體現(xiàn)在突觸的可塑性和聯(lián)接狀態(tài)的變化,同時還表現(xiàn)在神經(jīng)系統(tǒng)的自組織特性上。例如在某一外界信息反復刺激下接受該信息

21、的神經(jīng)細胞之間的突觸結(jié)合強度會增強。這種可塑性反映出大腦功能既有先天的制約因素,也有可能通過后天的訓練和學習而得到加強。神經(jīng)網(wǎng)絡的學習機制就是基于這種可塑性現(xiàn)象,并通過修正突觸的結(jié)合強度來實現(xiàn)的。 (3)信息處理與信息存貯合二為一。 大腦中的信息處理與信息存貯是有機結(jié)合在一起的,而不像現(xiàn)行計算機那樣存貯地址和存貯內(nèi)容是彼此分開的。由于大腦神經(jīng)元兼有信息處理和存貯功能,所以在進行回億時,不但不存在先找存貯地址而后再調(diào)出所存內(nèi)容的問題,而且還可以由一部分內(nèi)容恢復全部內(nèi)容。 (4)信息處理的系統(tǒng)性 大腦是一個復雜的大規(guī)模信息處理系統(tǒng),單個的元件“神經(jīng)元”不能體現(xiàn)全體宏觀系統(tǒng)的功能。實際上,可以將大腦

22、的各個部位看成是一個大系統(tǒng)中的許多子系統(tǒng)。各個子系統(tǒng)之間具有很強的相互聯(lián)系,一些子系統(tǒng)可以調(diào)節(jié)另一些子系統(tǒng)的行為。例如,視覺系統(tǒng)和運動系統(tǒng)就存在很強的系統(tǒng)聯(lián)系,可以相互協(xié)調(diào)各種信息處理功能。 (5)能接受和處理模糊的、模擬的、隨機的信息。 (6)求滿意解而不是精確解。,人類處理日常行為時,往往都不是一定要按最優(yōu)或最精確的方式去求解,而是以能解決問題為原則,即求得滿意解就行了。 (7)系統(tǒng)的恰當退化和冗余備份(魯棒性和容錯性)。,人工神經(jīng)網(wǎng)絡研究與應用的主要內(nèi)容 人工種經(jīng)網(wǎng)絡的研究方興末艾,很難準確地預測其發(fā)展方向。但就目前來看,人工神經(jīng)網(wǎng)絡的研究首先須解決全局穩(wěn)定性、結(jié)構(gòu)穩(wěn)定性、可編程性等問題

23、?,F(xiàn)今的研究工作應包含以下的一些基本內(nèi)容: (1)人工神經(jīng)網(wǎng)絡模型的研究。 神經(jīng)網(wǎng)絡原型研究,即大腦神經(jīng)網(wǎng)絡的生理結(jié)構(gòu)、思維機制。 神經(jīng)元的生物特性如時空特性、不應期、電化學性質(zhì)等的人工模擬 易于實現(xiàn)的神經(jīng)網(wǎng)絡計算模型。 利用物理學的方法進行單元間相互作用理論的研究 如:聯(lián)想記憶模型。 神經(jīng)網(wǎng)絡的學習算法與學習系統(tǒng)。,(2)神經(jīng)網(wǎng)絡基本理論研究。 神經(jīng)網(wǎng)絡的非線性特性,包括自組織、自適應等作用。 神經(jīng)網(wǎng)絡的基本性能,包括穩(wěn)定性、收斂性、容錯性、魯棒性、動力學復雜性。 神經(jīng)網(wǎng)絡的計算能力與信息存貯容量。 開展認知科學的研究。探索包括感知、思考、記憶和語言等的腦信息處理模型。采用諸如連接機制等方法

24、,將認知信息處理過程模型化,并通過建立神經(jīng)計算學來代替算法淪。,(3)神經(jīng)網(wǎng)絡智能信息處理系統(tǒng)的應用。 認知與人工智能包括模式識別、計算機視覺與聽覺、特征提取、語音識別語言翻譯、聯(lián)想記憶、邏輯推理、知識工程、專家系統(tǒng)、故障診斷、智能機器人等。 優(yōu)化與控制,包括優(yōu)化求解、決策與管理、系統(tǒng)辨識、魯棒性控制、自適應控制、并行控制、分布控制、智能控制等。 信號處理;自適應信號處理(自適應濾波、時間序列預測、譜估計、消噪、檢測、陣列處理)和非線性信號處理(非線性濾波、非線性預測、非線性譜估計、非線性編碼、中值處理)。 傳感器信息處理:模式預處理變換、信息集成、多傳感器數(shù)據(jù)融合。,(4)神經(jīng)網(wǎng)絡的軟件模擬

25、和硬件實現(xiàn)。 在通用計算機、專用計算機或者并行計算機上進行軟件模擬,或由專用數(shù)字信號處理芯片 構(gòu)成神經(jīng)網(wǎng)絡仿真器。 由模擬集成電路、數(shù)字集成電路或者光器件在硬件上實現(xiàn)神經(jīng)芯片。軟件模擬的優(yōu)點是網(wǎng)絡的規(guī)模可以較大,適合于用來驗證新的模型和復雜的網(wǎng)絡特性。硬件實現(xiàn)的優(yōu)點是處理速度快,但由于受器件物理因素的限制,根據(jù)目前的工藝條件,網(wǎng)絡規(guī)模不可能做得太大。僅幾千個神經(jīng)元。但代表了未來的發(fā)展方向,因此特別受到人們的重視。,(5)神經(jīng)網(wǎng)絡計算機的實現(xiàn)。 計算機仿真系統(tǒng)。 專用神經(jīng)網(wǎng)絡并行計算機系統(tǒng)。 數(shù)字、模擬、數(shù)模混合、光電互連等。 光學實現(xiàn)。 生物實現(xiàn)。 關(guān)于智能本質(zhì)的研究是自然科學和哲學的重大課題

26、之一,對于智能的模擬和機器再現(xiàn)肯定可以開發(fā)拓展出一代新興產(chǎn)業(yè)。由于智能本質(zhì)的復雜性,現(xiàn)代智能研究已超越傳統(tǒng)的學科界限,成為腦生理學、神經(jīng)科學、心理學、認知科學、信息科學、計算機科學、微電子學,乃至數(shù)理科學共同關(guān)心的“焦點”學科。人工神經(jīng)網(wǎng)絡的重大研究進展有可能使包括信息科學在內(nèi)的其他學科產(chǎn)生重大突破和變革。展望人工神經(jīng)網(wǎng)絡的成功應用,人類智能有可能產(chǎn)生一次新的飛躍。,人工神經(jīng)網(wǎng)絡的信息處理能力,人工神經(jīng)網(wǎng)絡的信息處理能力 人工神經(jīng)網(wǎng)絡的信息處理能力包括兩方面的內(nèi)容: 一、神經(jīng)網(wǎng)絡信息存貯能力即要解決這樣的一個問題:在一個有N個神經(jīng)元的神經(jīng)網(wǎng)絡中,可存貯多少值的信息? 二、神經(jīng)網(wǎng)絡的計算能力。需

27、要解決的問題是:神經(jīng)網(wǎng)絡能夠有效地計算哪些問題?在眾多的文獻中,人們都一致認為:存貯能力和計算能力是現(xiàn)代計算機科學中的兩個基本問題,同樣,它們也構(gòu)成了人工神經(jīng)網(wǎng)絡研究中的基本問題。,前面提到在傳統(tǒng)的馮諾依曼型計算機中,其計算與存貯是完全獨立的兩個部分。這兩個獨立部分存貯器與運算器之間的通道,就成為提高計算機計算能力的瓶頸,并且只要這兩個部分是獨立存在的,這個問題就始終存在。對不同的計算機而言,只是這一問題的嚴重程度不同而已。神經(jīng)網(wǎng)絡模型從本質(zhì)上解決了傳統(tǒng)計算機的這個問題。它將信息的存貯與信息的處理完善地結(jié)合在一起。這是因為神經(jīng)網(wǎng)絡的運行是從輸入到輸出的值傳遞過程,在信息傳遞的同時也就完成了信息

28、的存貯與計算。,(1)神經(jīng)網(wǎng)絡的存貯能力。 神經(jīng)網(wǎng)絡的存貯能力因不同的網(wǎng)絡而不相同。這里我們給出Hopfield的一些結(jié)論。 定義:一個存貯器的信息表達能力定義為其可分辨的信息類型的對數(shù)值。 在一個M1的隨機存貯器RAM中,有M位地址,一位數(shù)據(jù),它可存貯2M位信息 這個RAM中,可以讀寫長度為2M的信息串,而 M 長度為2M的信息串有2 2 種, 所以,可以分辨上述這么多種信息串。按上面的定義, M1的RAM的存貯能力為: C2M(位)。,定理1.1 N個神經(jīng)元的神經(jīng)網(wǎng)絡的信息表達能力上限為: C (位)。,定理12 N個神經(jīng)元的神經(jīng)網(wǎng)絡的信息表達能力下限為: C (位)。 其中N2指小于或等

29、于N2的最大整數(shù)。 定理13 神經(jīng)網(wǎng)絡可以存貯2N-1個信息,也可以區(qū)分2 N-1個不同的網(wǎng)絡。,神經(jīng)網(wǎng)絡的計算能力 數(shù)學的近似映射;識別和分類這些計算都可以抽象成一種近似的數(shù)學映射。如誤差反播模型(BP)、對向傳播網(wǎng)絡模型(CPN)、小腦模型(CMAC)等都可以完成這種計算。 概率密度函數(shù)的估計:通過自組織的方式,開發(fā)尋找出一組等概率“錨點”,來響應在空間只“中按照一個確定概率密度函數(shù)選擇到的一組矢量樣本。自組織映射模型(SOM) 和CPN模型可以完成這樣的計算。 從二進制數(shù)據(jù)基中提取相關(guān)的知識:這種計算是形成一種知識的聚類模型,這些知識 依照數(shù)據(jù)基的自組織在它們之間有某種統(tǒng)計上的共性,并依

30、此來響應輸入的數(shù)據(jù)基記錄。腦中盒模型(BSB)有能力進行這種計算。 形成拓撲連續(xù)及統(tǒng)計意義上的同構(gòu)映射:它是對固定概率密度函數(shù)選擇的適應輸入數(shù)據(jù)的一種自組織映射,其最終使得數(shù)據(jù)空間上的不同項有某種同構(gòu)。SOM模型適合計算此類問題。,最近相鄰模式分類:通過比較大量的存貯數(shù)據(jù)來進行模式分類,但首先應通過學習樣本模式進行分類。可用層次性的存貯模式來進行分類信息的表示。絕大多數(shù)的神經(jīng)網(wǎng)絡模型均能進行這種計算。如自適應共振理論模型(ART)、雙向聯(lián)想記億模型 (BAM)、BP模型、玻爾茲曼機模型(BM)、BSB模型、CPN模型、Hopfield模型等等。 數(shù)據(jù)聚類:采用自組織的方法形成所選擇的“顆?!被?/p>

31、模式的聚類,以此來響應輸人數(shù)據(jù)。聚類是可變的但要限制其鞍點的個數(shù)。對于任何新的目標,只要系統(tǒng)中沒有對其提供聚類,都要形成新的聚類。很顯然這種能力可直接應用于復雜的多目標跟蹤。ART 模型最適合于這種計算。 最優(yōu)化問題:用來求解局部甚至是全局最優(yōu)解。Hopfield模型、玻爾茲曼機模型(BM)有能力進行這種計算。,自從80年代中期人工神經(jīng)網(wǎng)絡復蘇以來,其發(fā)展速度及應用規(guī)模令人驚嘆。技術(shù)發(fā)達國家和集團推行了一系列有關(guān)的重要研究計劃、投資總額在數(shù)億美元,出現(xiàn)了一批神經(jīng)網(wǎng)絡企業(yè)和在眾多領(lǐng)域中的應用產(chǎn)品。有關(guān)神經(jīng)網(wǎng)絡的大型國際會議已召開了許多次,我國也召開了三次。在前幾年的熱浪過去之后,當前對于神經(jīng)網(wǎng)絡

32、的研究正在轉(zhuǎn)入穩(wěn)定、但發(fā)展步伐依然是極其迅速的時期。這一時期的研究和發(fā)展有以下幾個特點:,(1)神經(jīng)網(wǎng)絡研究工作者對于研究對象的性能和潛力有了更充分的認識從而對研究和應用的領(lǐng)域有了更恰當?shù)睦斫狻T陬^腦冷靜下來之后,可以看到,盡管神經(jīng)網(wǎng)絡所能做的事情比當初一些狂熱鼓吹者所設(shè)想的要少,但肯定比那些悲觀論者要多得多?,F(xiàn)在普遍認識到神經(jīng)網(wǎng)絡比較適用于特征提取、模式分類、聯(lián)想記憶、低層次感知、自適應控制等場合,在這些方面,嚴格的解析方法會遇到很大困難。當前對神經(jīng)網(wǎng)絡的研究目標,就是從理論上和實踐上探討一種規(guī)模上可控的系統(tǒng),它的復雜程度雖然遠比不上大腦,但又具有類似大腦的某些性質(zhì),這種性質(zhì)如果用常規(guī)手段則

33、難以實現(xiàn)??梢哉f,國際上關(guān)于人工神經(jīng)網(wǎng)絡研究的主要領(lǐng)域不是對神經(jīng)網(wǎng)絡建模的基礎(chǔ)研究,而是一個工程或應用領(lǐng)域,即它從對腦的神經(jīng)模型研究中受到啟發(fā)和鼓舞,但試圖解決的卻是工程問題。雖然對腦工作機理的理解十分重要,但這種理解是一個相當長期的過程。而對于神經(jīng)網(wǎng)絡的應用需求則是大量的和迫切的。,(2)神經(jīng)網(wǎng)絡的研究,不僅其本身正在向綜合性發(fā)展,而且愈來愈與其他領(lǐng)域密切結(jié)合起來,發(fā)展出性能更強的結(jié)構(gòu)。為了更好地把現(xiàn)有各種神經(jīng)網(wǎng)絡模型的特點綜合起來,增強網(wǎng)絡解決問題的能力,80年代末和90年代初出現(xiàn)了混合網(wǎng)絡系統(tǒng),如把多層感知器與自組織特征級聯(lián)起來,在模式識別中可以取得比單一網(wǎng)絡更好的結(jié)果。1991年美國w

34、ard System Group公司推出的軟件產(chǎn)品Neuro windows(Brain1)是這方面的典型代表。它可以產(chǎn)生128個交互作用的神經(jīng)網(wǎng)絡,每個網(wǎng)可是自組織網(wǎng)也可是多層感知器網(wǎng),最多可達32層,每層可達32個節(jié)點,且可以與其他8層相聯(lián)。據(jù)稱這是近年來神經(jīng)網(wǎng)絡發(fā)展方面的一個躍進。它在微軟公司的VB上運行,被認為是近些年來最重要的軟件進展和最高水平的智能工具。,神經(jīng)網(wǎng)絡與傳統(tǒng)人工智能方法相結(jié)合是近年來發(fā)展員快的一個方面。雖然在人工神經(jīng)網(wǎng)絡復蘇之初有人喊過“人工智能已死,神經(jīng)網(wǎng)絡萬歲”,雖然在傳統(tǒng)的人工智能領(lǐng)域工作的許多人對于神經(jīng)網(wǎng)絡的發(fā)展抱有懷疑或否定態(tài)度但這幾年的發(fā)展日益證明,把這兩者

35、結(jié)合起來是一條最佳途徑。采用綜合方法可以取長補短,更好地發(fā)揮各自的特點。比如,神經(jīng)網(wǎng)絡的節(jié)點和連接可明確地與規(guī)定的目標和關(guān)系聯(lián)系在一起,可把特定的推理規(guī)則作為目標節(jié)點之間的規(guī)定聯(lián)接,節(jié)點數(shù)可以由所描寫的規(guī)則所決定,可對節(jié)點的權(quán)及閾值加以選擇以便描寫所需的邏輯關(guān)系,利用組合規(guī)則解釋節(jié)點的激活從而解釋網(wǎng)絡的行為,并按神經(jīng)網(wǎng)絡方式設(shè)計專家系統(tǒng)。最近所出現(xiàn)的把神經(jīng)網(wǎng)絡與人工智能系統(tǒng)結(jié)合起來的方式大體可分為兩類,一類是把人工智能系統(tǒng)作為神經(jīng)網(wǎng)絡的前端,一類是把神經(jīng)網(wǎng)絡作為人工智能系統(tǒng)的前端。在前一類中,人工智能系統(tǒng)可以與使用者交互作用(如向使用者提出問題,了解使用者的需求),然后利用知識與神經(jīng)網(wǎng)絡準備數(shù)

36、據(jù)。這方面的第一個商用系統(tǒng)是美國杜邦公司的LAM系統(tǒng)。它把人工智能系統(tǒng)、神經(jīng)網(wǎng)絡和文本檢索系統(tǒng)結(jié)合起來,供建筑師、玻璃切割與裝配工程師使用,使得對建筑物玻璃結(jié)構(gòu)的設(shè)計、選配和施工更簡單、靈活、省時,適應性更強。目前正在建筑行業(yè)大力推廣。也可以利用人工智能系統(tǒng)作為信息流的控制器,利用教師機制和基于規(guī)則的指南,幫助使用者從大量選擇項中選擇正確的神經(jīng)網(wǎng)絡來解決某一專門問題。這種系統(tǒng)已在化工領(lǐng)域中得到應用,幫助用戶由所需化合物的性質(zhì)來確定化學公式,或由公式產(chǎn)生出相應的物理特性,或由性質(zhì)產(chǎn)生出相應的化合物等等。,神經(jīng)網(wǎng)絡理論研究重大成果,1.Hornik等人證明了:僅有一個非線性隱層的前饋網(wǎng)絡就能以任意

37、精度逼近任意復雜度的函數(shù) 。 2.神經(jīng)網(wǎng)絡訓練后,所表達的函數(shù)是“可以”求出的。 3.神經(jīng)網(wǎng)絡的幾何意義。 4.神經(jīng)網(wǎng)絡集成。 5.自主的神經(jīng)網(wǎng)絡。,第2章 人工神經(jīng)網(wǎng)絡基本模型,一、MP模型 MP模型屬于一種閾值元件模型,它是由美國Mc Culloch和Pitts提出的最早神經(jīng)元模型 之一。MP模型是大多數(shù)神經(jīng)網(wǎng)絡模型的基礎(chǔ)。,標準MP模型,wij 代表神經(jīng)元i與神經(jīng)元j之間的連接強度(模擬生物神經(jīng)元之間突觸連接強度),稱之為連接權(quán); ui代表神經(jīng)元i的活躍值,即神經(jīng)元狀態(tài); vj代表神經(jīng)元j的輸出,即是神經(jīng)元i的一個輸入; i代表神經(jīng)元i的閾值。 函數(shù)f表達了神經(jīng)元的輸入輸出特性。在MP模

38、型中,f定義為階躍函數(shù):,如果把閾值i看作為一個特殊的權(quán)值,則可改寫為: 其中,w0i-i,v01 為用連續(xù)型的函數(shù)表達神經(jīng)元的非線性變換能力,常采用s型函數(shù): 該函數(shù)的圖像如下圖所示,MP模型在發(fā)表時并沒有給出一個學習算法來調(diào)整神經(jīng)元之間的連接權(quán)。但是,我們可以根據(jù)需要,采用一些常見的算法來調(diào)整神經(jīng)元連接權(quán),以達到學習目的。下面介紹的Hebb學習規(guī)則就是一個常見學習算法。 Hebb學習規(guī)則 神經(jīng)網(wǎng)絡具有學習功能。對于人工神經(jīng)網(wǎng)絡而言,這種學習歸結(jié)為神經(jīng)元連接權(quán)的變化。調(diào)整wij的原則為:若第i和第j個神經(jīng)元同時處于興奮狀態(tài),則它們之間的連接應當加強,即: wijuivj 這一規(guī)則與“條件反射

39、”學說一致,并已得到神經(jīng)細胞學說的證實。 是表示學習速率的比例常數(shù)。,2 感知器模型 感知器是一種早期的神經(jīng)網(wǎng)絡模型,由美國學者F.Rosenblatt于1957年提出.感知器中第一次引入了學習的概念,使人腦所具備的學習功能在基于符號處理的數(shù)學到了一定程度的模擬,所以引起了廣泛的關(guān)注。 簡單感知器 簡單感知器模型實際上仍然是MP模型的結(jié)構(gòu),但是它通過采用監(jiān)督學習來逐步增強模式劃分的能力,達到所謂學習的目的。,其結(jié)構(gòu)如下圖所示 感知器處理單元對n個輸入進行加權(quán)和操作v即: 其中,Wi為第i個輸入到處理單元的連接權(quán)值為閾值。 f取階躍函數(shù).,感知器在形式上與MP模型差不多,它們之間的區(qū)別在于神經(jīng)元

40、間連接權(quán)的變化。感知器的連接權(quán)定義為可變的,這樣感知器就被賦予了學習的特性。 利用簡單感知器可以實現(xiàn)邏輯代數(shù)中的一些運算。 Y=f(w1x1+w2x2-) (1)“與”運算。當取w1w21,1.5時,上式完成邏輯“與”的運算。,(2)“或”運算, 當取wlw21, 0.5時,上式完成邏輯“或”的運算。 (3)“非”運算, 當取wl=-1,w20, -1時完成邏輯“非”的運算。,與許多代數(shù)方程一樣,上式中不等式具有一定的幾何意義。對于一個兩輸入的簡單感知器,每個輸入取值為0和1,如上面結(jié)出的邏輯運算,所有輸入樣本有四個,記為(x1,x2):(0,0),(0,1),(1,0),(1,1),構(gòu)成了樣本輸入空間。例如,在二維平面上,對于“或”運算,各個樣本的分布如下圖所示。直線 1*x1+1*x2-050 將二維平面分為兩部分,上部為激發(fā)區(qū)(y,=1,用表示),下部為抑制區(qū)(y0,用表示)。,簡單感知器引入的學習算法稱之為誤差學習算法。該算法是神經(jīng)網(wǎng)絡學習中的一個重要算法,并已被廣泛應用?,F(xiàn)介紹如下: 誤差型學習規(guī)則: (1)選擇一組初始權(quán)值wi(0)。 (2)計算某一輸入模式對應的實際輸出

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論