D人工神經(jīng)網(wǎng)絡(luò)1

人工神經(jīng)網(wǎng)絡(luò)

ArtificialNeuralNetworks

教材名稱：《人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)及應(yīng)用》出版社：化學(xué)工業(yè)出版社

出版日期：2002年1月第1版,2004年2月第2次印刷

出版日期：2007年9月第2版

作者：韓力群

主要參考書(shū)目1、張青貴編，人工神經(jīng)元網(wǎng)絡(luò)導(dǎo)論，中國(guó)水利水電科學(xué)出版，2004年10月2、徐麗娜編，神經(jīng)元網(wǎng)絡(luò)控制，電子工業(yè)出版社，2003年3月3、袁曾任編，，人工神經(jīng)元網(wǎng)絡(luò)及其應(yīng)用，清華大學(xué)出版社，1999年10月

4、馬銳編，人工神經(jīng)網(wǎng)絡(luò)原理，機(jī)械工業(yè)出版社，2010年9月5、丁士圻郭麗華編，人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)，機(jī)械工業(yè)出版社，2008年3月課程目的和基本要求

人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用是目前國(guó)際上一門(mén)發(fā)展迅速的前沿交叉學(xué)科。

它是模擬生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及其功能的新型信息處理系統(tǒng)，目前已有廣泛的應(yīng)用。

介紹人工神經(jīng)網(wǎng)絡(luò)及其基本網(wǎng)絡(luò)模型，掌握人工神經(jīng)網(wǎng)絡(luò)的基本概念、單層網(wǎng)、多層網(wǎng)、循環(huán)網(wǎng)等各種基本網(wǎng)絡(luò)模型的結(jié)構(gòu)、特點(diǎn)、典型訓(xùn)練算法、運(yùn)行方式、典型問(wèn)題。

通過(guò)本課程的教學(xué),掌握人工神經(jīng)網(wǎng)絡(luò)的基本概念、原理和方法,尤其是人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)概念與方法,學(xué)會(huì)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)模型來(lái)解決實(shí)際問(wèn)題，了解人工神經(jīng)網(wǎng)絡(luò)的發(fā)展動(dòng)向和應(yīng)用前景。

查閱適當(dāng)?shù)膮⒖嘉墨I(xiàn)，將所學(xué)的知識(shí)與有關(guān)研究結(jié)合起來(lái)，達(dá)到既豐富學(xué)習(xí)內(nèi)容，又了解研究和應(yīng)用的基本情況。主要內(nèi)容第一章緒論第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)第三章監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)第四章競(jìng)爭(zhēng)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)第五章組合學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)第六章反饋神經(jīng)網(wǎng)絡(luò)(部分)第七章小腦模型神經(jīng)網(wǎng)絡(luò)第八章基于數(shù)學(xué)原理的神經(jīng)網(wǎng)絡(luò)第九章神經(jīng)網(wǎng)絡(luò)的系統(tǒng)設(shè)計(jì)與軟件實(shí)現(xiàn)第十章回顧與展望第1章

緒論§1.1人腦與計(jì)算機(jī)§1.2人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史§1.3神經(jīng)網(wǎng)絡(luò)的基本特征與功能§1.4神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域本章小結(jié)1.1人腦與計(jì)算機(jī)

人類具有高度發(fā)達(dá)的大腦，大腦是思維活動(dòng)的物質(zhì)基礎(chǔ)，而思維是人類智能的集中體現(xiàn)。

長(zhǎng)期以來(lái)，人們想方設(shè)法了解人腦的工作機(jī)理和思維的本質(zhì)，向往能構(gòu)造出具有類人智能的人工智能系統(tǒng)，以模仿人腦功能，完成類似于人腦的工作。

人腦的思維有邏輯思維、形象思維和靈感思維三種基本方式。

現(xiàn)代計(jì)算機(jī)的計(jì)算構(gòu)成單元的速度是人腦中神經(jīng)元速度的幾百萬(wàn)倍，對(duì)于那些特征明確，推理或運(yùn)算規(guī)則清楚的可編程問(wèn)題，可以高速有效地求解，其在數(shù)值運(yùn)算和邏輯運(yùn)算方面的精確與高速極大地拓展了人腦的能力。

但是迄今為止，計(jì)算機(jī)在解決與形象思維和靈感思維相關(guān)的問(wèn)題時(shí)，卻顯得無(wú)能為力。1.1.1人腦與計(jì)算機(jī)信息處理能力的比較

比較人腦與“電腦”的信息處理能力會(huì)發(fā)現(xiàn)，現(xiàn)有“電腦”和人腦還有很大的差距。1.1.1.1記憶與聯(lián)想能力

人腦有大約1.4*1011個(gè)神經(jīng)細(xì)胞廣泛互連，因而能夠存儲(chǔ)大量的信息。人腦不僅能對(duì)已學(xué)習(xí)的知識(shí)進(jìn)行記憶，面且能在外界輸入的部分信息刺激下，聯(lián)想到一系列相關(guān)的存儲(chǔ)信息，從而實(shí)現(xiàn)對(duì)不完整信息的自聯(lián)想恢復(fù)，或關(guān)聯(lián)信息的互聯(lián)想，而這種互聯(lián)想能力在人腦的創(chuàng)造性思維中起著非常重要的作用。

盡管關(guān)系數(shù)據(jù)庫(kù)或聯(lián)想漢卡等小軟件設(shè)計(jì)實(shí)現(xiàn)的系統(tǒng)也具有一定的聯(lián)想功能，但這種聯(lián)想功能不是計(jì)算機(jī)的信息存儲(chǔ)機(jī)制所固有的，其聯(lián)想能力與聯(lián)想范圍取決于程序的查詢能力。（人腦的聯(lián)想功能具有個(gè)性、不確定性和創(chuàng)造性。）1.1.1人腦與計(jì)算機(jī)信息處理能力的比較

比較人腦與“電腦”的信息處理能力會(huì)發(fā)現(xiàn)，現(xiàn)有“電腦”和人腦還有很大的差距。1.1.1.1記憶與聯(lián)想能力1.1.1.2學(xué)習(xí)與認(rèn)知能力

人腦具有從實(shí)踐中不斷汲取知識(shí)，總結(jié)經(jīng)驗(yàn)的能力。剛出生的嬰兒腦中幾乎是一片空白，在成長(zhǎng)過(guò)程中通過(guò)對(duì)外界環(huán)境的感知及有意識(shí)的訓(xùn)練，知識(shí)和經(jīng)驗(yàn)與日俱增．解決問(wèn)題的能力越來(lái)越強(qiáng)。人腦這種對(duì)經(jīng)驗(yàn)做出反映而改變行為的能力就是學(xué)習(xí)與認(rèn)知能力。

計(jì)算機(jī)所完成的所有工作都是嚴(yán)格按照事先編制的程序進(jìn)行的，因此它的功能和結(jié)果都是確定不變的：作為一種只能被動(dòng)地執(zhí)行確定的二值命令的機(jī)器，計(jì)算機(jī)在反復(fù)按指令執(zhí)行同一程序時(shí)得到的永遠(yuǎn)是同樣的結(jié)果，它不可能在不斷重復(fù)的過(guò)程中總結(jié)或積累任何經(jīng)驗(yàn)，因此不會(huì)主動(dòng)提高自己解決問(wèn)題的能力。1.1.1人腦與計(jì)算機(jī)信息處理能力的比較

比較人腦與“電腦”的信息處理能力會(huì)發(fā)現(xiàn)，現(xiàn)有“電腦”和人腦還有很大的差距。1.1.1.1記憶與聯(lián)想能力1.1.1.2學(xué)習(xí)與認(rèn)知能力1.1.1.3信息加工能力

在信息處理方面，人腦具有復(fù)雜的回憶、聯(lián)想和想象等非邏輯加工功能，因而人的認(rèn)識(shí)可以逾越現(xiàn)實(shí)條件下邏輯所無(wú)法越過(guò)的認(rèn)識(shí)屏障．產(chǎn)生諸如直覺(jué)判斷或靈感一類的思維活動(dòng)。在信息的邏輯加工力面，人腦的功能不僅局限于計(jì)算機(jī)所擅長(zhǎng)的數(shù)值或邏輯運(yùn)算，而且可以上升到具有語(yǔ)言文字的符號(hào)思維和辯證思維。人腦具有的這種高層次的邏輯加工能力使人能夠深入事物內(nèi)部去認(rèn)識(shí)事物的本質(zhì)與規(guī)律。

計(jì)算機(jī)沒(méi)有非邏輯加工功能，因而不會(huì)逾越有限條件下邏輯的認(rèn)識(shí)屏障。計(jì)算機(jī)的邏輯加工能力也僅限于二值邏輯．因此只能在二值邏輯所能描述的范圍內(nèi)運(yùn)用形式邏輯，而缺乏辯證邏輯能力。1.1.1人腦與計(jì)算機(jī)信息處理能力的比較

比較人腦與“電腦”的信息處理能力會(huì)發(fā)現(xiàn)，現(xiàn)有“電腦”和人腦還有很大的差距。1.1.1.1記憶與聯(lián)想能力1.1.1.2學(xué)習(xí)與認(rèn)知能力1.1.1.3信息加工能力1.1.1.4信息綜合能力

人腦善于對(duì)客觀世界豐富多樣的信息和知識(shí)進(jìn)行歸納、類比和概括，綜合起來(lái)解決問(wèn)題、人腦的這種綜合判斷過(guò)程往往是一種對(duì)信息的邏輯加工和非邏輯加工相綜合的過(guò)程。它不僅遵循確定性的邏輯思維原則，而且可以經(jīng)驗(yàn)地、模糊地甚至是直覺(jué)地做出一個(gè)判斷。大腦所具有的這種綜合判斷能力是人腦創(chuàng)造能力的基礎(chǔ)。

計(jì)算機(jī)的信息綜合能力取決于它所執(zhí)行的程序。由于不存在能完全描述人的經(jīng)驗(yàn)和直覺(jué)的數(shù)學(xué)模型，也不存在能完全正確模擬人腦綜合判斷過(guò)程的有效算法，因此計(jì)算機(jī)難以達(dá)到人腦所具有的融會(huì)貫通的信息綜合能力。1.1.1人腦與計(jì)算機(jī)信息處理能力的比較

比較人腦與“電腦”的信息處理能力會(huì)發(fā)現(xiàn)，現(xiàn)有“電腦”和人腦還有很大的差距。1.1.1.1記憶與聯(lián)想能力1.1.1.2學(xué)習(xí)與認(rèn)知能力1.1.1.3信息加工能力1.1.1.4信息綜合能力1.1.1.5信息處理速度

人腦的信息處理是建立在大規(guī)模并行處理基礎(chǔ)上的，這種并行處理所能夠?qū)崿F(xiàn)的高度復(fù)雜的信息處理能力遠(yuǎn)非傳統(tǒng)的以空間復(fù)雜性代替時(shí)間復(fù)雜件的多處理機(jī)并行處理系統(tǒng)所能達(dá)到的。人腦中的信息處理是以神經(jīng)細(xì)胞為單位，而神經(jīng)細(xì)胞間信息的傳遞速度只能達(dá)到毫秒級(jí)，顯然比現(xiàn)代計(jì)算機(jī)中電子元件納秒級(jí)的計(jì)算速度慢得多。由此似乎計(jì)算機(jī)的信息處理速度要遠(yuǎn)高于人腦，事實(shí)上在數(shù)值處理等只需串行算法就能解決問(wèn)題的應(yīng)用方面確實(shí)是如此。

然而迄今為止，計(jì)算機(jī)處理文字、圖像、聲音等類信息的能力與速度卻遠(yuǎn)遠(yuǎn)不如人腦。例如，幾個(gè)月大的嬰兒能從人群中一眼認(rèn)出自己的母親，而計(jì)算機(jī)解決這個(gè)問(wèn)題時(shí)需要對(duì)一幅具有幾十萬(wàn)個(gè)像素點(diǎn)的圖像逐點(diǎn)進(jìn)行處理。并提取臉譜特征進(jìn)行識(shí)別。又如，一個(gè)籃球運(yùn)動(dòng)員可以不假思索地接住隊(duì)友傳給他的球．而讓計(jì)算機(jī)控制機(jī)器人接球則要判斷籃球每一時(shí)刻在三維空間的位置坐標(biāo)、運(yùn)動(dòng)軌跡、運(yùn)動(dòng)方向及速度等等。顯然，在基于形象思維、經(jīng)驗(yàn)與自覺(jué)的判斷方而，人腦只要零點(diǎn)幾秒就可以圓滿完成的任務(wù)，計(jì)算機(jī)花幾十分鐘甚至幾小時(shí)也不一定達(dá)到人腦的水平。1.1.2人腦與計(jì)算機(jī)信息處理機(jī)制的比較

人腦與計(jì)算機(jī)信息處理能力特別是形象思維能力的差異來(lái)源于兩者系統(tǒng)結(jié)構(gòu)和信息處理機(jī)制的不同，主要體現(xiàn)在以下4個(gè)方面。1.1.2.1系統(tǒng)結(jié)構(gòu)1.1.2.2信號(hào)形式1.1.2.3信息存儲(chǔ)1.1.2.4信息處理機(jī)制1.1.2人腦與計(jì)算機(jī)信息處理機(jī)制的比較

人腦與計(jì)算機(jī)信息處理能力特別是形象思維能力的差異來(lái)源于兩者系統(tǒng)結(jié)構(gòu)和信息處理機(jī)制的不同，主要體現(xiàn)在以下4個(gè)方面。1.1.2.1系統(tǒng)結(jié)構(gòu)

人腦在漫長(zhǎng)的進(jìn)化過(guò)程中形成了規(guī)模宏大，結(jié)構(gòu)精細(xì)的群體結(jié)構(gòu)，即神經(jīng)網(wǎng)絡(luò)。腦科學(xué)研究結(jié)果表明，人腦的神經(jīng)網(wǎng)絡(luò)是由數(shù)百億神經(jīng)元相互連接組合而成的。每個(gè)神經(jīng)元相當(dāng)于一個(gè)超微型信息處理與存儲(chǔ)機(jī)構(gòu)，只能完成一種基本功能，如興奮與抑制。而大量神經(jīng)元廣泛連接后形成的神經(jīng)網(wǎng)絡(luò)可進(jìn)行各種極其復(fù)雜的思維活動(dòng)。

計(jì)算機(jī)是一種由各種二值邏輯門(mén)電路構(gòu)成的按串行方式工作的邏輯機(jī)器，它出運(yùn)算器、控制器、存儲(chǔ)器和輸入輸出設(shè)備組成。其信息處理是建立在馮·諾依曼體系基礎(chǔ)上，基于程序存取進(jìn)行工作的。1.1.2人腦與計(jì)算機(jī)信息處理機(jī)制的比較

人腦與計(jì)算機(jī)信息處理能力特別是形象思維能力的差異來(lái)源于兩者系統(tǒng)結(jié)構(gòu)和信息處理機(jī)制的不同，主要體現(xiàn)在以下4個(gè)方面。1.1.2.1系統(tǒng)結(jié)構(gòu)1.1.2.2信號(hào)形式

人腦中的信號(hào)形式具有模擬量和離散脈沖兩種形式。模擬量信號(hào)具有模糊性特點(diǎn)，有利于信息的整合和非邏輯加工，這類信息處理方式不可能都用數(shù)學(xué)方法進(jìn)行充分描述。因而很難用計(jì)算機(jī)進(jìn)行模擬。

計(jì)算機(jī)中信息的表達(dá)采用離散的二進(jìn)制數(shù)和二值邏輯形式，二值邏輯必須用確定的邏輯表達(dá)式來(lái)表示。許多邏輯關(guān)系確定的信息加工過(guò)程可以分解為若干二值邏輯表達(dá)式，由計(jì)算機(jī)來(lái)完成。然而，客觀世界存在的事物關(guān)系并非都是可以分解為二值邏輯的關(guān)系，還存在著各種模糊邏輯關(guān)系和非邏輯關(guān)系。對(duì)這類信息的處理計(jì)算機(jī)是難以勝任的。1.1.2人腦與計(jì)算機(jī)信息處理機(jī)制的比較

人腦與計(jì)算機(jī)信息處理能力特別是形象思維能力的差異來(lái)源于兩者系統(tǒng)結(jié)構(gòu)和信息處理機(jī)制的不同，主要體現(xiàn)在以下4個(gè)方面。1.1.2.1系統(tǒng)結(jié)構(gòu)1.1.2.2信號(hào)形式1.1.2.3信息存儲(chǔ)

與計(jì)算機(jī)不同的是，人腦中的信息不是集中存儲(chǔ)于一個(gè)特定的區(qū)域，而是分布存儲(chǔ)于整個(gè)系統(tǒng)中。此外，人腦中存儲(chǔ)的信息不是相互孤立的，而是聯(lián)想式的。人腦這種分布式聯(lián)想式的信息存儲(chǔ)方式使人類非常擅長(zhǎng)于從失真和缺省的模式中恢復(fù)出正確的模式，或利用給定信息才找期望信息。1.1.2人腦與計(jì)算機(jī)信息處理機(jī)制的比較

人腦與計(jì)算機(jī)信息處理能力特別是形象思維能力的差異來(lái)源于兩者系統(tǒng)結(jié)構(gòu)和信息處理機(jī)制的不同，主要體現(xiàn)在以下4個(gè)方面。1.1.2.1系統(tǒng)結(jié)構(gòu)1.1.2.2信號(hào)形式1.1.2.3信息存儲(chǔ)1.1.2.4信息處理機(jī)制

人腦中的神經(jīng)網(wǎng)絡(luò)是一種高度并行的非線性信息處理系統(tǒng)。其并行性不僅體現(xiàn)在結(jié)構(gòu)上和信息存儲(chǔ)上，而且體現(xiàn)在信息處理的運(yùn)行過(guò)程中。由于人腦采用了信息存儲(chǔ)與信息處理一體化的群體協(xié)同并行處理方式，信息的處理受原有存儲(chǔ)信息的影響，處理后的信息又留記在神經(jīng)元中成為記憶。因而呈現(xiàn)出來(lái)的整體信息處理能力不僅能快速完成各種極復(fù)雜的信息識(shí)別和處理任務(wù)，而且能產(chǎn)生高度復(fù)雜而奇妙的效果。

計(jì)算機(jī)采用的是有限集中的串行信息處理機(jī)制，即所有信息處理都集中在一個(gè)或幾個(gè)CPU中進(jìn)行。CPU通過(guò)總線同內(nèi)外存儲(chǔ)器或I/O接口進(jìn)行順序的“個(gè)別對(duì)話”，存取指令或數(shù)據(jù)。這種機(jī)制的時(shí)間利用率很低，在處理大量實(shí)時(shí)信息時(shí)不可避免地會(huì)遇到速度“瓶頸”。即使采用多CPU并行工作，也只是在一定發(fā)展水平上緩解瓶頸矛盾。1.1.3什么是人工神經(jīng)網(wǎng)絡(luò)

人腦的信息處理機(jī)制是在漫長(zhǎng)的進(jìn)化過(guò)程中形成和完善的。然而到目前為止，人類對(duì)神經(jīng)系統(tǒng)內(nèi)如何利用電信號(hào)和化學(xué)信號(hào)來(lái)處理信息只有模糊的概念。

盡管如此，把分子和細(xì)胞技術(shù)所達(dá)到的微觀層次與行為研究所達(dá)到的系統(tǒng)層次結(jié)合起來(lái)，可以形成對(duì)人腦神經(jīng)網(wǎng)絡(luò)的基本認(rèn)識(shí)。在此基本認(rèn)識(shí)的基礎(chǔ)上，以數(shù)學(xué)和物理方法以及信息處理的角度對(duì)人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象，并建立某種簡(jiǎn)化模型，就稱為人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetwork，縮寫(xiě)ANN)。

人工神經(jīng)網(wǎng)絡(luò)遠(yuǎn)不是人腦生物神經(jīng)網(wǎng)絡(luò)的真實(shí)寫(xiě)照，而只是對(duì)它的簡(jiǎn)化、抽象與模擬。1.1.3什么是人工神經(jīng)網(wǎng)絡(luò)

令人欣慰的是，這些簡(jiǎn)化的人工神經(jīng)網(wǎng)絡(luò)模型的確能反映出人腦的許多基本特性。

人工神經(jīng)網(wǎng)絡(luò)在模式識(shí)別、系統(tǒng)辨識(shí)、信號(hào)處理、自動(dòng)控制、組合優(yōu)化、預(yù)測(cè)預(yù)估、故障診斷、醫(yī)學(xué)與經(jīng)濟(jì)學(xué)等領(lǐng)域已成功地解決了許多現(xiàn)代計(jì)算機(jī)難以解決的實(shí)際問(wèn)題，表現(xiàn)出良好的智能特性和潛在的應(yīng)用前景。1.1.3什么是人工神經(jīng)網(wǎng)絡(luò)

目前關(guān)于人工神經(jīng)網(wǎng)絡(luò)的定義尚不統(tǒng)一，例如，美國(guó)神經(jīng)網(wǎng)絡(luò)學(xué)家HechtNielsen關(guān)于人工神經(jīng)網(wǎng)絡(luò)的一般定義是：“神經(jīng)網(wǎng)絡(luò)是由多個(gè)非常簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的計(jì)算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對(duì)外部輸人信息的動(dòng)態(tài)響應(yīng)來(lái)處理信息的?！?/p>

美國(guó)園防高級(jí)研究計(jì)劃局關(guān)于人工神經(jīng)網(wǎng)絡(luò)的解釋是：“人工神經(jīng)網(wǎng)絡(luò)是一種由許多簡(jiǎn)單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強(qiáng)度以及各單元的處理方式?！?/p>

綜合人工神經(jīng)網(wǎng)絡(luò)的來(lái)源、特點(diǎn)及各種解釋，可以簡(jiǎn)單表述為：人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。為敘述簡(jiǎn)便，后面常將人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)。1.2人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史神經(jīng)網(wǎng)絡(luò)的研究可追溯到19世紀(jì)末期，其發(fā)展歷史可分為四個(gè)時(shí)期。第一個(gè)時(shí)期為啟蒙時(shí)期，開(kāi)始于1890年美國(guó)著名心理學(xué)家W．James關(guān)于人腦結(jié)構(gòu)與功能的研究，結(jié)束于1969年Minsky和Papert發(fā)表《感知器》(Perceptron)一書(shū)。第二個(gè)時(shí)期為低潮時(shí)期，開(kāi)始于1969年，結(jié)束于1982年Hopfield發(fā)表著名的文章“神經(jīng)網(wǎng)絡(luò)和物理系統(tǒng)”(NeuralNetworkandPhysicalSystem)。第三個(gè)時(shí)期為復(fù)興時(shí)期，開(kāi)始于J．J．Hopfield的突破性研究論文，結(jié)束于1986年D．E．Rumelhart和J．L．McClelland領(lǐng)導(dǎo)的研究小組發(fā)表的《并行分布式處理》(ParallelDistributedProcessing)一書(shū)。第四個(gè)時(shí)期為高潮時(shí)期，以1987年首屆國(guó)際人工神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議為開(kāi)端，迅速在全世界范圍內(nèi)掀起人工神經(jīng)網(wǎng)絡(luò)的研究應(yīng)用熱潮，至今勢(shì)頭不衰。1.2.1啟蒙時(shí)期(1/2)1890年，美國(guó)心理學(xué)家WilliamJames發(fā)表了第一部詳細(xì)論述人腦結(jié)構(gòu)及功能的專著《心理學(xué)原理》(PrinciplesofPsychology)，對(duì)相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本原理做了開(kāi)創(chuàng)性研究。半個(gè)世紀(jì)后，生理學(xué)家W．S．McCulloch和數(shù)學(xué)家W．A．Pitts于1943年發(fā)表了一篇神經(jīng)網(wǎng)絡(luò)方面的著名文章。他們?cè)谝阎纳窠?jīng)細(xì)胞生物學(xué)基礎(chǔ)上從信息處理的角度出發(fā)，提出形式神經(jīng)元的數(shù)學(xué)模型，稱為M-P模型。1.2.1啟蒙時(shí)期(2/2)啟蒙時(shí)期的另一位重要學(xué)者是心理學(xué)家DonalaO．Hebb，他在1949年出版了一本名為《行為構(gòu)成》(OrganizationofBehavior)的書(shū)。1958年計(jì)算機(jī)學(xué)家FrankRosenblatt發(fā)表一篇有名的文章，提出了一種具有三層網(wǎng)絡(luò)特性的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為“感知器”(Perceptron)。這或許是世界上第一個(gè)真正優(yōu)秀的人工神經(jīng)網(wǎng)絡(luò)。啟蒙時(shí)期的最后兩位代表人物是電機(jī)工程師BernardWidrow和MarcianHoff。1960年他們發(fā)表了一篇題為“自適應(yīng)開(kāi)關(guān)電路”(AdaptiveSwitchingCircuits)的文章。1.2.2低潮時(shí)期(1/3)在20世紀(jì)60年代，掀起了神經(jīng)網(wǎng)絡(luò)研究的第一次熱潮。由于當(dāng)時(shí)對(duì)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力的估計(jì)過(guò)于樂(lè)觀，而隨著神經(jīng)網(wǎng)絡(luò)研究的深入開(kāi)展，人們遇到了來(lái)自認(rèn)識(shí)、應(yīng)用和實(shí)現(xiàn)各方面的種種困難和迷惑，使得一些人產(chǎn)生了懷疑和失望。人工智能的創(chuàng)始人之一，M．Minsky和S．Papert研究數(shù)年，對(duì)以感知器為代表的網(wǎng)絡(luò)系統(tǒng)的功能及其局限性從數(shù)學(xué)上做了深入研究，于1969年發(fā)表了轟動(dòng)一時(shí)的評(píng)論人工神經(jīng)網(wǎng)絡(luò)的書(shū)，稱為《感知器》(Perceptron)。該書(shū)指出，簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)只能運(yùn)用于線性問(wèn)題的求解，能夠求解非線性問(wèn)題的網(wǎng)絡(luò)應(yīng)具有隱層，而從理論上還不能證明將感知器模型擴(kuò)展到多層網(wǎng)絡(luò)是有意義的。1.2.2低潮時(shí)期(2/3)由于Minsky在學(xué)術(shù)界的地位和影響，其悲觀論點(diǎn)極大地影響了當(dāng)時(shí)的人工神經(jīng)網(wǎng)絡(luò)研究，為剛?cè)计鸬娜斯ど窠?jīng)網(wǎng)絡(luò)之火，潑了一大盆冷水。不久幾乎所有為神經(jīng)網(wǎng)絡(luò)提供的研究資金都枯竭了，很多領(lǐng)域的專家紛紛放棄了這方面課題的研究。開(kāi)始了神經(jīng)網(wǎng)絡(luò)發(fā)展史上長(zhǎng)達(dá)10年的低潮時(shí)期。使神經(jīng)網(wǎng)絡(luò)研究處于低潮的更重要的原因是：20世紀(jì)70年代以來(lái)，集成電路和微電子技術(shù)的迅猛發(fā)展，使傳統(tǒng)的馮·諾依曼型計(jì)算機(jī)進(jìn)入發(fā)展的全盛時(shí)期?；谶壿嫹?hào)處理方法的人工智能得到迅速發(fā)展并取得顯著成就，它們的問(wèn)題和局限性尚未暴露，因此暫時(shí)掩蓋了發(fā)展新型計(jì)算機(jī)和尋求新的神經(jīng)網(wǎng)絡(luò)的必要性和迫切性。在Minsky和Papert的書(shū)出版后的10年中，神經(jīng)網(wǎng)絡(luò)研究園地中辛勤耕耘的研究人員的數(shù)目大幅度減少，但仍有為數(shù)不多的學(xué)者在黑暗時(shí)期堅(jiān)持致力于神經(jīng)網(wǎng)絡(luò)的研究。他們?cè)跇O端艱難的條件下做出難能可貴的扎實(shí)奉獻(xiàn)，為神經(jīng)網(wǎng)絡(luò)研究的復(fù)興與發(fā)展奠定了理論基礎(chǔ)。1.2.2低潮時(shí)期(3/3)1969年，美國(guó)波土頓大學(xué)自適應(yīng)系統(tǒng)中心的S．Grossberg教授和他的夫人G．A．Carpenter提出了著名的自適應(yīng)共振理論(AdaptiveResonanceTheory)模型。1972年，兩位研究者分別在歐洲和美洲異地發(fā)表了類似的神經(jīng)網(wǎng)絡(luò)開(kāi)發(fā)結(jié)果。一位是芬蘭的T．Kohonen教授，提出了自組織映射(SOM)理論，并稱其神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為“聯(lián)想存儲(chǔ)器”(AssociativeMemory)；另一位是美國(guó)的神經(jīng)生理學(xué)家和心理學(xué)家J．Anderson，提出了一個(gè)類似的神經(jīng)網(wǎng)絡(luò)，稱為“交互存儲(chǔ)器”(InteractiveMemory)。低潮時(shí)期第三位重要的研究者是日本東京NHK廣播科學(xué)研究實(shí)驗(yàn)室的福島邦彥（KunihikoFukushima）。他開(kāi)發(fā)了一些神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練算法，其中最有名的是1980年發(fā)表的“新認(rèn)知機(jī)”（Neocognitron）。在整個(gè)低潮時(shí)期，上述開(kāi)創(chuàng)性的研究成果和有意義的工作雖然未能引起當(dāng)時(shí)人們的普遍重視，但是其科學(xué)價(jià)值不可磨滅，它們?yōu)樯窠?jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展奠定了基礎(chǔ)。1.2.3復(fù)興時(shí)期(1/3)進(jìn)入20世紀(jì)80年代后，經(jīng)過(guò)十幾年迅速發(fā)展起來(lái)的以邏輯符號(hào)處理為主的人工智能理論和基于馮·諾依曼工作原理的計(jì)算機(jī)在處理諸如視覺(jué)、聽(tīng)覺(jué)、形象思維、聯(lián)想記憶等智能信息處理問(wèn)題上受到了挫折，在大型復(fù)雜計(jì)算方面顯示出巨大威力的計(jì)算機(jī)卻很難“學(xué)會(huì)”人們習(xí)以為常的普通知識(shí)和經(jīng)驗(yàn)。這一切迫使人們不得不慎重思考：智能問(wèn)題是否可以完全由人工智能中的邏輯推理規(guī)則來(lái)描述？人腦的智能是否可以在計(jì)算機(jī)中重現(xiàn)？1.2.3復(fù)興時(shí)期(2/3)1982年，美國(guó)加州理工學(xué)院的優(yōu)秀物理學(xué)家JohnJ．Hopfield博士發(fā)表了一篇對(duì)神經(jīng)網(wǎng)絡(luò)研究的復(fù)蘇起了重要作用的文章。他總結(jié)與吸取前人對(duì)神經(jīng)網(wǎng)絡(luò)研究的成果真經(jīng)驗(yàn)，把網(wǎng)絡(luò)的各種結(jié)構(gòu)和各種算法概括起來(lái)，塑造出一種新穎的強(qiáng)有力的網(wǎng)絡(luò)模型，稱為Hopfield網(wǎng)絡(luò)。其中最具有創(chuàng)新的是他對(duì)網(wǎng)絡(luò)引用了物理力學(xué)的分析方法，把網(wǎng)絡(luò)作為一動(dòng)態(tài)系統(tǒng)并研究這種網(wǎng)絡(luò)動(dòng)態(tài)系統(tǒng)的穩(wěn)定性。他把李雅普諾夫（Lyapunov）能量函數(shù)引入網(wǎng)絡(luò)訓(xùn)練這一動(dòng)態(tài)系統(tǒng)中。不可否認(rèn)，是Hopfield博士點(diǎn)亮了人工神經(jīng)網(wǎng)絡(luò)復(fù)興的火炬，掀起了各學(xué)科關(guān)心神經(jīng)網(wǎng)絡(luò)的熱潮。1.2.3復(fù)興時(shí)期(3/3)在1986年貝爾實(shí)驗(yàn)室宣布制成神經(jīng)網(wǎng)絡(luò)芯片前不久，美國(guó)的DavidE．Rumelhart和JamesL．McCelland及其領(lǐng)導(dǎo)的研究小組發(fā)表了《并行分布式處理》（ParallelDistributedProcessing，簡(jiǎn)稱PDP）一書(shū)的前兩卷，接著在1988年發(fā)表了帶有軟件程序的第三卷。他們提出的PDP網(wǎng)絡(luò)思想，為神經(jīng)網(wǎng)絡(luò)研究新高潮的到來(lái)起到了推波助瀾的作用。書(shū)中涉及到神經(jīng)網(wǎng)絡(luò)的三個(gè)主要特征，即結(jié)構(gòu)、神經(jīng)元的傳遞函數(shù)（也稱傳輸函數(shù)、轉(zhuǎn)移函數(shù)、激勵(lì)函數(shù)）和它的學(xué)習(xí)訓(xùn)練方法。PDP這部書(shū)最重要的貢獻(xiàn)之一是發(fā)展了多層感知機(jī)的反向傳播訓(xùn)練算法，把學(xué)習(xí)的結(jié)果反饋到中間層次的隱節(jié)點(diǎn)，改變其連接權(quán)位，以達(dá)到預(yù)期的學(xué)習(xí)目的。該算法已成為當(dāng)今影響最大的一種網(wǎng)絡(luò)學(xué)習(xí)方法。1.2.4新時(shí)期(1/2)1987年6月，首屆國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議在美國(guó)加州圣地亞哥召開(kāi)，到會(huì)代表有1600余人。這標(biāo)志著世界范圍內(nèi)掀起神經(jīng)網(wǎng)絡(luò)開(kāi)發(fā)研究的熱潮。在會(huì)上成立了國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)（InternationalNeuralNetworkSociety，簡(jiǎn)稱INNS），并于1988年在美國(guó)波士頓召開(kāi)了年會(huì)，會(huì)議討論的議題涉及到生物、電子、計(jì)算機(jī)、物理、控制、信號(hào)處理及人工智能等各個(gè)領(lǐng)域。白1988年起，國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)和國(guó)際電氣工程