D人工神經(jīng)網(wǎng)絡(luò)1課件

1、人工神經(jīng)網(wǎng)絡(luò) Artificial Neural Networks教材名稱：人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)及應(yīng)用出版社：化學(xué)工業(yè)出版社 出版日期：2002年1月第1版, 2004年2月第2次印刷 出版日期：2007年9月第2版 作者：韓力群 主要參考書目1、張青貴編，人工神經(jīng)元網(wǎng)絡(luò)導(dǎo)論，中國水利水電科學(xué)出版，2004年10月 2、徐麗娜編，神經(jīng)元網(wǎng)絡(luò)控制，電子工業(yè)出版社，2003年3月 3、袁曾任編，人工神經(jīng)元網(wǎng)絡(luò)及其應(yīng)用，清華大學(xué)出版社，1999年10月 4、馬銳編，人工神經(jīng)網(wǎng)絡(luò)原理，機(jī)械工業(yè)出版社，2010年9月5、丁士圻郭麗華編，人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)，機(jī)械工業(yè)出版社，2008年3月課程目的和基本要求

2、 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用是目前國際上一門發(fā)展迅速的前沿交叉學(xué)科。它是模擬生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及其功能的新型信息處理系統(tǒng)，目前已有廣泛的應(yīng)用。介紹人工神經(jīng)網(wǎng)絡(luò)及其基本網(wǎng)絡(luò)模型，掌握人工神經(jīng)網(wǎng)絡(luò)的基本概念、單層網(wǎng)、多層網(wǎng)、循環(huán)網(wǎng)等各種基本網(wǎng)絡(luò)模型的結(jié)構(gòu)、特點(diǎn)、典型訓(xùn)練算法、運(yùn)行方式、典型問題。通過本課程的教學(xué), 掌握人工神經(jīng)網(wǎng)絡(luò)的基本概念、原理和方法, 尤其是人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)概念與方法, 學(xué)會(huì)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)模型來解決實(shí)際問題，了解人工神經(jīng)網(wǎng)絡(luò)的發(fā)展動(dòng)向和應(yīng)用前景。查閱適當(dāng)?shù)膮⒖嘉墨I(xiàn)，將所學(xué)的知識(shí)與有關(guān)研究結(jié)合起來，達(dá)到既豐富學(xué)習(xí)內(nèi)容，又了解研究和應(yīng)用的基本情況。主要內(nèi)容第一章 緒論第二章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知

3、識(shí)第三章 監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)第四章 競(jìng)爭(zhēng)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)第五章 組合學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)第六章 反饋神經(jīng)網(wǎng)絡(luò)(部分)第七章 小腦模型神經(jīng)網(wǎng)絡(luò)第八章 基于數(shù)學(xué)原理的神經(jīng)網(wǎng)絡(luò)第九章 神經(jīng)網(wǎng)絡(luò)的系統(tǒng)設(shè)計(jì)與軟件實(shí)現(xiàn)第十章 回顧與展望1.1 人腦與計(jì)算機(jī)人類具有高度發(fā)達(dá)的大腦，大腦是思維活動(dòng)的物質(zhì)基礎(chǔ)，而思維是人類智能的集中體現(xiàn)。長(zhǎng)期以來，人們想方設(shè)法了解人腦的工作機(jī)理和思維的本質(zhì)，向往能構(gòu)造出具有類人智能的人工智能系統(tǒng)，以模仿人腦功能，完成類似于人腦的工作。人腦的思維有邏輯思維、形象思維和靈感思維三種基本方式。現(xiàn)代計(jì)算機(jī)的計(jì)算構(gòu)成單元的速度是人腦中神經(jīng)元速度的幾百萬倍，對(duì)于那些特征明確，推理或運(yùn)算規(guī)則清楚的可編程問

4、題，可以高速有效地求解，其在數(shù)值運(yùn)算和邏輯運(yùn)算方面的精確與高速極大地拓展了人腦的能力。但是迄今為止，計(jì)算機(jī)在解決與形象思維和靈感思維相關(guān)的問題時(shí)，卻顯得無能為力。 1.1.1 人腦與計(jì)算機(jī)信息處理能力的比較比較人腦與“電腦”的信息處理能力會(huì)發(fā)現(xiàn)，現(xiàn)有“電腦”和人腦還有很大的差距。 1.1.1.1 記憶與聯(lián)想能力人腦有大約1.4*1011個(gè)神經(jīng)細(xì)胞廣泛互連，因而能夠存儲(chǔ)大量的信息。人腦不僅能對(duì)已學(xué)習(xí)的知識(shí)進(jìn)行記憶，面且能在外界輸入的部分信息刺激下，聯(lián)想到一系列相關(guān)的存儲(chǔ)信息，從而實(shí)現(xiàn)對(duì)不完整信息的自聯(lián)想恢復(fù)，或關(guān)聯(lián)信息的互聯(lián)想，而這種互聯(lián)想能力在人腦的創(chuàng)造性思維中起著非常重要的作用。盡管關(guān)系數(shù)據(jù)

5、庫或聯(lián)想漢卡等小軟件設(shè)計(jì)實(shí)現(xiàn)的系統(tǒng)也具有一定的聯(lián)想功能，但這種聯(lián)想功能不是計(jì)算機(jī)的信息存儲(chǔ)機(jī)制所固有的，其聯(lián)想能力與聯(lián)想范圍取決于程序的查詢能力。（人腦的聯(lián)想功能具有個(gè)性、不確定性和創(chuàng)造性。）1.1.1 人腦與計(jì)算機(jī)信息處理能力的比較比較人腦與“電腦”的信息處理能力會(huì)發(fā)現(xiàn)，現(xiàn)有“電腦”和人腦還有很大的差距。 1.1.1.1 記憶與聯(lián)想能力1.1.1.2 學(xué)習(xí)與認(rèn)知能力1.1.1.3 信息加工能力在信息處理方面，人腦具有復(fù)雜的回憶、聯(lián)想和想象等非邏輯加工功能，因而人的認(rèn)識(shí)可以逾越現(xiàn)實(shí)條件下邏輯所無法越過的認(rèn)識(shí)屏障產(chǎn)生諸如直覺判斷或靈感一類的思維活動(dòng)。在信息的邏輯加工力面，人腦的功能不僅局限于計(jì)算

6、機(jī)所擅長(zhǎng)的數(shù)值或邏輯運(yùn)算，而且可以上升到具有語言文字的符號(hào)思維和辯證思維。人腦具有的這種高層次的邏輯加工能力使人能夠深入事物內(nèi)部去認(rèn)識(shí)事物的本質(zhì)與規(guī)律。計(jì)算機(jī)沒有非邏輯加工功能，因而不會(huì)逾越有限條件下邏輯的認(rèn)識(shí)屏障。計(jì)算機(jī)的邏輯加工能力也僅限于二值邏輯因此只能在二值邏輯所能描述的范圍內(nèi)運(yùn)用形式邏輯，而缺乏辯證邏輯能力。1.1.1 人腦與計(jì)算機(jī)信息處理能力的比較比較人腦與“電腦”的信息處理能力會(huì)發(fā)現(xiàn)，現(xiàn)有“電腦”和人腦還有很大的差距。 1.1.1.1 記憶與聯(lián)想能力1.1.1.2 學(xué)習(xí)與認(rèn)知能力1.1.1.3 信息加工能力1.1.1.4 信息綜合能力人腦善于對(duì)客觀世界豐富多樣的信息和知識(shí)進(jìn)行歸納

7、、類比和概括，綜合起來解決問題、人腦的這種綜合判斷過程往往是一種對(duì)信息的邏輯加工和非邏輯加工相綜合的過程。它不僅遵循確定性的邏輯思維原則，而且可以經(jīng)驗(yàn)地、模糊地甚至是直覺地做出一個(gè)判斷。大腦所具有的這種綜合判斷能力是人腦創(chuàng)造能力的基礎(chǔ)。計(jì)算機(jī)的信息綜合能力取決于它所執(zhí)行的程序。由于不存在能完全描述人的經(jīng)驗(yàn)和直覺的數(shù)學(xué)模型，也不存在能完全正確模擬人腦綜合判斷過程的有效算法，因此計(jì)算機(jī)難以達(dá)到人腦所具有的融會(huì)貫通的信息綜合能力。1.1.1 人腦與計(jì)算機(jī)信息處理能力的比較比較人腦與“電腦”的信息處理能力會(huì)發(fā)現(xiàn)，現(xiàn)有“電腦”和人腦還有很大的差距。 1.1.1.1 記憶與聯(lián)想能力1.1.1.2 學(xué)習(xí)與認(rèn)

8、知能力1.1.1.3 信息加工能力1.1.1.4 信息綜合能力1.1.1.5 信息處理速度人腦的信息處理是建立在大規(guī)模并行處理基礎(chǔ)上的，這種并行處理所能夠?qū)崿F(xiàn)的高度復(fù)雜的信息處理能力遠(yuǎn)非傳統(tǒng)的以空間復(fù)雜性代替時(shí)間復(fù)雜件的多處理機(jī)并行處理系統(tǒng)所能達(dá)到的。人腦中的信息處理是以神經(jīng)細(xì)胞為單位，而神經(jīng)細(xì)胞間信息的傳遞速度只能達(dá)到毫秒級(jí)，顯然比現(xiàn)代計(jì)算機(jī)中電子元件納秒級(jí)的計(jì)算速度慢得多。由此似乎計(jì)算機(jī)的信息處理速度要遠(yuǎn)高于人腦，事實(shí)上在數(shù)值處理等只需串行算法就能解決問題的應(yīng)用方面確實(shí)是如此。然而迄今為止，計(jì)算機(jī)處理文字、圖像、聲音等類信息的能力與速度卻遠(yuǎn)遠(yuǎn)不如人腦。例如，幾個(gè)月大的嬰兒能從人群中一眼認(rèn)出

9、自己的母親，而計(jì)算機(jī)解決這個(gè)問題時(shí)需要對(duì)一幅具有幾十萬個(gè)像素點(diǎn)的圖像逐點(diǎn)進(jìn)行處理。并提取臉譜特征進(jìn)行識(shí)別。又如，一個(gè)籃球運(yùn)動(dòng)員可以不假思索地接住隊(duì)友傳給他的球而讓計(jì)算機(jī)控制機(jī)器人接球則要判斷籃球每一時(shí)刻在三維空間的位置坐標(biāo)、運(yùn)動(dòng)軌跡、運(yùn)動(dòng)方向及速度等等。顯然，在基于形象思維、經(jīng)驗(yàn)與自覺的判斷方而，人腦只要零點(diǎn)幾秒就可以圓滿完成的任務(wù)，計(jì)算機(jī)花幾十分鐘甚至幾小時(shí)也不一定達(dá)到人腦的水平。1.1.2 人腦與計(jì)算機(jī)信息處理機(jī)制的比較人腦與計(jì)算機(jī)信息處理能力特別是形象思維能力的差異來源于兩者系統(tǒng)結(jié)構(gòu)和信息處理機(jī)制的不同，主要體現(xiàn)在以下4個(gè)方面。1.1.2.1 系統(tǒng)結(jié)構(gòu)人腦在漫長(zhǎng)的進(jìn)化過程中形成了規(guī)模宏大

10、，結(jié)構(gòu)精細(xì)的群體結(jié)構(gòu)，即神經(jīng)網(wǎng)絡(luò)。腦科學(xué)研究結(jié)果表明，人腦的神經(jīng)網(wǎng)絡(luò)是由數(shù)百億神經(jīng)元相互連接組合而成的。每個(gè)神經(jīng)元相當(dāng)于一個(gè)超微型信息處理與存儲(chǔ)機(jī)構(gòu)，只能完成一種基本功能，如興奮與抑制。而大量神經(jīng)元廣泛連接后形成的神經(jīng)網(wǎng)絡(luò)可進(jìn)行各種極其復(fù)雜的思維活動(dòng)。計(jì)算機(jī)是一種由各種二值邏輯門電路構(gòu)成的按串行方式工作的邏輯機(jī)器，它出運(yùn)算器、控制器、存儲(chǔ)器和輸入輸出設(shè)備組成。其信息處理是建立在馮諾依曼體系基礎(chǔ)上，基于程序存取進(jìn)行工作的。1.1.2 人腦與計(jì)算機(jī)信息處理機(jī)制的比較人腦與計(jì)算機(jī)信息處理能力特別是形象思維能力的差異來源于兩者系統(tǒng)結(jié)構(gòu)和信息處理機(jī)制的不同，主要體現(xiàn)在以下4個(gè)方面。1.1.2.1 系統(tǒng)結(jié)

11、構(gòu)1.1.2.2 信號(hào)形式人腦中的信號(hào)形式具有模擬量和離散脈沖兩種形式。模擬量信號(hào)具有模糊性特點(diǎn)，有利于信息的整合和非邏輯加工，這類信息處理方式不可能都用數(shù)學(xué)方法進(jìn)行充分描述。因而很難用計(jì)算機(jī)進(jìn)行模擬。計(jì)算機(jī)中信息的表達(dá)采用離散的二進(jìn)制數(shù)和二值邏輯形式，二值邏輯必須用確定的邏輯表達(dá)式來表示。許多邏輯關(guān)系確定的信息加工過程可以分解為若干二值邏輯表達(dá)式，由計(jì)算機(jī)來完成。然而，客觀世界存在的事物關(guān)系并非都是可以分解為二值邏輯的關(guān)系，還存在著各種模糊邏輯關(guān)系和非邏輯關(guān)系。對(duì)這類信息的處理計(jì)算機(jī)是難以勝任的。1.1.2 人腦與計(jì)算機(jī)信息處理機(jī)制的比較人腦與計(jì)算機(jī)信息處理能力特別是形象思維能力的差異來源于

12、兩者系統(tǒng)結(jié)構(gòu)和信息處理機(jī)制的不同，主要體現(xiàn)在以下4個(gè)方面。1.1.2.1 系統(tǒng)結(jié)構(gòu)1.1.2.2 信號(hào)形式1.1.2.3 信息存儲(chǔ)1.1.2.4 信息處理機(jī)制人腦中的神經(jīng)網(wǎng)絡(luò)是一種高度并行的非線性信息處理系統(tǒng)。其并行性不僅體現(xiàn)在結(jié)構(gòu)上和信息存儲(chǔ)上，而且體現(xiàn)在信息處理的運(yùn)行過程中。由于人腦采用了信息存儲(chǔ)與信息處理一體化的群體協(xié)同并行處理方式，信息的處理受原有存儲(chǔ)信息的影響，處理后的信息又留記在神經(jīng)元中成為記憶。因而呈現(xiàn)出來的整體信息處理能力不僅能快速完成各種極復(fù)雜的信息識(shí)別和處理任務(wù)，而且能產(chǎn)生高度復(fù)雜而奇妙的效果。計(jì)算機(jī)采用的是有限集中的串行信息處理機(jī)制，即所有信息處理都集中在一個(gè)或幾個(gè)CPU

13、中進(jìn)行。CPU通過總線同內(nèi)外存儲(chǔ)器或I/O接口進(jìn)行順序的“個(gè)別對(duì)話”，存取指令或數(shù)據(jù)。這種機(jī)制的時(shí)間利用率很低，在處理大量實(shí)時(shí)信息時(shí)不可避免地會(huì)遇到速度“瓶頸”。即使采用多CPU并行工作，也只是在一定發(fā)展水平上緩解瓶頸矛盾。1.1.3 什么是人工神經(jīng)網(wǎng)絡(luò)人腦的信息處理機(jī)制是在漫長(zhǎng)的進(jìn)化過程中形成和完善的。然而到目前為止，人類對(duì)神經(jīng)系統(tǒng)內(nèi)如何利用電信號(hào)和化學(xué)信號(hào)來處理信息只有模糊的概念。盡管如此，把分子和細(xì)胞技術(shù)所達(dá)到的微觀層次與行為研究所達(dá)到的系統(tǒng)層次結(jié)合起來，可以形成對(duì)人腦神經(jīng)網(wǎng)絡(luò)的基本認(rèn)識(shí)。在此基本認(rèn)識(shí)的基礎(chǔ)上，以數(shù)學(xué)和物理方法以及信息處理的角度對(duì)人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象，并建立某種簡(jiǎn)化模型，

14、就稱為人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，縮寫ANN)。人工神經(jīng)網(wǎng)絡(luò)遠(yuǎn)不是人腦生物神經(jīng)網(wǎng)絡(luò)的真實(shí)寫照，而只是對(duì)它的簡(jiǎn)化、抽象與模擬。1.1.3 什么是人工神經(jīng)網(wǎng)絡(luò)令人欣慰的是，這些簡(jiǎn)化的人工神經(jīng)網(wǎng)絡(luò)模型的確能反映出人腦的許多基本特性。人工神經(jīng)網(wǎng)絡(luò)在模式識(shí)別、系統(tǒng)辨識(shí)、信號(hào)處理、自動(dòng)控制、組合優(yōu)化、預(yù)測(cè)預(yù)估、故障診斷、醫(yī)學(xué)與經(jīng)濟(jì)學(xué)等領(lǐng)域已成功地解決了許多現(xiàn)代計(jì)算機(jī)難以解決的實(shí)際問題，表現(xiàn)出良好的智能特性和潛在的應(yīng)用前景。 1.1.3 什么是人工神經(jīng)網(wǎng)絡(luò)目前關(guān)于人工神經(jīng)網(wǎng)絡(luò)的定義尚不統(tǒng)一，例如，美國神經(jīng)網(wǎng)絡(luò)學(xué)家Hecht Nielsen關(guān)于人工神經(jīng)網(wǎng)絡(luò)的一般定義是：“

15、神經(jīng)網(wǎng)絡(luò)是由多個(gè)非常簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的計(jì)算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對(duì)外部輸人信息的動(dòng)態(tài)響應(yīng)來處理信息的?！泵绹鴪@防高級(jí)研究計(jì)劃局關(guān)于人工神經(jīng)網(wǎng)絡(luò)的解釋是：“人工神經(jīng)網(wǎng)絡(luò)是一種由許多簡(jiǎn)單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強(qiáng)度以及各單元的處理方式?！本C合人工神經(jīng)網(wǎng)絡(luò)的來源、特點(diǎn)及各種解釋，可以簡(jiǎn)單表述為：人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。為敘述簡(jiǎn)便，后面常將人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)。1.2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史神經(jīng)網(wǎng)絡(luò)的研究可追溯到19世紀(jì)末期，其發(fā)展歷史可分為四個(gè)時(shí)期。第一個(gè)時(shí)期為啟蒙時(shí)期，開始于1890年美國著名心理學(xué)

16、家WJames關(guān)于人腦結(jié)構(gòu)與功能的研究，結(jié)束于1969年Minsky和Papert發(fā)表感知器(Perceptron)一書。第二個(gè)時(shí)期為低潮時(shí)期，開始于1969年，結(jié)束于1982年Hopfield發(fā)表著名的文章“神經(jīng)網(wǎng)絡(luò)和物理系統(tǒng)”(Neural Network and Physical System)。第三個(gè)時(shí)期為復(fù)興時(shí)期，開始于JJHopfield的突破性研究論文，結(jié)束于1986年DERumelhart和JLMcClelland領(lǐng)導(dǎo)的研究小組發(fā)表的并行分布式處理(Parallel Distributed Processing)一書。第四個(gè)時(shí)期為高潮時(shí)期，以1987年首屆國際人工神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)

17、議為開端，迅速在全世界范圍內(nèi)掀起人工神經(jīng)網(wǎng)絡(luò)的研究應(yīng)用熱潮，至今勢(shì)頭不衰。1.2.1 啟蒙時(shí)期 (1/2)1890年，美國心理學(xué)家William James發(fā)表了第一部詳細(xì)論述人腦結(jié)構(gòu)及功能的專著心理學(xué)原理(Principles of Psychology)，對(duì)相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本原理做了開創(chuàng)性研究。 半個(gè)世紀(jì)后，生理學(xué)家WSMcCulloch和數(shù)學(xué)家WAPitts于1943年發(fā)表了一篇神經(jīng)網(wǎng)絡(luò)方面的著名文章。他們?cè)谝阎纳窠?jīng)細(xì)胞生物學(xué)基礎(chǔ)上從信息處理的角度出發(fā)，提出形式神經(jīng)元的數(shù)學(xué)模型，稱為M-P模型。 1.2.2 低潮時(shí)期 (1/3)在20世紀(jì)60年代，掀起了神經(jīng)網(wǎng)絡(luò)研究的第一次熱潮。

18、由于當(dāng)時(shí)對(duì)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力的估計(jì)過于樂觀，而隨著神經(jīng)網(wǎng)絡(luò)研究的深入開展，人們遇到了來自認(rèn)識(shí)、應(yīng)用和實(shí)現(xiàn)各方面的種種困難和迷惑，使得一些人產(chǎn)生了懷疑和失望。人工智能的創(chuàng)始人之一，MMinsky和SPapert研究數(shù)年，對(duì)以感知器為代表的網(wǎng)絡(luò)系統(tǒng)的功能及其局限性從數(shù)學(xué)上做了深入研究，于1969年發(fā)表了轟動(dòng)一時(shí)的評(píng)論人工神經(jīng)網(wǎng)絡(luò)的書，稱為感知器(Perceptron)。該書指出，簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)只能運(yùn)用于線性問題的求解，能夠求解非線性問題的網(wǎng)絡(luò)應(yīng)具有隱層，而從理論上還不能證明將感知器模型擴(kuò)展到多層網(wǎng)絡(luò)是有意義的。 1.2.2 低潮時(shí)期 (2/3)由于Minsky在學(xué)術(shù)界的地位和影響，其悲觀論點(diǎn)極大地

19、影響了當(dāng)時(shí)的人工神經(jīng)網(wǎng)絡(luò)研究，為剛?cè)计鸬娜斯ど窠?jīng)網(wǎng)絡(luò)之火，潑了一大盆冷水。不久幾乎所有為神經(jīng)網(wǎng)絡(luò)提供的研究資金都枯竭了，很多領(lǐng)域的專家紛紛放棄了這方面課題的研究。開始了神經(jīng)網(wǎng)絡(luò)發(fā)展史上長(zhǎng)達(dá)10年的低潮時(shí)期。使神經(jīng)網(wǎng)絡(luò)研究處于低潮的更重要的原因是：20世紀(jì)70年代以來，集成電路和微電子技術(shù)的迅猛發(fā)展，使傳統(tǒng)的馮諾依曼型計(jì)算機(jī)進(jìn)入發(fā)展的全盛時(shí)期?；谶壿嫹?hào)處理方法的人工智能得到迅速發(fā)展并取得顯著成就，它們的問題和局限性尚未暴露，因此暫時(shí)掩蓋了發(fā)展新型計(jì)算機(jī)和尋求新的神經(jīng)網(wǎng)絡(luò)的必要性和迫切性。在Minsky和Papert的書出版后的10年中，神經(jīng)網(wǎng)絡(luò)研究園地中辛勤耕耘的研究人員的數(shù)目大幅度減少，但

20、仍有為數(shù)不多的學(xué)者在黑暗時(shí)期堅(jiān)持致力于神經(jīng)網(wǎng)絡(luò)的研究。他們?cè)跇O端艱難的條件下做出難能可貴的扎實(shí)奉獻(xiàn)，為神經(jīng)網(wǎng)絡(luò)研究的復(fù)興與發(fā)展奠定了理論基礎(chǔ)。1.2.3 復(fù)興時(shí)期(1/3)進(jìn)入20世紀(jì)80年代后，經(jīng)過十幾年迅速發(fā)展起來的以邏輯符號(hào)處理為主的人工智能理論和基于馮諾依曼工作原理的計(jì)算機(jī)在處理諸如視覺、聽覺、形象思維、聯(lián)想記憶等智能信息處理問題上受到了挫折，在大型復(fù)雜計(jì)算方面顯示出巨大威力的計(jì)算機(jī)卻很難“學(xué)會(huì)”人們習(xí)以為常的普通知識(shí)和經(jīng)驗(yàn)。這一切迫使人們不得不慎重思考：智能問題是否可以完全由人工智能中的邏輯推理規(guī)則來描述？人腦的智能是否可以在計(jì)算機(jī)中重現(xiàn)？1.2.3 復(fù)興時(shí)期(2/3)1982年，美

21、國加州理工學(xué)院的優(yōu)秀物理學(xué)家John JHopfield博士發(fā)表了一篇對(duì)神經(jīng)網(wǎng)絡(luò)研究的復(fù)蘇起了重要作用的文章。他總結(jié)與吸取前人對(duì)神經(jīng)網(wǎng)絡(luò)研究的成果真經(jīng)驗(yàn)，把網(wǎng)絡(luò)的各種結(jié)構(gòu)和各種算法概括起來，塑造出一種新穎的強(qiáng)有力的網(wǎng)絡(luò)模型，稱為Hopfield網(wǎng)絡(luò)。 其中最具有創(chuàng)新的是他對(duì)網(wǎng)絡(luò)引用了物理力學(xué)的分析方法，把網(wǎng)絡(luò)作為一動(dòng)態(tài)系統(tǒng)并研究這種網(wǎng)絡(luò)動(dòng)態(tài)系統(tǒng)的穩(wěn)定性。他把李雅普諾夫（Lyapunov）能量函數(shù)引入網(wǎng)絡(luò)訓(xùn)練這一動(dòng)態(tài)系統(tǒng)中。不可否認(rèn)，是Hopfield博士點(diǎn)亮了人工神經(jīng)網(wǎng)絡(luò)復(fù)興的火炬，掀起了各學(xué)科關(guān)心神經(jīng)網(wǎng)絡(luò)的熱潮。 1.2.3 復(fù)興時(shí)期(3/3)在1986年貝爾實(shí)驗(yàn)室宣布制成神經(jīng)網(wǎng)絡(luò)芯片前不久

22、，美國的David ERumelhart和James LMcCelland及其領(lǐng)導(dǎo)的研究小組發(fā)表了并行分布式處理（Parallel Distributed Processing，簡(jiǎn)稱PDP）一書的前兩卷，接著在1988年發(fā)表了帶有軟件程序的第三卷。他們提出的PDP網(wǎng)絡(luò)思想，為神經(jīng)網(wǎng)絡(luò)研究新高潮的到來起到了推波助瀾的作用。書中涉及到神經(jīng)網(wǎng)絡(luò)的三個(gè)主要特征，即結(jié)構(gòu)、神經(jīng)元的傳遞函數(shù)（也稱傳輸函數(shù)、轉(zhuǎn)移函數(shù)、激勵(lì)函數(shù)）和它的學(xué)習(xí)訓(xùn)練方法。PDP這部書最重要的貢獻(xiàn)之一是發(fā)展了多層感知機(jī)的反向傳播訓(xùn)練算法，把學(xué)習(xí)的結(jié)果反饋到中間層次的隱節(jié)點(diǎn)，改變其連接權(quán)位，以達(dá)到預(yù)期的學(xué)習(xí)目的。該算法已成為當(dāng)今影響最大

23、的一種網(wǎng)絡(luò)學(xué)習(xí)方法。1.2.4 新時(shí)期(1/2) 1987年6月，首屆國際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議在美國加州圣地亞哥召開，到會(huì)代表有1600余人。這標(biāo)志著世界范圍內(nèi)掀起神經(jīng)網(wǎng)絡(luò)開發(fā)研究的熱潮。在會(huì)上成立了國際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)（International Neural Network Society，簡(jiǎn)稱INNS），并于1988年在美國波士頓召開了年會(huì)，會(huì)議討論的議題涉及到生物、電子、計(jì)算機(jī)、物理、控制、信號(hào)處理及人工智能等各個(gè)領(lǐng)域。白1988年起，國際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)和國際電氣工程師與電子工程師學(xué)會(huì)（IEEE）聯(lián)合召開每年一次的國際學(xué)術(shù)會(huì)議。由世界著名的三位神經(jīng)網(wǎng)絡(luò)學(xué)家，美國波士頓大學(xué)的Stephen Gro

24、ssberg教授、芬蘭赫爾辛基技術(shù)大學(xué)的Teuvo Kohonen教授及日本東京大學(xué)的甘利俊一（Shunichi Amari）教授，主持創(chuàng)辦了世界第一份神經(jīng)網(wǎng)絡(luò)雜志Neural Network。隨后，IEEE也成立了神經(jīng)網(wǎng)絡(luò)協(xié)會(huì)并于1990年3月開始出版神經(jīng)網(wǎng)絡(luò)會(huì)刊。各種學(xué)術(shù)期刊的神經(jīng)網(wǎng)絡(luò)特刊也層出不窮。1.2.4 新時(shí)期(2/2) 從1987年以來，神經(jīng)網(wǎng)絡(luò)的理論、應(yīng)用、實(shí)現(xiàn)及開發(fā)工具均以令人振奮的速度快速發(fā)展。神經(jīng)網(wǎng)絡(luò)理論已成為涉及神經(jīng)生理科學(xué)、認(rèn)識(shí)科學(xué)、數(shù)理科學(xué)、心理學(xué)、信息科學(xué)、計(jì)算機(jī)科學(xué)、微電子學(xué)、光學(xué)、生物電子學(xué)等多學(xué)科交叉、綜合的前沿學(xué)科。神經(jīng)網(wǎng)絡(luò)的應(yīng)用已滲透到模式識(shí)別、圖像處理

25、、非線性優(yōu)化、語音處理、自然語言理解、自動(dòng)目標(biāo)識(shí)別、機(jī)器人、專家系統(tǒng)等各個(gè)領(lǐng)域，并取得了令人矚目的成果。應(yīng)當(dāng)指出，對(duì)神經(jīng)網(wǎng)絡(luò)及神經(jīng)計(jì)算機(jī)的研究決不意味著數(shù)字計(jì)算機(jī)將要退出歷史舞臺(tái)。在智能的、模糊的、隨機(jī)的信息處理方面，神經(jīng)網(wǎng)絡(luò)及神經(jīng)計(jì)算機(jī)具有巨大優(yōu)勢(shì)；而在符號(hào)邏輯推理、數(shù)值精確計(jì)算等方面，數(shù)字計(jì)算機(jī)仍將發(fā)揮其不可替代的作用。兩種計(jì)算機(jī)互為補(bǔ)充、共同發(fā)展。從真正的“電腦”意義上來說，未來的智能型計(jì)算機(jī)應(yīng)該是精確計(jì)算和模糊處理功能均備、邏輯思維和形象思維兼優(yōu)的嶄新計(jì)算機(jī)。表1.1列出神經(jīng)網(wǎng)絡(luò)發(fā)展過程中起過重要作用的十幾種著名神經(jīng)網(wǎng)絡(luò)的情況，它是神經(jīng)網(wǎng)絡(luò)發(fā)展史的一個(gè)縮影。（P.12）1.2.5 國內(nèi)

26、研究概況中國最早涉及人工神經(jīng)網(wǎng)絡(luò)的著作是涂序彥先生等于1980年發(fā)表的生物控制論一書，書中將“神經(jīng)系統(tǒng)控制論”單獨(dú)設(shè)為一章，系統(tǒng)地介紹了神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、功能和模型。 1989年10月和11月分別在北京和廣州召開了神經(jīng)網(wǎng)絡(luò)及其應(yīng)用學(xué)術(shù)討論會(huì)和第一屆全國信號(hào)處理-神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議。1990年2月，由中國八個(gè)學(xué)會(huì)（即中國電子學(xué)會(huì)、計(jì)算機(jī)學(xué)會(huì)、人工智能學(xué)會(huì)、自動(dòng)化學(xué)會(huì)、通信學(xué)會(huì)、物理學(xué)會(huì)、生物物理學(xué)會(huì)和心理學(xué)會(huì)）聯(lián)合在北京召開“中國神經(jīng)網(wǎng)絡(luò)首屆學(xué)術(shù)大會(huì)”。這次會(huì)議以“八學(xué)會(huì)聯(lián)盟，探智能奧秘”為主題收到了來自全國300多篇論文，從而開創(chuàng)了中國人工神經(jīng)網(wǎng)絡(luò)及神經(jīng)計(jì)算機(jī)力面科學(xué)研究的新紀(jì)元。 1.3

27、 神經(jīng)網(wǎng)絡(luò)的基本特征與功能(1/7)人工神經(jīng)網(wǎng)絡(luò)是基于對(duì)人腦組織結(jié)構(gòu)、活動(dòng)機(jī)制的初步認(rèn)識(shí)提出的一種新型信息處理體系。通過模仿腦神經(jīng)系統(tǒng)的組織結(jié)構(gòu)以及某些活動(dòng)機(jī)理，人工神經(jīng)網(wǎng)絡(luò)可呈現(xiàn)出人腦的許多特征，并具有人腦的一些基本功能。1.3.1 神經(jīng)網(wǎng)絡(luò)的基本特征神經(jīng)網(wǎng)絡(luò)的特征歸納為結(jié)構(gòu)特征和能力特征。 （1）結(jié)構(gòu)特征并行處理、分相式存儲(chǔ)與容錯(cuò)性 人工神經(jīng)網(wǎng)絡(luò)是由大量簡(jiǎn)單處理元件相互連接構(gòu)成的高度并行的非線性系統(tǒng)，具有大規(guī)模并行性處理特征。 （2）能力特征自學(xué)習(xí)、自組織與自適應(yīng)性 自適應(yīng)性是指一個(gè)系統(tǒng)能改變自身的性能以適應(yīng)環(huán)境變化的能力，它是神經(jīng)網(wǎng)絡(luò)的一個(gè)重要特征。自適應(yīng)性包含自學(xué)習(xí)與自組織兩層含義。

28、1.3 神經(jīng)網(wǎng)絡(luò)的基本特征與功能(2/7)1.3.2 神經(jīng)網(wǎng)絡(luò)的基本功能人工神經(jīng)網(wǎng)絡(luò)是借鑒于生物神經(jīng)網(wǎng)絡(luò)而發(fā)展起來的新型智能信息處理系統(tǒng)，由于其結(jié)構(gòu)上“仿造”了人腦的生物神經(jīng)系統(tǒng)，因而其功能上也具有了某種智能特點(diǎn)。 1.3.2.1 聯(lián)想記憶 1.3.2.2 非線性映射 1.3.2.3 分類與識(shí)別 1.3.2.4 優(yōu)化計(jì)算 1.3.2.5 知識(shí)處理 1.3 神經(jīng)網(wǎng)絡(luò)的基本特征與功能(3/7)1.3.2 神經(jīng)網(wǎng)絡(luò)的基本功能人工神經(jīng)網(wǎng)絡(luò)是借鑒于生物神經(jīng)網(wǎng)絡(luò)而發(fā)展起來的新型智能信息處理系統(tǒng)，由于其結(jié)構(gòu)上“仿造”了人腦的生物神經(jīng)系統(tǒng)，因而其功能上也具有了某種智能特點(diǎn)。 1.3.2.1 聯(lián)想記憶 由于神經(jīng)

29、網(wǎng)絡(luò)具有分布存儲(chǔ)信息和并行計(jì)算的性能，因此它具有對(duì)外界刺激信息和輸入模式進(jìn)行聯(lián)想記憶的能力。 聯(lián)想記憶有兩種基本形式：自聯(lián)想記憶與異聯(lián)想記憶。 （1）自聯(lián)想記憶 網(wǎng)絡(luò)中預(yù)先存儲(chǔ)（記憶）多種模式信息，當(dāng)輸入某個(gè)已存儲(chǔ)模式的部分信息或帶有噪聲干擾的信息時(shí)，網(wǎng)絡(luò)能通過動(dòng)態(tài)聯(lián)想過程回憶起該模式的全部信息。（2）異聯(lián)想記憶 網(wǎng)絡(luò)中預(yù)先存儲(chǔ)了多個(gè)模式對(duì)，每一對(duì)模式均由兩部分組成當(dāng)輸入某個(gè)模式對(duì)的一部分時(shí)，即使輸入信息是殘缺的或迭加了噪聲，網(wǎng)絡(luò)也能回憶起與其對(duì)應(yīng)的另一部分。1.3 神經(jīng)網(wǎng)絡(luò)的基本特征與功能(4/7)1.3.2 神經(jīng)網(wǎng)絡(luò)的基本功能人工神經(jīng)網(wǎng)絡(luò)是借鑒于生物神經(jīng)網(wǎng)絡(luò)而發(fā)展起來的新型智能信息處理系統(tǒng)

30、，由于其結(jié)構(gòu)上“仿造”了人腦的生物神經(jīng)系統(tǒng)，因而其功能上也具有了某種智能特點(diǎn)。 1.3.2.1 聯(lián)想記憶 1.3.2.2 非線性映射 在客觀世界中，許多系統(tǒng)的輸入與輸出之間存在復(fù)雜的非線性關(guān)系，對(duì)于這類系統(tǒng)，往往很難用傳統(tǒng)的數(shù)理方法建立其數(shù)學(xué)模型。設(shè)計(jì)合理的神經(jīng)網(wǎng)絡(luò)通過對(duì)系統(tǒng)輸入輸出樣本對(duì)進(jìn)行自動(dòng)學(xué)習(xí)，能夠以任意精度逼近任意復(fù)雜的非線性映射。神經(jīng)網(wǎng)絡(luò)的這一優(yōu)良性能使其可以作為多維非線性函數(shù)的通用數(shù)學(xué)模型。該模型的表達(dá)是非解析的，輸入輸出數(shù)據(jù)之間的映射規(guī)則由神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)階段自動(dòng)抽取并分布式存儲(chǔ)在網(wǎng)絡(luò)的所有連接中。具有非線性映射功能的神經(jīng)網(wǎng)絡(luò)應(yīng)用十分廣闊，幾乎涉及所有領(lǐng)域。 1.3 神經(jīng)網(wǎng)絡(luò)的基

31、本特征與功能(5/7)1.3.2 神經(jīng)網(wǎng)絡(luò)的基本功能人工神經(jīng)網(wǎng)絡(luò)是借鑒于生物神經(jīng)網(wǎng)絡(luò)而發(fā)展起來的新型智能信息處理系統(tǒng)，由于其結(jié)構(gòu)上“仿造”了人腦的生物神經(jīng)系統(tǒng)，因而其功能上也具有了某種智能特點(diǎn)。 1.3.2.1 聯(lián)想記憶 1.3.2.2 非線性映射 1.3.2.3 分類與識(shí)別 神經(jīng)網(wǎng)絡(luò)對(duì)外界輸入樣本具有很強(qiáng)的識(shí)別與分類能力。對(duì)輸入樣本的分類實(shí)際上是在樣本空間找出符合分類要求的分割區(qū)域，每個(gè)區(qū)域內(nèi)的樣本屬于一類。傳統(tǒng)分類方法只適合解決同類相聚，異類分離的識(shí)別與分類問題。但客觀世界中許多事物（例如，不同的圖像、聲音、文字等等）在樣本空間上的區(qū)域分割曲面是十分復(fù)雜的，相近的樣本可能屬于不同的類，而遠(yuǎn)離的樣本可能同屬一類。神經(jīng)網(wǎng)絡(luò)可以很好地解決對(duì)非線性曲面的逼近，因此比傳統(tǒng)的分