D人工神經網絡1

人工神經網絡

ArtificialNeuralNetworks

教材名稱：《人工神經網絡理論、設計及應用》出版社：化學工業(yè)出版社

出版日期：2002年1月第1版,2004年2月第2次印刷

出版日期：2007年9月第2版

作者：韓力群

主要參考書目1、張青貴編，人工神經元網絡導論，中國水利水電科學出版，2004年10月2、徐麗娜編，神經元網絡控制，電子工業(yè)出版社，2003年3月3、袁曾任編，，人工神經元網絡及其應用，清華大學出版社，1999年10月

4、馬銳編，人工神經網絡原理，機械工業(yè)出版社，2010年9月5、丁士圻郭麗華編，人工神經網絡基礎，機械工業(yè)出版社，2008年3月課程目的和基本要求

人工神經網絡及其應用是目前國際上一門發(fā)展迅速的前沿交叉學科。

它是模擬生物神經網絡結構及其功能的新型信息處理系統(tǒng)，目前已有廣泛的應用。

介紹人工神經網絡及其基本網絡模型，掌握人工神經網絡的基本概念、單層網、多層網、循環(huán)網等各種基本網絡模型的結構、特點、典型訓練算法、運行方式、典型問題。

通過本課程的教學,掌握人工神經網絡的基本概念、原理和方法,尤其是人工神經網絡的設計概念與方法,學會設計神經網絡模型來解決實際問題，了解人工神經網絡的發(fā)展動向和應用前景。

查閱適當的參考文獻，將所學的知識與有關研究結合起來，達到既豐富學習內容，又了解研究和應用的基本情況。主要內容第一章緒論第二章神經網絡基礎知識第三章監(jiān)督學習神經網絡第四章競爭學習神經網絡第五章組合學習神經網絡第六章反饋神經網絡(部分)第七章小腦模型神經網絡第八章基于數學原理的神經網絡第九章神經網絡的系統(tǒng)設計與軟件實現第十章回顧與展望第1章

緒論§1.1人腦與計算機§1.2人工神經網絡發(fā)展簡史§1.3神經網絡的基本特征與功能§1.4神經網絡的應用領域本章小結1.1人腦與計算機

人類具有高度發(fā)達的大腦，大腦是思維活動的物質基礎，而思維是人類智能的集中體現。

長期以來，人們想方設法了解人腦的工作機理和思維的本質，向往能構造出具有類人智能的人工智能系統(tǒng)，以模仿人腦功能，完成類似于人腦的工作。

人腦的思維有邏輯思維、形象思維和靈感思維三種基本方式。

現代計算機的計算構成單元的速度是人腦中神經元速度的幾百萬倍，對于那些特征明確，推理或運算規(guī)則清楚的可編程問題，可以高速有效地求解，其在數值運算和邏輯運算方面的精確與高速極大地拓展了人腦的能力。

但是迄今為止，計算機在解決與形象思維和靈感思維相關的問題時，卻顯得無能為力。1.1.1人腦與計算機信息處理能力的比較

比較人腦與“電腦”的信息處理能力會發(fā)現，現有“電腦”和人腦還有很大的差距。1.1.1.1記憶與聯(lián)想能力

人腦有大約1.4*1011個神經細胞廣泛互連，因而能夠存儲大量的信息。人腦不僅能對已學習的知識進行記憶，面且能在外界輸入的部分信息刺激下，聯(lián)想到一系列相關的存儲信息，從而實現對不完整信息的自聯(lián)想恢復，或關聯(lián)信息的互聯(lián)想，而這種互聯(lián)想能力在人腦的創(chuàng)造性思維中起著非常重要的作用。

盡管關系數據庫或聯(lián)想漢卡等小軟件設計實現的系統(tǒng)也具有一定的聯(lián)想功能，但這種聯(lián)想功能不是計算機的信息存儲機制所固有的，其聯(lián)想能力與聯(lián)想范圍取決于程序的查詢能力。（人腦的聯(lián)想功能具有個性、不確定性和創(chuàng)造性。）1.1.1人腦與計算機信息處理能力的比較

比較人腦與“電腦”的信息處理能力會發(fā)現，現有“電腦”和人腦還有很大的差距。1.1.1.1記憶與聯(lián)想能力1.1.1.2學習與認知能力

人腦具有從實踐中不斷汲取知識，總結經驗的能力。剛出生的嬰兒腦中幾乎是一片空白，在成長過程中通過對外界環(huán)境的感知及有意識的訓練，知識和經驗與日俱增．解決問題的能力越來越強。人腦這種對經驗做出反映而改變行為的能力就是學習與認知能力。

計算機所完成的所有工作都是嚴格按照事先編制的程序進行的，因此它的功能和結果都是確定不變的：作為一種只能被動地執(zhí)行確定的二值命令的機器，計算機在反復按指令執(zhí)行同一程序時得到的永遠是同樣的結果，它不可能在不斷重復的過程中總結或積累任何經驗，因此不會主動提高自己解決問題的能力。1.1.1人腦與計算機信息處理能力的比較

比較人腦與“電腦”的信息處理能力會發(fā)現，現有“電腦”和人腦還有很大的差距。1.1.1.1記憶與聯(lián)想能力1.1.1.2學習與認知能力1.1.1.3信息加工能力

在信息處理方面，人腦具有復雜的回憶、聯(lián)想和想象等非邏輯加工功能，因而人的認識可以逾越現實條件下邏輯所無法越過的認識屏障．產生諸如直覺判斷或靈感一類的思維活動。在信息的邏輯加工力面，人腦的功能不僅局限于計算機所擅長的數值或邏輯運算，而且可以上升到具有語言文字的符號思維和辯證思維。人腦具有的這種高層次的邏輯加工能力使人能夠深入事物內部去認識事物的本質與規(guī)律。

計算機沒有非邏輯加工功能，因而不會逾越有限條件下邏輯的認識屏障。計算機的邏輯加工能力也僅限于二值邏輯．因此只能在二值邏輯所能描述的范圍內運用形式邏輯，而缺乏辯證邏輯能力。1.1.1人腦與計算機信息處理能力的比較

比較人腦與“電腦”的信息處理能力會發(fā)現，現有“電腦”和人腦還有很大的差距。1.1.1.1記憶與聯(lián)想能力1.1.1.2學習與認知能力1.1.1.3信息加工能力1.1.1.4信息綜合能力

人腦善于對客觀世界豐富多樣的信息和知識進行歸納、類比和概括，綜合起來解決問題、人腦的這種綜合判斷過程往往是一種對信息的邏輯加工和非邏輯加工相綜合的過程。它不僅遵循確定性的邏輯思維原則，而且可以經驗地、模糊地甚至是直覺地做出一個判斷。大腦所具有的這種綜合判斷能力是人腦創(chuàng)造能力的基礎。

計算機的信息綜合能力取決于它所執(zhí)行的程序。由于不存在能完全描述人的經驗和直覺的數學模型，也不存在能完全正確模擬人腦綜合判斷過程的有效算法，因此計算機難以達到人腦所具有的融會貫通的信息綜合能力。1.1.1人腦與計算機信息處理能力的比較

比較人腦與“電腦”的信息處理能力會發(fā)現，現有“電腦”和人腦還有很大的差距。1.1.1.1記憶與聯(lián)想能力1.1.1.2學習與認知能力1.1.1.3信息加工能力1.1.1.4信息綜合能力1.1.1.5信息處理速度

人腦的信息處理是建立在大規(guī)模并行處理基礎上的，這種并行處理所能夠實現的高度復雜的信息處理能力遠非傳統(tǒng)的以空間復雜性代替時間復雜件的多處理機并行處理系統(tǒng)所能達到的。人腦中的信息處理是以神經細胞為單位，而神經細胞間信息的傳遞速度只能達到毫秒級，顯然比現代計算機中電子元件納秒級的計算速度慢得多。由此似乎計算機的信息處理速度要遠高于人腦，事實上在數值處理等只需串行算法就能解決問題的應用方面確實是如此。

然而迄今為止，計算機處理文字、圖像、聲音等類信息的能力與速度卻遠遠不如人腦。例如，幾個月大的嬰兒能從人群中一眼認出自己的母親，而計算機解決這個問題時需要對一幅具有幾十萬個像素點的圖像逐點進行處理。并提取臉譜特征進行識別。又如，一個籃球運動員可以不假思索地接住隊友傳給他的球．而讓計算機控制機器人接球則要判斷籃球每一時刻在三維空間的位置坐標、運動軌跡、運動方向及速度等等。顯然，在基于形象思維、經驗與自覺的判斷方而，人腦只要零點幾秒就可以圓滿完成的任務，計算機花幾十分鐘甚至幾小時也不一定達到人腦的水平。1.1.2人腦與計算機信息處理機制的比較

人腦與計算機信息處理能力特別是形象思維能力的差異來源于兩者系統(tǒng)結構和信息處理機制的不同，主要體現在以下4個方面。1.1.2.1系統(tǒng)結構1.1.2.2信號形式1.1.2.3信息存儲1.1.2.4信息處理機制1.1.2人腦與計算機信息處理機制的比較

人腦與計算機信息處理能力特別是形象思維能力的差異來源于兩者系統(tǒng)結構和信息處理機制的不同，主要體現在以下4個方面。1.1.2.1系統(tǒng)結構

人腦在漫長的進化過程中形成了規(guī)模宏大，結構精細的群體結構，即神經網絡。腦科學研究結果表明，人腦的神經網絡是由數百億神經元相互連接組合而成的。每個神經元相當于一個超微型信息處理與存儲機構，只能完成一種基本功能，如興奮與抑制。而大量神經元廣泛連接后形成的神經網絡可進行各種極其復雜的思維活動。

計算機是一種由各種二值邏輯門電路構成的按串行方式工作的邏輯機器，它出運算器、控制器、存儲器和輸入輸出設備組成。其信息處理是建立在馮·諾依曼體系基礎上，基于程序存取進行工作的。1.1.2人腦與計算機信息處理機制的比較

人腦與計算機信息處理能力特別是形象思維能力的差異來源于兩者系統(tǒng)結構和信息處理機制的不同，主要體現在以下4個方面。1.1.2.1系統(tǒng)結構1.1.2.2信號形式

人腦中的信號形式具有模擬量和離散脈沖兩種形式。模擬量信號具有模糊性特點，有利于信息的整合和非邏輯加工，這類信息處理方式不可能都用數學方法進行充分描述。因而很難用計算機進行模擬。

計算機中信息的表達采用離散的二進制數和二值邏輯形式，二值邏輯必須用確定的邏輯表達式來表示。許多邏輯關系確定的信息加工過程可以分解為若干二值邏輯表達式，由計算機來完成。然而，客觀世界存在的事物關系并非都是可以分解為二值邏輯的關系，還存在著各種模糊邏輯關系和非邏輯關系。對這類信息的處理計算機是難以勝任的。1.1.2人腦與計算機信息處理機制的比較

人腦與計算機信息處理能力特別是形象思維能力的差異來源于兩者系統(tǒng)結構和信息處理機制的不同，主要體現在以下4個方面。1.1.2.1系統(tǒng)結構1.1.2.2信號形式1.1.2.3信息存儲

與計算機不同的是，人腦中的信息不是集中存儲于一個特定的區(qū)域，而是分布存儲于整個系統(tǒng)中。此外，人腦中存儲的信息不是相互孤立的，而是聯(lián)想式的。人腦這種分布式聯(lián)想式的信息存儲方式使人類非常擅長于從失真和缺省的模式中恢復出正確的模式，或利用給定信息才找期望信息。1.1.2人腦與計算機信息處理機制的比較

人腦與計算機信息處理能力特別是形象思維能力的差異來源于兩者系統(tǒng)結構和信息處理機制的不同，主要體現在以下4個方面。1.1.2.1系統(tǒng)結構1.1.2.2信號形式1.1.2.3信息存儲1.1.2.4信息處理機制

人腦中的神經網絡是一種高度并行的非線性信息處理系統(tǒng)。其并行性不僅體現在結構上和信息存儲上，而且體現在信息處理的運行過程中。由于人腦采用了信息存儲與信息處理一體化的群體協(xié)同并行處理方式，信息的處理受原有存儲信息的影響，處理后的信息又留記在神經元中成為記憶。因而呈現出來的整體信息處理能力不僅能快速完成各種極復雜的信息識別和處理任務，而且能產生高度復雜而奇妙的效果。

計算機采用的是有限集中的串行信息處理機制，即所有信息處理都集中在一個或幾個CPU中進行。CPU通過總線同內外存儲器或I/O接口進行順序的“個別對話”，存取指令或數據。這種機制的時間利用率很低，在處理大量實時信息時不可避免地會遇到速度“瓶頸”。即使采用多CPU并行工作，也只是在一定發(fā)展水平上緩解瓶頸矛盾。1.1.3什么是人工神經網絡

人腦的信息處理機制是在漫長的進化過程中形成和完善的。然而到目前為止，人類對神經系統(tǒng)內如何利用電信號和化學信號來處理信息只有模糊的概念。

盡管如此，把分子和細胞技術所達到的微觀層次與行為研究所達到的系統(tǒng)層次結合起來，可以形成對人腦神經網絡的基本認識。在此基本認識的基礎上，以數學和物理方法以及信息處理的角度對人腦神經網絡進行抽象，并建立某種簡化模型，就稱為人工神經網絡(ArtificialNeuralNetwork，縮寫ANN)。

人工神經網絡遠不是人腦生物神經網絡的真實寫照，而只是對它的簡化、抽象與模擬。1.1.3什么是人工神經網絡

令人欣慰的是，這些簡化的人工神經網絡模型的確能反映出人腦的許多基本特性。

人工神經網絡在模式識別、系統(tǒng)辨識、信號處理、自動控制、組合優(yōu)化、預測預估、故障診斷、醫(yī)學與經濟學等領域已成功地解決了許多現代計算機難以解決的實際問題，表現出良好的智能特性和潛在的應用前景。1.1.3什么是人工神經網絡

目前關于人工神經網絡的定義尚不統(tǒng)一，例如，美國神經網絡學家HechtNielsen關于人工神經網絡的一般定義是：“神經網絡是由多個非常簡單的處理單元彼此按某種方式相互連接而形成的計算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對外部輸人信息的動態(tài)響應來處理信息的?！?/p>

美國園防高級研究計劃局關于人工神經網絡的解釋是：“人工神經網絡是一種由許多簡單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網絡的結構、連接強度以及各單元的處理方式?！?/p>

綜合人工神經網絡的來源、特點及各種解釋，可以簡單表述為：人工神經網絡是一種旨在模仿人腦結構及其功能的信息處理系統(tǒng)。為敘述簡便，后面常將人工神經網絡簡稱為神經網絡。1.2人工神經網絡發(fā)展簡史神經網絡的研究可追溯到19世紀末期，其發(fā)展歷史可分為四個時期。第一個時期為啟蒙時期，開始于1890年美國著名心理學家W．James關于人腦結構與功能的研究，結束于1969年Minsky和Papert發(fā)表《感知器》(Perceptron)一書。第二個時期為低潮時期，開始于1969年，結束于1982年Hopfield發(fā)表著名的文章“神經網絡和物理系統(tǒng)”(NeuralNetworkandPhysicalSystem)。第三個時期為復興時期，開始于J．J．Hopfield的突破性研究論文，結束于1986年D．E．Rumelhart和J．L．McClelland領導的研究小組發(fā)表的《并行分布式處理》(ParallelDistributedProcessing)一書。第四個時期為高潮時期，以1987年首屆國際人工神經網絡學術會議為開端，迅速在全世界范圍內掀起人工神經網絡的研究應用熱潮，至今勢頭不衰。1.2.1啟蒙時期(1/2)1890年，美國心理學家WilliamJames發(fā)表了第一部詳細論述人腦結構及功能的專著《心理學原理》(PrinciplesofPsychology)，對相關學習、聯(lián)想記憶的基本原理做了開創(chuàng)性研究。半個世紀后，生理學家W．S．McCulloch和數學家W．A．Pitts于1943年發(fā)表了一篇神經網絡方面的著名文章。他們在已知的神經細胞生物學基礎上從信息處理的角度出發(fā)，提出形式神經元的數學模型，稱為M-P模型。1.2.1啟蒙時期(2/2)啟蒙時期的另一位重要學者是心理學家DonalaO．Hebb，他在1949年出版了一本名為《行為構成》(OrganizationofBehavior)的書。1958年計算機學家FrankRosenblatt發(fā)表一篇有名的文章，提出了一種具有三層網絡特性的神經網絡結構，稱為“感知器”(Perceptron)。這或許是世界上第一個真正優(yōu)秀的人工神經網絡。啟蒙時期的最后兩位代表人物是電機工程師BernardWidrow和MarcianHoff。1960年他們發(fā)表了一篇題為“自適應開關電路”(AdaptiveSwitchingCircuits)的文章。1.2.2低潮時期(1/3)在20世紀60年代，掀起了神經網絡研究的第一次熱潮。由于當時對神經網絡的學習能力的估計過于樂觀，而隨著神經網絡研究的深入開展，人們遇到了來自認識、應用和實現各方面的種種困難和迷惑，使得一些人產生了懷疑和失望。人工智能的創(chuàng)始人之一，M．Minsky和S．Papert研究數年，對以感知器為代表的網絡系統(tǒng)的功能及其局限性從數學上做了深入研究，于1969年發(fā)表了轟動一時的評論人工神經網絡的書，稱為《感知器》(Perceptron)。該書指出，簡單的神經網絡只能運用于線性問題的求解，能夠求解非線性問題的網絡應具有隱層，而從理論上還不能證明將感知器模型擴展到多層網絡是有意義的。1.2.2低潮時期(2/3)由于Minsky在學術界的地位和影響，其悲觀論點極大地影響了當時的人工神經網絡研究，為剛燃起的人工神經網絡之火，潑了一大盆冷水。不久幾乎所有為神經網絡提供的研究資金都枯竭了，很多領域的專家紛紛放棄了這方面課題的研究。開始了神經網絡發(fā)展史上長達10年的低潮時期。使神經網絡研究處于低潮的更重要的原因是：20世紀70年代以來，集成電路和微電子技術的迅猛發(fā)展，使傳統(tǒng)的馮·諾依曼型計算機進入發(fā)展的全盛時期?；谶壿嫹柼幚矸椒ǖ娜斯ぶ悄艿玫窖杆侔l(fā)展并取得顯著成就，它們的問題和局限性尚未暴露，因此暫時掩蓋了發(fā)展新型計算機和尋求新的神經網絡的必要性和迫切性。在Minsky和Papert的書出版后的10年中，神經網絡研究園地中辛勤耕耘的研究人員的數目大幅度減少，但仍有為數不多的學者在黑暗時期堅持致力于神經網絡的研究。他們在極端艱難的條件下做出難能可貴的扎實奉獻，為神經網絡研究的復興與發(fā)展奠定了理論基礎。1.2.2低潮時期(3/3)1969年，美國波土頓大學自適應系統(tǒng)中心的S．Grossberg教授和他的夫人G．A．Carpenter提出了著名的自適應共振理論(AdaptiveResonanceTheory)模型。1972年，兩位研究者分別在歐洲和美洲異地發(fā)表了類似的神經網絡開發(fā)結果。一位是芬蘭的T．Kohonen教授，提出了自組織映射(SOM)理論，并稱其神經網絡結構為“聯(lián)想存儲器”(AssociativeMemory)；另一位是美國的神經生理學家和心理學家J．Anderson，提出了一個類似的神經網絡，稱為“交互存儲器”(InteractiveMemory)。低潮時期第三位重要的研究者是日本東京NHK廣播科學研究實驗室的福島邦彥（KunihikoFukushima）。他開發(fā)了一些神經網絡結構與訓練算法，其中最有名的是1980年發(fā)表的“新認知機”（Neocognitron）。在整個低潮時期，上述開創(chuàng)性的研究成果和有意義的工作雖然未能引起當時人們的普遍重視，但是其科學價值不可磨滅，它們?yōu)樯窠浘W絡的進一步發(fā)展奠定了基礎。1.2.3復興時期(1/3)進入20世紀80年代后，經過十幾年迅速發(fā)展起來的以邏輯符號處理為主的人工智能理論和基于馮·諾依曼工作原理的計算機在處理諸如視覺、聽覺、形象思維、聯(lián)想記憶等智能信息處理問題上受到了挫折，在大型復雜計算方面顯示出巨大威力的計算機卻很難“學會”人們習以為常的普通知識和經驗。這一切迫使人們不得不慎重思考：智能問題是否可以完全由人工智能中的邏輯推理規(guī)則來描述？人腦的智能是否可以在計算機中重現？1.2.3復興時期(2/3)1982年，美國加州理工學院的優(yōu)秀物理學家JohnJ．Hopfield博士發(fā)表了一篇對神經網絡研究的復蘇起了重要作用的文章。他總結與吸取前人對神經網絡研究的成果真經驗，把網絡的各種結構和各種算法概括起來，塑造出一種新穎的強有力的網絡模型，稱為Hopfield網絡。其中最具有創(chuàng)新的是他對網絡引用了物理力學的分析方法，把網絡作為一動態(tài)系統(tǒng)并研究這種網絡動態(tài)系統(tǒng)的穩(wěn)定性。他把李雅普諾夫（Lyapunov）能量函數引入網絡訓練這一動態(tài)系統(tǒng)中。不可否認，是Hopfield博士點亮了人工神經網絡復興的火炬，掀起了各學科關心神經網絡的熱潮。1.2.3復興時期(3/3)在1986年貝爾實驗室宣布制成神經網絡芯片前不久，美國的DavidE．Rumelhart和JamesL．McCelland及其領導的研究小組發(fā)表了《并行分布式處理》（ParallelDistributedProcessing，簡稱PDP）一書的前兩卷，接著在1988年發(fā)表了帶有軟件程序的第三卷。他們提出的PDP網絡思想，為神經網絡研究新高潮的到來起到了推波助瀾的作用。書中涉及到神經網絡的三個主要特征，即結構、神經元的傳遞函數（也稱傳輸函數、轉移函數、激勵函數）和它的學習訓練方法。PDP這部書最重要的貢獻之一是發(fā)展了多層感知機的反向傳播訓練算法，把學習的結果反饋到中間層次的隱節(jié)點，改變其連接權位，以達到預期的學習目的。該算法已成為當今影響最大的一種網絡學習方法。1.2.4新時期(1/2)1987年6月，首屆國際神經網絡學術會議在美國加州圣地亞哥召開，到會代表有1600余人。這標志著世界范圍內掀起神經網絡開發(fā)研究的熱潮。在會上成立了國際神經網絡學會（InternationalNeuralNetworkSociety，簡稱INNS），并于1988年在美國波士頓召開了年會，會議討論的議題涉及到生物、電子、計算機、物理、控制、信號處理及人工智能等各個領域。白1988年起，國際神經網絡學會和國際電氣工程