神經網絡原理與應用

神經網絡原理與應用第1頁/共50頁

第一章緒論

一．概述二．神經網絡(ANN)研究簡史三．神經網絡(ANN)原理簡介四．ANN的分類及研究方向第2頁/共50頁2023/4/213一．概述近幾十年，人工神經網絡的研究和應用，引起了國內外學術界的廣泛重視，并在許多領域取得了顯著成果。對于電子技術和信號處理專業(yè)的學生和科技人員，對神經網絡理論進行必要的學習和掌握，甚至可能的話，在實際中加以應用，是非常有意義的。第3頁/共50頁從第一臺數(shù)字計算機問世（1946年），計算機系統(tǒng)幾經更新?lián)Q代，經歷了由電子管、晶體管、LSI、VLSI，到后來的奔騰4、雙核技術等發(fā)展階段。近年來，軟件方面也在不斷升級更新，計算機性能越來越優(yōu)越，應用也越來越廣泛。盡管如此，但計算機系統(tǒng)并非萬能，它存在著自身的局限性和物理極限（小型化），其特點是串行運算，輸入輸出存在線性的和確定性的關系。第4頁/共50頁

因此要進一步提高性能，就必須要求在器件、原理及思路上有所突破，要充分體現(xiàn)并行運算、非線性、不確定性關系等特點。以非線性大規(guī)模并行處理為特點的人工神經網絡，突破了傳統(tǒng)線性處理為基礎的數(shù)字計算機的局限，受到各學科領域的廣泛關注，將為計算機技術的發(fā)展帶來一場革命，并促使以神經計算機為基礎的高技術群的誕生和發(fā)展。2023/4/215神經網絡與模式識別研究室第5頁/共50頁

那么，什么是神經網絡？它與傳統(tǒng)數(shù)字計算機的區(qū)別在于，它是模擬人腦的一種信息處理系統(tǒng)，具有許多特點，功能強大。ANN與數(shù)字計算機比較:①并行處理←→串行處理②魯棒性、容錯性←→確定性、精確性③自學習能力←→專家經驗的知識庫,無更新④大規(guī)模自適應非線性動力系統(tǒng)←→線性確定性系統(tǒng)⑤運算、存儲合而為一←→運算、存儲分離2023/4/216第6頁/共50頁2023/4/217二．ANN研究簡史ANN研究簡史可追溯到四十年代初，但由于種種原因，起始階段發(fā)展不快，并曾一度陷入低谷。近幾十年，科學技術的不斷發(fā)展，為ANN發(fā)展奠定了基礎，使得ANN異軍突起，空前活躍，成為研究熱點。第7頁/共50頁1943年，MP模型(McCulloch和Pitts)1944年，Hebb學習規(guī)則(條件反射規(guī)則)1957年，Rosenblatt提出：感知器(perceptron)1962年，自適應線性元件（Adaline）1969年，Minsky和Papert證明了感知器的局限性，發(fā)表《perceptron》論文2023/4/218第8頁/共50頁

1966-1982年，陷入低谷,期間：維納學生Grossberg（美科學院院士）提出：自適應共振理論Kohonen提出：自組織特征映射網絡Amari（甘利俊一）從事數(shù)學理論研究Anderson提出：盒中腦（BSB）模型Webos提出：BP理論（1974年）在這期間，數(shù)字計算機跨越三代，傳統(tǒng)人工智能較快發(fā)展。2023/4/219第9頁/共50頁

1982年，加州工學院Hopfield提出：HNN模型，在網絡中引入能量函數(shù)概念，作為穩(wěn)定性判據，給出RC電路模型，推動了NN發(fā)展，使ANN用于聯(lián)想記憶和優(yōu)化計算。之后，ANN研究進入空前活躍期，Hinton等提出Boltzman機，采用多層網絡學習方法，在學習過程中借用統(tǒng)計物理學的方法,引入模擬退火技術。2023/4/2110第10頁/共50頁Rumelhart等提出：并行分布處理理論，發(fā)展了BP算法。Kosko提出：雙向聯(lián)想記憶網絡1988年，加州大學蔡少堂和復旦大學楊林提出：細胞神經網絡。2023/4/2111第11頁/共50頁

近年來，ANN研究更加火熱，提出了各種新的網絡模型，并結合模糊理論、小波理論、混沌理論、分形理論等技術，應用也更加廣泛。受到各國政府、科學家和企業(yè)家的重視，各門學科聯(lián)合研究，提出重大研究計劃，如：美國DARPA計劃、日本HFSP計劃、法國尤里卡、德國歐洲防御、俄羅斯高技術發(fā)展計劃，中國863計劃等。86.4,召開第一屆ANN國際會議,87.6,召開第一屆IEEE

NN國際會議，同年國際NN學會成立，88年元月，NN雜志創(chuàng)刊。88年后NN國際學會與IEEE聯(lián)合每年一次國際會議，90年3月IEEENN會刊問世。2023/4/2112第12頁/共50頁ANN研究熱潮出現(xiàn)，除了神經科學研究本身的突破和進展外，更重要的是由于計算機科學和人工智能發(fā)展的需要以及VLSI技術，生物技術，超導技術和光學技術等領域迅速發(fā)展，為ANN技術發(fā)展提供了技術上的可能性。ANN研究涉及到計算機科學、控制論、信息科學、微電子學、心理學、認知科學、物理學與數(shù)學等學科。2023/4/2113第13頁/共50頁

除此之外，還有一些其它科學背景的支撐，如70年代產生的新三論：協(xié)同論，突變論與耗散結構論以及近年來廣泛研究的混沌動力學理論等，都揭示了復雜系統(tǒng)如何通過微觀元件的集體協(xié)同作用，使系統(tǒng)結構在宏觀上達到從無序到有序，功能由簡單到復雜的非線性動力學過程。這種過程類似于生物系統(tǒng)的進化過程和智能系統(tǒng)的學習過程。因此，對NN的研究給予了不可或缺的啟示。

2023/4/2114第14頁/共50頁NN的問世標志著認知科學、計算機科學及人工智能的發(fā)展又處于一個新的轉折點，它的應用和發(fā)展，不但會推動神經動力學本身，而且將影響新一代計算機的設計原理，可能為新一代計算機和人工智能開辟一條嶄新的途徑，并為信息科學帶來革命性的變化。2023/4/2115第15頁/共50頁2023/4/2116三．神經網絡原理簡介神經網絡是模擬人腦的一種信息處理系統(tǒng)，它只是一種抽象、簡化的模擬。NN模型有幾十種甚至上百種，都是由許多簡單的、相同的神經元組成的，不同模型的區(qū)別在于反映神經元非線性特性的激勵函數(shù)、神經元之間的連接方式和所采用的學習規(guī)則不同。這是決定NN特性的三個基本要素。為了對三要素分別介紹，我們首先看一下生物神經元的結構和機理。第16頁/共50頁2023/4/21171.生物神經元模型生物神經元由細胞核、軸突、樹突和突觸等組成。生物神經元的功能：①時空整合功能②興奮和抑制狀態(tài)③突觸延時和不應期④學習、遺忘和疲勞第17頁/共50頁

2.人工神經元模型及常用的非線性函數(shù)

人工神經元模型是對生物神經元的模擬和近似，所以類似于生物神經元，其結構模型由下圖示：

2023/4/2118第18頁/共50頁2023/4/2119它是一個多輸入單輸出的非線性器件，其中X1,…Xn為外界輸入信號，可以是來自其它神經元的輸出信號，Wi為連接權值，為閾值,Yi為經神經元處理后的輸出信號，神經元對外界輸入信號進行處理?？煞譃槿剑?）加權求和2）閾值比較3）非線性處理所以整個過程可由如下公式描述：

第19頁/共50頁對于不同的神經網絡模型，其中神經元的非線性激勵函數(shù)f(.)可能取不同的形式，常用的非線性函數(shù)有如下三種類型：a)閾值型:

這是最早提出的二值離散神經元模型。2023/4/2120第20頁/共50頁

b)線性或分段線性型：

2023/4/2121第21頁/共50頁

c)Sigmoidal函數(shù)型：或

這類曲線可連續(xù)取值，反映了神經元的飽和特性。2023/4/2122第22頁/共50頁

3.神經網絡的連接方式

神經網絡是由大量的神經元以不同的方式連接而成的大規(guī)模復雜系統(tǒng)，不同的網絡模型可能具有不同的連接方式，常用的連接方式有：2023/4/2123第23頁/共50頁

1)不含反饋的前向網絡：

這種網絡中的神經元分層排列，每層神經元只接收前一層神經元的輸入。感知器和BP網絡，徑向基函數(shù)網絡等均是這種類型。2023/4/2124第24頁/共50頁

2)從輸出層到輸入層有反饋的前向網絡：

如：ART網絡（自適應共振理論網絡）第25頁/共50頁

3)層內有相互接合的前向網絡，通過層內相互接合可達到同層中神經元之間的側向抑制和興奮機制。

如：SOFM網絡（自組織特征映射網絡）2023/4/2126第26頁/共50頁4)全互聯(lián)網絡（相互結合型網絡）網絡中各神經元之間都有可能連接，在這種網絡中信號要在神經元之間反復往返多次傳遞，網絡狀態(tài)不斷變化，直到某時刻才達到某種平衡狀態(tài)。HNN和Boltzman機等網絡均屬于這種。第27頁/共50頁4.神經網絡的工作方式及學習規(guī)則在傳統(tǒng)的數(shù)字計算機中，計算與存儲是完全獨立的兩個部分，即計算機在計算之前要從存儲器中取出待處理的數(shù)據，然后計算，最后又將結果存入存儲器，這樣存儲器與計算器之間的通道就構成了計算機的瓶頸，從而大大限制了它的運算能力。2023/4/2128第28頁/共50頁

在人工神經網絡中，信息的存儲與處理是合二為一的，即信息的存儲體現(xiàn)在神經元連接的權值分布之中，并以大規(guī)模并行分布方式處理。神經網絡的信息處理過程可以分為兩個階段，一個是學習期，此時各神經元的狀態(tài)不變，而各連接權值通過學習進行修正，這個過程相對較慢，權值的調整過程即為學習過程，最終的權值分布即為長期記憶。2023/4/2129第29頁/共50頁而另一階段則是工作期，此時神經網絡已經訓練好，連接權值保持不變，即通過信息的不斷傳遞，使各神經元狀態(tài)發(fā)生變化，從而使網絡最終達到一個穩(wěn)定平衡態(tài)，這就像人腦尋找記憶的過程，這一過程相對較快，各神經元的狀態(tài)也稱之為短期記憶。2023/4/2130第30頁/共50頁不同網絡的學習規(guī)則有所不同，學習規(guī)則即為權值調整的一種算法，有的網絡學習或權值調整是在網絡信息處理過程中自發(fā)地完成的，而有的網絡則需要從例子中進行學習，常用的學習規(guī)則有如下幾種：2023/4/2131第31頁/共50頁1)相關規(guī)則：僅根據連接間的激活水平改變權值，比如Hebb規(guī)則為：與條件反射學說相一致，即外界激勵越強，神經元越興奮，連接權值越增強。2023/4/2132第32頁/共50頁2)糾錯規(guī)則：依賴于輸出節(jié)點的外部反饋信息改變權值，相等于梯度下降法，通過改變權值不斷糾正錯誤，從而達到最終所期望的輸出。所以需要有一個指導信號或參考信號，這種規(guī)則又稱為有導師監(jiān)督學習規(guī)則。2023/4/2133第33頁/共50頁4)無導師監(jiān)督學習規(guī)則：這種規(guī)則是網絡通過向外界客觀事物學習，自發(fā)地完成權值修正，希望通過修正權值，以使網絡能客觀反映事物的真實分布，學習過程是通過競爭而自適應地進行的，從而使不同節(jié)點有選擇地接收或響應輸入空間中的具有不同特性的激勵。。2023/4/2134第34頁/共50頁四．ANN的分類及研究方向

目前神經網絡模型已有近百種，不同的模型從不同的側面模擬人腦的某些特征，因此可以完成不同的功能。如果說要將神經網絡進行分類的話，可以從以下幾個方面進行分類：2023/4/2135第35頁/共50頁

1.按網絡的性能可分為：連續(xù)型與離散型確定性與隨機性網絡2.按網絡結構可分為：反饋網絡，存在穩(wěn)定性問題前向網絡，不存在穩(wěn)定性問題，只有算法的收斂性3.按學習方式可分為：有導師學習網絡無教師學習網絡2023/4/2136第36頁/共50頁4.按連接突觸性質可分為：一階線性關聯(lián)網絡高階非線性關聯(lián)網絡5.按網絡模型所模擬人腦神經系統(tǒng)的功能層次可分為：神經元層次模型：研究單個神經元特性及對輸入響應機理。如Adaline組合式模型：由數(shù)種不同特性的神經元組成，它們相互補充，相互協(xié)作，完成某些特定的功能。如模式識別等。2023/4/2137第37頁/共50頁

網絡層次模型：由許多相同的神經元互聯(lián)而成，從整體上研究網絡的集體特性。如HNN等。神經系統(tǒng)層次模型：由多個不同性質的網絡組成的復雜系統(tǒng)，模擬生物神經系統(tǒng)更復雜或更抽象的性質。如概念形成。智能型模型：這是最抽象層次，試圖模擬人腦信息處理的過程和策略。如感知，思維等過程。2023/4/2138第38頁/共50頁近年來，神經網絡受到了國內外科技人員的廣泛關注，得到了大量的研究，歸納起來，研究主要包括三個方面：理論應用實現(xiàn)其特點和具體的研究課題簡介如下：2023/4/2139第39頁/共50頁1．理論研究：其特點是NN的數(shù)學理論相對比較薄弱，因此容易提出一些新方法和新思想，這方面的研究課題主要包括：a)模型的研究：﹡比如人腦的生理結構、思維機制、神經元的生物特性（時空特性）、不應期、電化學性質等完善的人工模擬，如高階非線性模型，多維局域連接模型等。2023/4/2140第40頁/共50頁﹡神經網絡計算模型及學習算法等研究。比如提出一些新的網絡結構，不同的神經元模型和非線性特性及新的學習方法（混沌神經元，模糊神經元，隨機邏輯神經元，高斯型非線性特性，負阻型非線性特性，隨機算法，模擬退化算法，強化學習算法，遺傳算法等）2023/4/2141第41頁/共50頁b）神經網絡基本理論研究﹡非線性內在機制--自適應、自組織、協(xié)同作用、突變、奇怪吸引子與混沌、分維、耗散結構、隨機非線性動力學等。﹡神經網絡基本性能：穩(wěn)定性、收斂性、容錯性、魯棒性、動力學復雜性等。2023/4/2142第42頁/共50頁﹡NN的計算能力與判別準則—計算能力、準確性、存儲容量、準則表達、綜合性能判別等。﹡關于智能本質的研究，這是自然科學與哲學的課題之一，成各學科共同關心的焦點。2023/4/2143第43頁/共50頁2.應用研究其特點是還處于起始研究階段，但由于NN本身所具有的特點，使得其應用非常廣泛，所以應用研究范圍也相當廣泛。比如神經網絡在智能信息處理方面的應用研究包括：2023/4/2144第44頁/共50頁﹡自適應信號處