神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用

神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用ArtificialNeuralNetworksandApplications

第一章緒論

一．概述二．神經(jīng)網(wǎng)絡(luò)(ANN)研究簡(jiǎn)史三．神經(jīng)網(wǎng)絡(luò)(ANN)原理簡(jiǎn)介四．ANN的分類及研究方向2022/11/283一．概述近幾十年，人工神經(jīng)網(wǎng)絡(luò)的研究和應(yīng)用，引起了國(guó)內(nèi)外學(xué)術(shù)界的廣泛重視，并在許多領(lǐng)域取得了顯著成果。對(duì)于電子技術(shù)和信號(hào)處理專業(yè)的學(xué)生和科技人員，對(duì)神經(jīng)網(wǎng)絡(luò)理論進(jìn)行必要的學(xué)習(xí)和掌握，甚至可能的話，在實(shí)際中加以應(yīng)用，是非常有意義的。從第一臺(tái)數(shù)字計(jì)算機(jī)問(wèn)世（1946年），計(jì)算機(jī)系統(tǒng)幾經(jīng)更新?lián)Q代，經(jīng)歷了由電子管、晶體管、LSI、VLSI，到后來(lái)的奔騰4、雙核技術(shù)等發(fā)展階段。近年來(lái)，軟件方面也在不斷升級(jí)更新，計(jì)算機(jī)性能越來(lái)越優(yōu)越，應(yīng)用也越來(lái)越廣泛。盡管如此，但計(jì)算機(jī)系統(tǒng)并非萬(wàn)能，它存在著自身的局限性和物理極限（小型化），其特點(diǎn)是串行運(yùn)算，輸入輸出存在線性的和確定性的關(guān)系。

因此要進(jìn)一步提高性能，就必須要求在器件、原理及思路上有所突破，要充分體現(xiàn)并行運(yùn)算、非線性、不確定性關(guān)系等特點(diǎn)。以非線性大規(guī)模并行處理為特點(diǎn)的人工神經(jīng)網(wǎng)絡(luò)，突破了傳統(tǒng)線性處理為基礎(chǔ)的數(shù)字計(jì)算機(jī)的局限，受到各學(xué)科領(lǐng)域的廣泛關(guān)注，將為計(jì)算機(jī)技術(shù)的發(fā)展帶來(lái)一場(chǎng)革命，并促使以神經(jīng)計(jì)算機(jī)為基礎(chǔ)的高技術(shù)群的誕生和發(fā)展。2022/11/285神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室

那么，什么是神經(jīng)網(wǎng)絡(luò)？它與傳統(tǒng)數(shù)字計(jì)算機(jī)的區(qū)別在于，它是模擬人腦的一種信息處理系統(tǒng)，具有許多特點(diǎn)，功能強(qiáng)大。ANN與數(shù)字計(jì)算機(jī)比較:①并行處理←→串行處理②魯棒性、容錯(cuò)性←→確定性、精確性③自學(xué)習(xí)能力←→專家經(jīng)驗(yàn)的知識(shí)庫(kù),無(wú)更新④大規(guī)模自適應(yīng)非線性動(dòng)力系統(tǒng)←→線性確定性系統(tǒng)⑤運(yùn)算、存儲(chǔ)合而為一←→運(yùn)算、存儲(chǔ)分離2022/11/2862022/11/287二．ANN研究簡(jiǎn)史ANN研究簡(jiǎn)史可追溯到四十年代初，但由于種種原因，起始階段發(fā)展不快，并曾一度陷入低谷。近幾十年，科學(xué)技術(shù)的不斷發(fā)展，為ANN發(fā)展奠定了基礎(chǔ)，使得ANN異軍突起，空前活躍，成為研究熱點(diǎn)。1943年，MP模型(McCulloch和Pitts)1944年，Hebb學(xué)習(xí)規(guī)則(條件反射規(guī)則)1957年，Rosenblatt提出：感知器(perceptron)1962年，自適應(yīng)線性元件（Adaline）1969年，Minsky和Papert證明了感知器的局限性，發(fā)表《perceptron》論文2022/11/288

1966-1982年，陷入低谷,期間：維納學(xué)生Grossberg（美科學(xué)院院士）提出：自適應(yīng)共振理論Kohonen提出：自組織特征映射網(wǎng)絡(luò)Amari（甘利俊一）從事數(shù)學(xué)理論研究Anderson提出：盒中腦（BSB）模型Webos提出：BP理論（1974年）在這期間，數(shù)字計(jì)算機(jī)跨越三代，傳統(tǒng)人工智能較快發(fā)展。2022/11/289

1982年，加州工學(xué)院Hopfield提出：HNN模型，在網(wǎng)絡(luò)中引入能量函數(shù)概念，作為穩(wěn)定性判據(jù)，給出RC電路模型，推動(dòng)了NN發(fā)展，使ANN用于聯(lián)想記憶和優(yōu)化計(jì)算。之后，ANN研究進(jìn)入空前活躍期，Hinton等提出Boltzman機(jī)，采用多層網(wǎng)絡(luò)學(xué)習(xí)方法，在學(xué)習(xí)過(guò)程中借用統(tǒng)計(jì)物理學(xué)的方法,引入模擬退火技術(shù)。2022/11/2810Rumelhart等提出：并行分布處理理論，發(fā)展了BP算法。Kosko提出：雙向聯(lián)想記憶網(wǎng)絡(luò)1988年，加州大學(xué)蔡少堂和復(fù)旦大學(xué)楊林提出：細(xì)胞神經(jīng)網(wǎng)絡(luò)。2022/11/2811

近年來(lái)，ANN研究更加火熱，提出了各種新的網(wǎng)絡(luò)模型，并結(jié)合模糊理論、小波理論、混沌理論、分形理論等技術(shù)，應(yīng)用也更加廣泛。受到各國(guó)政府、科學(xué)家和企業(yè)家的重視，各門學(xué)科聯(lián)合研究，提出重大研究計(jì)劃，如：美國(guó)DARPA計(jì)劃、日本HFSP計(jì)劃、法國(guó)尤里卡、德國(guó)歐洲防御、俄羅斯高技術(shù)發(fā)展計(jì)劃，中國(guó)863計(jì)劃等。86.4,召開第一屆ANN國(guó)際會(huì)議,87.6,召開第一屆IEEE

NN國(guó)際會(huì)議，同年國(guó)際NN學(xué)會(huì)成立，88年元月，NN雜志創(chuàng)刊。88年后NN國(guó)際學(xué)會(huì)與IEEE聯(lián)合每年一次國(guó)際會(huì)議，90年3月IEEENN會(huì)刊問(wèn)世。2022/11/2812ANN研究熱潮出現(xiàn)，除了神經(jīng)科學(xué)研究本身的突破和進(jìn)展外，更重要的是由于計(jì)算機(jī)科學(xué)和人工智能發(fā)展的需要以及VLSI技術(shù)，生物技術(shù)，超導(dǎo)技術(shù)和光學(xué)技術(shù)等領(lǐng)域迅速發(fā)展，為ANN技術(shù)發(fā)展提供了技術(shù)上的可能性。ANN研究涉及到計(jì)算機(jī)科學(xué)、控制論、信息科學(xué)、微電子學(xué)、心理學(xué)、認(rèn)知科學(xué)、物理學(xué)與數(shù)學(xué)等學(xué)科。2022/11/2813

除此之外，還有一些其它科學(xué)背景的支撐，如70年代產(chǎn)生的新三論：協(xié)同論，突變論與耗散結(jié)構(gòu)論以及近年來(lái)廣泛研究的混沌動(dòng)力學(xué)理論等，都揭示了復(fù)雜系統(tǒng)如何通過(guò)微觀元件的集體協(xié)同作用，使系統(tǒng)結(jié)構(gòu)在宏觀上達(dá)到從無(wú)序到有序，功能由簡(jiǎn)單到復(fù)雜的非線性動(dòng)力學(xué)過(guò)程。這種過(guò)程類似于生物系統(tǒng)的進(jìn)化過(guò)程和智能系統(tǒng)的學(xué)習(xí)過(guò)程。因此，對(duì)NN的研究給予了不可或缺的啟示。

2022/11/2814NN的問(wèn)世標(biāo)志著認(rèn)知科學(xué)、計(jì)算機(jī)科學(xué)及人工智能的發(fā)展又處于一個(gè)新的轉(zhuǎn)折點(diǎn)，它的應(yīng)用和發(fā)展，不但會(huì)推動(dòng)神經(jīng)動(dòng)力學(xué)本身，而且將影響新一代計(jì)算機(jī)的設(shè)計(jì)原理，可能為新一代計(jì)算機(jī)和人工智能開辟一條嶄新的途徑，并為信息科學(xué)帶來(lái)革命性的變化。2022/11/28152022/11/2816三．神經(jīng)網(wǎng)絡(luò)原理簡(jiǎn)介神經(jīng)網(wǎng)絡(luò)是模擬人腦的一種信息處理系統(tǒng)，它只是一種抽象、簡(jiǎn)化的模擬。NN模型有幾十種甚至上百種，都是由許多簡(jiǎn)單的、相同的神經(jīng)元組成的，不同模型的區(qū)別在于反映神經(jīng)元非線性特性的激勵(lì)函數(shù)、神經(jīng)元之間的連接方式和所采用的學(xué)習(xí)規(guī)則不同。這是決定NN特性的三個(gè)基本要素。為了對(duì)三要素分別介紹，我們首先看一下生物神經(jīng)元的結(jié)構(gòu)和機(jī)理。2022/11/28171.生物神經(jīng)元模型生物神經(jīng)元由細(xì)胞核、軸突、樹突和突觸等組成。生物神經(jīng)元的功能：①時(shí)空整合功能②興奮和抑制狀態(tài)③突觸延時(shí)和不應(yīng)期④學(xué)習(xí)、遺忘和疲勞

2.人工神經(jīng)元模型及常用的非線性函數(shù)

人工神經(jīng)元模型是對(duì)生物神經(jīng)元的模擬和近似，所以類似于生物神經(jīng)元，其結(jié)構(gòu)模型由下圖示：

2022/11/28182022/11/2819它是一個(gè)多輸入單輸出的非線性器件，其中X1,…Xn為外界輸入信號(hào)，可以是來(lái)自其它神經(jīng)元的輸出信號(hào)，Wi為連接權(quán)值，為閾值,Yi為經(jīng)神經(jīng)元處理后的輸出信號(hào)，神經(jīng)元對(duì)外界輸入信號(hào)進(jìn)行處理?？煞譃槿剑?）加權(quán)求和2）閾值比較3）非線性處理所以整個(gè)過(guò)程可由如下公式描述：

對(duì)于不同的神經(jīng)網(wǎng)絡(luò)模型，其中神經(jīng)元的非線性激勵(lì)函數(shù)f(.)可能取不同的形式，常用的非線性函數(shù)有如下三種類型：a)閾值型:

這是最早提出的二值離散神經(jīng)元模型。2022/11/2820

b)線性或分段線性型：

2022/11/2821

c)Sigmoidal函數(shù)型：或

這類曲線可連續(xù)取值，反映了神經(jīng)元的飽和特性。2022/11/2822

3.神經(jīng)網(wǎng)絡(luò)的連接方式

神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元以不同的方式連接而成的大規(guī)模復(fù)雜系統(tǒng)，不同的網(wǎng)絡(luò)模型可能具有不同的連接方式，常用的連接方式有：2022/11/2823

1)不含反饋的前向網(wǎng)絡(luò)：

這種網(wǎng)絡(luò)中的神經(jīng)元分層排列，每層神經(jīng)元只接收前一層神經(jīng)元的輸入。感知器和BP網(wǎng)絡(luò)，徑向基函數(shù)網(wǎng)絡(luò)等均是這種類型。2022/11/2824

2)從輸出層到輸入層有反饋的前向網(wǎng)絡(luò)：

如：ART網(wǎng)絡(luò)（自適應(yīng)共振理論網(wǎng)絡(luò)）

3)層內(nèi)有相互接合的前向網(wǎng)絡(luò)，通過(guò)層內(nèi)相互接合可達(dá)到同層中神經(jīng)元之間的側(cè)向抑制和興奮機(jī)制。

如：SOFM網(wǎng)絡(luò)（自組織特征映射網(wǎng)絡(luò)）2022/11/28264)全互聯(lián)網(wǎng)絡(luò)（相互結(jié)合型網(wǎng)絡(luò)）網(wǎng)絡(luò)中各神經(jīng)元之間都有可能連接，在這種網(wǎng)絡(luò)中信號(hào)要在神經(jīng)元之間反復(fù)往返多次傳遞，網(wǎng)絡(luò)狀態(tài)不斷變化，直到某時(shí)刻才達(dá)到某種平衡狀態(tài)。HNN和Boltzman機(jī)等網(wǎng)絡(luò)均屬于這種。4.神經(jīng)網(wǎng)絡(luò)的工作方式及學(xué)習(xí)規(guī)則在傳統(tǒng)的數(shù)字計(jì)算機(jī)中，計(jì)算與存儲(chǔ)是完全獨(dú)立的兩個(gè)部分，即計(jì)算機(jī)在計(jì)算之前要從存儲(chǔ)器中取出待處理的數(shù)據(jù)，然后計(jì)算，最后又將結(jié)果存入存儲(chǔ)器，這樣存儲(chǔ)器與計(jì)算器之間的通道就構(gòu)成了計(jì)算機(jī)的瓶頸，從而大大限制了它的運(yùn)算能力。2022/11/2828

在人工神經(jīng)網(wǎng)絡(luò)中，信息的存儲(chǔ)與處理是合二為一的，即信息的存儲(chǔ)體現(xiàn)在神經(jīng)元連接的權(quán)值分布之中，并以大規(guī)模并行分布方式處理。神經(jīng)網(wǎng)絡(luò)的信息處理過(guò)程可以分為兩個(gè)階段，一個(gè)是學(xué)習(xí)期，此時(shí)各神經(jīng)元的狀態(tài)不變，而各連接權(quán)值通過(guò)學(xué)習(xí)進(jìn)行修正，這個(gè)過(guò)程相對(duì)較慢，權(quán)值的調(diào)整過(guò)程即為學(xué)習(xí)過(guò)程，最終的權(quán)值分布即為長(zhǎng)期記憶。2022/11/2829而另一階段則是工作期，此時(shí)神經(jīng)網(wǎng)絡(luò)已經(jīng)訓(xùn)練好，連接權(quán)值保持不變，即通過(guò)信息的不斷傳遞，使各神經(jīng)元狀態(tài)發(fā)生變化，從而使網(wǎng)絡(luò)最終達(dá)到一個(gè)穩(wěn)定平衡態(tài)，這就像人腦尋找記憶的過(guò)程，這一過(guò)程相對(duì)較快，各神經(jīng)元的狀態(tài)也稱之為短期記憶。2022/11/2830不同網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則有所不同，學(xué)習(xí)規(guī)則即為權(quán)值調(diào)整的一種算法，有的網(wǎng)絡(luò)學(xué)習(xí)或權(quán)值調(diào)整是在網(wǎng)絡(luò)信息處理過(guò)程中自發(fā)地完成的，而有的網(wǎng)絡(luò)則需要從例子中進(jìn)行學(xué)習(xí)，常用的學(xué)習(xí)規(guī)則有如下幾種：2022/11/28311)相關(guān)規(guī)則：僅根據(jù)連接間的激活水平改變權(quán)值，比如Hebb規(guī)則為：與條件反射學(xué)說(shuō)相一致，即外界激勵(lì)越強(qiáng)，神經(jīng)元越興奮，連接權(quán)值越增強(qiáng)。2022/11/28322)糾錯(cuò)規(guī)則：依賴于輸出節(jié)點(diǎn)的外部反饋信息改變權(quán)值，相等于梯度下降法，通過(guò)改變權(quán)值不斷糾正錯(cuò)誤，從而達(dá)到最終所期望的輸出。所以需要有一個(gè)指導(dǎo)信號(hào)或參考信號(hào)，這種規(guī)則又稱為有導(dǎo)師監(jiān)督學(xué)習(xí)規(guī)則。2022/11/28334)無(wú)導(dǎo)師監(jiān)督學(xué)習(xí)規(guī)則：這種規(guī)則是網(wǎng)絡(luò)通過(guò)向外界客觀事物學(xué)習(xí)，自發(fā)地完成權(quán)值修正，希望通過(guò)修正權(quán)值，以使網(wǎng)絡(luò)能客觀反映事物的真實(shí)分布，學(xué)習(xí)過(guò)程是通過(guò)競(jìng)爭(zhēng)而自適應(yīng)地進(jìn)行的，從而使不同節(jié)點(diǎn)有選擇地接收或響應(yīng)輸入空間中的具有不同特性的激勵(lì)。。2022/11/2834四．ANN的分類及研究方向

目前神經(jīng)網(wǎng)絡(luò)模型已有近百種，不同的模型從不同的側(cè)面模擬人腦的某些特征，因此可以完成不同的功能。如果說(shuō)要將神經(jīng)網(wǎng)絡(luò)進(jìn)行分類的話，可以從以下幾個(gè)方面進(jìn)行分類：2022/11/2835

1.按網(wǎng)絡(luò)的性能可分為：連續(xù)型與離散型確定性與隨機(jī)性網(wǎng)絡(luò)2.按網(wǎng)絡(luò)結(jié)構(gòu)可分為：反饋網(wǎng)絡(luò)，存在穩(wěn)定性問(wèn)題前向網(wǎng)絡(luò)，不存在穩(wěn)定性問(wèn)題，只有算法的收斂性3.按學(xué)習(xí)方式可分為：有導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)無(wú)教師學(xué)習(xí)網(wǎng)絡(luò)2022/11/28364.按連接突觸性質(zhì)可分為：一階線性關(guān)聯(lián)網(wǎng)絡(luò)高階非線性關(guān)聯(lián)網(wǎng)絡(luò)5.按網(wǎng)絡(luò)模型所模擬人腦神經(jīng)系統(tǒng)的功能層次可分為：神經(jīng)元層次模型：研究單個(gè)神經(jīng)元特性及對(duì)輸入響應(yīng)機(jī)理。如Adaline組合式模型：由數(shù)種不同特性的神經(jīng)元組成，它們相互補(bǔ)充，相互協(xié)作，完成某些特定的功能。如模式識(shí)別等。2022/11/2837

網(wǎng)絡(luò)層次模型：由許多相同的神經(jīng)元互聯(lián)而成，從整體上研究網(wǎng)絡(luò)的集體特性。如HNN等。神經(jīng)系統(tǒng)層次模型：由多個(gè)不同性質(zhì)的網(wǎng)絡(luò)組成的復(fù)雜系統(tǒng)，模擬生物神經(jīng)系統(tǒng)更復(fù)雜或更抽象的性質(zhì)。如概念形成。智能型模型：這是最抽象層次，試圖模擬人腦信息處理的過(guò)程和策略。如感知，思維等過(guò)程。2022/11/2838近年來(lái)，神經(jīng)網(wǎng)絡(luò)受到了國(guó)內(nèi)外科技人員的廣泛關(guān)注，得到了大量的研究，歸納起來(lái)，研究主要包括三個(gè)方面：理論應(yīng)用實(shí)現(xiàn)其特點(diǎn)和具體的研究課題簡(jiǎn)介如下：2022/11/28391．理論研究：其特點(diǎn)是NN的數(shù)學(xué)理論相對(duì)比較薄弱，因此容易提出一些新方法和新思想，這方面的研究課題主要包括：a)模型的研究：﹡比如人腦的生理結(jié)構(gòu)、思維機(jī)制、神經(jīng)元的生物特性（時(shí)空特性）、不應(yīng)期、電化學(xué)性質(zhì)等完善的人工模擬，如高階非線性模型，多維局域連接模型等。2022/11/2840﹡神經(jīng)網(wǎng)絡(luò)計(jì)算模型及學(xué)習(xí)算法等研究。比如提出一些新的網(wǎng)絡(luò)結(jié)構(gòu)，不同的神經(jīng)元模型和非線性特性及新的學(xué)習(xí)方法（混沌神經(jīng)元，模糊神經(jīng)元，隨機(jī)邏輯神經(jīng)元，高斯型非線性特性，負(fù)阻型非線性特性，隨機(jī)算法，模擬退化算法，強(qiáng)化學(xué)習(xí)算法，遺傳算法等）2022/11/2841b）神經(jīng)網(wǎng)絡(luò)基本理論研究﹡非線性內(nèi)在機(jī)制--自適應(yīng)、自組織、協(xié)同作用、突變、奇怪吸引子與混沌、分維、耗散結(jié)構(gòu)、隨機(jī)非線性動(dòng)力學(xué)等。﹡神經(jīng)網(wǎng)絡(luò)基本性能：穩(wěn)定性、收斂性、容錯(cuò)性、魯棒性、動(dòng)力學(xué)復(fù)雜性等。2022/11/2842﹡NN的計(jì)算能力與判別準(zhǔn)則—計(jì)算能力、準(zhǔn)確性、存儲(chǔ)容量、準(zhǔn)則表達(dá)、綜合性能判別等。﹡關(guān)于智能本質(zhì)的研究，這是自然科學(xué)與哲學(xué)的課題之一，成各學(xué)科共同關(guān)心的焦點(diǎn)。2022/11/28432.應(yīng)用研究其特點(diǎn)是還處于起始研究階段，但由于NN本身所具有的特點(diǎn)，使得其應(yīng)用非常廣泛，所以應(yīng)用研究范圍也相當(dāng)廣泛。比如神經(jīng)網(wǎng)絡(luò)在智能信息處理方面的應(yīng)用研