神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用

1、神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用Artificial Neural Networks and Applications孫光民教授北京工業(yè)大學(xué)電子工程系Tel: 67391526; E-mail: 神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第1頁(yè) 第一章 緒論 一概述 二神經(jīng)網(wǎng)絡(luò)(ANN)研究簡(jiǎn)史 三神經(jīng)網(wǎng)絡(luò)(ANN)原理介紹 四ANN分類及研究方向神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第2頁(yè)/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室3一概述近幾十年，人工神經(jīng)網(wǎng)絡(luò)研究和應(yīng)用，引發(fā)了國(guó)內(nèi)外學(xué)術(shù)界廣泛重視，并在許多領(lǐng)域取得了顯著結(jié)果。對(duì)于電子技術(shù)和信號(hào)處理專業(yè)學(xué)生和科技人員，對(duì)神經(jīng)網(wǎng)絡(luò)理論進(jìn)行必要學(xué)習(xí)和掌握，甚至可能話，在實(shí)際中加以應(yīng)用，是非常有意義。神經(jīng)網(wǎng)絡(luò)原

2、理與應(yīng)用第3頁(yè)從第一臺(tái)數(shù)字計(jì)算機(jī)問(wèn)世（1946年），計(jì)算機(jī)系統(tǒng)幾經(jīng)更新?lián)Q代，經(jīng)歷了由電子管、晶體管、LSI、VLSI，到以后飛躍4、雙核技術(shù)等發(fā)展階段。近年來(lái)，軟件方面也在不停升級(jí)更新，計(jì)算機(jī)性能越來(lái)越優(yōu)越，應(yīng)用也越來(lái)越廣泛。盡管如此，但計(jì)算機(jī)系統(tǒng)并非萬(wàn)能，它存在著本身不足和物理極限（小型化），其特點(diǎn)是串行運(yùn)算，輸入輸出存在線性和確定性關(guān)系。神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第4頁(yè) 所以要深入提升性能，就必須要求在器件、原理及思緒上有所突破，要充分表達(dá)并行運(yùn)算、非線性、不確定性關(guān)系等特點(diǎn)。以非線性大規(guī)模并行處理為特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)，突破了傳統(tǒng)線性處理為基礎(chǔ)數(shù)字計(jì)算機(jī)局限，受到各學(xué)科領(lǐng)域廣泛關(guān)注，將為計(jì)算機(jī)技術(shù)發(fā)

3、展帶來(lái)一場(chǎng)革命，并促使以神經(jīng)計(jì)算機(jī)為基礎(chǔ)高技術(shù)群誕生和發(fā)展。神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室/10/105神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第5頁(yè) 那么，什么是神經(jīng)網(wǎng)絡(luò)？它與傳統(tǒng)數(shù)字計(jì)算機(jī)區(qū)分在于，它是模擬人腦一個(gè)信息處理系統(tǒng)，含有許多特點(diǎn)，功效強(qiáng)大。ANN與數(shù)字計(jì)算機(jī)比較: 并行處理串行處理 魯棒性、容錯(cuò)性確定性、準(zhǔn)確性 自學(xué)習(xí)能力教授經(jīng)驗(yàn)知識(shí)庫(kù),無(wú)更新 大規(guī)模自適應(yīng)非線性動(dòng)力系統(tǒng)線性確定性系統(tǒng) 運(yùn)算、存放合而為一運(yùn)算、存放分離/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室6神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第6頁(yè)/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室7二ANN研究簡(jiǎn)史ANN研究簡(jiǎn)史可追溯到四十年代初，但因?yàn)榉N種原因，起始階段發(fā)展不快，并曾一

4、度陷入低谷。近幾十年，科學(xué)技術(shù)不停發(fā)展，為ANN發(fā)展奠定了基礎(chǔ)，使得ANN異軍突起，空前活躍，成為研究熱點(diǎn)。神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第7頁(yè)1943年，MP模型(McCulloch和Pitts)1944年，Hebb學(xué)習(xí)規(guī)則(條件反射規(guī)則)1957年，Rosenblatt提出：感知器 (perceptron)1962年，自適應(yīng)線性元件（Adaline）1969年，Minsky和Papert證實(shí)了感知器 不足，發(fā)表perceptron 論文/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室8神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第8頁(yè) 1966-1982年，陷入低谷,期間：維納學(xué)生Grossberg（美科學(xué)院院士）提出：自適應(yīng)共振理論Ko

5、honen提出：自組織特征映射網(wǎng)絡(luò)Amari（甘利俊一）從事數(shù)學(xué)理論研究Anderson提出：盒中腦（BSB）模型Webos提出：BP 理論（1974年）在這期間，數(shù)字計(jì)算機(jī)跨越三代，傳統(tǒng)人工智能較快發(fā)展。/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室9神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第9頁(yè) 1982年，加州工學(xué)院 Hopfield提出：HNN模型，在網(wǎng)絡(luò)中引入能量函數(shù)概念，作為穩(wěn)定性判據(jù)，給出RC電路模型，推進(jìn)了NN發(fā)展，使ANN用于聯(lián)想記憶和優(yōu)化計(jì)算。之后，ANN研究進(jìn)入空前活躍期，Hinton等提出Boltzman機(jī)，采取多層網(wǎng)絡(luò)學(xué)習(xí)方法，在學(xué)習(xí)過(guò)程中借用統(tǒng)計(jì)物理學(xué)方法,引入模擬退火技術(shù)。/10/10神經(jīng)網(wǎng)絡(luò)與

6、模式識(shí)別研究室10神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第10頁(yè)Rumelhart等提出：并行分布處理理論，發(fā)展了BP算法。 Kosko提出：雙向聯(lián)想記憶網(wǎng)絡(luò)1988年，加州大學(xué)蔡少堂和復(fù)旦大學(xué)楊林提出：細(xì)胞神經(jīng)網(wǎng)絡(luò)。/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室11神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第11頁(yè) 近年來(lái)，ANN研究愈加熾熱，提出了各種新網(wǎng)絡(luò)模型，并結(jié)合含糊理論、小波理論、混沌理論、分形理論等技術(shù)，應(yīng)用也愈加廣泛。受到各國(guó)政府、科學(xué)家和企業(yè)家重視，各門(mén)學(xué)科聯(lián)合研究，提出重大研究計(jì)劃，如：美國(guó)DARPA計(jì)劃、日本HFSP計(jì)劃、法國(guó)尤里卡、德國(guó)歐洲防御、俄羅斯高技術(shù)發(fā)展計(jì)劃，中國(guó)863計(jì)劃等。86.4,召開(kāi)第一屆ANN國(guó)際會(huì)議,8

7、7.6,召開(kāi)第一屆IEEE NN國(guó)際會(huì)議，同年國(guó)際NN學(xué)會(huì)成立，88年元月，NN雜志創(chuàng)刊。88年后NN國(guó)際學(xué)會(huì)與IEEE聯(lián)合每年一次國(guó)際會(huì)議，90年3月IEEE NN會(huì)刊問(wèn)世。/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室12神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第12頁(yè)ANN研究熱潮出現(xiàn)，除了神經(jīng)科學(xué)研究本身突破和進(jìn)展外，更主要是因?yàn)橛?jì)算機(jī)科學(xué)和人工智能發(fā)展需要以及VLSI技術(shù)，生物技術(shù)，超導(dǎo)技術(shù)和光學(xué)技術(shù)等領(lǐng)域快速發(fā)展，為ANN技術(shù)發(fā)展提供了技術(shù)上可能性。ANN研究包括到計(jì)算機(jī)科學(xué)、控制論、信息科學(xué)、微電子學(xué)、心理學(xué)、認(rèn)知科學(xué)、物理學(xué)與數(shù)學(xué)等學(xué)科。/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室13神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第13頁(yè) 除此

8、之外，還有一些其它科學(xué)背景支撐，如70年代產(chǎn)生新三論：協(xié)同論，突變論與耗散結(jié)構(gòu)論以及近年來(lái)廣泛研究混沌動(dòng)力學(xué)理論等，都揭示了復(fù)雜系統(tǒng)怎樣經(jīng)過(guò)微觀元件集體協(xié)同作用，使系統(tǒng)結(jié)構(gòu)在宏觀上到達(dá)從無(wú)序到有序，功效由簡(jiǎn)單到復(fù)雜非線性動(dòng)力學(xué)過(guò)程。這種過(guò)程類似于生物系統(tǒng)進(jìn)化過(guò)程和智能系統(tǒng)學(xué)習(xí)過(guò)程。所以，對(duì)NN研究給予了不可或缺啟示。 /10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室14神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第14頁(yè)NN問(wèn)世標(biāo)志著認(rèn)知科學(xué)、計(jì)算機(jī)科學(xué)及人工智能發(fā)展又處于一個(gè)新轉(zhuǎn)折點(diǎn)，它應(yīng)用和發(fā)展，不但會(huì)推進(jìn)神經(jīng)動(dòng)力學(xué)本身，而且將影響新一代計(jì)算機(jī)設(shè)計(jì)原理，可能為新一代計(jì)算機(jī)和人工智能開(kāi)辟一條嶄新路徑，并為信息科學(xué)帶來(lái)革命性改變。

9、/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室15神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第15頁(yè)/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室16三神經(jīng)網(wǎng)絡(luò)原理介紹神經(jīng)網(wǎng)絡(luò)是模擬人腦一個(gè)信息處理系統(tǒng)，它只是一個(gè)抽象、簡(jiǎn)化模擬。NN模型有幾十種甚至上百種，都是由許多簡(jiǎn)單、相同神經(jīng)元組成，不一樣模型區(qū)分在于反應(yīng)神經(jīng)元非線性特征激勵(lì)函數(shù)、神經(jīng)元之間連接方式和所采取學(xué)習(xí)規(guī)則不一樣。這是決定NN特征三個(gè)基本要素。為了對(duì)三要素分別介紹，我們首先看一下生物神經(jīng)元結(jié)構(gòu)和機(jī)理。神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第16頁(yè)/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室171. 生物神經(jīng)元模型生物神經(jīng)元由細(xì)胞核、軸突、樹(shù)突和突觸等組成。生物神經(jīng)元功效： 時(shí)空整合功效興奮和抑制狀態(tài)突

10、觸延時(shí)和不應(yīng)期學(xué)習(xí)、遺忘和疲勞神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第17頁(yè) 2.人工神經(jīng)元模型及慣用非線性函數(shù)人工神經(jīng)元模型是對(duì)生物神經(jīng)元模擬和近似，所以類似于生物神經(jīng)元，其結(jié)構(gòu)模型由下列圖示：/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室18神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第18頁(yè)/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室19它是一個(gè)多輸入單輸出非線性器件，其中X1,Xn為外界輸入信號(hào)，能夠是來(lái)自其它神經(jīng)元輸出信號(hào)，Wi為連接權(quán)值， 為閾值,Yi為經(jīng)神經(jīng)元處理后輸出信號(hào)，神經(jīng)元對(duì)外界輸入信號(hào)進(jìn)行處理?？煞譃槿剑?1）加權(quán)求和 2）閾值比較 3）非線性處理所以整個(gè)過(guò)程可由以下公式描述：神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第19頁(yè)對(duì)于不一樣神經(jīng)網(wǎng)絡(luò)模型，其中

11、神經(jīng)元非線性激勵(lì)函數(shù)f(.)可能取不一樣形式，慣用非線性函數(shù)有以下三種類型：a)閾值型: 這是最早提出二值離散神經(jīng)元模型。/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室20神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第20頁(yè) b)線性或分段線性型： /10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室21神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第21頁(yè) c)Sigmoidal函數(shù)型： 或 這類曲線可連續(xù)取值，反應(yīng)了神經(jīng)元飽和特征。/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室22神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第22頁(yè) 3.神經(jīng)網(wǎng)絡(luò)連接方式神經(jīng)網(wǎng)絡(luò)是由大量神經(jīng)元以不一樣方式連接而成大規(guī)模復(fù)雜系統(tǒng)，不一樣網(wǎng)絡(luò)模型可能含有不一樣連接方式，慣用連接方式有：/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室23

12、神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第23頁(yè) 1)不含反饋前向網(wǎng)絡(luò)：這種網(wǎng)絡(luò)中神經(jīng)元分層排列，每層神經(jīng)元只接收前一層神經(jīng)元輸入。感知器和BP網(wǎng)絡(luò)，徑向基函數(shù)網(wǎng)絡(luò)等均是這種類型。/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室24神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第24頁(yè) 2)從輸出層到輸入層有反饋前向網(wǎng)絡(luò)： 如：ART網(wǎng)絡(luò)（自適應(yīng)共振理論網(wǎng)絡(luò)）神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第25頁(yè) 3)層內(nèi)有相互接合前向網(wǎng)絡(luò)，經(jīng)過(guò)層內(nèi)相互接合可到達(dá)同層中神經(jīng)元之間側(cè)向抑制和興奮機(jī)制。 如：SOFM網(wǎng)絡(luò)（自組織特征映射網(wǎng)絡(luò)）/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室26神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第26頁(yè)4)全互聯(lián)網(wǎng)絡(luò)（相互結(jié)合型網(wǎng)絡(luò)）網(wǎng)絡(luò)中各神經(jīng)元之間都有可能連接，在這種網(wǎng)絡(luò)中信號(hào)

13、要在神經(jīng)元之間重復(fù)往返屢次傳遞，網(wǎng)絡(luò)狀態(tài)不停改變，直到某時(shí)刻才到達(dá)某種平衡狀態(tài)。 HNN和Boltzman機(jī)等網(wǎng)絡(luò)均屬于這種。神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第27頁(yè)4.神經(jīng)網(wǎng)絡(luò)工作方式及學(xué)習(xí)規(guī)則在傳統(tǒng)數(shù)字計(jì)算機(jī)中，計(jì)算與存放是完全獨(dú)立兩個(gè)部分，即計(jì)算機(jī)在計(jì)算之前要從存放器中取出待處理數(shù)據(jù)，然后計(jì)算，最終又將結(jié)果存入存放器，這么存放器與計(jì)算器之間通道就組成了計(jì)算機(jī)瓶頸，從而大大限制了它運(yùn)算能力。/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室28神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第28頁(yè) 在人工神經(jīng)網(wǎng)絡(luò)中，信息存放與處理是合二為一，即信息存放表達(dá)在神經(jīng)元連接權(quán)值分布之中，并以大規(guī)模并行分布方式處理。神經(jīng)網(wǎng)絡(luò)信息處理過(guò)程能夠分為兩個(gè)階段

14、，一個(gè)是學(xué)習(xí)期，此時(shí)各神經(jīng)元狀態(tài)不變，而各連接權(quán)值經(jīng)過(guò)學(xué)習(xí)進(jìn)行修正，這個(gè)過(guò)程相對(duì)較慢，權(quán)值調(diào)整過(guò)程即為學(xué)習(xí)過(guò)程，最終權(quán)值分布即為長(zhǎng)久記憶。/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室29神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第29頁(yè)而另一階段則是工作期，此時(shí)神經(jīng)網(wǎng)絡(luò)已經(jīng)訓(xùn)練好，連接權(quán)值保持不變，即經(jīng)過(guò)信息不停傳遞，使各神經(jīng)元狀態(tài)發(fā)生改變，從而使網(wǎng)絡(luò)最終到達(dá)一個(gè)穩(wěn)定平衡態(tài)，這就像人腦尋找記憶過(guò)程，這一過(guò)程相對(duì)較快，各神經(jīng)元狀態(tài)也稱之為短期記憶。/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室30神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第30頁(yè)不一樣網(wǎng)絡(luò)學(xué)習(xí)規(guī)則有所不一樣，學(xué)習(xí)規(guī)則即為權(quán)值調(diào)整一個(gè)算法，有網(wǎng)絡(luò)學(xué)習(xí)或權(quán)值調(diào)整是在網(wǎng)絡(luò)信息處理過(guò)程中自發(fā)地完成，而

15、有網(wǎng)絡(luò)則需要從例子中進(jìn)行學(xué)習(xí)，慣用學(xué)習(xí)規(guī)則有以下幾個(gè)：/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室31神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第31頁(yè)1)相關(guān)規(guī)則：僅依據(jù)連接間激活水平改變權(quán)值，比如Hebb規(guī)則為： 與條件反射學(xué)說(shuō)相一致，即外界激勵(lì)越強(qiáng)，神經(jīng)元越興奮，連接權(quán)值越增強(qiáng)。/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室32神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第32頁(yè)2)糾錯(cuò)規(guī)則：依賴于輸出節(jié)點(diǎn)外部反饋信息改變權(quán)值，相等于梯度下降法，經(jīng)過(guò)改變權(quán)值不停糾正錯(cuò)誤，從而到達(dá)最終所期望輸出。所以需要有一個(gè)指導(dǎo)信號(hào)或參考信號(hào)，這種規(guī)則又稱為有導(dǎo)師監(jiān)督學(xué)習(xí)規(guī)則。/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室33神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第33頁(yè)4)無(wú)導(dǎo)師監(jiān)督學(xué)習(xí)規(guī)則：這種

16、規(guī)則是網(wǎng)絡(luò)經(jīng)過(guò)向外界客觀事物學(xué)習(xí)，自發(fā)地完成權(quán)值修正，希望經(jīng)過(guò)修正權(quán)值，以使網(wǎng)絡(luò)能客觀反應(yīng)事物真實(shí)分布，學(xué)習(xí)過(guò)程是經(jīng)過(guò)競(jìng)爭(zhēng)而自適應(yīng)地進(jìn)行，從而使不一樣節(jié)點(diǎn)有選擇地接收或響應(yīng)輸入空間中含有不一樣特征激勵(lì)。/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室34神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第34頁(yè)四ANN分類及研究方向 當(dāng)前神經(jīng)網(wǎng)絡(luò)模型已經(jīng)有近百種，不一樣模型從不一樣側(cè)面模擬人腦一些特征，所以能夠完成不一樣功效。假如說(shuō)要將神經(jīng)網(wǎng)絡(luò)進(jìn)行分類話，能夠從以下幾個(gè)方面進(jìn)行分類：/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室35神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第35頁(yè) 1.按網(wǎng)絡(luò)性能可分為： 連續(xù)型與離散型 確定性與隨機(jī)性網(wǎng)絡(luò)2.按網(wǎng)絡(luò)結(jié)構(gòu)可分為： 反饋網(wǎng)

17、絡(luò)，存在穩(wěn)定性問(wèn)題 前向網(wǎng)絡(luò)，不存在穩(wěn)定性問(wèn)題，只有 算法收斂性3.按學(xué)習(xí)方式可分為： 有導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò) 無(wú)教師學(xué)習(xí)網(wǎng)絡(luò)/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室36神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第36頁(yè)4.按連接突觸性質(zhì)可分為：一階線性關(guān)聯(lián)網(wǎng)絡(luò)高階非線性關(guān)聯(lián)網(wǎng)絡(luò)5.按網(wǎng)絡(luò)模型所模擬人腦神經(jīng)系統(tǒng)功效層次可分為：神經(jīng)元層次模型：研究單個(gè)神經(jīng)元特征及對(duì)輸入響應(yīng)機(jī)理。如 Adaline組合式模型：由數(shù)種不一樣特征神經(jīng)元組成，它們相互補(bǔ)充，相互協(xié)作，完成一些特定功效。如模式識(shí)別等。/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室37神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第37頁(yè) 網(wǎng)絡(luò)層次模型：由許多相同神經(jīng)元互聯(lián)而成，從整體上研究網(wǎng)絡(luò)集體特征。如HNN

18、等。神經(jīng)系統(tǒng)層次模型：由多個(gè)不一樣性質(zhì)網(wǎng)絡(luò)組成復(fù)雜系統(tǒng)，模擬生物神經(jīng)系統(tǒng)更復(fù)雜或更抽象性質(zhì)。如概念形成。智能型模型：這是最抽象層次，試圖模擬人腦信息處理過(guò)程和策略。如感知，思維等過(guò)程。/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室38神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第38頁(yè)近年來(lái)，神經(jīng)網(wǎng)絡(luò)受到了國(guó)內(nèi)外科技人員廣泛關(guān)注，得到了大量研究，歸納起來(lái)，研究主要包含三個(gè)方面：理論應(yīng)用實(shí)現(xiàn)其特點(diǎn)和詳細(xì)研究課題介紹以下：/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室39神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第39頁(yè)1理論研究： 其特點(diǎn)是NN數(shù)學(xué)理論相對(duì)比較微弱，所以輕易提出一些新方法和新思想，這方面研究課題主要包含： a)模型研究： 比如人腦生理結(jié)構(gòu)、思維機(jī)制

19、、神經(jīng)元生物特征（時(shí)空特征）、不應(yīng)期、電化學(xué)性質(zhì)等完善人工模擬，如高階非線性模型，多維局域連接模型等。/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室40神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第40頁(yè)神經(jīng)網(wǎng)絡(luò)計(jì)算模型及學(xué)習(xí)算法等研究。比如提出一些新網(wǎng)絡(luò)結(jié)構(gòu)，不一樣神經(jīng)元模型和非線性特征及新學(xué)習(xí)方法（混沌神經(jīng)元，含糊神經(jīng)元，隨機(jī)邏輯神經(jīng)元，高斯型非線性特征，負(fù)阻型非線性特征，隨機(jī)算法，模擬退化算法，強(qiáng)化學(xué)習(xí)算法，遺傳算法等）/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室41神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第41頁(yè) b）神經(jīng)網(wǎng)絡(luò)基本理論研究 非線性內(nèi)在機(jī)制-自適應(yīng)、自組織、協(xié)同作用、突變、奇怪吸引子與混沌、分維、耗散結(jié)構(gòu)、隨機(jī)非線性動(dòng)力學(xué)等。 神經(jīng)網(wǎng)絡(luò)基本性能：穩(wěn)定性、收斂性、容錯(cuò)性、魯棒性、動(dòng)力學(xué)復(fù)雜性等。/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室42神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第42頁(yè) NN計(jì)算能力與判別準(zhǔn)則計(jì)算能力、準(zhǔn)確性、存放容量、準(zhǔn)則表示、綜合性能判別等。 關(guān)于智能本質(zhì)研究，這是自然科學(xué)與哲學(xué)課題之一，成各學(xué)科共同關(guān)心焦點(diǎn)。/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室43神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用第43頁(yè)2.應(yīng)用研究其特點(diǎn)是還處于起始研究階段，但因?yàn)镹N本身所含有特點(diǎn)，使得其應(yīng)用非常廣泛，所以應(yīng)用研究范圍也相當(dāng)廣泛。 比如神經(jīng)網(wǎng)絡(luò)在智能信息處理方面應(yīng)用研究包含：/10/10神經(jīng)網(wǎng)絡(luò)與模式識(shí)別研究室44神經(jīng)網(wǎng)絡(luò)原理與應(yīng)