神經(jīng)網(wǎng)絡(luò)介紹課件

人工神經(jīng)網(wǎng)絡(luò)

ArtificialNeuralNetworks何水明大學(xué)數(shù)學(xué)部聯(lián)系電話：Email：辦公地點(diǎn)：數(shù)理學(xué)院樓214主要參考書目1、PhilipD.Wasserman，NeuralComputing:TheoryandPractice，VanNostrandReinhold，1989；2、史忠植，神經(jīng)計(jì)算，電子工業(yè)出版社，1993年11月；3、楊行峻、鄭君里，人工神經(jīng)網(wǎng)絡(luò)，高等教育出版社，1992年9月；4、飛思科技產(chǎn)品研發(fā)中心，神經(jīng)網(wǎng)絡(luò)理論與MATLAB7實(shí)現(xiàn)，電子工業(yè)出版社，2005.3.關(guān)于神經(jīng)網(wǎng)絡(luò)的最最

最通俗認(rèn)識(shí)這么說(shuō)太抽象了，然后我們來(lái)理解下人腦對(duì)事物的認(rèn)識(shí)就清楚了，比如你每天所碰到的那么多人這是一堆數(shù)據(jù)，對(duì)吧，然后呢，另一堆數(shù)據(jù)就是他們的性別，剛開始人腦也不知道什么性別不性別的，不知道性別有兩類，性別分男女，隨后呢，成長(zhǎng)過(guò)程中，不斷看到一些人，然后不斷有人告訴你這個(gè)是男人，那個(gè)是女人，好了，你腦子內(nèi)部的神經(jīng)元開始活動(dòng)，開始建立連接，其實(shí)就是相當(dāng)于上面的訓(xùn)練。最后的效果就是隨便給你個(gè)人，即使你沒(méi)看到過(guò)的，你也能知道這個(gè)是什么性別的，所以，數(shù)學(xué)上也把神經(jīng)網(wǎng)絡(luò)叫為從n維空間向m維向量空間的高度非線性映射!關(guān)于神經(jīng)網(wǎng)絡(luò)的最最

最通俗認(rèn)識(shí)現(xiàn)在他用的地方很多，預(yù)測(cè)是個(gè)大方面，比如交通流量什么的，有些人希望能根據(jù)前3月的流量就知道后面一個(gè)月的流量，那么就可以用些歷史數(shù)據(jù)對(duì)這個(gè)神經(jīng)網(wǎng)絡(luò)訓(xùn)練，最后效果就是你給他3個(gè)月的數(shù)據(jù)，他就給你輸出這個(gè)月的數(shù)據(jù)，其實(shí)是預(yù)測(cè)了，就相當(dāng)于人腦內(nèi)部的神經(jīng)元建立完畢后，給定任何一個(gè)人，他都能對(duì)他進(jìn)行性別判別。關(guān)于神經(jīng)網(wǎng)絡(luò)的最最

最通俗認(rèn)識(shí)還有，不少人當(dāng)然異想天開用在其他方面了，比如股票，更加心黑點(diǎn)的就是彩票了，告訴你前8期的彩號(hào)，能預(yù)測(cè)出最新一期的中獎(jiǎng)號(hào)，那是多么好的事情?。￡P(guān)于神經(jīng)網(wǎng)絡(luò)的最最

最通俗認(rèn)識(shí)還是人的那個(gè)列子，性別呢，就是分2類的，(第3類我就先不考慮了。)一個(gè)人他不是男人，就是女人。所以人和性別之間是有明確對(duì)應(yīng)關(guān)系的，這樣的東西，你去訓(xùn)練是有道理的。但是呢，你如果要把人和別的物理量進(jìn)行聯(lián)系，即使人腦本領(lǐng)通天，那也是聯(lián)系不起來(lái)了.巖性輸入伽瑪射線中子密度石灰?guī)r15.0-2.0-2.0白云巖22.018.00.0頁(yè)巖135.024.04.0砂巖30.06.010.0巖性輸入伽瑪射線中子密度石灰?guī)r5.010.010.0白云巖5.020.02.0頁(yè)巖145.038.015.0砂巖5.015.023.0施肥量00.0680.1340.2020.27產(chǎn)量0.30360.42720.51440.64580.6806施肥量0.4040.5180.6720.8080.942產(chǎn)量0.7890.8630.86920.81660.615自變量-4-3-2-10因變量169410自變量12345因變量1491625關(guān)于神經(jīng)網(wǎng)絡(luò)的最最

最通俗認(rèn)識(shí)他是什么原理?

他的原理完全就是根據(jù)大腦神經(jīng)元的工作方式，神經(jīng)與神經(jīng)元通過(guò)閾值，連接權(quán)方式的連接模式，可處理各種復(fù)雜映射關(guān)系。數(shù)學(xué)上也證明了用3層神經(jīng)網(wǎng)絡(luò)模型，理論上可逼近任意函數(shù)。ANN研究的目的和意義(1)通過(guò)揭示物理平面與認(rèn)知平面之間的映射，了解它們相互聯(lián)系和相互作用的機(jī)理，從而揭示思維的本質(zhì)，探索智能的本源。(2)爭(zhēng)取構(gòu)造出盡可能與人腦具有相似功能的計(jì)算機(jī)，即ANN計(jì)算機(jī)。(3)研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在模式識(shí)別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計(jì)算機(jī)所難以達(dá)到的效果。

人工神經(jīng)網(wǎng)絡(luò)概述

什么是人工神經(jīng)網(wǎng)絡(luò)？T.Koholen的定義：“人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)。”

第一節(jié)神經(jīng)網(wǎng)絡(luò)概念

神經(jīng)網(wǎng)絡(luò):泛指生物神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)。生物神經(jīng)網(wǎng)絡(luò):指由中樞神經(jīng)系統(tǒng)及周圍神經(jīng)系統(tǒng)所構(gòu)成的錯(cuò)綜復(fù)雜的神經(jīng)網(wǎng)絡(luò)，它負(fù)責(zé)對(duì)動(dòng)物機(jī)體各種活動(dòng)的管理，其中最重要的是腦神經(jīng)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)：指模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，運(yùn)用大量的處理部件，由人工方式建立起來(lái)的網(wǎng)絡(luò)系統(tǒng)。生物神經(jīng)元組成

神經(jīng)元之間的聯(lián)系:軸突及突觸與其它許多神經(jīng)元建立聯(lián)系。樹突接收來(lái)自不同神經(jīng)元的信息。神經(jīng)元之間的這種復(fù)雜聯(lián)系就形成了相應(yīng)的神經(jīng)網(wǎng)絡(luò)。

神經(jīng)元重要特性：動(dòng)態(tài)極化原則時(shí)空整合處理功能興奮與抑制工作狀態(tài)結(jié)構(gòu)的可塑性突觸界面具有脈沖與電位信號(hào)的轉(zhuǎn)換功能突觸對(duì)信息的傳遞具有時(shí)延和不應(yīng)期腦神經(jīng)信息活動(dòng)的特征(1)巨量并行性。(2)信息處理和存儲(chǔ)單元結(jié)合在一起。(3)自組織自學(xué)習(xí)功能。

1、人工神經(jīng)元人工神經(jīng)元是組成人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，簡(jiǎn)稱為神經(jīng)元。心理學(xué)家麥克洛奇(W．McCulloch)和數(shù)理邏輯學(xué)家皮茲(W.Pitts)于1943年首先提出了一個(gè)簡(jiǎn)化的神經(jīng)元模型，稱為M-P模型。

M－P模型：神經(jīng)網(wǎng)絡(luò)的基本處理單元是神經(jīng)元，為實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的計(jì)算功能，需分別給出神經(jīng)元的計(jì)算模型和網(wǎng)絡(luò)連接方式。

M－P模型：其中表示輸入，表示輸出,對(duì)應(yīng)于生物神經(jīng)元的軸突。

。權(quán)值表示輸入的連接強(qiáng)度。正權(quán)表示興奮輸入，負(fù)權(quán)表示抑制輸入。表示神經(jīng)元興奮時(shí)的閾值，當(dāng)加權(quán)和大于時(shí)，神經(jīng)元處于興奮狀態(tài)。

x(i=1，2，…，n)為該神經(jīng)元的輸入Wi為該神經(jīng)元分別與各輸入間的連接強(qiáng)度，稱為連接權(quán)值；θ為該神經(jīng)元的閾值，s為外部輸入的控制信號(hào)，它可以用來(lái)調(diào)整神經(jīng)元的連接權(quán)值，使神經(jīng)元保持在某一狀態(tài)；y為神經(jīng)元的輸出。

神經(jīng)元的工作過(guò)程一般是：(1)從各輸入端接收輸入信號(hào)xi；(2)根據(jù)連接權(quán)值wi，求出所有輸入的加權(quán)和σ：(3)用某一特性函數(shù)(又稱作用函數(shù))f進(jìn)行轉(zhuǎn)換，得到輸出y：

2、神經(jīng)元的互連形態(tài)人工神經(jīng)網(wǎng)絡(luò)是由神經(jīng)元廣泛互連構(gòu)成的，不同的連接方式就構(gòu)成了網(wǎng)絡(luò)的不同連接模型，常用的有以下幾種：

前向網(wǎng)絡(luò)從輸出層到輸入層有反饋的網(wǎng)絡(luò)層內(nèi)有互連的網(wǎng)絡(luò)互連網(wǎng)絡(luò)

(1)前向網(wǎng)絡(luò)：前向網(wǎng)絡(luò)又稱為前饋網(wǎng)絡(luò)。在這種網(wǎng)絡(luò)中，神經(jīng)元分層排列，分別組成輸入層、中間層和輸出層。每一層神經(jīng)元只接收來(lái)自前一層神經(jīng)元的輸入。輸入信息經(jīng)各層變換后，最終在輸出層輸出，如圖所示。（2）從輸出層到輸入層有反饋的網(wǎng)絡(luò)。這種網(wǎng)絡(luò)與上一種網(wǎng)絡(luò)的區(qū)別僅僅在于，輸出層上的某些輸出信息又作為輸入信息送入到輸入層的神經(jīng)元上。

圖2從輸出層到輸入層有反饋的網(wǎng)絡(luò)

(3)層內(nèi)有互連的網(wǎng)絡(luò)。同一層上的神經(jīng)元可以互相作用。圖3層內(nèi)有互連的網(wǎng)絡(luò)

（4）互連網(wǎng)絡(luò)。在這種網(wǎng)絡(luò)中，任意兩個(gè)神經(jīng)元之間都可以有連接，如圖4所示。在該網(wǎng)絡(luò)中，信息可以在神經(jīng)元之間反復(fù)往返地傳遞，網(wǎng)絡(luò)一直處在一種改變狀態(tài)的動(dòng)態(tài)變化之中。圖4互連網(wǎng)絡(luò)三、人工神經(jīng)網(wǎng)絡(luò)的特征及分類

1、人工神經(jīng)網(wǎng)絡(luò)有以下主要特征：

能較好地模擬人的形象思維。

具有大規(guī)模并行協(xié)同處理能力。

具有較強(qiáng)的容錯(cuò)能力和聯(lián)想能力。具有較強(qiáng)的學(xué)習(xí)能力。兩種方式學(xué)習(xí)：有教師的學(xué)習(xí)無(wú)教師的學(xué)習(xí)2、人工神經(jīng)網(wǎng)絡(luò)的分類若按網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)劃分無(wú)反饋網(wǎng)絡(luò)；反饋網(wǎng)絡(luò)；

若按網(wǎng)絡(luò)的學(xué)習(xí)方法劃分有教師的學(xué)習(xí)網(wǎng)絡(luò)；無(wú)教師的學(xué)習(xí)網(wǎng)絡(luò)；

若按網(wǎng)絡(luò)的性能劃分連續(xù)型；離散型網(wǎng)絡(luò)確定型；隨機(jī)型網(wǎng)絡(luò)；若按連接突觸的性質(zhì)劃分一階線性關(guān)聯(lián)網(wǎng)絡(luò)；高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。

第二節(jié)神經(jīng)網(wǎng)絡(luò)模型

一、感知器模型

感知器是由美國(guó)學(xué)者Rosenblatt于1958年提出的一個(gè)具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)。單層感知器模型：

1、線性閾值單元線性閾值單元是前向網(wǎng)絡(luò)(又稱前饋網(wǎng)絡(luò))中最基本的計(jì)算單元，它具有n個(gè)輸入(x1，x2…，xn)，一個(gè)輸出(y)，n個(gè)連接權(quán)值(w1，w2，…，wn。)，且符合下式：

線性閾值單元示意

感知器只有一個(gè)節(jié)點(diǎn)的感知器：感知器輸出：利用簡(jiǎn)單感知器可以實(shí)現(xiàn)邏輯代數(shù)中的一些運(yùn)算。取階躍函數(shù)作為狀態(tài)轉(zhuǎn)移函數(shù)。感知器00001010111001011110感知器輸出：⑴“與”運(yùn)算，當(dāng)

時(shí)，上式完成邏輯“與”運(yùn)算。⑵“或”運(yùn)算，當(dāng)時(shí)，上式完成邏輯“或”運(yùn)算。⑶“非”運(yùn)算，當(dāng)時(shí)，上式完成邏輯“非”運(yùn)算。2、單層感知器及其算法 單層感知器只有一個(gè)計(jì)算層，它以信號(hào)模板作為輸入，經(jīng)計(jì)算后匯總輸出，層內(nèi)無(wú)互連，從輸出至輸入無(wú)反饋，是一種典型的前向網(wǎng)絡(luò)，如圖所示。

在單層感知器中，當(dāng)輸入的加權(quán)和大于等于閾值時(shí)，輸出為1，否則為0或-1。它與M-P模型的不同之處是假定神經(jīng)元間的連接強(qiáng)度(即連接權(quán)值wij）是可變的，這樣它就可以進(jìn)行學(xué)習(xí)。單層感知器的學(xué)習(xí)及其算法：學(xué)習(xí)的目的是調(diào)整連接權(quán)值，以使網(wǎng)絡(luò)對(duì)任何輸入都能得到所期望的輸出。考慮僅有一個(gè)輸出節(jié)點(diǎn)的情況，其中，xi是該輸出節(jié)點(diǎn)的輸入；wi

是相應(yīng)的連接權(quán)值(i=1，2．…，n)；y(t)是時(shí)刻t的輸出；d是所期望的輸出，它或者為1，或者為-1。學(xué)習(xí)算法如下：

(1)給wi(0)(i=1，2，…，n)及閾值θ分別賦予一個(gè)較小的非零隨機(jī)數(shù)作為初值；這里wi(0)表示在時(shí)刻t=0時(shí)第i個(gè)輸入的連接權(quán)值。(2)輸入一個(gè)樣例X={x1，x2，…，xn}和一個(gè)所期望的輸出d。(3)計(jì)算網(wǎng)絡(luò)的實(shí)際輸出：

(4)調(diào)整連接權(quán)值：此處0<η≤1，它是一個(gè)增益因子，用于控制調(diào)整速度。如果實(shí)際輸出與已知的輸出一致，表示網(wǎng)絡(luò)已經(jīng)作出了正確的決策，此時(shí)就無(wú)需改又wi(t)的值。

(5)轉(zhuǎn)到第(2)步，直到連接權(quán)值w，對(duì)一切樣例均穩(wěn)定不變時(shí)為止。

3、多層感知器只要在輸入層與輸出層之間增加一層或多層隱層，就可得到多層感知器。三層感知器

中國(guó)神經(jīng)網(wǎng)絡(luò)委員會(huì)（CNNC）簡(jiǎn)介

中國(guó)神經(jīng)網(wǎng)絡(luò)委員會(huì)創(chuàng)建于1990年，當(dāng)時(shí)國(guó)際上神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)研究迅猛發(fā)展。最重要的發(fā)起推動(dòng)人是羅沛霖院士(IEEEFellow)，他在1987年訪問(wèn)美國(guó)時(shí)，會(huì)晤了人工神經(jīng)網(wǎng)絡(luò)的學(xué)術(shù)權(quán)威霍普費(fèi)爾德和密德，回國(guó)后便推動(dòng)這項(xiàng)學(xué)術(shù)活動(dòng)，促成了由中國(guó)電子學(xué)會(huì)、中國(guó)計(jì)算機(jī)學(xué)會(huì)、中國(guó)自動(dòng)化學(xué)會(huì)、中國(guó)人工智能學(xué)會(huì)、中國(guó)生物物理學(xué)會(huì)、中國(guó)心理學(xué)會(huì)等十五個(gè)國(guó)家一級(jí)學(xué)會(huì)成立了中國(guó)神經(jīng)網(wǎng)絡(luò)委員會(huì)聯(lián)合體，掛靠在中國(guó)電子學(xué)會(huì)，其英文名稱為ChinaNeuralNetworksCouncil，簡(jiǎn)記為CNNC。中國(guó)神經(jīng)網(wǎng)絡(luò)委員會(huì)（CNNC）簡(jiǎn)介同年在北京召開召開了第一屆全國(guó)神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議，羅沛霖?fù)?dān)任大會(huì)主席。這次會(huì)議雖是第一屆，到會(huì)竟有四百余人，選讀論文一百五十篇。從此，這個(gè)新學(xué)科在全國(guó)蓬勃發(fā)展起來(lái)。中國(guó)神經(jīng)網(wǎng)絡(luò)委員會(huì)（CNNC）簡(jiǎn)介CNNC是一個(gè)非營(yíng)利性的學(xué)術(shù)團(tuán)體，目的和宗旨是團(tuán)結(jié)本學(xué)術(shù)科研領(lǐng)域多學(xué)科的廣大科技工作者，通過(guò)開展國(guó)際和國(guó)內(nèi)學(xué)術(shù)交流活動(dòng)，促進(jìn)模仿生物神經(jīng)智能系統(tǒng)工作原理的智能技術(shù)繁榮和發(fā)展，促進(jìn)智能領(lǐng)域邊緣學(xué)科的交叉融合和科技合作，促進(jìn)新的學(xué)術(shù)科研成果在高技術(shù)產(chǎn)業(yè)領(lǐng)域的推廣應(yīng)用，為發(fā)展智能信息科學(xué)技術(shù)做貢獻(xiàn)。中國(guó)神經(jīng)網(wǎng)絡(luò)委員會(huì)（CNNC）簡(jiǎn)介CNNC始終把開展學(xué)術(shù)活動(dòng)作為中心工作，自成立之日起，作為發(fā)起者已舉辦了十五屆全國(guó)性和國(guó)際性的學(xué)術(shù)會(huì)議，其中大型國(guó)際會(huì)議包括國(guó)際神經(jīng)網(wǎng)絡(luò)聯(lián)合大會(huì)（InternationalJiontConferenceonNeuralNetworks,IJCNN’92）、95年和2001年的亞太地區(qū)神經(jīng)網(wǎng)絡(luò)國(guó)際會(huì)議（ICONIP'95，ICONIP98,InternationalConferenceonNeuralInformationProcessing）、98年和2005年的神經(jīng)網(wǎng)絡(luò)與腦國(guó)際會(huì)議(InternationalConferenceonNeuralNetworksandBrain,ICNN&B'98,ICNN&B'05)等。中國(guó)神經(jīng)網(wǎng)絡(luò)委員會(huì)（CNNC）簡(jiǎn)介CNNC在國(guó)際神經(jīng)網(wǎng)絡(luò)界創(chuàng)立了很好的聲譽(yù)，與本學(xué)術(shù)領(lǐng)域國(guó)際知名學(xué)者和主要國(guó)際學(xué)術(shù)組織(IEEENeuralNetworksSociety和國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)-INNS)有密切的學(xué)術(shù)聯(lián)系。CNNC是亞太神經(jīng)網(wǎng)絡(luò)聯(lián)合會(huì)（AsiaPacificNeuralNetworkAssembly，簡(jiǎn)記APNNA，93年創(chuàng)立）的五個(gè)發(fā)起國(guó)和地區(qū)（中國(guó)、日本、新西蘭、韓國(guó)、中國(guó)香港地區(qū)）的代表之一，CNNC的