第四章(1) 人工神經(jīng)網(wǎng)絡(luò)概述

智能控制技術(shù)中國(guó)計(jì)量學(xué)院自動(dòng)化教研室謝敏1智能控制技術(shù)第4章人工神經(jīng)元網(wǎng)絡(luò)模型4.1引言4.2常見神經(jīng)網(wǎng)絡(luò)模型24.1引言一、人工神經(jīng)網(wǎng)絡(luò)研究概述人腦由一百多億個(gè)神經(jīng)細(xì)胞組成，這些細(xì)胞組成的生物神經(jīng)網(wǎng)絡(luò)，是人類智能的物質(zhì)基礎(chǔ)。人工神經(jīng)網(wǎng)絡(luò)是指利用工程技術(shù)手段模擬人腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能的一種技術(shù)系統(tǒng)。 4.1引言3一、人工神經(jīng)網(wǎng)絡(luò)研究概述1、1943~1969年為初創(chuàng)期4.1引言時(shí)間人物成果1943McCulloch（心理學(xué)家）Pitts（數(shù)學(xué)家）提出形式神經(jīng)元模型1949Hebb（心理學(xué)家）Hebb學(xué)習(xí)規(guī)則1958Rosenblatt感知器模型1969Minsky《感知器》4一、人工神經(jīng)網(wǎng)絡(luò)研究概述2、1970~1986年為過渡期4.1引言時(shí)間人物成果1976Grossberg自適應(yīng)共振理論1982HopfieldHopfield網(wǎng)絡(luò)，可用電路實(shí)現(xiàn)1986RumelhartBP算法5一、人工神經(jīng)網(wǎng)絡(luò)研究概述3、1987~今發(fā)展期理論研究：多種神經(jīng)網(wǎng)絡(luò)模型和理論。應(yīng)用研究：模式識(shí)別、信息處理、智能控制等。4.1引言6二、人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能人腦中約有一百多億個(gè)神經(jīng)細(xì)胞。4.1引言7二、人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能1．細(xì)胞體

細(xì)胞體是由很多分子形成的綜合體，是神經(jīng)元活動(dòng)的能量供應(yīng)地，在整個(gè)細(xì)胞的最外層稱為細(xì)胞膜。2．樹突細(xì)胞體的延伸部分產(chǎn)生的分枝稱為樹突，樹突是接受從其它神經(jīng)元傳入的信息的入口。4.1引言8二、人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能3．軸突細(xì)胞體突起的最長(zhǎng)的外伸管狀纖維稱為軸突。軸突最長(zhǎng)可達(dá)1米以上。軸突是把神經(jīng)元興奮的信息傳出到其它神經(jīng)元的出口。4.1引言9二、人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能4、突觸是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元之間相聯(lián)系并進(jìn)行信息傳送的結(jié)構(gòu)。它由突觸前成分，突觸間隙和突觸后成分組成。突觸前成分是一個(gè)神經(jīng)元的軸突末梢。突觸間隙是突觸前成分與后成分之間的距離空間。突觸后成分可以是細(xì)胞體，樹突或軸突。突觸的存在說明：兩個(gè)神經(jīng)元的細(xì)胞質(zhì)并不直接連通，兩者彼此聯(lián)系是通過突觸這種結(jié)構(gòu)接口的。有時(shí)，也把突觸看作是神經(jīng)元之間的連接。4.1引言10二、人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能4.1引言神經(jīng)元的4種生物行為有：

能處于抑制或興奮狀態(tài)；能產(chǎn)生爆發(fā)和平臺(tái)兩種情況；能產(chǎn)生抑制后的反沖；具有適應(yīng)性。突觸的4種生物行為有：能進(jìn)行信息綜合；能產(chǎn)生漸次變化的傳送；有電接觸和化學(xué)接觸等多種連接方式；會(huì)產(chǎn)生延時(shí)激發(fā)。目前，人工神經(jīng)網(wǎng)絡(luò)的研究?jī)H僅是對(duì)神經(jīng)元的第一種行為和突觸的第一種行為進(jìn)行模擬，其它行為尚未考慮。11三、神經(jīng)元的信息處理與傳遞4.1引言1．神經(jīng)元的興奮與抑制：一個(gè)神經(jīng)元的興奮和抑制兩種狀態(tài)是由細(xì)胞膜內(nèi)外之間不同的電位差來表征的。在抑制狀態(tài)，細(xì)胞膜內(nèi)外之間有內(nèi)負(fù)外正的電位差，這個(gè)電位差大約在-50—-100mv之間。在興奮狀態(tài)，則產(chǎn)生內(nèi)正外負(fù)的相反電位差，這時(shí)表現(xiàn)為約70—100mv的電脈沖。細(xì)胞膜內(nèi)外的電位差是由膜內(nèi)外的離子濃度不同導(dǎo)致的。細(xì)胞的興奮電脈沖寬度一般大約為1ms。12三、神經(jīng)元的信息處理與傳遞4.1引言2．神經(jīng)元的信息傳遞及閥值特性由神經(jīng)元傳出的電脈沖信號(hào)通過軸突，首先到達(dá)軸突末梢，使其中的囊泡產(chǎn)生變化從而釋放神經(jīng)遞質(zhì)，這種神經(jīng)遞質(zhì)通過突觸的間隙而進(jìn)入到另一個(gè)神經(jīng)元的樹突中。樹突上的受體能夠接受神經(jīng)遞質(zhì)從而去改變離子的通透性，使膜外內(nèi)離子濃度差產(chǎn)生變化，進(jìn)而使電位產(chǎn)生變化。顯然，信息就從一個(gè)神經(jīng)元傳送到另一個(gè)神經(jīng)元中。當(dāng)神經(jīng)元接受來自其它神經(jīng)元的信息時(shí)，膜電位在開始時(shí)是按時(shí)間連續(xù)漸漸變化的。當(dāng)膜電位變化經(jīng)超出一個(gè)定值時(shí)，才產(chǎn)生突變上升的脈沖，這個(gè)脈沖接著沿軸突進(jìn)行傳遞。神經(jīng)元這種膜電位高達(dá)一定閥值才產(chǎn)生脈沖傳送的特性稱閥值特性。神經(jīng)元的信息傳遞還有兩個(gè)特點(diǎn)。一個(gè)是單向性，即只能從前一級(jí)神經(jīng)元的軸突末梢傳向后一級(jí)神經(jīng)元的樹突或細(xì)胞體，不能反之。另一個(gè)是延時(shí)性，信息通過突觸傳遞，通常會(huì)產(chǎn)生0.5—1ms的延時(shí)。13三、神經(jīng)元的信息處理與傳遞4.1引言3.神經(jīng)元的時(shí)空綜合特性神經(jīng)元對(duì)來自其它神經(jīng)元的信息有時(shí)空綜合特性。在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上，大量不同的神經(jīng)元的軸突末梢可以到達(dá)同一個(gè)神經(jīng)元的樹突并形成大量突觸。來源不同的突觸所釋放的神經(jīng)遞質(zhì)都可以對(duì)同一個(gè)神經(jīng)元的膜電位變化產(chǎn)生作用。因此，在樹突上，神經(jīng)元可以對(duì)不同來源的輸入信息進(jìn)行綜合。這就是神經(jīng)元對(duì)信息的空間綜合特性。對(duì)于來自同一個(gè)突觸的信息，神經(jīng)元可以對(duì)于不同時(shí)間傳入的信息進(jìn)行綜合。故神經(jīng)元對(duì)信息有時(shí)間綜合特性。14三、神經(jīng)元的信息處理與傳遞4.1引言4．神經(jīng)元、突觸的D/A、A/D特性從神經(jīng)元軸突上傳遞的信息是等幅、恒寬、編碼的離散電脈沖信號(hào)，故而是一個(gè)數(shù)字量。但在突觸中神經(jīng)遞質(zhì)的釋放和樹突中膜電位的變化是連續(xù)的。故而，這時(shí)說明突觸有D/A功能。在神經(jīng)元的樹突膜電位高過一定閥值時(shí)，則又變成電脈沖方式由軸突傳送出去。故而，這個(gè)過程說明神經(jīng)元有A/D功能。很明顯，信息通過一個(gè)神經(jīng)元傳遞時(shí)，神經(jīng)元對(duì)信息執(zhí)行了D/A、A/D轉(zhuǎn)換過程。15四、神經(jīng)元的數(shù)學(xué)模型4.1引言從神經(jīng)元的特性和功能可以知道，神經(jīng)元是一個(gè)多輸入單輸出的信息處理單元，而且，它對(duì)信息的處理是非線性的。根據(jù)神經(jīng)元的特性和功能，可以把神經(jīng)元抽象為一個(gè)簡(jiǎn)單的數(shù)學(xué)模型。工程上用的人工神經(jīng)元模型如圖所示：16四、神經(jīng)元的數(shù)學(xué)模型4.1引言X1，X2，……，Xn是神經(jīng)元的輸入，即是來自前級(jí)n個(gè)神經(jīng)元的軸突的信息；Wi1，Wi2……，Win分別是i神經(jīng)元對(duì)X1，X2，……，Xn的權(quán)系數(shù)，也即突觸的傳遞效率；θi是神經(jīng)元的閾值；17四、神經(jīng)元的數(shù)學(xué)模型4.1引言Yi是i神經(jīng)元的輸出；f[·]是激勵(lì)函數(shù)，它決定i神經(jīng)元受到輸入X1，X2，……，Xn的共同刺激達(dá)到閾值時(shí)以何種方式輸出。18四、神經(jīng)元的數(shù)學(xué)模型4.1引言激勵(lì)函數(shù)f有多種形式，其中最常見的有階躍型、線性型和S型三種形式。19四、神經(jīng)元的數(shù)學(xué)模型4.1引言神經(jīng)元的輸出：對(duì)階躍型激勵(lì)函數(shù)，有：其輸出是電位脈沖，故而這種激勵(lì)函數(shù)的神經(jīng)元稱離散輸出模型。20四、神經(jīng)元的數(shù)學(xué)模型4.1引言神經(jīng)元的輸出：對(duì)于線性激勵(lì)函數(shù)，有：其輸出是與輸入的總量成正比的，故這種神經(jīng)元稱線性連續(xù)型模型。21四、神經(jīng)元的數(shù)學(xué)模型4.1引言神經(jīng)元的輸出：對(duì)于用s型激發(fā)函數(shù)，有：其輸出是非線性的，故這種神經(jīng)元稱非線性連續(xù)型模型。22四、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及功能4.1引言1．神經(jīng)網(wǎng)絡(luò)定義神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)就是由許多神經(jīng)元互連在一起所組成的神經(jīng)結(jié)構(gòu)。把神經(jīng)元之間相互作用的關(guān)系進(jìn)行數(shù)學(xué)模型化就可以得到神經(jīng)網(wǎng)絡(luò)模型。神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的關(guān)系是元素與整體的關(guān)系。神經(jīng)元的結(jié)構(gòu)很簡(jiǎn)單，工作機(jī)理也不深?yuàn)W；但是用神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)就非常復(fù)雜，其功能也十分奧妙。

神經(jīng)元通過不同方式的連接和信息傳遞