人工神經(jīng)網(wǎng)絡(luò)概述-課件

智能控制技術(shù)1ppt課件智能控制技術(shù)第4章人工神經(jīng)元網(wǎng)絡(luò)模型4.1引言4.2常見神經(jīng)網(wǎng)絡(luò)模型2ppt課件精品資料你怎么稱呼老師？如果老師最后沒有總結(jié)一節(jié)課的重點(diǎn)的難點(diǎn)，你是否會(huì)認(rèn)為老師的教學(xué)方法需要改進(jìn)？你所經(jīng)歷的課堂，是講座式還是討論式？教師的教鞭“不怕太陽(yáng)曬，也不怕那風(fēng)雨狂，只怕先生罵我笨，沒有學(xué)問無顏見爹娘……”“太陽(yáng)當(dāng)空照，花兒對(duì)我笑，小鳥說早早早……”4.1引言一、人工神經(jīng)網(wǎng)絡(luò)研究概述人腦由一百多億個(gè)神經(jīng)細(xì)胞組成，這些細(xì)胞組成的生物神經(jīng)網(wǎng)絡(luò)，是人類智能的物質(zhì)基礎(chǔ)。人工神經(jīng)網(wǎng)絡(luò)是指利用工程技術(shù)手段模擬人腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能的一種技術(shù)系統(tǒng)。 4.1引言5ppt課件一、人工神經(jīng)網(wǎng)絡(luò)研究概述1、1943~1969年為初創(chuàng)期4.1引言6ppt課件一、人工神經(jīng)網(wǎng)絡(luò)研究概述2、1970~1986年為過渡期4.1引言7ppt課件一、人工神經(jīng)網(wǎng)絡(luò)研究概述3、1987~今發(fā)展期理論研究：多種神經(jīng)網(wǎng)絡(luò)模型和理論。應(yīng)用研究：模式識(shí)別、信息處理、智能控制等。4.1引言8ppt課件二、人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能人腦中約有一百多億個(gè)神經(jīng)細(xì)胞。4.1引言9ppt課件二、人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能1．細(xì)胞體

細(xì)胞體是由很多分子形成的綜合體，是神經(jīng)元活動(dòng)的能量供應(yīng)地，在整個(gè)細(xì)胞的最外層稱為細(xì)胞膜。2．樹突細(xì)胞體的延伸部分產(chǎn)生的分枝稱為樹突，樹突是接受從其它神經(jīng)元傳入的信息的入口。4.1引言10ppt課件二、人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能3．軸突細(xì)胞體突起的最長(zhǎng)的外伸管狀纖維稱為軸突。軸突最長(zhǎng)可達(dá)1米以上。軸突是把神經(jīng)元興奮的信息傳出到其它神經(jīng)元的出口。4.1引言11ppt課件二、人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能4、突觸是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元之間相聯(lián)系并進(jìn)行信息傳送的結(jié)構(gòu)。它由突觸前成分，突觸間隙和突觸后成分組成。突觸前成分是一個(gè)神經(jīng)元的軸突末梢。突觸間隙是突觸前成分與后成分之間的距離空間。突觸后成分可以是細(xì)胞體，樹突或軸突。突觸的存在說明：兩個(gè)神經(jīng)元的細(xì)胞質(zhì)并不直接連通，兩者彼此聯(lián)系是通過突觸這種結(jié)構(gòu)接口的。有時(shí)，也把突觸看作是神經(jīng)元之間的連接。4.1引言12ppt課件二、人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能4.1引言神經(jīng)元的4種生物行為有：

能處于抑制或興奮狀態(tài)；能產(chǎn)生爆發(fā)和平臺(tái)兩種情況；能產(chǎn)生抑制后的反沖；具有適應(yīng)性。突觸的4種生物行為有：能進(jìn)行信息綜合；能產(chǎn)生漸次變化的傳送；有電接觸和化學(xué)接觸等多種連接方式；會(huì)產(chǎn)生延時(shí)激發(fā)。目前，人工神經(jīng)網(wǎng)絡(luò)的研究?jī)H僅是對(duì)神經(jīng)元的第一種行為和突觸的第一種行為進(jìn)行模擬，其它行為尚未考慮。13ppt課件三、神經(jīng)元的信息處理與傳遞4.1引言1．神經(jīng)元的興奮與抑制：一個(gè)神經(jīng)元的興奮和抑制兩種狀態(tài)是由細(xì)胞膜內(nèi)外之間不同的電位差來表征的。在抑制狀態(tài)，細(xì)胞膜內(nèi)外之間有內(nèi)負(fù)外正的電位差，這個(gè)電位差大約在-50—-100mv之間。在興奮狀態(tài)，則產(chǎn)生內(nèi)正外負(fù)的相反電位差，這時(shí)表現(xiàn)為約70—100mv的電脈沖。細(xì)胞膜內(nèi)外的電位差是由膜內(nèi)外的離子濃度不同導(dǎo)致的。細(xì)胞的興奮電脈沖寬度一般大約為1ms。14ppt課件三、神經(jīng)元的信息處理與傳遞4.1引言2．神經(jīng)元的信息傳遞及閥值特性由神經(jīng)元傳出的電脈沖信號(hào)通過軸突，首先到達(dá)軸突末梢，使其中的囊泡產(chǎn)生變化從而釋放神經(jīng)遞質(zhì)，這種神經(jīng)遞質(zhì)通過突觸的間隙而進(jìn)入到另一個(gè)神經(jīng)元的樹突中。樹突上的受體能夠接受神經(jīng)遞質(zhì)從而去改變離子的通透性，使膜外內(nèi)離子濃度差產(chǎn)生變化，進(jìn)而使電位產(chǎn)生變化。顯然，信息就從一個(gè)神經(jīng)元傳送到另一個(gè)神經(jīng)元中。當(dāng)神經(jīng)元接受來自其它神經(jīng)元的信息時(shí)，膜電位在開始時(shí)是按時(shí)間連續(xù)漸漸變化的。當(dāng)膜電位變化經(jīng)超出一個(gè)定值時(shí)，才產(chǎn)生突變上升的脈沖，這個(gè)脈沖接著沿軸突進(jìn)行傳遞。神經(jīng)元這種膜電位高達(dá)一定閥值才產(chǎn)生脈沖傳送的特性稱閥值特性。神經(jīng)元的信息傳遞還有兩個(gè)特點(diǎn)。一個(gè)是單向性，即只能從前一級(jí)神經(jīng)元的軸突末梢傳向后一級(jí)神經(jīng)元的樹突或細(xì)胞體，不能反之。另一個(gè)是延時(shí)性，信息通過突觸傳遞，通常會(huì)產(chǎn)生0.5—1ms的延時(shí)。15ppt課件三、神經(jīng)元的信息處理與傳遞4.1引言3.神經(jīng)元的時(shí)空綜合特性神經(jīng)元對(duì)來自其它神經(jīng)元的信息有時(shí)空綜合特性。在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上，大量不同的神經(jīng)元的軸突末梢可以到達(dá)同一個(gè)神經(jīng)元的樹突并形成大量突觸。來源不同的突觸所釋放的神經(jīng)遞質(zhì)都可以對(duì)同一個(gè)神經(jīng)元的膜電位變化產(chǎn)生作用。因此，在樹突上，神經(jīng)元可以對(duì)不同來源的輸入信息進(jìn)行綜合。這就是神經(jīng)元對(duì)信息的空間綜合特性。對(duì)于來自同一個(gè)突觸的信息，神經(jīng)元可以對(duì)于不同時(shí)間傳入的信息進(jìn)行綜合。故神經(jīng)元對(duì)信息有時(shí)間綜合特性。16ppt課件三、神經(jīng)元的信息處理與傳遞4.1引言4．神經(jīng)元、突觸的D/A、A/D特性從神經(jīng)元軸突上傳遞的信息是等幅、恒寬、編碼的離散電脈沖信號(hào)，故而是一個(gè)數(shù)字量。但在突觸中神經(jīng)遞質(zhì)的釋放和樹突中膜電位的變化是連續(xù)的。故而，這時(shí)說明突觸有D/A功能。在神經(jīng)元的樹突膜電位高過一定閥值時(shí)，則又變成電脈沖方式由軸突傳送出去。故而，這個(gè)過程說明神經(jīng)元有A/D功能。很明顯，信息通過一個(gè)神經(jīng)元傳遞時(shí)，神經(jīng)元對(duì)信息執(zhí)行了D/A、A/D轉(zhuǎn)換過程。17ppt課件四、神經(jīng)元的數(shù)學(xué)模型4.1引言從神經(jīng)元的特性和功能可以知道，神經(jīng)元是一個(gè)多輸入單輸出的信息處理單元，而且，它對(duì)信息的處理是非線性的。根據(jù)神經(jīng)元的特性和功能，可以把神經(jīng)元抽象為一個(gè)簡(jiǎn)單的數(shù)學(xué)模型。工程上用的人工神經(jīng)元模型如圖所示：18ppt課件四、神經(jīng)元的數(shù)學(xué)模型4.1引言X1，X2，……，Xn是神經(jīng)元的輸入，即是來自前級(jí)n個(gè)神經(jīng)元的軸突的信息；Wi1，Wi2……，Win分別是i神經(jīng)元對(duì)X1，X2，……，Xn的權(quán)系數(shù)，也即突觸的傳遞效率；θi是神經(jīng)元的閾值；19ppt課件四、神經(jīng)元的數(shù)學(xué)模型4.1引言Yi是i神經(jīng)元的輸出；f[·]是激勵(lì)函數(shù)，它決定i神經(jīng)元受到輸入X1，X2，……，Xn的共同刺激達(dá)到閾值時(shí)以何種方式輸出。20ppt課件四、神經(jīng)元的數(shù)學(xué)模型4.1引言激勵(lì)函數(shù)f有多種形式，其中最常見的有階躍型、線性型和S型三種形式。21ppt課件四、神經(jīng)元的數(shù)學(xué)模型4.1引言神經(jīng)元的輸出：對(duì)階躍型激勵(lì)函數(shù)，有：其輸出是電位脈沖，故而這種激勵(lì)函數(shù)的神經(jīng)元稱離散輸出模型。22ppt課件四、神經(jīng)元的數(shù)學(xué)模型4.1引言神經(jīng)元的輸出：對(duì)于線性激勵(lì)函數(shù)，有：其輸出是與輸入的總量成正比的，故這種神經(jīng)元稱線性連續(xù)型模型。23ppt課件四、神經(jīng)元的數(shù)學(xué)模型4.1引言神經(jīng)元的輸出：對(duì)于用s型激發(fā)函數(shù)，有：其輸出是非線性的，故這種神經(jīng)元稱非線性連續(xù)型模型。24ppt課件四、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及功能4.1引言1．神經(jīng)網(wǎng)絡(luò)定義神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)就是由許多神經(jīng)元互連在一起所組成的神經(jīng)結(jié)構(gòu)。把神經(jīng)元之間相互作用的關(guān)系進(jìn)行數(shù)學(xué)模型化就可以得到神經(jīng)網(wǎng)絡(luò)模型。神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的關(guān)系是元素與整體的關(guān)系。神經(jīng)元的結(jié)構(gòu)很簡(jiǎn)單，工作機(jī)理也不深?yuàn)W；但是用神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)就非常復(fù)雜，其功能也十分奧妙。

神經(jīng)元通過不同方式的連接和信息傳遞，就能產(chǎn)生豐富多彩的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，創(chuàng)造出令人贊嘆的優(yōu)異功能。25ppt課件四、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及功能4.1引言2．神經(jīng)網(wǎng)絡(luò)的基本屬性(1)非線性人腦的思維是非線性的，故人工神經(jīng)網(wǎng)絡(luò)模擬人的思維也應(yīng)是非線性的。(2)平行分布處理神經(jīng)網(wǎng)絡(luò)具有高度平行的結(jié)構(gòu)及分布式存貯信息。(3)硬件實(shí)現(xiàn)(4)自學(xué)習(xí)和自適應(yīng)性26ppt課件四、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及功能4.1引言3.神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)：一般而言，神經(jīng)網(wǎng)絡(luò)有前向網(wǎng)絡(luò)，層內(nèi)連接的前向網(wǎng)絡(luò)，反饋網(wǎng)絡(luò)，互連網(wǎng)絡(luò)等4種互連結(jié)構(gòu).(1)前向網(wǎng)絡(luò)神經(jīng)元分層排列；每層神經(jīng)元只接受前一層神經(jīng)元的輸入；不存在反饋。27ppt課件四、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及功能4.1引言3.神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)：一般而言，神經(jīng)網(wǎng)絡(luò)有前向網(wǎng)絡(luò)，層內(nèi)連接的前向網(wǎng)絡(luò)，反饋網(wǎng)絡(luò)，互連網(wǎng)絡(luò)等4種互連結(jié)構(gòu).(2)層內(nèi)連接的前向網(wǎng)絡(luò)在前向網(wǎng)絡(luò)的同一層內(nèi)有互聯(lián)。28ppt課件四、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及功能4.1引言3.神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)：一般而言，神經(jīng)網(wǎng)絡(luò)有前向網(wǎng)絡(luò)，層內(nèi)連接的前向網(wǎng)絡(luò)，反饋網(wǎng)絡(luò)，互連網(wǎng)絡(luò)等4種互連結(jié)構(gòu).(3)反饋網(wǎng)絡(luò)在輸出層和輸入層之間存在反饋。29ppt課件四、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及功能4.1引言3.神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)：一般而言，神經(jīng)網(wǎng)絡(luò)有前向網(wǎng)絡(luò)，層內(nèi)連接的前向網(wǎng)絡(luò)，反饋網(wǎng)絡(luò)，互連網(wǎng)絡(luò)等4種互連結(jié)構(gòu).(4)互連網(wǎng)絡(luò)任意兩個(gè)神經(jīng)元之間都可連接。30ppt課件四、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及功能4.1引言4.神經(jīng)網(wǎng)絡(luò)信息處理的數(shù)學(xué)過程神經(jīng)網(wǎng)絡(luò)信息處理可以用數(shù)學(xué)過程來說明，這個(gè)過程可分為兩個(gè)階段：執(zhí)行階段學(xué)習(xí)階段下面以前向網(wǎng)絡(luò)情況說明這兩個(gè)階段。31ppt課件四、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及功能4.1引言4.神經(jīng)網(wǎng)絡(luò)信息處理的數(shù)學(xué)過程神經(jīng)網(wǎng)絡(luò)信息處理可以用數(shù)學(xué)過程來說明，這個(gè)過程可分為兩個(gè)階段：執(zhí)行階段學(xué)習(xí)階段下面以前向網(wǎng)絡(luò)情況說明這兩個(gè)階段。32ppt課件四、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及功能4.1引言執(zhí)行階段執(zhí)行階段是指神經(jīng)網(wǎng)絡(luò)對(duì)輸入信息進(jìn)行處理，并產(chǎn)生對(duì)應(yīng)的輸出過程。在執(zhí)行階段，網(wǎng)絡(luò)的連接結(jié)構(gòu)和權(quán)系數(shù)是已經(jīng)確定并且不會(huì)變化的。這時(shí)有：33ppt課件四、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及功能4.1引言xj：前級(jí)神經(jīng)元的輸出；Wij：第i個(gè)神經(jīng)元和前級(jí)j個(gè)神經(jīng)元突觸的權(quán)系數(shù)；θi：第i個(gè)神經(jīng)元的閾值；fi：第i個(gè)神經(jīng)元的非線性激活函數(shù)；yi：第i個(gè)神經(jīng)元的輸出。34ppt課件四、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及功能4.1引言學(xué)習(xí)階段學(xué)習(xí)階段是指神經(jīng)網(wǎng)絡(luò)自完善的階段。這時(shí)，網(wǎng)絡(luò)按一定的學(xué)習(xí)規(guī)則修改突觸的權(quán)系數(shù)Wij，以使使得給定的測(cè)度函數(shù)E達(dá)到最小。Ψ是一個(gè)非線性函數(shù)；ηij是權(quán)重變化率；n是學(xué)習(xí)時(shí)的迭代次數(shù)。35ppt課件四、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及功能4.1引言學(xué)習(xí)和