神經(jīng)網(wǎng)絡(luò)基本概念(共10頁)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上二神經(jīng)網(wǎng)絡(luò)控制§2.1 神經(jīng)網(wǎng)絡(luò)基本概念一. 生物神經(jīng)元模型：<1>P7 生物神經(jīng)元,也稱作神經(jīng)細(xì)胞,是構(gòu)成神經(jīng)系統(tǒng)的基本功能單元。雖然神經(jīng)元的形態(tài)有極大差異,但基本結(jié)構(gòu)相似。本目從信息處理和生物控制的角度,簡述其結(jié)構(gòu)和功能。1. 神經(jīng)元結(jié)構(gòu)神經(jīng)元結(jié)構(gòu)如圖21所示圖211) 細(xì)胞體：由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜等組成。2) 樹突：胞體上短而多分支的突起，相當(dāng)于神經(jīng)元的輸入端，接收傳入的神經(jīng)沖動。3) 軸突：胞體上最長枝的突起，也稱神經(jīng)纖維。端部有很多神經(jīng)末梢，傳出神經(jīng)沖動。4) 突觸：是神經(jīng)元之間的連接接口，每一個神經(jīng)元約有104106個突觸，前一個

2、神經(jīng)元的軸突末梢稱為突觸的前膜，而后一個神經(jīng)元的樹突稱為突觸的后膜。一個神經(jīng)元通過其軸突的神經(jīng)末梢經(jīng)突觸，與另一個神經(jīng)元的樹突連接，以實現(xiàn)信息傳遞。由于突觸的信息傳遞是特性可變的，隨著神經(jīng)沖動傳遞方式的變化，傳遞作用強弱不同，形成了神經(jīng)元之間連接的柔性，稱為結(jié)構(gòu)的可塑性。5） 細(xì)胞膜電位：神經(jīng)細(xì)胞在受到電的、化學(xué)的、機械的刺激后能產(chǎn)生興奮，此時細(xì)胞膜內(nèi)外由電位差，稱為膜電位。其電位膜內(nèi)為正，膜外為負(fù)。2. 神經(jīng)元功能1） 興奮與抑制：傳入神經(jīng)元的沖動經(jīng)整和后使細(xì)胞膜電位提高，超過動作電位的閾值時即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突經(jīng)神經(jīng)末梢傳出。傳入神經(jīng)元的沖動經(jīng)整和后使細(xì)胞膜電位降低，低于閾值

3、時即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動。2） 學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強與減弱，因此神經(jīng)元具有學(xué)習(xí)與遺忘的功能。 二人工神經(jīng)元模型 ,<2>P96 人工神經(jīng)元是對生物神經(jīng)元的一種模擬與簡化。它是神經(jīng)網(wǎng)絡(luò)的基本處理單元。圖22顯示了一種簡化的人工神經(jīng)元結(jié)構(gòu)。它是一個多輸入單輸出的非線形元件。圖22其輸入、輸出的關(guān)系可描述為 21 其中(j=1、2、n)是從其他神經(jīng)元傳來的輸入信號； 表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)值； 為閾值；f（.）稱為激發(fā)函數(shù)或作用函數(shù)。有時為了方便起見，常把也看成是恒等于1的輸入的權(quán)值，這時（21式）的和式可寫成 22其中 輸出激發(fā)函數(shù)f

4、（.）又稱為變換函數(shù)，它決定神經(jīng)元（節(jié)點）的輸出。f（.）函數(shù)一般具有線性特性。圖23表示了幾種常見的激發(fā)函數(shù)，分述如下。（1） 閾值型函數(shù)當(dāng)取0或1時， 為圖23（a）所示的階躍函數(shù)： 2-3當(dāng)取1或1時， 為圖23（b）所示的函數(shù)（符號函數(shù)） 2-4（2） 飽和型函數(shù)：圖23（c） 2-5（3）雙曲函數(shù)：圖2-3(d) 2-6 （4）S型函數(shù)：圖2-3(e) 神經(jīng)元的狀態(tài)與輸入作用之間的關(guān)系是在（0，1）內(nèi)連續(xù)取值的單調(diào)可微函數(shù)，稱為函數(shù)，簡稱為S型函數(shù)：圖23（e） >0 當(dāng)趨于無窮時，S型曲線趨于階躍函數(shù)，通常情況下，取值為1。 >0 2-7對稱型S函數(shù)：可微，可表示為 圖

5、2-3(f) 圖23（f） >0 2-8(5)高斯函數(shù) 圖2-3(g) （c=0時）在徑向基函數(shù)（Radial Basis Fnnetion, RBF）構(gòu)成的神經(jīng)元網(wǎng)絡(luò)中，神經(jīng)元的結(jié)構(gòu)可用高斯函數(shù)描述： 2-9圖23（g）三人工神經(jīng)網(wǎng)絡(luò)模型<2> 98頁人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來模擬人腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元可以構(gòu)成各種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)的一種模擬和近似。就神經(jīng)網(wǎng)絡(luò)的主要連接型式而言，目前已有數(shù)十種不同的神經(jīng)網(wǎng)絡(luò)模型，其中前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)是兩種典型的結(jié)構(gòu)模型。（1） 前饋型神經(jīng)網(wǎng)絡(luò)又稱前向網(wǎng)絡(luò)（Feedforward NN）

6、。如圖2-4可示，神經(jīng)元分層排列，有輸入層，隱層（亦稱中間層，可有若干層）和輸出層，每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。圖24從學(xué)習(xí)的觀點來看，前饋網(wǎng)絡(luò)是一種強有力的學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)簡單而易于編程；從系統(tǒng)的觀點來看，前饋網(wǎng)絡(luò)是靜態(tài)非線性映射，通過簡單非線性處理單元的復(fù)合映射，可獲得復(fù)雜的非線性處理能力。但從計算的觀點看，缺乏豐富的動力學(xué)行為。大部分前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們的分類能力和模式識別能力一般都強于反饋網(wǎng)絡(luò)，典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)，BP網(wǎng)絡(luò)等。1、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（RBF型） 徑向基函數(shù)（RBF）神經(jīng)網(wǎng)絡(luò)，是具有單隱層的三層前饋網(wǎng)絡(luò)，結(jié)構(gòu)見圖2-6-1。由于它模擬了人腦中局部

7、調(diào)整、相互覆蓋接收域的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，因此，是一種局部逼近網(wǎng)絡(luò)，已證明它能以任意精度逼近任一連續(xù)函數(shù)。 輸入層 隱層 輸出層 節(jié)點 節(jié)點 節(jié)點圖 RBF神經(jīng)網(wǎng)絡(luò) uyq（2） 反饋型神經(jīng)網(wǎng)絡(luò) （Feedback NN）結(jié)構(gòu)如圖2-5所示。若總節(jié)點（神經(jīng)元）數(shù)為N。則每個節(jié)點有N個輸入和一個輸出，也就是說，所有的節(jié)點都是一樣的，它們之間都可相互連接。反饋神經(jīng)網(wǎng)絡(luò)是一種反饋動力學(xué)系統(tǒng)，它需要工作一段時間才能達到穩(wěn)定。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡單且廣泛的模型，它具有聯(lián)想記憶（ConternAddressible Memory,CAM）的功能，如果將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Ho

8、pfield神經(jīng)網(wǎng)絡(luò)還可以用來解決快速尋優(yōu)問題。圖252、局部遞歸（反饋）型 基本Elman網(wǎng)絡(luò) 改進型Elman網(wǎng)絡(luò)局部遞歸網(wǎng)絡(luò)外時延反饋型四、人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法學(xué)習(xí)方法是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特征的主要標(biāo)志，離開了學(xué)習(xí)算法，人工神經(jīng)網(wǎng)絡(luò)就失去了誘人的自適性，自組織和自學(xué)習(xí)的能力。目前，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有多種，按有無導(dǎo)師來分，可分為有教師學(xué)習(xí)（Sperrised Learning）、無教師學(xué)習(xí)（Unsperrised Learning）和再勵學(xué)習(xí)（Reinforcement Learning）等幾大類。在有教師的學(xué)習(xí)的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號）進行比較，然后根據(jù)兩者之

9、間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。在無教師的學(xué)習(xí)方式中，輸入模式進入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照一預(yù)先設(shè)定的規(guī)則（如競爭規(guī)則）自動調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。再勵學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。 下面介紹神經(jīng)網(wǎng)絡(luò)中常用的兩種最基本的學(xué)習(xí)方法。1 Hebb 學(xué)習(xí)規(guī)則 Hebb學(xué)習(xí)規(guī)則是一種聯(lián)想式學(xué)習(xí)方法。聯(lián)想是人腦形象思維過程的一種表現(xiàn)形式。例如在空間和時間上相互接近的事物間，在性質(zhì)上相似（或相反）的事物都容易在人腦中引起聯(lián)想。生物學(xué)家D.O.Hebbian基于對生物學(xué)和心理學(xué)的研究，提出了學(xué)習(xí)行為的突觸聯(lián)系和神經(jīng)群理論。認(rèn)為突觸前與突觸后二者同時興奮，即兩個神經(jīng)元同時處于激發(fā)狀態(tài)時

10、，它們之間的連接強度將得到加強，這一論述的數(shù)學(xué)描述被稱為Hebb學(xué)習(xí)規(guī)則，即 Wi j (k+1)= Wi j (k)+Wi j(k)=Wi j(k)+ Ii Ij其中，Wi j (k)為連接從神經(jīng)元i 到神經(jīng)元j 的當(dāng)前權(quán)值。Ii ，Ij 為神經(jīng)元的激活水平。Hebb學(xué)習(xí)規(guī)則是一種無教師的學(xué)習(xí)方法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此這種方法又稱為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)。當(dāng)神經(jīng)元由式（21）描述時，即 Ii = W i j Xj j yi=f(Ii)=1/（1+eIi）Hebb學(xué)習(xí)規(guī)則可寫成如下：Wij（k+1）= Wij（k）+YiYj >0另外，根據(jù)神經(jīng)元狀態(tài)變化來調(diào)整權(quán)值的H

11、ebb學(xué)習(xí)方法稱為微分Hebb學(xué)習(xí)方法，可描述為：Wij（k+1）= Wij（k）+ Yik)Yi(k1) Yj(k)Yj(k1) 2-102 Delta（）學(xué)習(xí)規(guī)則假設(shè)下列誤差準(zhǔn)則函數(shù)E=E 2-11其中，dp 代表期望的輸出（教師信號）； yp =f(wx)為網(wǎng)絡(luò)的實際輸出；w為網(wǎng)絡(luò)的所有權(quán)值組成的向量：W=(W W .W)xp為輸入模式：X=(X X X)訓(xùn)練樣本數(shù) p=1,2,3,.,p現(xiàn)在的問題是如何調(diào)整權(quán)值W，使準(zhǔn)則函數(shù)最小?？捎锰荻认陆捣▉砬蠼?，其基本思想是誤差E的負(fù)梯度方向不斷修正W值，直到E達到最小，這種方法的數(shù)學(xué)表達式為W= 2-13其中E=用表示W(wǎng)X，則有=（dy）f()XWi的修正規(guī)則為W= f() X上式稱為學(xué)習(xí)規(guī)則，又稱為誤差修正規(guī)則。定義誤差傳播函數(shù)為：= 2-24規(guī)則實現(xiàn)了E的梯度下降，因此使誤差函數(shù)達到最小值。但學(xué)習(xí)規(guī)則只適用于線性可分函數(shù)，無法用于多層網(wǎng)絡(luò)。BP網(wǎng)絡(luò)的學(xué)習(xí)算法稱為BP算法，是在規(guī)則基礎(chǔ)上發(fā)展起