計算智能-神經(jīng)網(wǎng)絡(luò)

1、4. 4. 人工神經(jīng)網(wǎng)絡(luò)一、特點特點可以充分逼近任意復(fù)雜的非線性關(guān)系；可以充分逼近任意復(fù)雜的非線性關(guān)系；所有定量或定性的信息都等勢分布貯存于網(wǎng)絡(luò)內(nèi)的各神經(jīng)元，故有很強的魯棒性和所有定量或定性的信息都等勢分布貯存于網(wǎng)絡(luò)內(nèi)的各神經(jīng)元，故有很強的魯棒性和容錯性；容錯性；采用并行分布處理方法，使得快速進(jìn)行大量運算成為可能；采用并行分布處理方法，使得快速進(jìn)行大量運算成為可能；可學(xué)習(xí)和自適應(yīng)不知道或不確定的系統(tǒng)；可學(xué)習(xí)和自適應(yīng)不知道或不確定的系統(tǒng)；能夠同時處理定量、定性知識；能夠同時處理定量、定性知識；1)1)可硬件實現(xiàn)。可硬件實現(xiàn)。結(jié)構(gòu)特征：并行式處理分布式存儲容錯性能力特征：自學(xué)習(xí)自組織自適應(yīng)性4.

2、4. 人工神經(jīng)網(wǎng)絡(luò)二、基本功能基本功能輸輸入入樣樣本本 神神經(jīng)經(jīng)網(wǎng)網(wǎng)絡(luò)絡(luò) 輸輸出出樣樣本本 自自動動提提取取 非非線線性性映映射射規(guī)規(guī)則則非線性映射功能4. 4. 人工神經(jīng)網(wǎng)絡(luò)二、基本功能基本功能 傳傳 統(tǒng)統(tǒng) 分分 類類 能能 力力 A N N 分分 類類 能能 力力分類與識別功能4. 4. 人工神經(jīng)網(wǎng)絡(luò)二、基本功能基本功能優(yōu)化計算功能4. 4. 人工神經(jīng)網(wǎng)絡(luò) 總之，神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)和適應(yīng)、自組織、函數(shù)逼近和大規(guī)?？傊?，神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)和適應(yīng)、自組織、函數(shù)逼近和大規(guī)模并行處理能力并行處理能力 神經(jīng)網(wǎng)絡(luò)在模式識別、信號處理、系統(tǒng)辨識和優(yōu)化等方面廣泛神經(jīng)網(wǎng)絡(luò)在模式識別、信號處理、系統(tǒng)辨識和優(yōu)化等方

3、面廣泛應(yīng)用應(yīng)用4.1 4.1 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)一、生理神經(jīng)元的結(jié)構(gòu)與功能生理神經(jīng)元的結(jié)構(gòu)與功能1.1.生理神經(jīng)元的結(jié)構(gòu)生理神經(jīng)元的結(jié)構(gòu)大多數(shù)神經(jīng)元由一個細(xì)胞體(cell body或soma)和突(process)兩部分組成。突分兩類， 即軸突(axon)和樹突(dendrite)，。軸突是個突出部分，長度可達(dá)1m，把本神經(jīng)元的輸出發(fā)送至其它相連接的神經(jīng)元。樹突也是突出部分，但一般較短，且分枝很多，與其它神經(jīng)元的軸突相連，以接收來自其它神經(jīng)元的生物信號。 軸突和樹突共同作用，實現(xiàn)了神經(jīng)元間的信息傳遞。軸突的末端與樹突進(jìn)行信號傳遞的界面稱為突觸(synapse)，通過突觸向其它神經(jīng)元發(fā)送信息。對

4、某些突觸的刺激促使神經(jīng)元觸發(fā)(fire)。只有神經(jīng)元所有輸入的總效應(yīng)達(dá)到閾值電平，它才能開始工作。無論什么時候達(dá)到閾值電平，神經(jīng)元就產(chǎn)生一個全強度的輸出窄脈沖，從細(xì)胞體經(jīng)軸突進(jìn)入軸突分枝。這時的神經(jīng)元就稱為被觸發(fā)。越來越明顯的證據(jù)表明，學(xué)習(xí)發(fā)生在突觸附近，而且突觸把經(jīng)過一個神經(jīng)元軸突的脈沖轉(zhuǎn)化為下一個神經(jīng)元的興奮或抑制。 4.1 4.1 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)二二. .人工神經(jīng)元人工神經(jīng)元1.人工神經(jīng)元的組成人工神經(jīng)網(wǎng)絡(luò)(artificial neural nets,ANN)或模擬神經(jīng)網(wǎng)絡(luò)是由模擬神經(jīng)元組成的，可把ANN看成是以處理單元PE(processing element)為節(jié)點，用加權(quán)有向

5、弧(鏈)相互連接而成的有向圖。其中，處理單元是對生理神經(jīng)元的模擬，而有向弧則是軸突-突觸-樹突對的模擬。有向弧的權(quán)值表示兩處理單元間相互作用的強弱。 來自其它神經(jīng)元的輸入乘以權(quán)值，然后相加。把所有總和與閾值電平比較。當(dāng)總和高于閾值時，其輸出為1；否則，輸出為0。大的正權(quán)對應(yīng)于強的興奮，小的負(fù)權(quán)對應(yīng)于弱的抑制。在簡單的人工神經(jīng)網(wǎng)模型中，用權(quán)和乘法器模擬突觸特性，用加法器模擬樹突的互聯(lián)作用，而且與閾值比較來模擬細(xì)胞體內(nèi)電化學(xué)作用產(chǎn)生的開關(guān)特性。4.1 4.1 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)2. ANNANN的數(shù)學(xué)描述的數(shù)學(xué)描述令來自其它處理單元(神經(jīng)元)i的信息為Xi，它們與本處理單元的互相作用強度為Wi，i

6、=0,1,，n-1，處理單元的內(nèi)部閾值為。那么本神經(jīng)元的輸入為xi為第i個元素的輸入，wi為第i個元素與本處理單元的互聯(lián)權(quán)重。f稱為激發(fā)函數(shù)(activation function)或作用函數(shù)。它決定節(jié)點(神經(jīng)元)的輸出。該輸出為1或0取決于其輸入之和大于或小于內(nèi)部閾值。 處理單元的輸出為 4.1 4.1 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)激發(fā)函數(shù)一般具有非線性特性，常用的非線性特性如下圖所示，分述于下： 閾值型對于這種模型，神經(jīng)元沒有內(nèi)部狀態(tài)，激發(fā)函數(shù)為一階躍函數(shù)，如圖 (a)所示。 分段線性強飽和型 見圖 (b)。 Sigmoid型激發(fā)函數(shù)稱為西格莫伊德(Sigmoid)函數(shù)，簡稱S型函數(shù)，其輸入輸出特性

7、常用對數(shù)曲線或正切曲線等表示。這類曲線反映了神經(jīng)元的飽和特性。S型函數(shù)是最常用的激發(fā)函數(shù)，它便于應(yīng)用梯度技術(shù)進(jìn)行搜索求解。4.1 4.1 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)三、人工神經(jīng)網(wǎng)絡(luò)的基本特性和結(jié)構(gòu)三、人工神經(jīng)網(wǎng)絡(luò)的基本特性和結(jié)構(gòu) 1.1.神經(jīng)網(wǎng)絡(luò)的基本特性神經(jīng)網(wǎng)絡(luò)的基本特性 許多神經(jīng)元以一定方式連接在一起，即構(gòu)成神經(jīng)網(wǎng)絡(luò)。這種由許多神經(jīng)元組成的信息處理網(wǎng)絡(luò)具有并行分布結(jié)構(gòu)。每個神經(jīng)元具有單一輸出，并且能夠與其他神經(jīng)元連接；存在許多輸出連接方法，每種連接方法對應(yīng)一個連接權(quán)系數(shù)。嚴(yán)格地說，人工神經(jīng)網(wǎng)絡(luò)是一種具有下列特性的有向圖：對于每一個節(jié)電i存在一個狀態(tài)變量xi;從節(jié)點j至節(jié)點i，存在一個連接權(quán)系統(tǒng)數(shù)w

8、ji；對于每個節(jié)點i，存在一個閾值i；對于每個節(jié)點i，定義一個變換函數(shù)f i(xi,wji, i),ij；對于最一般的情況，此函數(shù)取f i(wij xj -i)形式。4.14.1人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)2.2.神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)遞歸網(wǎng)絡(luò)有些神經(jīng)元的輸出被反饋至同層或前層神經(jīng)元，信號能夠從正向或反向流通。又叫反饋網(wǎng)絡(luò)。典型例子：Hopfield網(wǎng)絡(luò)、Elmman網(wǎng)絡(luò)和Jordan網(wǎng)絡(luò)如圖：vi表示接點的狀態(tài)，xi為節(jié)點的輸入值，xi為收斂后的輸出值，i=1,2,n前饋網(wǎng)絡(luò)具有遞階分層結(jié)構(gòu)，由一些同層神經(jīng)元間不存在互連的層次組成。從輸入到輸出的信號通過單向連接流通；神經(jīng)元從一層連接至下一層，不

9、存在同層神經(jīng)元間的連接。如圖：實線指明實際信號流通，虛線表示反向傳播。典型例子：多層感知器MLP4.14.1人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)2.2.神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)注：分層形前向網(wǎng)絡(luò)具有任意精度的模式映射能力，因而可以用作模式分類、匹配等，而反饋型神經(jīng)網(wǎng)絡(luò)則是一個非線性動力學(xué)系統(tǒng)，它具有如下兩個重要特征： 1系統(tǒng)具有多個穩(wěn)定狀態(tài)，從某一初始狀態(tài)開始運動，系統(tǒng)最終可以到達(dá)某一個穩(wěn)定狀態(tài)； 2不同的初始連接權(quán)值對應(yīng)的穩(wěn)定狀態(tài)也不相同。如果用系統(tǒng)的穩(wěn)定狀態(tài)作為記憶，那么由某一初始狀態(tài)出發(fā)向穩(wěn)態(tài)的演化過程，實際上就是一個聯(lián)想過程，所以反饋型神經(jīng)網(wǎng)絡(luò)具有聯(lián)想記憶的功能。 4.1 4.1 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

10、3.3.神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法 加拿大心理學(xué)家Donald Hebb出版了行為的組織一書，指出學(xué)習(xí)導(dǎo)致突觸的聯(lián)系強度和傳遞效能的提高，即為“赫布律”。 在此基礎(chǔ)上，人們提出了各種學(xué)習(xí)規(guī)則和算法，以適應(yīng)不同網(wǎng)絡(luò)模型的需要。有效的學(xué)習(xí)算法，使得神經(jīng)網(wǎng)絡(luò)能夠通過連接權(quán)值的調(diào)整，構(gòu)造客觀世界的內(nèi)在表示，形成具有特色的信息處理方法，信息存儲和處理體現(xiàn)在網(wǎng)絡(luò)的連接中。 神經(jīng)網(wǎng)絡(luò)能夠通過對樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動態(tài)調(diào)整。4.14.1人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)3.3.神經(jīng)網(wǎng)絡(luò)的主

11、要學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法有師學(xué)習(xí)有師學(xué)習(xí) 能夠根據(jù)期望的和實際的網(wǎng)絡(luò)輸出(對應(yīng)于給定輸入)之間的差來調(diào)整神經(jīng)元間連接的強度或權(quán)。因此，有師學(xué)習(xí)需要有老師或?qū)焷硖峁┢谕蚰繕?biāo)輸出信號。 典型例子：規(guī)則、廣義規(guī)則或反向傳播算法 w0 j - 1 w1 j x1 X wi j j oj xj xn wn j Wj r ( Wj , X ，dj) 學(xué) 習(xí) 信 號 X 生 成 器 dj )()()()(ttd,t,trjjjXXWW)()()()()()(ttd,t,trt1tjjjjXXWWW4.1 4.1 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)無師學(xué)習(xí)無師學(xué)習(xí) 不需要知道期望輸出。在訓(xùn)練過程中，只要向神經(jīng)網(wǎng)絡(luò)

12、提供輸入模式，神經(jīng)網(wǎng)絡(luò)就能夠自動適應(yīng)連接權(quán)，以便按相似特征把輸入模式分組聚集。 典型例子：Kohonen算法、Carpenter-Grossberg自適應(yīng)諧振理論。強化學(xué)習(xí)強化學(xué)習(xí)是有師學(xué)習(xí)的特例。它不許要老師給出目標(biāo)輸出，而采用一個評論員來評價與給頂輸入相對應(yīng)的神經(jīng)網(wǎng)絡(luò)輸出的優(yōu)度。4.2 4.2 BP網(wǎng)絡(luò)基本思想B BP P神經(jīng)網(wǎng)絡(luò)也稱：神經(jīng)網(wǎng)絡(luò)也稱：后向傳播學(xué)習(xí)的前饋型神經(jīng)網(wǎng)絡(luò)（后向傳播學(xué)習(xí)的前饋型神經(jīng)網(wǎng)絡(luò)（Back Propagation Back Propagation Feed-forward Neural NetworkFeed-forward Neural Network，BPF

13、NN/BPNNBPFNN/BPNN），是一種，是一種應(yīng)用最為廣泛應(yīng)用最為廣泛的的神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)在在BPNNBPNN中，后向傳播是一種學(xué)習(xí)算法，體現(xiàn)為中，后向傳播是一種學(xué)習(xí)算法，體現(xiàn)為BPNNBPNN的訓(xùn)練過程，的訓(xùn)練過程，該過程是該過程是需要教師指導(dǎo)的需要教師指導(dǎo)的；前饋型網(wǎng)絡(luò)是一種結(jié)構(gòu)，體現(xiàn)為；前饋型網(wǎng)絡(luò)是一種結(jié)構(gòu)，體現(xiàn)為BPNNBPNN的網(wǎng)絡(luò)構(gòu)架的網(wǎng)絡(luò)構(gòu)架反向傳播算法通過迭代處理的方式，不斷地調(diào)整連接神經(jīng)元的網(wǎng)絡(luò)權(quán)重，反向傳播算法通過迭代處理的方式，不斷地調(diào)整連接神經(jīng)元的網(wǎng)絡(luò)權(quán)重，使得最終輸出結(jié)果和預(yù)期結(jié)果的誤差最小使得最終輸出結(jié)果和預(yù)期結(jié)果的誤差最小BPNNBPNN是一種典型的神經(jīng)網(wǎng)絡(luò)

14、，被廣泛應(yīng)用于各種分類系統(tǒng)，它包括了訓(xùn)練是一種典型的神經(jīng)網(wǎng)絡(luò)，被廣泛應(yīng)用于各種分類系統(tǒng)，它包括了訓(xùn)練和使用兩個階段。由于訓(xùn)練階段是和使用兩個階段。由于訓(xùn)練階段是BPNNBPNN能夠投入使用的基礎(chǔ)和前提，而使能夠投入使用的基礎(chǔ)和前提，而使用階段本身是一個非常簡單的過程，也就是給出輸入，用階段本身是一個非常簡單的過程，也就是給出輸入，BPNNBPNN會根據(jù)已經(jīng)訓(xùn)會根據(jù)已經(jīng)訓(xùn)練好的參數(shù)進(jìn)行運算，得到輸出結(jié)果練好的參數(shù)進(jìn)行運算，得到輸出結(jié)果 算法流程4.4.網(wǎng)絡(luò)權(quán)值與神經(jīng)元偏置調(diào)整網(wǎng)絡(luò)權(quán)值與神經(jīng)元偏置調(diào)整3.3.方向誤差傳播方向誤差傳播2.2.向前傳播輸入向前傳播輸入1.1.初始化網(wǎng)絡(luò)權(quán)值初始化網(wǎng)絡(luò)權(quán)

15、值BP網(wǎng)絡(luò)與誤差反向傳播算法BP網(wǎng)絡(luò)結(jié)構(gòu)示意圖vBPBP神經(jīng)元神經(jīng)元1njjiijjinetwxW X012,.TnXxx xx012,.TjjjjjnWwwww001,jjxw()jjof netv其中其中v數(shù)學(xué)模型數(shù)學(xué)模型要求其為可微的，常用S型函數(shù)BP算法正向傳播階段 ijk輸入層輸入層輸出層輸出層隱藏層隱藏層隱藏層節(jié)點的輸出：隱藏層節(jié)點的輸出：輸出層節(jié)點的輸出：輸出層節(jié)點的輸出：10()1,2,.nkkiiizfv xkq 20()1,2,.qjjkkkofw zjm v至此完成了至此完成了n n維空間向量對維空間向量對m m維維空間向量的映射空間向量的映射 BP算法反向傳播階段 11

16、PPppjppjjjEEonetonetp第個樣本的誤差211()2mpppjjjEyo則P個樣本總誤差為：21111()2PmPppjjppjpEyoE11()()PPppjjkppjkjkjjkEEnetEwwwnetw 2111() ()2mmpppppjjjjjjjjEyoyooo 2()jjjofnetnetS型函數(shù)的導(dǎo)數(shù)jkjknetzw輸出層權(quán)值調(diào)整量：輸出層權(quán)值調(diào)整量：最速下降法211()()=Pmppjkjjjkjkpjwyofnet zz（3-44）廣義偏差廣義偏差2()jjjjjkkjkoonetfnetwznetz1()kkkzfnetnet1()mppjjppjjjk

17、jkkEEooyozozz 11PPppkppkkkEEznetznetkikinetxv11()()PPppkkippkikikkiEEnetEvvvnetv 隱藏層權(quán)值調(diào)整量最速下降法1211()()()=Pmppkikjjjjkikipjvfnetyofnetw xx（3-53）j211()()=Pmppjkjjjkjkpjwyofnet zzBP算法流程例：如下圖所示的多層前向傳播神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。例：如下圖所示的多層前向傳播神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。假設(shè)對于輸入假設(shè)對于輸入 ，其期望的輸出，其期望的輸出為為 ： 網(wǎng)絡(luò)權(quán)系數(shù)的初始值見圖，試用網(wǎng)絡(luò)權(quán)系數(shù)的初始值見圖，試用BP算法訓(xùn)算法訓(xùn)練此網(wǎng)絡(luò)。這里神

18、經(jīng)元激勵函數(shù)為練此網(wǎng)絡(luò)。這里神經(jīng)元激勵函數(shù)為 ，學(xué)習(xí)步長為學(xué)習(xí)步長為TTxx3121xexf11)(1神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖TTtt.050950211x1x211203-2-1110-21-23VW2O1O2解：解：1）設(shè)定最大容許誤差值）設(shè)定最大容許誤差值 和最大迭代學(xué)習(xí)次和最大迭代學(xué)習(xí)次數(shù)數(shù) ，并設(shè)初始迭代學(xué)習(xí)次數(shù)，并設(shè)初始迭代學(xué)習(xí)次數(shù) 。 2）計算當(dāng)前輸入、及當(dāng)前網(wǎng)絡(luò)的連接權(quán)系數(shù)下）計算當(dāng)前輸入、及當(dāng)前網(wǎng)絡(luò)的連接權(quán)系數(shù)下的神經(jīng)網(wǎng)絡(luò)輸出。的神經(jīng)網(wǎng)絡(luò)輸出。 首先計算神經(jīng)元首先計算神經(jīng)元1和和2的中間狀態(tài)的中間狀態(tài)maxiteafe0iteafe111 11221012221 1222

19、20121( 2)32201 1zznetV xV xVxxnetV xV xVxx TTxx3121其中：111221211121012212220121021.88081( 2)3 1.6572OOOOOOnetw xw xwzznetw xw xwzz 1212110.13230.839911OOnetnetOOee則則1、2的輸出為：的輸出為：同理，可得神經(jīng)元同理，可得神經(jīng)元O1、O2的中間狀態(tài)為：的中間狀態(tài)為：O1、O2的輸出為：的輸出為：1122112121110 .1 1 9 211110 .7 3 111n e tn e tZfn e teeZfn e tee3）根據(jù)給定的教師

20、輸出值，判斷神經(jīng)網(wǎng)絡(luò)）根據(jù)給定的教師輸出值，判斷神經(jīng)網(wǎng)絡(luò)逼近誤差要求或者迭代學(xué)習(xí)到最大容許值否？逼近誤差要求或者迭代學(xué)習(xí)到最大容許值否？maxtOoriterateiterate若上述不等式中有一個滿足若上述不等式中有一個滿足,則退出學(xué)習(xí)則退出學(xué)習(xí).否則進(jìn)入否則進(jìn)入4)。4）計算廣義誤差）計算廣義誤差(反向?qū)W習(xí)反向?qū)W習(xí)) TTtt.05095021（1）輸出層權(quán)值調(diào)整量1212110.13230.839911OOnetnetOOee輸出層總神經(jīng)元的權(quán)值調(diào)整的簡化過程如下：211()()=Pmppjkjjjkjkpjwyofnet zz則算出輸出層的誤差為：222( )( ) (1( ) yppjjfxfxfxt因為121111121122222222()()()(1)0.0938()()()(1)0.1062OOOOtOfnettO OOtOfnettOOO隱藏層總神經(jīng)元的權(quán)值調(diào)整的簡化過程如下：算出隱藏層的誤差為：1111211211112121222222222121(1)(1)() 0.2811(1)(1)()0.04176zjjoojzjjoojZZwZZ wwZZwZZw