神經(jīng)網(wǎng)絡(luò)建模課件

1、1 人工神經(jīng)網(wǎng)絡(luò)建模 數(shù)學(xué)與信息科學(xué)系 2 1、神經(jīng)網(wǎng)絡(luò)簡介 人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)科學(xué)的基礎(chǔ)上發(fā)展起來的， 旨在模擬人腦結(jié)構(gòu)以及功能的一種抽象的數(shù)學(xué)模型,其 中Hopfield神經(jīng)網(wǎng)絡(luò)、ART神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)是常 用的網(wǎng)絡(luò)。 Hopfield神經(jīng)網(wǎng)絡(luò)是由相同的神經(jīng)元構(gòu)成的單元，是一 類不具有學(xué)習(xí)能力的單層自聯(lián)想網(wǎng)絡(luò)，她的網(wǎng)絡(luò)模型由 一組可使某一個(gè)能量函數(shù)最小的微分方程組成。 ART神經(jīng)網(wǎng)絡(luò)主要用于模式識別，她的不足之處在于 對轉(zhuǎn)換、失真和規(guī)模變化較敏感 BP神經(jīng)網(wǎng)絡(luò)是誤差反向傳播的多層前向網(wǎng)絡(luò),其信息處 理機(jī)制由神經(jīng)元激活特性和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)決定,神經(jīng)元 的傳遞函數(shù)是非線性函數(shù),網(wǎng)絡(luò)結(jié)

2、構(gòu)由輸入層、隱含層、 輸出層組成,同層節(jié)點(diǎn)間無關(guān)聯(lián) ,異層節(jié)點(diǎn)前向連接。 3 1.1、人工神經(jīng)元模型 人工神經(jīng)網(wǎng)絡(luò)的基本單元的神經(jīng)元模型 4 人工神經(jīng)元的三個(gè)要素 1 00 0 3 (), (),(0=) ij m iji i jjj m jijijjj i w w x b yfw xiww 1、一組連接（突觸），連接強(qiáng)度由各連接上的權(quán)值表示，權(quán)值為正表 示激活，負(fù)表示抑制 2、一個(gè)求和單元，用于求取各輸入信號之間的加權(quán)和 、一個(gè)非線性激活函數(shù)f，起到非線性映射的作用并將神經(jīng)元的輸出限制 在一定范圍內(nèi) 還有閾值或偏置可通過把輸入維數(shù)增加一維把閾值包括進(jìn)去 對應(yīng)閾值，1或偏置1 5 1.2激活（

3、傳遞）函數(shù)的取法 在Matlab工具箱里包括了許多激活（傳遞）函數(shù)。在 “Transfer Function Graphs”中可以找到它們的完全 列表 函數(shù)名 功 能 purelin 線性傳遞函數(shù) hardlim 硬限幅遞函數(shù) hardlims 對稱硬限幅遞函數(shù) satli 飽和線性傳遞函數(shù) satlins 對稱飽和線性傳遞函數(shù) logsig 對數(shù)S 形傳遞函數(shù) tansig 正切S 形傳遞函數(shù) radbas 徑向基傳遞函數(shù) compet 競爭層傳遞函數(shù) 6 2 2 2 2 1 1,01,0 1( )( ) 0,01,0 2( ) tanh( ) ,0 3( ) 1 0,0 1 4( ) ex

4、p() 2 xx xx n jji i i xx f xf x xx ee f xx ee x x sigmoidf x x x f xxx 、階躍函數(shù)：，或符號函數(shù) 、雙曲正切函數(shù)： 、函數(shù)（S型）： 、高斯函數(shù)： 7 1.3、網(wǎng)絡(luò)結(jié)構(gòu)以及工作方式 從連接方式看NN主要有兩種網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)： n前饋型網(wǎng)絡(luò)：結(jié)點(diǎn)分為輸入單元和計(jì)算單元 n反饋型網(wǎng)絡(luò)：所有結(jié)點(diǎn)都是計(jì)算單元 NN的工作過程主要分為兩個(gè)階段： 第一階段：學(xué)習(xí)期，此時(shí)個(gè)計(jì)算單元狀態(tài)不變，各 連線上的權(quán)值可通過學(xué)習(xí)來修改 第二階段：工作期，此時(shí)各連接權(quán)值固定，計(jì)算各 單元狀態(tài)變化 8 網(wǎng)絡(luò)結(jié)構(gòu)：前饋型神經(jīng)網(wǎng)絡(luò) 兩個(gè)或更多的上面所示的神經(jīng)元

5、可以組合成一層，一個(gè)典 型的網(wǎng)絡(luò)可包括一層或者多層。我們首先來研究神經(jīng)元層。 單層神經(jīng)元網(wǎng)絡(luò)單層神經(jīng)元網(wǎng)絡(luò) 有R輸入元素和S個(gè)神經(jīng)元組成的單層網(wǎng)絡(luò)如下圖所示 n1=net.IW1,1*p+net.b1 9 多層神經(jīng)元網(wǎng)絡(luò) 上面所示的網(wǎng)絡(luò)有R1個(gè)輸入，第一層有S1個(gè)神經(jīng)元，第二層 有S2個(gè)神經(jīng)元 10 中間層的輸出就是下一層的輸入。第二層可看作有S1個(gè)輸入， S2個(gè)神經(jīng)元和S1xS2 階權(quán)重矩陣W2 的單層網(wǎng)絡(luò)。第二層的輸 入是a1，輸出是a2，現(xiàn)在我們已經(jīng)確定了第二層的所有向量 和矩陣，我們就能把它看成一個(gè)單層網(wǎng)絡(luò)了。其他層也可以 照此步驟處理。 多層網(wǎng)絡(luò)的功能非常強(qiáng)大。例、一個(gè)兩層的網(wǎng)絡(luò)，第

6、一層的 轉(zhuǎn)移函數(shù)是曲線函數(shù)，第二層的轉(zhuǎn)移函數(shù)是線性函數(shù)，通過 訓(xùn)練，它能夠很好的模擬任何有有限斷點(diǎn)的函數(shù)。這種兩層 網(wǎng)絡(luò)集中應(yīng)用于“反向傳播網(wǎng)絡(luò)”。 注意:我們把第三層的輸出a3標(biāo)記為y。我們將使用這種符號 來定義這種網(wǎng)絡(luò)的輸出。 11 1.4創(chuàng)建網(wǎng)絡(luò) newp 創(chuàng)建感知器網(wǎng)絡(luò) newlind 設(shè)計(jì)一線性層 newlin 創(chuàng)建一線性層 newff 創(chuàng)建一前饋 BP 網(wǎng)絡(luò) newcf 創(chuàng)建一多層前饋 BP 網(wǎng)絡(luò) newfftd 創(chuàng)建一前饋輸入延遲 BP 網(wǎng)絡(luò) newrb 設(shè)計(jì)一徑向基網(wǎng)絡(luò) newrbe 設(shè)計(jì)一嚴(yán)格的徑向基網(wǎng)絡(luò) newgrnn 設(shè)計(jì)一廣義回歸神經(jīng)網(wǎng)絡(luò) newpnn 設(shè)計(jì)一概率神經(jīng)網(wǎng)

7、絡(luò) newc 創(chuàng)建一競爭層 newsom 創(chuàng)建一自組織特征映射 newhop 創(chuàng)建一 Hopfield 遞歸網(wǎng)絡(luò) newelm 創(chuàng)建一 Elman 遞歸網(wǎng)絡(luò) 12 1.5數(shù)據(jù)結(jié)構(gòu):影響網(wǎng)絡(luò)仿真的輸入數(shù)據(jù)結(jié)構(gòu)的格式 靜態(tài)網(wǎng)絡(luò)中的同步輸入仿真： 例1 13 動態(tài)網(wǎng)絡(luò)中的異步輸入仿真：當(dāng)網(wǎng)絡(luò)中存在延遲時(shí)，順序發(fā) 生的輸入向量就要按一定的序列輸入網(wǎng)絡(luò)。為了演示這種情 況，我們以一個(gè)有延遲的簡單網(wǎng)絡(luò)為例。 14 動態(tài)網(wǎng)絡(luò)中的同步輸入仿真 n如果我們在上例中把輸入作為同步而不是異步應(yīng)用， 我們就會得到完全不同的響應(yīng)。這就好象每一個(gè)輸入 都同時(shí)加到一個(gè)單獨(dú)的并行網(wǎng)絡(luò)中。在前一個(gè)例子中， 如果我們用一組同步輸

8、入，我們有： p1=1, p2=2,p3=3, p4=4 這可用下列代碼創(chuàng)建： P =1 2 3 4; 模擬這個(gè)網(wǎng)絡(luò)，我們得到： A = sim(net,P) A = 1 2 3 4 15 n在某些特定的情況下，我們可能想要在同一時(shí)間模擬一些不同序 列的網(wǎng)絡(luò)響應(yīng)。這種情況我們就要給網(wǎng)絡(luò)輸入一組同步序列。比 如說，我們要把下面兩個(gè)序列輸入網(wǎng)絡(luò)： p(1)=1, p(2)=2,p(3)=3, p(4)=4 p(1)=4, p(2)=3,p(3)=2, p(4)=1 輸入 P應(yīng)該是一個(gè)細(xì)胞數(shù)組，每一個(gè)數(shù)組元素都包含了兩個(gè)同時(shí)發(fā)生 的序列的元素。 P = 1 4 2 3 3 2 4 1; 現(xiàn)在我們就可

9、以模擬這個(gè)網(wǎng)絡(luò)了： A = sim(net,P); 網(wǎng)絡(luò)輸出結(jié)果將是： A = 1 4 4 11 7 8 10 5 n可以看到，每個(gè)矩陣的第一列是由第一組輸入序列產(chǎn)生的輸出序 列，每個(gè)矩陣的第二列是由第二組輸入序列產(chǎn)生的輸出序列。這 兩組序列之間沒有關(guān)聯(lián)，好象他們是同時(shí)應(yīng)用在單個(gè)的并行網(wǎng)絡(luò) 上的。 16 前面的討論中，不論是作為一個(gè)同步向量矩陣輸 入還是作為一個(gè)異步向量細(xì)胞數(shù)組輸入，模擬的 輸出值是一樣的。 在訓(xùn)練網(wǎng)絡(luò)時(shí)，這是不對的。當(dāng)我們使用adapt函 數(shù)時(shí)，如果輸入是異步向量細(xì)胞數(shù)組，那么權(quán)重 將在每一組輸入提交的時(shí)候更新（就是增加方 式）；如果輸入是同步向量矩陣，那么權(quán)重將只 在所有輸

10、入提交的時(shí)候更新（就是批處理方式）。 17 1.6訓(xùn)練方式 兩種不同的訓(xùn)練方式 (1)增加方式：每提交一次輸入數(shù)據(jù)，網(wǎng)絡(luò)權(quán) 重和偏置都更新一次; (2)在批處理方式中：僅僅當(dāng)所有的輸入數(shù)據(jù) 都被提交以后，網(wǎng)絡(luò)權(quán)重和偏置才被更新. n增加方式（應(yīng)用于自適應(yīng)網(wǎng)絡(luò)和其他網(wǎng)絡(luò)） 雖然增加方式更普遍的應(yīng)用于動態(tài)網(wǎng)絡(luò)，比如 自適應(yīng)濾波，但是在靜態(tài)和動態(tài)網(wǎng)絡(luò)中都可以 應(yīng)用它。 18 靜態(tài)網(wǎng)絡(luò)中的增加方式 用增加方式來訓(xùn)練靜態(tài)同步仿真中的例1，這樣每提交一次輸 入數(shù)據(jù)，網(wǎng)絡(luò)權(quán)重和偏置都更新一次。 在此我們用函數(shù)adapt，并給出輸入和目標(biāo)序列：假定我們要 訓(xùn)練網(wǎng)絡(luò)建立以下線性函數(shù)： t=2p1+p2 . 我們

11、的輸入是： 目標(biāo)輸出是： t1=4,t2=5 ,t3=7 ,t4=7 首先用0初始化權(quán)重和偏置。為了顯示增加方式的效果，先把 學(xué)習(xí)速度也設(shè)為0。 net = newlin(-1 1;-1 1,1,0,0); net.IW1,1 = 0 0; net.b1 = 0; 為了用增加方式，我們把輸入和目標(biāo)輸出表示為以下序列： P = 1;2 2;1 2;3 3;1; T = 4 5 7 7; 19 用增加方式訓(xùn)練網(wǎng)絡(luò)： net = newlin(-1 1;-1 1,1,0,0); net.IW1,1 = 0 0; net.b1 = 0; P = 1;2 2;1 2;3 3;1; T = 4 5 7 7

12、; net,a,e,pf = adapt(net,P,T); 由于學(xué)習(xí)速度為0，網(wǎng)絡(luò)輸出仍然為0，并且權(quán)重沒有 被更新。錯(cuò)誤和目標(biāo)輸出相等。 a = 0 0 0 0 e = 4 5 7 7 如果我們設(shè)置學(xué)習(xí)速度為0.1，我們就能夠看到當(dāng)每一 組輸入提交時(shí)，網(wǎng)絡(luò)是怎么調(diào)整的了。 net.inputWeights1,1.learnParam.lr=0.1; net.biases1,1.learnParam.lr=0.1; net,a,e,pf = adapt(net,P,T); a = 0 2 6.0 5.8 e = 4 3 1.0 1.2 20 2、BP神經(jīng)網(wǎng)絡(luò) 2.1、概述 nBP網(wǎng)絡(luò)是采用W

13、idrow-Hoff學(xué)習(xí)算法和非線性可微轉(zhuǎn)移函 數(shù)的多層網(wǎng)絡(luò)。一個(gè)典型的BP網(wǎng)絡(luò)采用的是梯度下降算法， 也就是Widrow-Hoff算法所規(guī)定的。backpropagation就是 指的為非線性多層網(wǎng)絡(luò)計(jì)算梯度的方法。現(xiàn)在有許多基本 的優(yōu)化算法，例如變尺度算法和牛頓算法。神經(jīng)網(wǎng)絡(luò)工具 箱提供了許多這樣的算法。 n一個(gè)經(jīng)過訓(xùn)練的BP網(wǎng)絡(luò)能夠根據(jù)輸入給出合適的結(jié)果，雖 然這個(gè)輸入并沒有被訓(xùn)練過。這個(gè)特性使得BP網(wǎng)絡(luò)很適合 采用輸入/目標(biāo)對進(jìn)行訓(xùn)練，而且并不需要把所有可能的 輸入/目標(biāo)對都訓(xùn)練過。為了提高網(wǎng)絡(luò)的適用性，神經(jīng)網(wǎng) 絡(luò)工具箱提供了兩個(gè)特性-規(guī)則化和早期停止。 21 2.2 2、基礎(chǔ) 網(wǎng)絡(luò)結(jié)

14、構(gòu) 1）常用的前饋型BP網(wǎng)絡(luò)的轉(zhuǎn)移函數(shù)有l(wèi)ogsig， tansig有時(shí)也會用到線性函數(shù)purelin。當(dāng)網(wǎng)絡(luò)的最 后一層采用曲線函數(shù)時(shí)輸出被限制在一個(gè)很小的范 圍內(nèi)，如果采用線性函數(shù)則輸出可為任意值。如果 需要也可以創(chuàng)建其他可微的轉(zhuǎn)移函數(shù)。 2）在BP網(wǎng)絡(luò)中，轉(zhuǎn)移函數(shù)可求導(dǎo)是非常重要的， tansig、logsig和purelin都有對應(yīng)的導(dǎo)函數(shù) dtansig、dlogsig和dpurelin。為了得到更多轉(zhuǎn)移 函數(shù)的導(dǎo)函數(shù),可以輸入 tansig(deriv) ans = dtansig 22 網(wǎng)絡(luò)構(gòu)建和初始化 訓(xùn)練前饋網(wǎng)絡(luò)的第一步是建立網(wǎng)絡(luò)對象。 函數(shù)newff建立一個(gè)可訓(xùn)練的前饋網(wǎng)絡(luò)

15、。 net = newff(PR,S1 S2.SNl,TF1 TF2.TFNl,BTF,BLF,PF) 這里需要4個(gè)輸入?yún)?shù)。 第一個(gè)參數(shù)是一個(gè)RxS1的矩陣以定義R個(gè)輸入向量的最小值 和最大值。 第二個(gè)參數(shù)是一個(gè)每層神經(jīng)元個(gè)數(shù)的數(shù)組。 第三個(gè)參數(shù)是包含每層用到的轉(zhuǎn)移函數(shù)名稱的細(xì)胞數(shù)組。 最后一個(gè)參數(shù)是用到的訓(xùn)練函數(shù)的名稱。 23 例、創(chuàng)建一個(gè)二層網(wǎng)絡(luò) 它的輸入是兩個(gè)元素的向量，第一層有四個(gè)神經(jīng)元，第二層有三個(gè)神 經(jīng)元。第一層的轉(zhuǎn)移函數(shù)是tan-sigmoid，輸出層的轉(zhuǎn)移函數(shù)是linear。 輸入向量的第一個(gè)元素的范圍是-1到2，輸入向量的第二個(gè)元素的范 圍是0到5，訓(xùn)練函數(shù)是traingd

16、。 net=newff(-1 2; 0 5,4,3,tansig,purelin,traingd); 這個(gè)命令建立了網(wǎng)絡(luò)對象并且初始化了網(wǎng)絡(luò)權(quán)重和偏置，因此網(wǎng)絡(luò)就 可以進(jìn)行訓(xùn)練了。 24 在訓(xùn)練前饋網(wǎng)絡(luò)之前，權(quán)重和偏置必須被初始化。初始化權(quán) 重和偏置的工作用命令init來實(shí)現(xiàn)。 net = init(net); 對前饋網(wǎng)絡(luò)來說，有兩種不同的初始化方式經(jīng)常被用到： initwb和initnw。 1）initwb函數(shù)根據(jù)每一層自己的初始化參數(shù) (net.inputWeightsi,j.initFcn)初始化權(quán)重矩陣和偏置。前饋網(wǎng) 絡(luò)的初始化權(quán)重通常設(shè)為rands，它使權(quán)重在-1到1之間隨機(jī)取 值值

17、，這種方式經(jīng)常用在轉(zhuǎn)換函數(shù)是線性函數(shù)時(shí)。 2）initnw通常用于轉(zhuǎn)換函數(shù)是曲線函數(shù)。它根據(jù)Nguyen和 WidrowNgWi90為層產(chǎn)生初始權(quán)重和偏置值，使得每層神經(jīng) 元的活動區(qū)域能大致平坦的分布在輸入空間。它比起單純的 給權(quán)重和偏置隨機(jī)賦值有以下優(yōu)點(diǎn)：（1）減少神經(jīng)元的浪 費(fèi)（因?yàn)樗猩窠?jīng)元的活動區(qū)域都在輸入空間內(nèi)）。（2） 有更快的訓(xùn)練速度（因?yàn)檩斎肟臻g的每個(gè)區(qū)域都在活動的神 經(jīng)元范圍中）。 25 n初始化函數(shù)被newff所調(diào)用。因此當(dāng)網(wǎng)絡(luò)創(chuàng)建 時(shí)，它根據(jù)缺省的參數(shù)自動初始化。 ninit不需要單獨(dú)的調(diào)用?？墒俏覀兛赡芤匦鲁跏蓟瘷?quán) 重和偏置或者進(jìn)行自定義的初始化。例如，我們用 new

18、ff創(chuàng)建的網(wǎng)絡(luò)，它缺省用initnw來初始化第一層。 如果我們想要用rands重新初始化第一層的權(quán)重和偏 置，我們用以下命令： net.layers1.initFcn = initwb; net.inputWeights1,1.initFcn = rands; net.biases1,1.initFcn = rands; net.biases2,1.initFcn = rands; net = init(net); 26 網(wǎng)絡(luò)模擬(SIM) 用函數(shù)sim 模擬一個(gè)網(wǎng)絡(luò)。 sim 接收網(wǎng)絡(luò)輸入p，網(wǎng)絡(luò)對象net，返回網(wǎng)絡(luò)輸出a，這 里是simuff用來模擬上面建立的帶一個(gè)輸入向量的網(wǎng) 絡(luò)。 p

19、= 1;2; a = sim(net,p) a = -0.1011 (用這段代碼得到的輸出是不一樣的，這是 因?yàn)榫W(wǎng)絡(luò)初始化是隨機(jī)的。) 例、調(diào)用sim來計(jì)算一個(gè)同步輸入3向量網(wǎng)絡(luò)的輸出： p = 1 3 2;2 4 1; a=sim(net,p) a = -0.1011 -0.2308 0.4955 27 網(wǎng)絡(luò)訓(xùn)練 一旦網(wǎng)絡(luò)加權(quán)和偏差被初始化，網(wǎng)絡(luò)就可以開始 訓(xùn)練了。我們能夠訓(xùn)練網(wǎng)絡(luò)來做函數(shù)近似（非 線性后退），模式結(jié)合，或者模式分類。訓(xùn)練 處理需要一套適當(dāng)?shù)木W(wǎng)絡(luò)操作的例子-網(wǎng)絡(luò)輸 入p和目標(biāo)輸出t。在訓(xùn)練期間網(wǎng)絡(luò)的加權(quán)和偏 差不斷的把網(wǎng)絡(luò)性能函數(shù)net.performFcn減少 到最小。 前

20、饋網(wǎng)絡(luò)的缺省性能函數(shù)是均方誤差mse-網(wǎng)絡(luò) 輸出和目標(biāo)輸出t之間的均方誤差。 28 反向傳播算法 反向傳播學(xué)習(xí)算法最簡單的應(yīng)用是沿著性能函數(shù)最速增 加的方向-梯度的負(fù)方向更新權(quán)重和偏置。這種遞歸算 法可以寫成： xk+1 = xk- a k *g k 這里xk是當(dāng)前權(quán)重和偏置向量，g k是當(dāng)前梯度，a k是 學(xué)習(xí)速率。 有兩種不同的辦法實(shí)現(xiàn)梯度下降算法：增加模式和批處 理模式。在增加模式中，網(wǎng)絡(luò)輸入每提交一次，梯度計(jì) 算一次并更新權(quán)重。在批處理模式中，當(dāng)所有的輸入都 被提交后網(wǎng)絡(luò)才被更新。 29 增加模式訓(xùn)練法（ADAPT） 現(xiàn)在我們就可以開始訓(xùn)練網(wǎng)絡(luò)了。當(dāng)然我們要指定輸入 值和目標(biāo)值如下所示

21、： p = -1 -1 2 2;0 5 0 5; t = -1 -1 1 1; 如果我們要在每一次提交輸入后都更新權(quán)重，那么我們 需要將輸入矩陣和目標(biāo)矩陣轉(zhuǎn)變?yōu)榧?xì)胞數(shù)組。每一個(gè)細(xì) 胞都是一個(gè)輸入或者目標(biāo)向量。 p = num2cell(p,1); t = num2cell(t,1); 現(xiàn)在就可以用adapt來實(shí)現(xiàn)增加方式訓(xùn)練了: net,a,e=adapt(net,p,t); 訓(xùn)練結(jié)束以后，就可以模擬網(wǎng)絡(luò)輸出來檢驗(yàn)訓(xùn)練質(zhì)量了。 a = sim(net,p) a = -0.9995 -1.0000 1.0001 1.0000 30 n帶動力的梯度下降(LEARDGDM) n批處理訓(xùn)練方式 n批處

22、理梯度下降法(TRAINGD)(TRAINGD) n帶動量的批處理梯度下降法（ 批處理訓(xùn)練方 式 TRAINGDM） 31 例1、蠓蟲分類問題 1、蠓蟲分類問題 生物學(xué)家試圖對兩種蠓蟲（Af與Apf）進(jìn)行鑒別，依據(jù)的 資料是觸角和翅膀的長度，已經(jīng)測得了9支Af和6支Apf的數(shù) 據(jù)如下： Af: (1.24,1.27)，(1.36,1.74)， (1.38,1.64)，(1.38,1.82)， (1.38,1.90)，(1.40,1.70)，(1.48,1.82)，(1.54,1.82)， (1.56,2.08)； Apf: (1.14,1.82)，(1.18,1.96)，(1.20,1.86)

23、，(1.26,2.00)， (1.28,2.00)，(1.30,1.96). （i）根據(jù)如上資料，如何制定一種方法，正確地區(qū)分兩類蠓蟲。 （ii）對觸角和翼長分別為(1.24,1.80)，(1.28,1.84)與(1.40,2.04)的 3個(gè)標(biāo)本，用所得到的方法加以識別。 （iii）設(shè)Af是寶貴的傳粉益蟲，Apf是某疾病的載體，是否應(yīng)該修改 分類方法。 32 問題分析：要求依據(jù)已知資料（問題分析：要求依據(jù)已知資料（9支支Af的數(shù)據(jù)和的數(shù)據(jù)和6支支Apf的數(shù)據(jù)）制定的數(shù)據(jù)）制定 一種分類方法，類別是已經(jīng)給定的（一種分類方法，類別是已經(jīng)給定的（Af或或Apf）。我們將）。我們將9支支Af及及6支支

24、 Apf的數(shù)據(jù)集合稱之為學(xué)習(xí)樣本。的數(shù)據(jù)集合稱之為學(xué)習(xí)樣本。 2 多層前饋網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò) 為解決此問題，考慮一個(gè)其結(jié)構(gòu)如下圖所示的人工神經(jīng)網(wǎng)絡(luò)為解決此問題，考慮一個(gè)其結(jié)構(gòu)如下圖所示的人工神經(jīng)網(wǎng)絡(luò) 輸入層 輸出層 中間層 （隱層） 33 以以s = 1,2,15，分別表示學(xué)習(xí)樣本中的，分別表示學(xué)習(xí)樣本中的15個(gè)樣品，對樣個(gè)樣品，對樣 品品s而言，對任何一組確定的輸入而言，對任何一組確定的輸入I_ks(k=1,2)隱單元隱單元j 的輸入是的輸入是 相應(yīng)的輸出狀態(tài)是相應(yīng)的輸出狀態(tài)是 網(wǎng)絡(luò)的最終輸出是網(wǎng)絡(luò)的最終輸出是 34 對于任何一組確定的輸入 ，輸出是所有權(quán)的函數(shù)。 如果我們能夠選定一組適當(dāng)?shù)臋?quán)

25、值，使得對應(yīng)于學(xué)習(xí) 樣本中任何一組Af樣品的輸入，輸出為(1,0) ，對應(yīng)于 Apf的輸入數(shù)據(jù)，輸出為(0,1)，那么蠓蟲分類問題實(shí)際 上就解決了。因?yàn)?，對于任何一個(gè)未知類別的樣品，只 要將其觸角及翅膀長度輸入網(wǎng)絡(luò)，視其輸出模式靠近 (1,0)亦或(0,1)，就可能判斷其歸屬。當(dāng)然，有可能出現(xiàn) 介于中間無法判斷的情況。 現(xiàn)在的問題是，如何找到一組適當(dāng)?shù)臋?quán)值，實(shí)現(xiàn)上面所 設(shè)想的網(wǎng)絡(luò)功能。 35 3 向后傳播算法向后傳播算法 在在1985年，美國加州大學(xué)的一個(gè)研究小組提出了所謂向后傳播算法年，美國加州大學(xué)的一個(gè)研究小組提出了所謂向后傳播算法 （Back-Propagation）。）。 我們希望對應(yīng)

26、于學(xué)習(xí)樣本中我們希望對應(yīng)于學(xué)習(xí)樣本中Af樣品的輸出是樣品的輸出是(1,0)，對應(yīng)于，對應(yīng)于Apf的輸出的輸出 是是(0,1)，這樣的輸出稱之為理想輸出。實(shí)際上要精確地作到這一點(diǎn)是，這樣的輸出稱之為理想輸出。實(shí)際上要精確地作到這一點(diǎn)是 不可能的，只能希望實(shí)際輸出盡可能地接近理想輸出。為清楚起見，不可能的，只能希望實(shí)際輸出盡可能地接近理想輸出。為清楚起見， 把對應(yīng)于樣品把對應(yīng)于樣品s的理想輸出記為的理想輸出記為 ， 度量了在一組給定的權(quán)下，實(shí)際輸出與理想輸出的差異，由此，尋找度量了在一組給定的權(quán)下，實(shí)際輸出與理想輸出的差異，由此，尋找 一組恰當(dāng)?shù)臋?quán)的問題，自然地歸結(jié)為求適當(dāng)一組恰當(dāng)?shù)臋?quán)的問題，自然

27、地歸結(jié)為求適當(dāng)W 的值，使的值，使E(W)達(dá)到極小達(dá)到極小 的問題的問題 36 最速下降法 對每一個(gè)變量w_ij 或w 而言，這是一個(gè)連續(xù)可微的非線 性函數(shù)，為了求得其極小點(diǎn)與極小值，最為方便的就 是使用最速下降法。 最速下降法是一種迭代算法，為求出E(W)的（局部）極 小，它從一個(gè)任取的初始點(diǎn)W_0 出發(fā)，計(jì)算在W_0 點(diǎn)的負(fù)梯度方向 ， 這是函數(shù)在該點(diǎn)下降最快的 方向；只要 ， 就可沿該方向移動一小段距離， 達(dá)到一個(gè)新的點(diǎn)。不斷重復(fù)這一過程，一定能達(dá)到E 的一個(gè)（局部）極小點(diǎn)。就本質(zhì)而言，這就是BP算 法的全部內(nèi)容。 然而，對人工神經(jīng)網(wǎng)絡(luò)問題而言，這一算法的具體形式 是非常重要的，下面我們

28、就來給出這一形式表達(dá)。 37 對于隱單元到輸出單元的權(quán)w_ ij而言，最速下降法 給出的每一步的修正量是 可以看出，所有權(quán)的修正量都有如下形式 指標(biāo)p 對應(yīng)于兩個(gè)單元中輸出信號的一端，q對應(yīng)于 輸入信號的一端，v或者代表H或者代表I 。 38 由實(shí)際輸出與理想輸出的差及 決定，而 則需依賴 算出，因此，這一算法才稱為 向后傳播算法。 利用這一迭代算法，最終生成在一定精度內(nèi)滿 足要求的 的過程，稱為人工神經(jīng)網(wǎng)絡(luò) 的學(xué)習(xí)過程。可以看出，這里所提供的學(xué)習(xí)機(jī) 制是元與元之間權(quán)的不斷調(diào)整，學(xué)習(xí)樣本中任 何一個(gè)樣品所提供的信息，最終將包含在網(wǎng)絡(luò) 的每一個(gè)權(quán)之中。參數(shù)h 的大小則反映了學(xué)習(xí) 效率。 39 4

29、0 4、蠓蟲分類問題求解 nclear np1=1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90; n1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08; np2=1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00 n1.28,2.00;1.30,1.96; np=p1;p2; npr=minmax(p); ngoal=ones(1,9),zeros(1,6);zeros(1,9),ones(1,6); nsubplot(1,2,1) nplot(p1(:,1),p1(:,2),h,p2(

30、:,1),p2(:,2),o) nsubplot(1,2,2) nnet=newff(pr,3,2,logsig,logsig); nnet.trainParam.show = 10; nnet.trainParam.lr = 0.05; nnet.trainParam.epochs = 3000; nnet.trainParam.goal = 1e-10; nnet = train(net,p,goal); nx=1.24 1.80;1.28 1.84;1.40 2.04; ny0=sim(net,p) ny=sim(net,x) 41 例2、人口預(yù)測 以下是從北京統(tǒng)計(jì)年鑒中得到的 1980

31、-2010年的北京城近郊區(qū)戶籍人口 統(tǒng)計(jì)結(jié)果作為樣本數(shù)據(jù)，建立人工神 經(jīng)網(wǎng)絡(luò)模型，預(yù)測、2011年的北京城 近郊區(qū)戶籍人口 42 北京市人口 數(shù)統(tǒng)計(jì)表： 年份人數(shù)（萬人） 年份人數(shù)（萬人） 1980498.41996631.8 1981510.2 1997638.7 1982521.31998646.2 1983534.01999651.8 1984540.72000658.9 1985542.82001667.4 1986553.02002678.6 1987563.22003689.2 1988573.92004698.8 1989582.12005707.2 19905922006713

32、.2 1991598.72007718.5 1992604.32008730.9 1993609.52009743.8 1994616.12010749.6 1995625.1 43 數(shù) 據(jù) 處 理 后 的 樣 本 數(shù) 據(jù)： 樣本用途樣本組數(shù)輸入一輸入二輸入三輸入四輸出 學(xué) 習(xí) 樣 本 10.49840.51020.52130.5340.5407 20.51020.52130.5340.54070.5428 30.52130.5340.54070.54280.553 40.5340.54070.54280.5530.5632 50.54070.54280.5530.56320.5739 60.

33、54280.5530.56320.57390.5821 70.5530.56320.57390.58210.592 80.56320.57390.58210.5920.5987 90.57390.58210.5920.59870.6043 100.58210.5920.59870.60430.6095 110.5920.59870.60430.60950.6161 120.59870.60430.60950.61610.6251 130.60430.60950.61610.62510.6318 140.60950.61610.62510.63180.6387 150.61610.62510.63180.63870.6462 160.62510.63180.63870.64620.6518 170.63180.63870.64620.65180.6589 180.63870.64620.65180.65890.6674 190.64620.65180.65890.66740.6786 200.65180.65890.66740.6