人工神經(jīng)網(wǎng)絡(luò)建模matlab.-文檔資料

1、1第十一章 人工神經(jīng)網(wǎng)絡(luò)建模（Artificial Neuron Nets） 一、引例 1981年生物學家格若根（W Grogan）和維什（WWirth）發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)他們測量了這兩類蚊子每個個體的翼長和觸角長，數(shù)據(jù)如下：翼長 觸角長 類別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼長 觸角長 類別1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00

2、1.28 Apf1.96 1.30 Apf1.74 1.36 Af2 問：如果抓到三只新的蚊子，它們的觸角長和翼長分別為(l.24,1.80); (l.28，1.84)；（1.40，2.04）問它們應(yīng)分別屬于哪一個種類？ 解法一： 把翼長作縱坐標，觸角長作橫坐標；那么每個蚊子的翼長和觸角決定了坐標平面的一個點.其中 6個蚊子屬于 APf類；用黑點“”表示；9個蚊子屬 Af類；用小圓圈“?！北硎?得到的結(jié)果見圖1 3 圖1 飛蠓的觸角長和翼長 4 思路：作一直線將兩類飛蠓分開 例如；取A（1.44，2.10）和 B(1.10，1.16)，過A B兩點作一條直線： y 1.47x - 0.017，

3、 其中X表示觸角長；y表示翼長 分類規(guī)則：設(shè)一個蚊子的數(shù)據(jù)為（x, y）, 如果y1.47x - 0.017，則判斷蚊子屬Apf類； 如果y1.47x - 0.017；則判斷蚊子屬Af類 5 分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于 Apf類圖2 分類直線圖 6 缺陷：根據(jù)什么原則確定分類直線？ 若取A=(1.46,2.10), B=(1.1,1.6)不變，則分類直線變?yōu)?y=1.39x+0.071分類結(jié)果變?yōu)椋?(1.24,1.80)， (1.40,2.04) 屬于Apf類； (1.28,1.84)屬于Af類 哪一分類直線才是正確的呢？

4、因此如何來確定這個判別直線是一個值得研究的問題一般地講，應(yīng)該充分利用已知的數(shù)據(jù)信息來確定判別直線7 再如，如下的情形已經(jīng)不能用分類直線的辦法： 新思路：將問題看作一個系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關(guān)系。8二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò) 大腦可視作為1000多億神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò) 神經(jīng)元的解剖圖 圖3 神經(jīng)元的解剖圖9 神經(jīng)元的信息傳遞和處理是一種電化學活動樹突由于電化學作用接受外界的刺激；通過胞體內(nèi)的活動體現(xiàn)為軸突電位，當軸突電位達到一定的值則形成神經(jīng)脈沖或動作電位；再通過軸突末梢傳遞給其它的神經(jīng)元從控制論的觀點來看；這一過程可以看作一個多輸入單輸出非線性系統(tǒng)的動態(tài)過程

5、 神經(jīng)網(wǎng)絡(luò)研究的兩個方面 從生理上、解剖學上進行研究 從工程技術(shù)上、算法上進行研究10三、人工神經(jīng)網(wǎng)絡(luò)（Artificial Neuron Nets, 簡稱ANN） 神經(jīng)元的數(shù)學模型 圖4神經(jīng)元的數(shù)學模型 11 其中x（x1，xm）T 輸入向量，y為輸出，wi是權(quán)系數(shù)；輸入與輸出具有如下關(guān)系：miiixwfy1)( 為閾值，f（X）是激發(fā)函數(shù)；它可以是線性函數(shù)，也可以是非線性函數(shù) 12例如，若記 取激發(fā)函數(shù)為符號函數(shù) miiixwz1. 0, 0, 0, 1)sgn(xxx13則 S型激發(fā)函數(shù)： miiimiiixwxwzfy11, 0, 1)(,11)(xexf; 1)(0 xf14或 注：

6、若將閾值看作是一個權(quán)系數(shù)，-1是一個固定的輸入，另有m-1個正常的輸入，則（1）式也可表示為： （1） ,)(xxxxeeeexf. 1)(1xfmiiixwfy1)( （1） 參數(shù)識別：假設(shè)函數(shù)形式已知，則可以從已有的輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及閾值。 152、神經(jīng)網(wǎng)絡(luò)的數(shù)學模型 眾多神經(jīng)元之間組合形成神經(jīng)網(wǎng)絡(luò)，例如下圖的含有中間層（隱層）的B-P網(wǎng)絡(luò) 圖5 帶中間層的B-P網(wǎng)絡(luò) 163、量變引起質(zhì)變-神經(jīng)網(wǎng)絡(luò)的作用 （1）螞蟻群 一個螞蟻有50個神經(jīng)元，單獨的一個螞蟻不能做太多的事；甚至于不能很好活下去但是一窩螞蟻；設(shè)有 10萬個體，那么這個群體相當于500萬個神經(jīng)元（當然不是簡單相加，這里

7、只為說明方便而言）；那么它們可以覓食、搬家、圍攻敵人等等17（2）網(wǎng)絡(luò)說話 人們把一本教科書用網(wǎng)絡(luò)把它讀出來（當然需要通過光電，電聲的信號轉(zhuǎn)換）；開始網(wǎng)絡(luò)說的話像嬰兒學語那樣發(fā)出“巴、巴、巴”的聲響；但經(jīng)過BP算法長時間的訓(xùn)練竟能正確讀出英語課本中 90的詞匯 從此用神經(jīng)網(wǎng)絡(luò)來識別語言和圖象形成一個新的熱潮184、人工神經(jīng)網(wǎng)絡(luò)的基本特點 （1）可處理非線性 （2）并行結(jié)構(gòu)對神經(jīng)網(wǎng)絡(luò)中的每一個神經(jīng)元來說；其運算都是同樣的這樣的結(jié)構(gòu)最便于計算機并行處理 （3）具有學習和記憶能力一個神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練學習判別事物；學習某一種規(guī)律或規(guī)則神經(jīng)網(wǎng)絡(luò)可以用于聯(lián)想記憶19 （4）對數(shù)據(jù)的可容性大在神經(jīng)網(wǎng)絡(luò)中

8、可以同時使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù)（如好、中、差、及格、不及格等） （5）神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來實現(xiàn)如美國用 256個神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識別手寫體的郵政編碼20四、反向傳播算法（B-P算法） Back propagation algorithm 算法的目的：根據(jù)實際的輸入與輸出數(shù)據(jù)，計算模型的參數(shù)（權(quán)系數(shù)） 1簡單網(wǎng)絡(luò)的B-P算法 21 圖6 簡單網(wǎng)絡(luò) 22 假設(shè)有P個訓(xùn)練樣本，即有P個輸入輸出對 （Ip, Tp）,p=1,P, 其中 輸入向量為 , 目標輸出向量為（實際上的） TpmppiiI),.,(1TpnppttT),.,(123 網(wǎng)絡(luò)輸出向量為 （理論上的） Tpn

9、ppooO),.,(1 記wij為從輸入向量的第j (j=1,m) 個分量到輸出向量的第i (i=1,n)個分量的權(quán)重。通常理論值與實際值有一誤差，網(wǎng)絡(luò)學習則是指不斷地把與比較，并根據(jù)極小原則修改參數(shù)wij，使誤差平方和達最?。簄ipipiot12)(min （p=1,P） （2） 24 記 Delta學習規(guī)則學習規(guī)則: ijijijwwwPppjpipjPppipiijiiotw11)(pipipiot（4） （3） ijw表示遞推一次的修改量，則有表示遞推一次的修改量，則有稱為學習的速率 25 ipm= -1 , wim= (第i個神經(jīng)元的閾值) （5） 注：由（1） 式，第i個神經(jīng)元的輸

10、出可表示為mjpjijpiiwfo1)( 特別當f是線性函數(shù)時 biwaomjpjijpi1)(（6）2627 圖7 多層前饋網(wǎng)絡(luò) 2多層前饋網(wǎng)絡(luò) 28假設(shè)： （l）輸入層不計在層數(shù)之內(nèi)，它有N0個神經(jīng)元設(shè)網(wǎng)絡(luò)共有L層；輸出層為第L層；第 k層有Nk個神經(jīng)元 (2) 設(shè))(iuk表示第k層第i神經(jīng)元所接收的信息 wk(i,j) 表示從第表示從第k-1層第層第j個元到第個元到第k層第層第i個元的權(quán)重，個元的權(quán)重， )(iak表第表第k層第層第i個元的輸出個元的輸出 29 （3）設(shè)層與層間的神經(jīng)元都有信息交換（否則，可設(shè)它們之間的權(quán)重為零）；但同一層的神經(jīng)元之間無信息傳輸 (4) 設(shè)信息傳輸?shù)姆较?/p>

11、是從輸入層到輸出層方向；因此稱為前向網(wǎng)絡(luò)沒有反向傳播信息 （5） 表示輸入的第j個分量 )(0ja30 在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為：,1),()(),()(),()(.,1),()(),()(),()(,1),()(),()(),()(1101112221212211111011LLLNjLLLLNjNjNiiufiaijajiwiuNiiufiaijajiwiuNiiufiaijajiwiuL（7） 其中表示第k層第i個元的閾值. 31（9）PppEE1LNipLppiaitE12)()()()(21 定理2 對于具有多個隱層的前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S函數(shù)；且指標函數(shù)取 （

12、8）32（10） 則每個訓(xùn)練循環(huán)中按梯度下降時；其權(quán)重迭代公式為),(), (), ()(1)() 1()(jajiwjiwplplplpl,.,1Ll 表示第-1層第個元對第層第個元輸入的第次迭代時的權(quán)重 ),()(jiwpl33其中 )()()()()()()()(iufiaitipLpLppL（12）（11）11)1(1)(1)()(),()()()(lNjplplplplijwjiufi. 11 Ll34BP算法 Step1 選定學習的數(shù)據(jù),p=1,P, 隨機確定初始權(quán)矩陣W（0） Step2 用（10）式反向修正,直到用完所有學習數(shù)據(jù).用學習數(shù)據(jù)計算網(wǎng)絡(luò)輸出 Step3 35 五應(yīng)用

13、之例：蚊子的分類 ),(), (), ()(1)() 1()(jajiwjiwplplplpl,.,1Ll 已知的兩類蚊子的數(shù)據(jù)如表1： 36 翼長 觸角長 類別 1.78 1.14 Apf 1.96 1.18 Apf 1.86 1.20 Apf 1.72 1.24 Af 2.00 1.26 Apf 2.00 1.28 Apf 1.96 1.30 Apf 1.74 1.36 Af目標值目標值0.90.1 37 翼長 觸角長 類別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af

14、1.82 1.54 Af 2.08 1.56 Af目標目標t0.1 38 輸入數(shù)據(jù)有15個，即 , p=1,15; j=1, 2; 對應(yīng)15個輸出。 建模：（輸入層，中間層，輸出層，每層的元素應(yīng)取多少個？） 建立神經(jīng)網(wǎng)絡(luò)39 規(guī)定目標為： 當t(1)=0.9 時表示屬于Apf類，t(2)=0.1表示屬于Af類。 設(shè)兩個權(quán)重系數(shù)矩陣為：) 3 , 2 () 2 , 2 () 1 , 2 () 3 , 1 () 2 , 1 () 1 , 1 (1111111wwwwwwW) 3 , 1 () 2 , 1 () 1 , 1 (2222wwwW40 其中 )()3

15、,(jjwii（分析如下： 為第一層的輸出，同時作為第二層的輸入。為閾值 )2()2()2 , 2() 1 () 1 , 2()2() 1 ()2()2 , 1 () 1 () 1 , 1 () 1 (101011101011awawuawawu)1 () 1 (11ufa)2()2(11ufa41 其中， 為閾值， 為激勵函數(shù) 1)3(0a若令 （閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)） 則有： （作為一固定輸入） ifjjw)3 ,(12 , 1j42 取激勵函數(shù)為 3101010101131010101011)(), 2 () 3 () 3 , 2 () 2 () 2 , 2 () 1 ()

16、 1 , 2 () 2 ()(), 1 () 3 () 3 , 1 () 2 () 2 , 1 () 1 () 1 , 1 () 1 (jjjajwawawawujajwawawawuxexf11)(43 則 )()(11iufia= 則 同樣，取 )(exp(111iu2 , 1i, 1) 3(1a)3 , 1 (2w)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj44令p=0 具體算法如下： （1）隨機給出兩個權(quán)矩陣的初值；例如用MATLAB軟件時可以用以下語句： )0(1W)0(2W=rand(2,3); =rand(1,3); (2) 根據(jù)輸入數(shù)據(jù)

17、利用公式算出網(wǎng)絡(luò)的輸出 45 取 3101010101131010101011)(), 2 () 3 () 3 , 2 () 2 () 2 , 2 () 1 () 1 , 2 () 2 ()(), 1 () 3 () 3 , 1 () 2 () 2 , 1 () 1 () 1 , 1 () 1 (jjjajwawawawujajwawawawu)() (11iufia)(exp(111iu=2 , 1i, 1) 3(1a)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj46（3）計算 xexf11)(因為 所以 （4）取 （或其他正數(shù)，可調(diào)整大小） 計算 2

18、)1 ()(xxeexf)1 ()1 () 1 () 1 (222ufat2222)1 (exp(1/()1 (exp()1 () 1 (uuat1 . 0), 1 ()1(2jWPj=1,2,3 47 j=1,2,3 )() 1 (), 1 (), 1 ()1(1)1(2)(2)1(2jajWjWpppp)()1(1ip(5) 計算 和 : ),()1(1jiWp)()1(1ip222)1(2)1(2)1 (exp(1/()1 (exp(), 1 () 1 (uuiWpp)()(),(),()1(0)1(1)(1)1(1jaijiWjiWppppj=1,2,3, i=1,2,3, 48 (6) p=p+1，轉(zhuǎn)（2） 注：僅計算一圈（p=1，2，15）是不夠的，直到當