《人工神經(jīng)網(wǎng)絡(luò)建?！费菔綪PT

1、1 人工神經(jīng)網(wǎng)絡(luò)建模人工神經(jīng)網(wǎng)絡(luò)建模 （Artificial Neuron Nets） 一、引例 1981年生物學(xué)家格若根（W Grogan）和維什（WWirth）發(fā)現(xiàn)了兩 類蚊子(或飛蠓midges)他們測(cè)量了這兩類蚊子每個(gè)個(gè)體的翼長(zhǎng)和觸角 長(zhǎng)，數(shù)據(jù)如下： 翼長(zhǎng) 觸角長(zhǎng) 類別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af 翼長(zhǎng) 觸角長(zhǎng) 類別 1.78 1.14 Apf 1.96 1.18 Apf 1.86 1.20 Apf 1.72 1.24 Af 2.00

2、 1.26 Apf 2.00 1.28 Apf 1.96 1.30 Apf 1.74 1.36 Af 數(shù)數(shù) 學(xué)學(xué) 模模 型型 2 v問：如果抓到三只新的蚊子，它們的觸角長(zhǎng)和 翼長(zhǎng)分別為(l.24,1.80); (l.28，1.84)；（1.40， 2.04）問它們應(yīng)分別屬于哪一個(gè)種類？ 解法一： 把翼長(zhǎng)作縱坐標(biāo)，觸角長(zhǎng)作橫坐標(biāo)；那么每個(gè) 蚊子的翼長(zhǎng)和觸角決定了坐標(biāo)平面的一個(gè)點(diǎn).其 中 6個(gè)蚊子屬于 APf類；用黑點(diǎn)“”表示；9 個(gè)蚊子屬 Af類；用小圓圈“。”表示 得到的結(jié)果見圖1 圖1飛蠓的觸角長(zhǎng)和翼長(zhǎng) 數(shù)數(shù) 學(xué)學(xué) 模模 型型 3 v思路：作一直線將兩類飛蠓分開 例如；取A（1.44，2.1

3、0）和 B(1.10，1.16)， 過A B兩點(diǎn)作一條直線： y 1.47x - 0.017 其中X表示觸角長(zhǎng)；y表示翼長(zhǎng) 分類規(guī)則：設(shè)一個(gè)蚊子的數(shù)據(jù)為（x, y） 如果y1.47x - 0.017，則判斷蚊子屬Apf類； 如果y1.47x - 0.017；則判斷蚊子屬Af類 數(shù)學(xué)模型數(shù)學(xué)模型 4 v分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類； (1.40，2.04）屬于 Apf類 圖2 分類直線圖 數(shù)學(xué)模型數(shù)學(xué)模型 5 缺陷：根據(jù)什么原則確定分類直線？ 若取A=(1.46,2.10), B=(1.1,1.6)不變，則分類直線 變?yōu)?y=1.39x+0.071 分類結(jié)果

4、變?yōu)椋?(1.24,1.80)， (1.40,2.04) 屬于Apf類； (1.28,1.84)屬于Af類 哪一分類直線才是正確的呢？ 因此如何來確定這個(gè)判別直線是一個(gè)值得研究的 問題一般地講，應(yīng)該充分利用已知的數(shù)據(jù)信息 來確定判別直線 數(shù)學(xué)模型數(shù)學(xué)模型 6 v再如，如下的情形已經(jīng)不能用分類直線的辦法： 新思路：將問題看作一個(gè)系統(tǒng)，飛蠓的數(shù)據(jù)作為 輸入，飛蠓的類型作為輸出，研究輸入與輸出的 關(guān)系。 數(shù)學(xué)模型數(shù)學(xué)模型 7 二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò)二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò) v大腦可視作為1000多億神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò) 圖3 神經(jīng)元的解剖圖 數(shù)學(xué)模型數(shù)學(xué)模型 8 v神經(jīng)元的信息傳遞和處理是一種電化學(xué)活 動(dòng)

5、樹突由于電化學(xué)作用接受外界的刺激；通 過胞體內(nèi)的活動(dòng)體現(xiàn)為軸突電位，當(dāng)軸突電位 達(dá)到一定的值則形成神經(jīng)脈沖或動(dòng)作電位；再 通過軸突末梢傳遞給其它的神經(jīng)元從控制論 的觀點(diǎn)來看；這一過程可以看作一個(gè)多輸入單 輸出非線性系統(tǒng)的動(dòng)態(tài)過程 神經(jīng)網(wǎng)絡(luò)研究的兩個(gè)方面 從生理上、解剖學(xué)上進(jìn)行研究 從工程技術(shù)上、算法上進(jìn)行研究 數(shù)學(xué)模型數(shù)學(xué)模型 9 三、人工神經(jīng)網(wǎng)絡(luò)三、人工神經(jīng)網(wǎng)絡(luò) （Artificial Neuron Nets, Artificial Neuron Nets, 簡(jiǎn)稱簡(jiǎn)稱ANNANN） v神經(jīng)元的數(shù)學(xué)模型 圖4神經(jīng)元的數(shù)學(xué)模型 數(shù)學(xué)模型數(shù)學(xué)模型 10 v其中x（x1，xm）T 輸入向量，y為輸出

6、， wi是權(quán)系數(shù)；輸入與輸出具有如下關(guān)系： m i ii xwfy 1 )( 為閾值，f（X）是激發(fā)函數(shù)；它可以是線性 函數(shù)，也可以是非線性函數(shù) 數(shù)學(xué)模型數(shù)學(xué)模型 11 例如，若記 取激發(fā)函數(shù)為符號(hào)函數(shù) m i ii xwz 1 .0,0 ,0, 1 )sgn( x x x 則 S型激發(fā)函數(shù)： m i ii m i ii xw xw zfy 1 1 ,0 , 1 )( , 1 1 )( x e xf ; 1)(0 xf 數(shù)數(shù) 學(xué)學(xué) 模模 型型 12 或或 v注：若將閾值看作是一個(gè)權(quán)系數(shù)，-1是一個(gè)固定的 輸入，另有m-1個(gè)正常的輸入，則（1）式也可表 示為： ,)( xx xx ee ee x

7、f . 1)(1xf m i iix wfy 1 )( （1） 參數(shù)識(shí)別：假設(shè)函數(shù)形式已知，則可以從已有的 輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及閾值。 數(shù)數(shù) 學(xué)學(xué) 模模 型型 13 2 2、神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型、神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型 v眾多神經(jīng)元之間組合形成神經(jīng)網(wǎng)絡(luò)，例如下圖 的含有中間層（隱層）的B-P網(wǎng)絡(luò) 圖5 帶中間層的B-P網(wǎng)絡(luò) 數(shù)數(shù) 學(xué)學(xué) 模模 型型 14 3 3、量變引起質(zhì)變、量變引起質(zhì)變 -神經(jīng)網(wǎng)絡(luò)的作用神經(jīng)網(wǎng)絡(luò)的作用 （1 1）螞蟻群）螞蟻群 一個(gè)螞蟻有50個(gè)神經(jīng)元，單獨(dú)的一個(gè)螞蟻不能做太多 的事；甚至于不能很好活下去但是一窩螞蟻；設(shè)有 10萬 個(gè)體，那么這個(gè)群體相當(dāng)于500萬個(gè)神經(jīng)元（當(dāng)然

8、不是簡(jiǎn)單 相加，這里只為說明方便而言）；那么它們可以覓食、搬 家、圍攻敵人等等 （2）網(wǎng)絡(luò)說話）網(wǎng)絡(luò)說話 人們把一本教科書用網(wǎng)絡(luò)把它讀出來（當(dāng)然需要通過光 電，電聲的信號(hào)轉(zhuǎn)換）；開始網(wǎng)絡(luò)說的話像嬰兒學(xué)語那樣發(fā) 出“巴、巴、巴”的聲響；但經(jīng)過BP算法長(zhǎng)時(shí)間的訓(xùn)練 竟能正確讀出英語課本中 90的詞匯 從此用神經(jīng)網(wǎng)絡(luò)來識(shí)別語言和圖象形成一個(gè)新的熱潮 數(shù)學(xué)模型數(shù)學(xué)模型 15 4 4、人工神經(jīng)網(wǎng)絡(luò)的基本特點(diǎn)、人工神經(jīng)網(wǎng)絡(luò)的基本特點(diǎn) （1）可處理非線性 （2）并行結(jié)構(gòu)對(duì)神經(jīng)網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元來說；其 運(yùn)算都是同樣的這樣的結(jié)構(gòu)最便于計(jì)算機(jī)并行處理 （3）具有學(xué)習(xí)和記憶能力一個(gè)神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練 學(xué)習(xí)判別

9、事物；學(xué)習(xí)某一種規(guī)律或規(guī)則神經(jīng)網(wǎng)絡(luò)可以 用于聯(lián)想記憶 （4）對(duì)數(shù)據(jù)的可容性大在神經(jīng)網(wǎng)絡(luò)中可以同時(shí)使用量化 數(shù)據(jù)和質(zhì)量數(shù)據(jù)（如好、中、差、及格、不及格等） （5）神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來實(shí)現(xiàn)如美國(guó)用 256 個(gè)神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識(shí)別手寫體的郵政編 碼 數(shù)學(xué)模型數(shù)學(xué)模型 16 四、反向傳播算法（四、反向傳播算法（B-PB-P算法）算法） Back propagation algorithm 1簡(jiǎn)單網(wǎng)絡(luò)的簡(jiǎn)單網(wǎng)絡(luò)的B-P算法算法 算法的目的：根據(jù)實(shí)際的輸入與輸出數(shù)據(jù)，計(jì)算模型的參 數(shù)（權(quán)系數(shù)） 圖6 簡(jiǎn)單網(wǎng)絡(luò) 數(shù)學(xué)模型數(shù)學(xué)模型 17 v假設(shè)有P個(gè)訓(xùn)練樣本，即有P個(gè)輸入輸出對(duì) v（

10、Ip, Tp）,p=1,P, 其中 輸入向量為 , T pmpp iiI),.,( 1 目標(biāo)輸出向量為（實(shí)際上的） T pnpp ttT),.,( 1 網(wǎng)絡(luò)輸出向量為 （理論上的） T pnpp ooO),.,( 1 數(shù)學(xué)模型數(shù)學(xué)模型 18 n i pipi ot 1 2 )(min （p=1,P） （2） 記wij為從輸入向量的第j (j=1,m) 個(gè)分量到輸出向量 的第i (i=1,n)個(gè)分量的權(quán)重。通常理論值與實(shí)際值有一誤 差，網(wǎng)絡(luò)學(xué)習(xí)則是指不斷地把與比較，并根據(jù)極小原則修 改參數(shù)wij，使誤差平方和達(dá)最?。?記 Delta學(xué)習(xí)規(guī)則: pi pipi ot P p pjpipj P p

11、pipiij iiotw 11 )( （4） ijijij www （3） ij w表示遞推一次的修改量，則有 稱為學(xué)習(xí)的速率 數(shù)學(xué)模型數(shù)學(xué)模型 19 ipm= -1 , wim= (第i個(gè)神經(jīng)元的閾值) （5） 注：由（1） 式，第i個(gè)神經(jīng)元的輸出可表示為 m j pjijpi iwfo 1 )( 特別當(dāng)f是線性函數(shù)時(shí) biwao m j pjijpi 1 )(（6） 數(shù)學(xué)模型數(shù)學(xué)模型 20 數(shù)學(xué)模型數(shù)學(xué)模型 21 圖7 多層前饋網(wǎng)絡(luò) 2多層前饋網(wǎng)絡(luò) （l）輸入層不計(jì)在層數(shù)之內(nèi)，它有No個(gè)神經(jīng)元設(shè)網(wǎng)絡(luò) 共有L層；輸出層為第L層；第 k層有Nk個(gè)神經(jīng)元 假設(shè)：假設(shè)： (2) 設(shè))( iu k

12、表示第k層第i神經(jīng)元所接收的信息 wk(i,j) 表示從第k-1層第j個(gè)元到第k層第i個(gè)元的權(quán)重， )(ia k 表第k層第i個(gè)元的輸出 數(shù)學(xué)模型數(shù)學(xué)模型 22 （3）設(shè)層與層間的神經(jīng)元都有信息交換（否則，可設(shè)它們 之間的權(quán)重為零）；但同一層的神經(jīng)元之間無信息傳 輸 (4) 設(shè)信息傳輸?shù)姆较蚴菑妮斎雽拥捷敵鰧臃较颍灰虼朔Q為 前向網(wǎng)絡(luò)沒有反向傳播信息 （5） 表示輸入的第j個(gè)分量 )( 0 ja 假設(shè)：假設(shè)： 數(shù)學(xué)模型數(shù)學(xué)模型 23 在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為： ,1),()( ),()(),()( . ,1),()( ),()(),()( ,1),()( ),()(),()( 1

13、 1 0 1 11 222 1 2122 111 1 1011 LLL N j LLLL N j N j Niiufia ijajiwiu Niiufia ijajiwiu Niiufia ijajiwiu L （7） 其中 表示第k層第i個(gè)元的閾值. 數(shù)學(xué)模型數(shù)學(xué)模型 )(i k 24 定理2 對(duì)于具有多個(gè)隱層的前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S 函數(shù)；且指標(biāo)函數(shù)取 P p p EE 1 （8 8） L N i p L p p iaitE 1 2)()( )()( 2 1 （9） 則每個(gè)訓(xùn)練循環(huán)中按梯度下降時(shí),其權(quán)重迭代公式為 ),(),(),( )( 1 )()1()( jajiwjiw p l

14、 p l p l p l ,.,1Ll （ 10 ） 表示第l-1層第j個(gè)元對(duì)第l層第i個(gè)元輸入 的第p次迭代時(shí)的權(quán)重 ),( )( jiw p l 其中其中 )()()()( )()()()( iufiaiti p L p L pp L （11） （12） 1 1 )1( 1 )( 1 )()( ),()()()( l N j p l p l p l p l ijwjiufi . 11Ll數(shù)學(xué)模型數(shù)學(xué)模型 25 BP算法 Step1 選定學(xué)習(xí)的數(shù)據(jù),p=1,P, 隨機(jī)確定初始 權(quán)矩陣W（0） Step2 用（10）式反向修正,直到用完所有學(xué) 習(xí)數(shù)據(jù). 用學(xué)習(xí)數(shù)據(jù)計(jì)算網(wǎng)絡(luò)輸出 Step3 ),

15、(),(),( )( 1 )()1()( jajiwjiw p l p l p l p l ,.,1Ll 數(shù)學(xué)模型數(shù)學(xué)模型 26 五應(yīng)用之例：蚊子的分類五應(yīng)用之例：蚊子的分類 已知的兩類蚊子的數(shù)據(jù)如表1： v翼長(zhǎng) 觸角長(zhǎng) 類別 v1.78 1.14 Apf v1.96 1.18 Apf v1.86 1.20 Apf v1.72 1.24 Af v2.00 1.26 Apf v2.00 1.28 Apf v1.96 1.30 Apf v1.74 1.36 Af 目標(biāo)值目標(biāo)值 0.9 0.9 0.9 0.1 0.9 0.9 0.9 0.1 v翼長(zhǎng) 觸角長(zhǎng) 類別 v 1.64 1.38 Af v 1

16、.82 1.38 Af v 1.90 1.38 Af v 1.70 1.40 Af v 1.82 1.48 Af v 1.82 1.54 Af v 2.08 1.56 Af 目標(biāo)t 0.1 0.1 0.1 0.1 0.1 0.1 0.1 數(shù)學(xué)模型數(shù)學(xué)模型 27 v輸入數(shù)據(jù)有15個(gè)，即 , p=1,15; j=1, 2; 對(duì)應(yīng)15 個(gè)輸出。 v建模：（輸入層，中間層，輸出層，每層的元素 應(yīng)取多少個(gè)？） v建立神經(jīng)網(wǎng)絡(luò) 數(shù)學(xué)模型數(shù)學(xué)模型 28 v規(guī)定目標(biāo)為： 當(dāng)t(1)=0.9 時(shí)表示屬于Apf類，t(2)=0.1表 示屬于Af類。 v設(shè)兩個(gè)權(quán)重系數(shù)矩陣為： )3 ,2()2,2()1 ,2( )

17、3 , 1()2, 1()1 , 1( 111 111 1 www www W )3 , 1()2, 1()1 , 1( 2222 wwwW )()3 ,(jjw ii 為閾值 其中 數(shù)學(xué)模型數(shù)學(xué)模型 29 分析如下： 為第一層的輸出，同時(shí)作為第二層的輸入。 )2()2()2 , 2() 1 () 1 , 2()2( ) 1 ()2()2 , 1 () 1 () 1 , 1 () 1 ( 101011 101011 awawu awawu )1 () 1 ( 11 ufa )2()2( 11 ufa 其中， 為閾值， 為激勵(lì)函數(shù) i f 1)3( 0 a若令 （作為一固定輸入） （閾值作為固定

18、輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)） j jw)3,( 1 2,1j數(shù)數(shù) 學(xué)學(xué) 模模 型型 30 3 1 010101011 3 1 010101011 )(), 2()3()3 , 2()2()2 , 2() 1 () 1 , 2()2( )(), 1 ()3()3 , 1 ()2()2 , 1 () 1 () 1 , 1 () 1 ( j j jajwawawawu jajwawawawu 則有： x e xf 1 1 )(取激勵(lì)函數(shù)為 )()( 11 iufia= )(exp(1 1 1 iu 2 , 1i 則 同樣，取 , 1) 3( 1 a )3 , 1 ( 2 w )1 (exp(1 1 )

19、1 ( )(), 1 () 1 ( 2 2 3 1 122 u a jajwu j 數(shù)數(shù) 學(xué)學(xué) 模模 型型 31 （1）隨機(jī)給出兩個(gè)權(quán)矩陣的初值；例如用MATLAB軟件時(shí)可 以用以下語句： 令p=0 具體算法如下：具體算法如下： )0( 1 W=rand(2,3); )0( 2 W=rand(1,3); (2) 根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出 3 1 010101011 3 1 010101011 )(), 2() 3() 3 , 2()2()2 , 2() 1 () 1 , 2()2( )(), 1 () 3() 3 , 1 ()2()2 , 1 () 1 () 1 , 1 () 1 (

20、 j j jajwawawawu jajwawawawu )()( 11 iufia )(exp(1 1 1 iu = 2, 1i 數(shù)數(shù) 學(xué)學(xué) 模模 型型 32 , 1) 3( 1 a )1 (exp(1 1 ) 1 ( )(), 1 () 1 ( 2 2 3 1 122 u a jajwu j 取取 （3）計(jì)算 x e xf 1 1 )( 因?yàn)?所以 2 )1 ( )( x x e e xf )1 ()1 () 1 () 1 ( 2 22 ufat 2 222 )1 (exp(1/()1 (exp()1 () 1 (uuat （4）取 （或其他正數(shù)，可調(diào)整大?。?1 . 0 數(shù)數(shù) 學(xué)學(xué) 模模 型型 33 )( )1