神經(jīng)網(wǎng)絡(luò)以及在數(shù)學(xué)建模上的應(yīng)用

1、 人工神經(jīng)網(wǎng)絡(luò)及在數(shù)學(xué)建模上的應(yīng)用 神經(jīng)元與網(wǎng)絡(luò)結(jié)構(gòu) 生物神經(jīng)元及生物神經(jīng)網(wǎng)絡(luò) 人腦大約由1012個(gè)神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò) 神經(jīng)元是大腦處理信息的基本單元，以細(xì)胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細(xì)胞，其形狀很像一棵枯樹的枝干。它主要由細(xì)胞體、樹突、軸突和突觸(Synapse，又稱神經(jīng)鍵)組成。 生物神經(jīng)元示意圖 從神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近。當(dāng)神經(jīng)元細(xì)胞體通過軸突傳到突觸前膜的脈沖幅度達(dá)到一定強(qiáng)度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)。 突觸有兩種：興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后

2、者產(chǎn)生負(fù)突觸后電位。 突觸傳遞信息的功能和特點(diǎn)歸納為： 信息傳遞有時(shí)延，一般為0.3lms。信息的綜合有時(shí)間累加和空間累加。 突觸有興奮性和抑制性兩種類型。 具有脈沖電位信號(hào)轉(zhuǎn)換功能。 神經(jīng)纖維傳導(dǎo)的速度，即脈沖沿神經(jīng)纖維傳遞的速度，在1150ms之間 存在不應(yīng)期。 不可逆性，脈沖只從突觸前傳到突觸后，不逆向傳遞。 可塑性，突觸傳遞信息的強(qiáng)度是可變的，即具有學(xué)習(xí)功能。 存在遺忘或疲勞效應(yīng)。人腦神經(jīng)網(wǎng)絡(luò)系統(tǒng)腦神經(jīng)系統(tǒng)的主要組成部分 人腦神經(jīng)網(wǎng)絡(luò)信息處理的特點(diǎn)1分布存儲(chǔ)與冗余性 2并行處理 3信息處理與存儲(chǔ)合一 4可塑性與自組織性 5魯棒性 人工神經(jīng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)直觀理解 神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布

3、式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)，它一般由許多個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元只有一個(gè)輸出，它可以連接到很多其他的神經(jīng)元，每個(gè)神經(jīng)元輸入有多個(gè)連接通道，每個(gè)連接通道對(duì)應(yīng)于一個(gè)連接權(quán)系數(shù)。 人工神經(jīng)元模型 歸納一下生物神經(jīng)元傳遞信息的過程： 生物神經(jīng)元是一個(gè)多輸入、單輸出單元。常用的人工神經(jīng)元模型可用下圖模擬。 人工神經(jīng)元模型 響應(yīng)函數(shù)的基本作用：1、控制輸入對(duì)輸出的激活作用；2、對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；3、將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。 響應(yīng)函數(shù)： 1、閾值函數(shù) 2、線性函數(shù)3、非線性函數(shù)：Sigmoid函數(shù) 人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成 神經(jīng)元的模型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓

4、撲結(jié)構(gòu)及學(xué)習(xí)方法。 人工神經(jīng)網(wǎng)絡(luò)連接的幾種基本形式：1前向網(wǎng)絡(luò) 網(wǎng)絡(luò)中的神經(jīng)元是分層排列的，每個(gè)神經(jīng)元只與前一層的神經(jīng)元相連接。 2從輸出到輸入有反饋的前向網(wǎng)絡(luò) 3層內(nèi)互連前向網(wǎng)絡(luò) 4互連網(wǎng)絡(luò) 圖35 神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu) 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。的學(xué)習(xí)能力。1962年，年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西。會(huì)它可以表達(dá)的任何東西。人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大

5、地限制了它的學(xué)習(xí)能力。它的學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對(duì)它的訓(xùn)人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對(duì)它的訓(xùn)練過程練過程無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí) 無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí)(Unsupervised Learning)與無與無導(dǎo)師訓(xùn)練導(dǎo)師訓(xùn)練(Unsupervised Training)相對(duì)應(yīng)相對(duì)應(yīng) 抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性，并以，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí)Hebb學(xué)習(xí)律、競(jìng)爭(zhēng)與協(xié)同（學(xué)習(xí)律、競(jìng)爭(zhēng)與協(xié)同（Competitive and Cooperative）學(xué)習(xí)、隨機(jī)聯(lián)接系統(tǒng)學(xué)習(xí)、隨機(jī)聯(lián)接系統(tǒng)（Rando

6、mly Connected Learning）等。等。Hebb算法算法D. O. Hebb在在1961年年的核心：的核心：當(dāng)兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)被加當(dāng)兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)被加強(qiáng)，否則被減弱。強(qiáng)，否則被減弱。數(shù)學(xué)表達(dá)式表示：數(shù)學(xué)表達(dá)式表示： Wij（t+1）=Wij（t）+oi（t）oj（t）2.5.2 有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí) 有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí)(Supervised Learning)與有導(dǎo)師訓(xùn)與有導(dǎo)師訓(xùn)練練(Supervised Training)相對(duì)應(yīng)。相對(duì)應(yīng)。輸入向量與其對(duì)應(yīng)的輸出向量構(gòu)成一個(gè)輸入向量與其對(duì)應(yīng)的輸出向量構(gòu)成一個(gè)“訓(xùn)練訓(xùn)練對(duì)對(duì)”。有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步

7、驟包括：有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：1） 從樣本集合中取一個(gè)樣本（從樣本集合中取一個(gè)樣本（Ai，Bi）；）；2） 計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出O； 3） 求求D=Bi-O；4） 根據(jù)根據(jù)D調(diào)整權(quán)矩陣調(diào)整權(quán)矩陣W； 5 5） 對(duì)每個(gè)樣本重復(fù)上述過程，直到對(duì)整個(gè)樣本集對(duì)每個(gè)樣本重復(fù)上述過程，直到對(duì)整個(gè)樣本集來說，誤差不超過規(guī)定范圍。來說，誤差不超過規(guī)定范圍。 Delta規(guī)則規(guī)則 Widrow和和Hoff的寫法的寫法：Wij( (t+1) )=Wij( (t) )+( (yj- aj( (t)oi( (t) )也可以寫成：也可以寫成：Wij( (t+1) )=Wij( (t) )+ Wij( (t) ) Wij(t(t) )=joi(t(t) )j=yj- aj(t(t) )Grossberg的寫法為：的寫法為： Wij(t(t)=)=aai i(t)(o(t)(oj j(t)-W(t)-Wijij(t(t)更一般的更一般的Delta規(guī)則為：規(guī)則為： Wij( (t) )=g( (ai(t)，yj，oj( (t) )，Wij( (t)其它其它再例學(xué)習(xí)