神經(jīng)計(jì)算課件

1、1 1 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 2 感知器 3 bp神經(jīng)網(wǎng)絡(luò)2 人工神經(jīng)網(wǎng)絡(luò)是人腦及其活動(dòng)的一個(gè)理論化的數(shù)學(xué)模型，它由大量的處理單元通過(guò)適當(dāng)?shù)姆绞交ミB構(gòu)成，是一個(gè)大規(guī)模的非線性自適應(yīng)系統(tǒng)。 是一個(gè)并行、分布處理結(jié)構(gòu)，它由處理單元及稱(chēng)為連接的無(wú)向信號(hào)通道互連而成。34 1）學(xué)習(xí)能力 2）普化能力 3）信息的分布存放 4）適用性5可以根據(jù)所在的環(huán)境取改變它的行為。也就是說(shuō)，人工神經(jīng)網(wǎng)絡(luò)可以接受用戶(hù)提交的樣本集合，依照系統(tǒng)給定的算法，不斷修正用來(lái)確定系數(shù)行為的神經(jīng)元之間的連接強(qiáng)度，而且在網(wǎng)絡(luò)的基本構(gòu)成確定之后，這種改變是根據(jù)其接受的樣本集合自然進(jìn)行的。在學(xué)習(xí)過(guò)程中，人工神經(jīng)網(wǎng)絡(luò)不斷從所接受的樣本集合中提取

2、該集合所蘊(yùn)含的基本內(nèi)容，并將其以神經(jīng)元之間的連接權(quán)重的形式存放于系統(tǒng)中。對(duì)于不同的人工神經(jīng)網(wǎng)絡(luò)模型來(lái)說(shuō)，有不同的學(xué)習(xí)/訓(xùn)練算法，有事，同種結(jié)構(gòu)的網(wǎng)絡(luò)擁有不同的算法，以適應(yīng)不同的應(yīng)用要求。對(duì)一個(gè)網(wǎng)絡(luò)模型來(lái)說(shuō)，其學(xué)習(xí)/訓(xùn)練算法是非常重要的。6 由于其運(yùn)算的不精確性，人工神經(jīng)網(wǎng)絡(luò)在被訓(xùn)練后，對(duì)輸入的微小變化是不反應(yīng)的。與事物的兩面性相對(duì)應(yīng)，雖然在要求高精度計(jì)算時(shí)，這種不精確性是一個(gè)缺陷，但是，有些場(chǎng)合又可以利用這一點(diǎn)獲取系統(tǒng)的良好性能。例如，可以使這種不精確性表現(xiàn)成“去噪聲，容殘缺”的能力，而這對(duì)模式識(shí)別有時(shí)恰好是非常重要的。7 人工神經(jīng)網(wǎng)絡(luò)擅長(zhǎng)于處理適用形象思維的問(wèn)題。主要包括兩個(gè)方面： 1）對(duì)大

3、量的數(shù)據(jù)進(jìn)行分類(lèi)，并且只有較少的幾種情況。 2）必須學(xué)習(xí)一個(gè)復(fù)雜的非線性映射。8計(jì)算功能計(jì)算功能ann模型代表模型代表數(shù)學(xué)近似映射，如模式識(shí)別，分類(lèi)，函數(shù)逼近bp cpn rbf elamn概率密度函數(shù)估計(jì)som cpn從二進(jìn)制數(shù)據(jù)基中提取相關(guān)信息bsb（腦中盒模型）形成拓?fù)溥B續(xù)及統(tǒng)計(jì)意義上的同構(gòu)映射som,kohonen最近相鄰模式分類(lèi)bp,bm(玻爾茲曼機(jī))，cpn, hopfield，bam,art, kohonen數(shù)據(jù)聚類(lèi)art最優(yōu)化 bm hopfield9 基本構(gòu)成 激活函數(shù) m-p模型1011神經(jīng)元在獲得網(wǎng)絡(luò)輸入后，它應(yīng)該給出適當(dāng)?shù)妮敵?。按照生物神?jīng)元的特性，每個(gè)神經(jīng)元有一個(gè)閾值

4、，當(dāng)該神經(jīng)元所獲得的輸入信號(hào)的累積效果超過(guò)閾值時(shí)，它就處于激發(fā)態(tài)；否則，應(yīng)該處于抑制態(tài)。為了使系統(tǒng)有更寬的適用面，希望人工神經(jīng)元有一個(gè)更一般的變換函數(shù)，用來(lái)執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，這就是激活函數(shù)，也可以稱(chēng)之為激勵(lì)函數(shù)、活化函數(shù)，用f表示：式中，o是該神經(jīng)元的輸出。由此式可以看出，此函數(shù)同時(shí)也用來(lái)將神經(jīng)元的輸出進(jìn)行放大處理或限制在一個(gè)適當(dāng)?shù)姆秶鷥?nèi)。典型的激活函數(shù)有線性函數(shù)、非線性斜面函數(shù)、階躍函數(shù)和s形函數(shù)等4種。()of net121314 單級(jí)網(wǎng) 多級(jí)網(wǎng) 循環(huán)網(wǎng)151617 人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是其學(xué)習(xí)能力。 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程就是對(duì)它的訓(xùn)練過(guò)程。所謂訓(xùn)練，就是在

5、將由樣本向量構(gòu)成的樣本集合（簡(jiǎn)稱(chēng)為樣本集、訓(xùn)練集）輸入到人工神經(jīng)網(wǎng)絡(luò)的過(guò)程中，按照一定的方式去調(diào)整神經(jīng)元之間的連接權(quán)，使得網(wǎng)絡(luò)能將樣本集的內(nèi)涵以連接權(quán)矩陣的方式存儲(chǔ)起來(lái)，從而使得在網(wǎng)絡(luò)接受輸入時(shí)，可以給出適當(dāng)?shù)妮敵觥?從學(xué)習(xí)的形式來(lái)看，一種是有導(dǎo)師學(xué)習(xí)，另一種是無(wú)導(dǎo)師學(xué)習(xí)，后者較為低級(jí)。181920 感知器是最早被設(shè)計(jì)并被實(shí)現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)。 學(xué)習(xí)算法 線性不可分問(wèn)題2122 離散單輸出感知器訓(xùn)練算法 離散多輸出感知器訓(xùn)練算法 連續(xù)多輸出感知器訓(xùn)練算法23242526 rumelhart，mcclelland于1985年提出了bp網(wǎng)絡(luò)的誤差反向后傳bp(back propagation)學(xué)習(xí)算

6、法 bp算法基本原理利用輸出后的誤差來(lái)估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計(jì)。 david rumelhart j. mcclelland 27 三層bp網(wǎng)絡(luò)1x2x1nx1y2y2ny1z2z3nz123n1t2tihwhjw- - -隱含層輸出層輸入層3nt28 激活函數(shù)必須處處可導(dǎo) 一般都使用s型函數(shù) 使用s型激活函數(shù)時(shí)bp網(wǎng)絡(luò)輸入與輸出關(guān)系輸入輸出1122.nnnetx wx wx w1f()1enetynet29 輸出的導(dǎo)數(shù)2f ()111 e(1 e)(1)-netnetnetyy根據(jù)根據(jù)s s型激活函數(shù)

7、的圖形可知型激活函數(shù)的圖形可知, ,對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)該將對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)該將netnet的值盡的值盡量控制在收斂比較快的范圍內(nèi)量控制在收斂比較快的范圍內(nèi) 30 學(xué)習(xí)的過(guò)程： 神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。 學(xué)習(xí)的本質(zhì)： 對(duì)各連接權(quán)值的動(dòng)態(tài)調(diào)整 學(xué)習(xí)規(guī)則： 權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過(guò)程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。31 學(xué)習(xí)的類(lèi)型：有導(dǎo)師學(xué)習(xí) 核心思想：將輸出誤差以某種形式通過(guò)隱層向輸入層逐層反傳 學(xué)習(xí)的過(guò)程：信號(hào)的正向傳播 誤差的反向傳播將誤差分?jǐn)偨o各層的所有將誤差分?jǐn)偨o各層的所有單元各層單元的誤單元各

8、層單元的誤差信號(hào)差信號(hào)修正各單元權(quán)修正各單元權(quán)值值32 正向傳播：輸入樣本輸入層各隱層輸出層 判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實(shí)際輸出與期望的輸出（教師信號(hào)）不符 誤差反傳誤差以某種形式在各層表示修正各層單元的權(quán)值 網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止33 網(wǎng)絡(luò)結(jié)構(gòu)輸入層有n個(gè)神經(jīng)元，隱含層有p個(gè)神經(jīng)元, 輸出層有q個(gè)神經(jīng)元 變量定義輸入向量; 隱含層輸入向量； 隱含層輸出向量; 輸出層輸入向量; 輸出層輸出向量; 期望輸出向量; 12,nxxxx12,phihihihi12,pho hohoho12,qyiyiyiyi12,qyoyoyoyo12,qdddod34

9、 輸入層與中間層的連接權(quán)值: 隱含層與輸出層的連接權(quán)值: 隱含層各神經(jīng)元的閾值: 輸出層各神經(jīng)元的閾值: 樣本數(shù)據(jù)個(gè)數(shù): 激活函數(shù): 誤差函數(shù)：ihwf( ) howhb1,2,kmob211( )( )2qoooedkyo k35 第一步，網(wǎng)絡(luò)初始化 給各連接權(quán)值分別賦一個(gè)區(qū)間（-1，1）內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)e，給定計(jì)算精度值 和最大學(xué)習(xí)次數(shù)m。 第二步,隨機(jī)選取第 個(gè)輸入樣本及對(duì)應(yīng)期望輸出 k12( )( ),( ),( )nkx kx kx kx12( )( ),( ),( )qkd kdkdkod36 第三步，計(jì)算隱含層各神經(jīng)元的輸入和輸出1( )( )1,2,nhihihihik

10、w x kbhp( )f( )1,2,hhho khi khp1( )( )1,2,pohohohyi kw ho kboq( )f( )1,2,ooyo kyi koq37 第四步，利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出，計(jì)算誤差函數(shù)對(duì)輸出層的各神經(jīng)元的偏導(dǎo)數(shù) 。 ohoohoeeyiwyiw( )( )( )phohoohhhohow ho kbyi kho kww211( ( )( )2( ( )( )( )( ( )( )f( )( )qooooooooooood kyo ked kyo k yo kyiyid kyo kyi kk( )ok38( )( )oohhoohoeeyik ho kwy

11、iw 1( )( )( )( )( )hihhihnihihhiiihiheehikwhikww x kbhikx kwwp第五步，利用隱含層到輸出層的連接權(quán)第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的值、輸出層的 和隱含層的輸出計(jì)算誤和隱含層的輸出計(jì)算誤差函數(shù)對(duì)隱含層各神經(jīng)元的偏導(dǎo)數(shù)差函數(shù)對(duì)隱含層各神經(jīng)元的偏導(dǎo)數(shù) 。 ( )hk( )ok3921212111( )( ) )( )2( )( )( )1( )f( ) )( )2( )( )1( )f( ) )( )2( )( )qoohohhhqoohohhqpohohohohhhd kyo keho khi kho khi kd kyi

12、kho kho khi kd kw ho kbho kho khi k11( )( )( )f ( )( )( )f ( )( )qhooohoohqohohhoho kd kyo kyi kwhi kk whi kk 40 第六步，利用輸出層各神經(jīng)元的 和隱含層各神經(jīng)元的輸出來(lái)修正連接權(quán)值 。 1( )( )( )( )( )hoohhonnhohoohewkk ho kwwwk ho k ( )ok( )howk41 第七步，利用隱含層各神經(jīng)元的 和輸入層各神經(jīng)元的輸入修正連接權(quán)。 ( )hk1( )( )( ) ( )( )( ) ( )hihhiihhihnnihihhieehi kw

13、 kk x kwhi kwwwk x k42 第八步，計(jì)算全局誤差 第九步，判斷網(wǎng)絡(luò)誤差是否滿(mǎn)足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個(gè)學(xué)習(xí)樣本及對(duì)應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)。 2111( )( )2qmookoedky km43 bp算法直觀解釋情況一直觀表達(dá) 當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù)大于零時(shí)，權(quán)值調(diào)整量為負(fù)，實(shí)際輸出大于期望輸出，權(quán)值向減少方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。whohoewe0，此時(shí)，此時(shí)who044 bp算法直解釋情況二直觀表達(dá) 當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù)小于零時(shí)，權(quán)值調(diào)整量為正，實(shí)際輸出少于期望輸出，權(quán)值向增大方向調(diào)

14、整，使得實(shí)際輸出與期望輸出的差減少。hoewe0who45 matlab中bp神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能 函函 數(shù)數(shù) 名名功功 能能newff()生成一個(gè)前饋生成一個(gè)前饋bp網(wǎng)絡(luò)網(wǎng)絡(luò)tansig()雙曲正切雙曲正切s型型(tan-sigmoid)傳輸函數(shù)傳輸函數(shù)logsig()對(duì)數(shù)對(duì)數(shù)s型型(log-sigmoid)傳輸函數(shù)傳輸函數(shù)traingd()梯度下降梯度下降bp訓(xùn)練函數(shù)訓(xùn)練函數(shù)46 matlab中bp神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能 newff() 功能 建立一個(gè)前向bp網(wǎng)絡(luò) 格式 net = newff(pr，s1 s2.sn1，tf1 tf2.tfn1，btf，blf，pf) 說(shuō)明

15、net為創(chuàng)建的新bp神經(jīng)網(wǎng)絡(luò)；pr為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣；s1 s2snl表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個(gè)數(shù)；tfl tf2tfn1表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為tansig；btf表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為trainlm；blf表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為learngdm；pf表示性能數(shù)，默認(rèn)為mse。 47 matlab中bp神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能 tansig() 功能 正切sigmoid激活函數(shù) 格式 a = tansig(n) 說(shuō)明 雙曲正切sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-，+)映射到(-1，1)。它是可導(dǎo)函數(shù)，適用于bp訓(xùn)練的神經(jīng)元。 logsi

16、g() 功能 對(duì)數(shù)sigmoid激活函數(shù) 格式 a = logsig(n) 說(shuō)明對(duì)數(shù)sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-，+)映射到(0，1)。它是可導(dǎo)函數(shù)，適用于bp訓(xùn)練的神經(jīng)元。48例2-3，下表為某藥品的銷(xiāo)售情況，現(xiàn)構(gòu)建一個(gè)如下的三層bp神經(jīng)網(wǎng)絡(luò)對(duì)藥品的銷(xiāo)售進(jìn)行預(yù)測(cè)：輸入層有三個(gè)結(jié)點(diǎn)，隱含層結(jié)點(diǎn)數(shù)為5，隱含層的激活函數(shù)為tansig；輸出層結(jié)點(diǎn)數(shù)為1個(gè)，輸出層的激活函數(shù)為logsig，并利用此網(wǎng)絡(luò)對(duì)藥品的銷(xiāo)售量進(jìn)行預(yù)測(cè)，預(yù)測(cè)方法采用滾動(dòng)預(yù)測(cè)方式，即用前三個(gè)月的銷(xiāo)售量來(lái)預(yù)測(cè)第四個(gè)月的銷(xiāo)售量，如用1、2、3月的銷(xiāo)售量為輸入預(yù)測(cè)第4個(gè)月的銷(xiāo)售量，用2、3、4月的銷(xiāo)售量為輸入預(yù)測(cè)第5個(gè)月的

17、銷(xiāo)售量.如此反復(fù)直至滿(mǎn)足預(yù)測(cè)精度要求為止。 月份月份123456銷(xiāo)量銷(xiāo)量205623952600229816341600月份月份789101112銷(xiāo)量銷(xiāo)量18731478190015002046155649%以每三個(gè)月的銷(xiāo)售量經(jīng)歸一化處理后作為輸入p=0.51520.81731.0000 ; 0.81731.00000.7308; 1.00000.73080.1390; 0.73080.13900.1087; 0.13900.10870.3520; 0.10870.35200.0000;%以第四個(gè)月的銷(xiāo)售量歸一化處理后作為目標(biāo)向量t=0.7308 0.1390 0.1087 0.3520 0.

18、0000 0.3761;%創(chuàng)建一個(gè)bp神經(jīng)網(wǎng)絡(luò)，每一個(gè)輸入向量的取值范圍為0 ,1，隱含層有5個(gè)神經(jīng)%元，輸出層有一個(gè)神經(jīng)元，隱含層的激活函數(shù)為tansig，輸出層的激活函數(shù)為%logsig，訓(xùn)練函數(shù)為梯度下降函數(shù)，即2.3.2節(jié)中所描述的標(biāo)準(zhǔn)學(xué)習(xí)算法net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net.trainparam.epochs=15000;net.trainparam.goal=0.01;%設(shè)置學(xué)習(xí)速率為0.1lp.lr=0.1;net=train(net,p,t); 50 bp網(wǎng)絡(luò)應(yīng)用于藥品預(yù)測(cè)對(duì)比圖由對(duì)比圖可以看出預(yù)測(cè)效果與實(shí)際存在一定誤差，此誤差可以通過(guò)增加運(yùn)行步數(shù)和提高預(yù)設(shè)誤差精度業(yè)進(jìn)一步縮小51 非線性映射能力能學(xué)習(xí)和存貯大量輸入能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無(wú)需事輸出模式映射關(guān)系，而無(wú)需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對(duì)供網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成夠多的樣本模式對(duì)供網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由由n維輸入空間到維