《神經(jīng)計算》ppt課件

1、 1 人工神經(jīng)網(wǎng)絡根底 2 感知器 3 BP神經(jīng)網(wǎng)絡 人工神經(jīng)網(wǎng)絡是人腦及其活動的一個實際化的數(shù)學模型，它由大量的處置單元經(jīng)過適當?shù)姆绞交ミB構(gòu)成，是一個大規(guī)模的非線性自順應系統(tǒng)。 是一個并行、分布處置構(gòu)造，它由處置單元及稱為銜接的無向信號通道互連而成。 1學習才干 2普化才干 3信息的分布存放 4適用性可以根據(jù)所在的環(huán)境取改動它的行為。也就是說，人工神經(jīng)網(wǎng)絡可以接受用戶提交的樣本集合，按照系統(tǒng)給定的算法，不斷修正用來確定系數(shù)行為的神經(jīng)元之間的銜接強度，而且在網(wǎng)絡的根本構(gòu)成確定之后，這種改動是根據(jù)其接受的樣本集合自然進展的。在學習過程中，人工神經(jīng)網(wǎng)絡不斷從所接受的樣本集合中提取該集合所蘊含的根本

2、內(nèi)容，并將其以神經(jīng)元之間的銜接權(quán)重的方式存放于系統(tǒng)中。對于不同的人工神經(jīng)網(wǎng)絡模型來說，有不同的學習/訓練算法，有事，同種構(gòu)造的網(wǎng)絡擁有不同的算法，以順應不同的運用要求。對一個網(wǎng)絡模型來說，其學習/訓練算法是非常重要的。 由于其運算的不準確性，人工神經(jīng)網(wǎng)絡在被訓練后，對輸入的微小變化是不反響的。與事物的兩面性相對應，雖然在要求高精度計算時，這種不準確性是一個缺陷，但是，有些場所又可以利用這一點獲取系統(tǒng)的良好性能。例如，可以使這種不準確性表現(xiàn)成“去噪聲，容殘缺的才干，而這對方式識別有時恰好是非常重要的。 人工神經(jīng)網(wǎng)絡擅長于處置適用籠統(tǒng)思想的問題。主要包括兩個方面： 1對大量的數(shù)據(jù)進展分類，并且只需

3、較少的幾種情況。 2必需學習一個復雜的非線性映射。計算功能計算功能ANN模型代表模型代表數(shù)學近似映射，如方式識別，分類，函數(shù)逼近BP CPN RBF Elamn概率密度函數(shù)估計SOM CPN從二進制數(shù)據(jù)基中提取相關(guān)信息BSB腦中盒模型構(gòu)成拓撲延續(xù)及統(tǒng)計意義上的同構(gòu)映射SOM,Kohonen最近相鄰方式分類BP,BM(玻爾茲曼機)，CPN, Hopfield，BAM,ART, Kohonen數(shù)據(jù)聚類ART最優(yōu)化 BM Hopfield 根本構(gòu)成 激活函數(shù) M-P模型神經(jīng)元在獲得網(wǎng)絡輸入后，它應該給出適當?shù)妮敵?。按照生物神?jīng)元的特性，每個神經(jīng)元有一個閾值，當該神經(jīng)元所獲得的輸入信號的累積效果超越閾

4、值時，它就處于激發(fā)態(tài)；否那么，應該處于抑制態(tài)。為了使系統(tǒng)有更寬的適用面，希望人工神經(jīng)元有一個更普通的變換函數(shù)，用來執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡輸入的變換，這就是激活函數(shù)，也可以稱之為鼓勵函數(shù)、活化函數(shù)，用f表示：式中，o是該神經(jīng)元的輸出。由此式可以看出，此函數(shù)同時也用來將神經(jīng)元的輸出進展放大處置或限制在一個適當?shù)姆秶鷥?nèi)。典型的激活函數(shù)有線性函數(shù)、非線性斜面函數(shù)、階躍函數(shù)和S形函數(shù)等4種。()of net 單級網(wǎng) 多級網(wǎng) 循環(huán)網(wǎng) 人工神經(jīng)網(wǎng)絡最具有吸引力的特點是其學習才干。 人工神經(jīng)網(wǎng)絡的學習過程就是對它的訓練過程。所謂訓練，就是在將由樣本向量構(gòu)成的樣本集合簡稱為樣本集、訓練集輸入到人工神經(jīng)網(wǎng)絡的

5、過程中，按照一定的方式去調(diào)整神經(jīng)元之間的銜接權(quán)，使得網(wǎng)絡能將樣本集的內(nèi)涵以銜接權(quán)矩陣的方式存儲起來，從而使得在網(wǎng)絡接受輸入時，可以給出適當?shù)妮敵觥?從學習的方式來看，一種是有導師學習，另一種是無導師學習，后者較為低級。 感知器是最早被設(shè)計并被實現(xiàn)的人工神經(jīng)網(wǎng)絡。 學習算法 線性不可分問題 離散單輸出感知器訓練算法 離散多輸出感知器訓練算法 延續(xù)多輸出感知器訓練算法 Rumelhart，McClelland于1985年提出了BP網(wǎng)絡的誤差反向后傳BP(Back Propagation)學習算法 BP算法根本原理 利用輸出后的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此

6、一層一層的反傳下去，就獲得了一切其他各層的誤差估計。 David Rumelhart J. McClelland 三層BP網(wǎng)絡1x2x1Nx1y2y2Ny1z2z3Nz123N1T2Tihwhjw- - -隱含層輸出層輸入層3NT 激活函數(shù) 必需處處可導 普通都運用S型函數(shù) 運用S型激活函數(shù)時BP網(wǎng)絡輸入與輸出關(guān)系 輸入 輸出1122.nnnetx wx wx w1f()1enetynet 輸出的導數(shù)2f ()111 e(1 e)(1)-netnetnetyy根據(jù)根據(jù)S S型激活函數(shù)的圖形可知型激活函數(shù)的圖形可知, ,對神經(jīng)網(wǎng)絡進展訓練，應該將對神經(jīng)網(wǎng)絡進展訓練，應該將netnet的值盡的值盡

7、量控制在收斂比較快的范圍內(nèi)量控制在收斂比較快的范圍內(nèi) 學習的過程： 神經(jīng)網(wǎng)絡在外界輸入樣本的刺激下不斷改動網(wǎng)絡的銜接權(quán)值,以使網(wǎng)絡的輸出不斷地接近期望的輸出。 學習的本質(zhì)： 對各銜接權(quán)值的動態(tài)調(diào)整 學習規(guī)那么： 權(quán)值調(diào)整規(guī)那么，即在學習過程中網(wǎng)絡中各神經(jīng)元的銜接權(quán)變化所根據(jù)的一定的調(diào)整規(guī)那么。 學習的類型：有導師學習 中心思想： 將輸出誤差以某種方式經(jīng)過隱層向輸入層逐層反傳 學習的過程： 信號的正向傳播 誤差的反向傳播將誤差分攤給各層的一切將誤差分攤給各層的一切單元各層單元的誤單元各層單元的誤差信號差信號修正各單元權(quán)修正各單元權(quán)值值 正向傳播： 輸入樣本輸入層各隱層輸出層 判別能否轉(zhuǎn)入反向傳播

8、階段： 假設(shè)輸出層的實踐輸出與期望的輸出教師信號不符 誤差反傳 誤差以某種方式在各層表示修正各層單元的權(quán)值 網(wǎng)絡輸出的誤差減少到可接受的程度 進展到預先設(shè)定的學習次數(shù)為止 網(wǎng)絡構(gòu)造 輸入層有n個神經(jīng)元，隱含層有p個神經(jīng)元, 輸出層有q個神經(jīng)元 變量定義 輸入向量; 隱含層輸入向量； 隱含層輸出向量; 輸出層輸入向量; 輸出層輸出向量; 期望輸出向量; 12,nxxxx12,phihihihi12,pho hohoho12,qyiyiyiyi12,qyoyoyoyo12,qdddod 輸入層與中間層的銜接權(quán)值: 隱含層與輸出層的銜接權(quán)值: 隱含層各神經(jīng)元的閾值: 輸出層各神經(jīng)元的閾值: 樣本數(shù)據(jù)

9、個數(shù): 激活函數(shù): 誤差函數(shù)：ihwf( ) howhb1,2,kmob211( )( )2qoooedkyo k 第一步，網(wǎng)絡初始化 給各銜接權(quán)值分別賦一個區(qū)間-1，1內(nèi)的隨機數(shù)，設(shè)定誤差函數(shù)e，給定計算精度值 和最大學習次數(shù)M。 第二步,隨機選取第 個輸入樣本及對應期望輸出 k12( )( ),( ),( )nkx kx kx kx12( )( ),( ),( )qkd kdkdkod 第三步，計算隱含層各神經(jīng)元的輸入和輸出1( )( )1,2,nhihihihikw x kbhp( )f( )1,2,hhho khi khp1( )( )1,2,pohohohyi kw ho kboq(

10、 )f( )1,2,ooyo kyi koq 第四步，利用網(wǎng)絡期望輸出和實踐輸出，計算誤差函數(shù)對輸出層的各神經(jīng)元的偏導數(shù) 。 ohoohoeeyiwyiw( )( )( )phohoohhhohow ho kbyi kho kww211( ( )( )2( ( )( )( )( ( )( )f( )( )qooooooooooood kyo ked kyo k yo kyiyid kyo kyi kk( )ok( )( )oohhoohoeeyik ho kwyiw 1( )( )( )( )( )hihhihnihihhiiihiheehikwhikww x kbhikx kwwp第五步，利

11、用隱含層到輸出層的銜接權(quán)第五步，利用隱含層到輸出層的銜接權(quán)值、輸出層的值、輸出層的 和隱含層的輸出計算誤和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導數(shù)差函數(shù)對隱含層各神經(jīng)元的偏導數(shù) 。 ( )hk( )ok21212111( )( ) )( )2( )( )( )1( )f( ) )( )2( )( )1( )f( ) )( )2( )( )qoohohhhqoohohhqpohohohohhhd kyo keho khi kho khi kd kyi kho kho khi kd kw ho kbho kho khi k11( )( )( )f ( )( )( )f ( )( )qhoo

12、ohoohqohohhoho kd kyo kyi kwhi kk whi kk 第六步，利用輸出層各神經(jīng)元的 和隱含層各神經(jīng)元的輸出來修正銜接權(quán)值 。 1( )( )( )( )( )hoohhoNNhohoohewkk ho kwwwk ho k ( )ok( )howk 第七步，利用隱含層各神經(jīng)元的 和輸入層各神經(jīng)元的輸入修正銜接權(quán)。 ( )hk1( )( )( ) ( )( )( ) ( )hihhiihhihNNihihhieehi kw kk x kwhi kwwwk x k 第八步，計算全局誤差 第九步，判別網(wǎng)絡誤差能否滿足要求。當誤差到達預設(shè)精度或?qū)W習次數(shù)大于設(shè)定的最大次數(shù)，那

13、么終了算法。否那么，選取下一個學習樣本及對應的期望輸出，前往到第三步，進入下一輪學習。 2111( )( )2qmookoEdky km BP算法直觀解釋 情況不斷觀表達 當誤差對權(quán)值的偏 導數(shù)大于零時，權(quán)值 調(diào)整量為負，實踐輸 出大于期望輸出， 權(quán)值向減少方向調(diào)整， 使得實踐輸出與期望 輸出的差減少。whohoewe0，此時，此時who0 BP算法直解釋 情況二直觀表達 當誤差對權(quán)值的偏導數(shù) 小于零時，權(quán)值調(diào)整量 為正，實踐輸出少于期 望輸出，權(quán)值向增大方向 調(diào)整，使得實踐輸出與期 望輸出的差減少。hoewe0who MATLAB中BP神經(jīng)網(wǎng)絡的重要函數(shù)和根本功能 函函 數(shù)數(shù) 名名功功 能能

14、newff()生成一個前饋生成一個前饋BP網(wǎng)絡網(wǎng)絡tansig()雙曲正切雙曲正切S型型(Tan-Sigmoid)傳輸函數(shù)傳輸函數(shù)logsig()對數(shù)對數(shù)S型型(Log-Sigmoid)傳輸函數(shù)傳輸函數(shù)traingd()梯度下降梯度下降BP訓練函數(shù)訓練函數(shù) MATLAB中BP神經(jīng)網(wǎng)絡的重要函數(shù)和根本功能 newff() 功能 建立一個前向BP網(wǎng)絡 格式 net = newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF) 闡明 net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡；PR為網(wǎng)絡輸入取向量取值范圍的矩陣；S1 S2SNl表示網(wǎng)絡隱含層和輸出層神經(jīng)元的個數(shù)；TFl TF2TFN

15、1表示網(wǎng)絡隱含層和輸出層的傳輸函數(shù)，默以為tansig；BTF表示網(wǎng)絡的訓練函數(shù)，默以為trainlm；BLF表示網(wǎng)絡的權(quán)值學習函數(shù)，默以為learngdm；PF表示性能數(shù)，默以為mse。 MATLAB中BP神經(jīng)網(wǎng)絡的重要函數(shù)和根本功能 tansig() 功能 正切sigmoid激活函數(shù) 格式 a = tansig(n) 闡明 雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-，+)映射到(-1，1)。它是可導函數(shù)，適用于BP訓練的神經(jīng)元。 logsig() 功能 對數(shù)Sigmoid激活函數(shù) 格式 a = logsig(N) 闡明對數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-，+)映射到(0，

16、1)。它是可導函數(shù)，適用于BP訓練的神經(jīng)元。例2-3，下表為某藥品的銷售情況，現(xiàn)構(gòu)建一個如下的三層BP神經(jīng)網(wǎng)絡對藥品的銷售進展預測：輸入層有三個結(jié)點，隱含層結(jié)點數(shù)為5，隱含層的激活函數(shù)為tansig；輸出層結(jié)點數(shù)為1個，輸出層的激活函數(shù)為logsig，并利用此網(wǎng)絡對藥品的銷售量進展預測，預測方法采用滾動預測方式，即用前三個月的銷售量來預測第四個月的銷售量，如用1、2、3月的銷售量為輸入預測第4個月的銷售量，用2、3、4月的銷售量為輸入預測第5個月的銷售量.如此反復直至滿足預測精度要求為止。 月份月份123456銷量銷量205623952600229816341600月份月份789101112銷

17、量銷量187314781900150020461556%以每三個月的銷售量經(jīng)歸一化處置后作為輸入P=0.5152 0.81731.0000 ; 0.81731.00000.7308; 1.00000.73080.0; 0.73080.00.1087; 0.00.10870.3520; 0.10870.35200.0000;%以第四個月的銷售量歸一化處置后作為目的向量T=0.7308 0.0 0.1087 0.3520 0.0000 0.3761;%創(chuàng)建一個BP神經(jīng)網(wǎng)絡，每一個輸入向量的取值范圍為0 ,1，隱含層有5個神經(jīng)%元，輸出層有一個神經(jīng)元，隱含層的激活函數(shù)為tansig，輸出層的激活函數(shù)為%logsig，訓練函數(shù)為梯度下降函數(shù)，即2.3.2節(jié)中所描畫的規(guī)范學習算法net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net.trainParam.epochs=15000;net.trainParam.goal=0.01;%設(shè)置學習速率為0.1LP.lr=0.1;net=train(net,P,T); BP網(wǎng)絡運用于藥品預測對比圖 由對比圖可以看出預測效果與實踐存在一定誤差，此誤差可以經(jīng)過添加運轉(zhuǎn)步數(shù)和提高預設(shè)誤差精度業(yè)進一步