BP神經(jīng)網(wǎng)絡(luò)模型教案課件

1、神經(jīng)網(wǎng)絡(luò)概述 人工神經(jīng)網(wǎng)絡(luò)ANN（artificial neural network)是20世紀80年代才日益受到人們重視的一種新的人工智能計算方法。由于它模擬了人腦的思維模式，即具有一定的智能，且的確能解決許多用傳統(tǒng)方法不能或難于解決的復(fù)雜問題，使之更加精確化，如更精確的分類、非線性規(guī)劃的求解、著名的“旅行員推銷問題”的解決等（注：在近年來的實際應(yīng)用，尤其在大學生數(shù)學建模競賽中許多獲獎隊在解決問題是均是以運用神經(jīng)網(wǎng)絡(luò)方法作為成功的法寶，如2000年A題中國科技大學5個隊獲全國一等獎，運用的均是神經(jīng)網(wǎng)絡(luò)方法）。神經(jīng)網(wǎng)絡(luò)概述 人的大腦約由 個神經(jīng)細胞(也稱神經(jīng)元）組成，細胞之間通過樹突和軸突互相

2、連接，構(gòu)成縱橫交錯的網(wǎng)絡(luò)結(jié)構(gòu)。神經(jīng)細胞通過突觸互相交換信息，樹突用來接受神經(jīng)沖動，軸突分化出的神經(jīng)末梢則可傳出神經(jīng)沖動。由于輸出端只有兩個狀態(tài)：興奮態(tài)與抑制態(tài)。因此，一個神經(jīng)元就是一個簡單的系統(tǒng)，或者說是一個邏輯元件。下圖表示它的數(shù)學模型，這里 是輸入， 是輸出， 是神經(jīng)元內(nèi)部狀態(tài)。特別要說明的是，每個神經(jīng)元都有一個特殊的參數(shù)神經(jīng)網(wǎng)絡(luò)概述 稱為閾值，它是輸出的一個臨界值，直接影響神經(jīng)元的內(nèi)部狀態(tài)。人們的記憶和智能并不是儲存在單個腦細胞中，而是儲存在腦細胞之間互相連接的網(wǎng)絡(luò)之中，這稱為分布式存儲方式。這樣一種“分布方式”并不因單個腦細胞的死亡而消失。人們通過學習可以不斷地改變腦細胞之間的連接方式

3、，使這個網(wǎng)絡(luò)的功能不斷提高。模仿神經(jīng)細胞的結(jié)構(gòu)，人們設(shè)計了種種人工神經(jīng)網(wǎng)絡(luò)，如感知器、BP網(wǎng)絡(luò)、自組織網(wǎng)絡(luò)等。神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)的基本工作原理是：對于每個神經(jīng)元，假設(shè)它有 個輸入，輸入值為 那么，它的輸出值就是 ，這里， 是等待確定的權(quán)重系數(shù)，簡稱權(quán)值。 是一個函數(shù)，它有幾種典型選法。一種常用的函數(shù)是Sigmoid函數(shù)。神經(jīng)元網(wǎng)絡(luò)工作的全部秘密就在于它的權(quán)重值， BP神經(jīng)網(wǎng)絡(luò)模型與學習算法BP神經(jīng)網(wǎng)絡(luò)概述Rumelhart，McClelland于1985年提出了BP網(wǎng)絡(luò)的誤差反向后傳BP(Back Propagation)學習算法BP算法基本原理利用輸出后的誤差來估計輸出層的

4、直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。 J. McClelland David Rumelhart BP神經(jīng)網(wǎng)絡(luò)模型激活函數(shù)必須處處可導一般都使用S型函數(shù) 使用S型激活函數(shù)時BP網(wǎng)絡(luò)輸入與輸出關(guān)系輸入輸出 BP神經(jīng)網(wǎng)絡(luò)模型輸出的導數(shù)根據(jù)S型激活函數(shù)的圖形可知,對神經(jīng)網(wǎng)絡(luò)進行訓練，應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi) BP網(wǎng)絡(luò)的標準學習算法學習的過程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學習的本質(zhì)：對各連接權(quán)值的動態(tài)調(diào)整學習規(guī)則：權(quán)值調(diào)整規(guī)則，即在學習過程中網(wǎng)絡(luò)中各神

5、經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。BP網(wǎng)絡(luò)的標準學習算法-學習過程正向傳播：輸入樣本輸入層各隱層輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實際輸出與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進行到預(yù)先設(shè)定的學習次數(shù)為止 BP網(wǎng)絡(luò)的標準學習算法 網(wǎng)絡(luò)結(jié)構(gòu)輸入層有n個神經(jīng)元，隱含層有p個神經(jīng)元, 輸出層有q個神經(jīng)元變量定義輸入向量;隱含層輸入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量; BP網(wǎng)絡(luò)的標準學習算法第一步，網(wǎng)絡(luò)初始化 給各連接權(quán)值分別賦一個區(qū)間（-1，1）內(nèi)的隨機數(shù)，設(shè)定誤差函數(shù)e，給定計算精

6、度值 和最大學習次數(shù)M。第二步,隨機選取第 個輸入樣本及對應(yīng)期望輸出 BP網(wǎng)絡(luò)的標準學習算法第三步，計算隱含層各神經(jīng)元的輸入和輸出 BP網(wǎng)絡(luò)的標準學習算法第四步，利用網(wǎng)絡(luò)期望輸出和實際輸出，計算誤差函數(shù)對輸出層的各神經(jīng)元的偏導數(shù) 。 BP網(wǎng)絡(luò)的標準學習算法第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的 和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導數(shù) 。 BP網(wǎng)絡(luò)的標準學習算法 BP網(wǎng)絡(luò)的標準學習算法第六步，利用輸出層各神經(jīng)元的 和隱含層各神經(jīng)元的輸出來修正連接權(quán)值 。 BP網(wǎng)絡(luò)的標準學習算法第八步，計算全局誤差第九步，判斷網(wǎng)絡(luò)誤差是否滿足要求。當誤差達到預(yù)設(shè)精度或?qū)W習次數(shù)大于設(shè)定的最大次數(shù)

7、，則結(jié)束算法。否則，選取下一個學習樣本及對應(yīng)的期望輸出，返回到第三步，進入下一輪學習。 BP網(wǎng)絡(luò)的標準學習算法BP算法直觀解釋情況一直觀表達 當誤差對權(quán)值的偏導數(shù)大于零時，權(quán)值調(diào)整量為負，實際輸出大于期望輸出，權(quán)值向減少方向調(diào)整，使得實際輸出與期望輸出的差減少。whoe0，此時who0 BP神經(jīng)網(wǎng)絡(luò)學習算法的MATLAB實現(xiàn) MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能 函 數(shù) 名功 能newff()生成一個前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓練函數(shù)BP神經(jīng)網(wǎng)絡(luò)學習

8、算法的MATLAB實現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能newff()功能 建立一個前向BP網(wǎng)絡(luò)格式 net = newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF)說明 net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣；S1 S2SNl表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個數(shù)；TFl TF2TFN1表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認為tansig；BTF表示網(wǎng)絡(luò)的訓練函數(shù)，默認為trainlm；BLF表示網(wǎng)絡(luò)的權(quán)值學習函數(shù)，默認為learngdm；PF表示性能數(shù)，默認為mse。 BP神經(jīng)網(wǎng)絡(luò)學習算法的MATLAB實現(xiàn)MATLAB中B

9、P神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能tansig()功能 正切sigmoid激活函數(shù)格式 a = tansig(n)說明 雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-，+)映射到(-1，1)。它是可導函數(shù)，適用于BP訓練的神經(jīng)元。logsig()功能 對數(shù)Sigmoid激活函數(shù)格式 a = logsig(N)說明對數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-，+)映射到(0，1)。它是可導函數(shù)，適用于BP訓練的神經(jīng)元。 BP神經(jīng)網(wǎng)絡(luò)學習算法的MATLAB實現(xiàn)例題：下表為某藥品的銷售情況，現(xiàn)構(gòu)建一個如下的三層BP神經(jīng)網(wǎng)絡(luò)對藥品的銷售進行預(yù)測：輸入層有三個結(jié)點，隱含層結(jié)點數(shù)為5，隱含層的激活函數(shù)為

10、tansig；輸出層結(jié)點數(shù)為1個，輸出層的激活函數(shù)為logsig，并利用此網(wǎng)絡(luò)對藥品的銷售量進行預(yù)測，預(yù)測方法采用滾動預(yù)測方式，即用前三個月的銷售量來預(yù)測第四個月的銷售量，如用1、2、3月的銷售量為輸入預(yù)測第4個月的銷售量，用2、3、4月的銷售量為輸入預(yù)測第5個月的銷售量.如此反復(fù)直至滿足預(yù)測精度要求為止。 月份123456銷量205623952600229816341600月份789101112銷量187314781900150020461556 BP神經(jīng)網(wǎng)絡(luò)學習算法的MATLAB實現(xiàn)%以每三個月的銷售量經(jīng)歸一化處理后作為輸入P=0.51520.81731.0000 ; 0.81731.00

11、000.7308; 1.00000.73080.1390; 0.73080.13900.1087; 0.13900.10870.3520; 0.10870.35200.0000;%以第四個月的銷售量歸一化處理后作為目標向量T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;%創(chuàng)建一個BP神經(jīng)網(wǎng)絡(luò)，每一個輸入向量的取值范圍為0 ,1，隱含層有5個神經(jīng)%元，輸出層有一個神經(jīng)元，隱含層的激活函數(shù)為tansig，輸出層的激活函數(shù)為%logsig，訓練函數(shù)為梯度下降函數(shù)，即上面所描述的標準學習算法net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net.trainParam.epochs=15000;net.trainParam.goal=0.01;%設(shè)置學習速率為0.1LP.lr=0.1;net=train(net,P,T); BP神經(jīng)網(wǎng)絡(luò)學習算法的MATLAB實現(xiàn)BP網(wǎng)絡(luò)應(yīng)用于藥品預(yù)測對比圖由對比圖可以看出預(yù)測效果與實際存在一定誤差，此誤差可以通過增加運行步數(shù)和提高預(yù)設(shè)誤差精度業(yè)進一步縮小BP神經(jīng)網(wǎng)絡(luò)的特點非線性映射能力能學習和存貯