神經(jīng)網(wǎng)絡講義2

1、人工神經(jīng)網(wǎng)絡及其應用第4講bp神經(jīng)網(wǎng)絡何建華電信系，華中科技大學2003年2月28日2一、內(nèi)容回顧二、bp網(wǎng)絡三、網(wǎng)絡設計四、改進bp網(wǎng)絡五、內(nèi)容小結(jié)內(nèi)容安排3一、內(nèi)容回顧 感知機自適應線性元件4一、內(nèi)容回顧 感知機感知機簡介神經(jīng)元模型網(wǎng)絡結(jié)構(gòu)功能解釋學習和訓練局限性自適應線性元件5一、內(nèi)容回顧 感知機自適應線性元件adline簡介網(wǎng)絡結(jié)構(gòu)網(wǎng)絡學習網(wǎng)絡訓練62.1 bp網(wǎng)絡簡介2.2 網(wǎng)絡模型2.3 學習規(guī)則2.4 圖形解釋2.5 網(wǎng)絡訓練二、bp網(wǎng)絡7反向傳播網(wǎng)絡(back-propagation network，簡稱bp網(wǎng)絡)是將w-h學習規(guī)則一般化，對非線性可微分函數(shù)進行權(quán)值訓練的多層網(wǎng)

2、絡 權(quán)值的調(diào)整采用反向傳播(back-propagation）的學習算法它是一種多層前向反饋神經(jīng)網(wǎng)絡，其神經(jīng)元的變換函數(shù)是s型函數(shù)輸出量為0到1之間的連續(xù)量，它可實現(xiàn)從輸入到輸出的任意的非線性映射2.1 bp網(wǎng)絡簡介82.1 bp網(wǎng)絡簡介bp網(wǎng)絡主要用于下述方面函數(shù)逼近：用輸入矢量和相應的輸出矢量訓練一個網(wǎng)絡逼近一個函數(shù)模式識別和分類：用一個特定的輸出矢量將它與輸入矢量聯(lián)系起來；把輸入矢量以所定義的合適方式進行分類；數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲具有將強泛化性能：使網(wǎng)絡平滑地學習函數(shù)，使網(wǎng)絡能夠合理地響應被訓練以外的輸入 泛化性能只對被訓練的輸入輸出對最大值范圍內(nèi)的數(shù)據(jù)有效，即網(wǎng)絡

3、具有內(nèi)插值特性，不具有外插值性。超出最大訓練值的輸入必將產(chǎn)生大的輸出誤差92.2 網(wǎng)絡模型一個具有r個輸入和一個隱含層的神經(jīng)網(wǎng)絡模型結(jié)構(gòu) 102.2 網(wǎng)絡模型感知器和自適應線性元件的主要差別在激活函數(shù)上：前者是二值型的，后者是線性的bp網(wǎng)絡具有一層或多層隱含層，除了在多層網(wǎng)絡上與前面已介紹過的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。bp網(wǎng)絡的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù)0，1或符號函數(shù)1，1bp網(wǎng)絡經(jīng)常使用的是s型的對數(shù)或正切激活函數(shù)和線性函數(shù)112.2 網(wǎng)絡模型bp網(wǎng)絡特點輸入和輸出是并行的模擬量網(wǎng)絡的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒有固定的算法權(quán)因子通

4、過學習信號調(diào)節(jié)。學習越多，網(wǎng)絡越聰明隱含層越多，網(wǎng)絡輸出精度越高，且個別權(quán)因子的損壞不會對網(wǎng)絡輸出產(chǎn)生大的影響只有當希望對網(wǎng)絡的輸出進行限制，如限制在0和1之間，那么在輸出層應當包含s型激活函數(shù)在一般情況下，均是在隱含層采用s型激活函數(shù)，而輸出層采用線性激活函數(shù)122.2 網(wǎng)絡模型s型函數(shù)具有非線性放大系數(shù)功能，可以把輸入從負無窮大到正無窮大的信號，變換成-1到l之間輸出對較大的輸入信號，放大系數(shù)較??；而對較小的輸入信號，放大系數(shù)則較大采用s型激活函數(shù)可以處理和逼近非線性輸入/輸出關(guān)系132.3 學習規(guī)則bp算法屬于算法，是一種監(jiān)督式的學習算法主要思想對于q個輸入學習樣本：p1,p2,pq，已

5、知與其對應的輸出樣本為：t1,t2,tq使網(wǎng)絡輸出層的誤差平方和達到最小用網(wǎng)絡的實際輸出a1,a2,aq, 與目標矢量t1,t2,tq之間的誤差修改其權(quán)值，使am與期望的tm,(ml,q)盡可能接近142.3 學習規(guī)則bp算法是由兩部分組成,信息的正向傳遞與誤差的反向傳播正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層計算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)如果在輸出層未得到期望的輸出，則計算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡將誤差信號沿原來的連接通路反傳回來修改各層神經(jīng)元的權(quán)值直至達到期望目標152.3 學習規(guī)則假設輸入為p，輸入神經(jīng)元有r個，隱含層內(nèi)有s1個神經(jīng)元

6、，激活函數(shù)為f1，輸出層內(nèi)有s2個神經(jīng)元，對應的激活函數(shù)為f2，輸出為a，目標矢量為t162.3 學習規(guī)則信息的正向傳遞隱含層中第i個神經(jīng)元的輸出輸出層第k個神經(jīng)元的輸出定義誤差函數(shù)172.3 學習規(guī)則利用梯度下降法求權(quán)值變化及誤差的反向傳播 輸出層的權(quán)值變化 其中 同理可得182.3 學習規(guī)則利用梯度下降法求權(quán)值變化及誤差的反向傳播 隱含層權(quán)值變化 其中 同理可得192.3 學習規(guī)則對于f1為對數(shù)s型激活函數(shù)，對于f2為線性激活函數(shù)202.4 誤差反向傳播圖形解釋誤差反向傳播過程實際上是通過計算輸出層的誤差ek，然后將其與輸出層激活函數(shù)的一階導數(shù)f2相乘來求得ki由于隱含層中沒有直接給出目標

7、矢量，所以利用輸出層的ki反向傳遞來求出隱含層權(quán)值的變化量w2ki。然后計算同樣通過將ei與該層激活函數(shù)的一階導數(shù)f1相乘，而求得ij，以此求出前層權(quán)值的變化量w1ij如果前面還有隱含層，沿用上述同樣方法依此類推，一直將輸出誤差ek逐層的反推算到第一層為止212.4 誤差反向傳播圖形解釋222.5 網(wǎng)絡訓練訓練bp網(wǎng)絡，需要計算網(wǎng)絡加權(quán)輸入矢量以及網(wǎng)絡輸出和誤差矢量，然后求誤差平方和當所訓練矢量的誤差平方和小于誤差目標，訓練停止；否則在輸出層計算誤差變化，且采用反向傳播學習規(guī)則來調(diào)整權(quán)值，然后重復此過程網(wǎng)絡完成訓練后，對網(wǎng)絡輸入一個不是訓練集合中的矢量，網(wǎng)絡將以泛化方式給出輸出結(jié)果232.5

8、網(wǎng)絡訓練為了能夠較好地掌握bp網(wǎng)絡的訓練過程，我們用兩層網(wǎng)絡為例來敘述bp網(wǎng)絡的訓練步驟初始化：用小的隨機數(shù)初始化每一層的權(quán)值w和偏差b，保證網(wǎng)絡不被大的加權(quán)輸入飽和期望誤差最小值error_goal最大循環(huán)次數(shù)max_epoch修正權(quán)值的學習速率1r，一般情況下k0.0l,0.7242.5 網(wǎng)絡訓練變量表達：計算網(wǎng)絡各層輸出矢量a1和a2以及網(wǎng)絡誤差ea1tansig(w1*p，b1)；a2purelin(w2*a1，b2)；et-a；權(quán)值修正：計算各層反傳的誤差變化d2和d1并計算各層權(quán)值的修正值以及新權(quán)值：d2deltalin(a2，e)；d1deltatan(a1，d2，w2)；dlw

9、l，dbllearnbp(p，d1，lr)；dw2，db21earnbp(a1，d2，1r)；w1w1十dw1；b1b1十dbl；w2w2十dw2；b2b2十db2252.5 網(wǎng)絡訓練計算權(quán)值修正后誤差平方和 ssesumsqr(t-purelin(w2*tansig(w1*p，b1)，b2)檢查：sse是否小于err_goal。若是，訓練結(jié)束；否則繼續(xù)以上所有的學習規(guī)則與訓練的全過程，可以用函數(shù)trainbp.m來完成它的使用只需定義有關(guān)參數(shù)：顯示間隔次數(shù)，最大循環(huán)次數(shù)，目標誤差，以及學習速率。調(diào)用后返回訓練后權(quán)值，循環(huán)總數(shù)和最終誤差 tpdisp_freq max_epoch err_go

10、al 1r w，b，epochs，errorstrainbp(w，b，f，p，t，tp)26三、網(wǎng)絡設計3.1 網(wǎng)絡的層數(shù)3.2 隱含層神經(jīng)元數(shù)3.3 初始權(quán)值的選取3.4 學習速率3.5 期望誤差的選取3.6 應用舉例3.7 局限性273.1 網(wǎng)絡的層數(shù)理論上已經(jīng)證明：具有偏差和至少一個s型隱含層加上一個線性輸出層的網(wǎng)絡，能夠逼近任何有理函數(shù) 定理：增加層數(shù)主要可以進一步的降低誤差，提高精度，但同時也使網(wǎng)絡復雜化，從而增加了網(wǎng)絡權(quán)值的訓練時間。 一般情況下應優(yōu)先考慮增加隱含層中神經(jīng)元數(shù) 僅用具有非線性激活函數(shù)的單層網(wǎng)絡來解決問題沒有必要或效果不好線性問題非線性問題283.2 隱含層神經(jīng)元數(shù)網(wǎng)

11、絡訓練精度的提高，可以通過采用一個隱含層，而增加其神經(jīng)元數(shù)的方法來獲得。這在結(jié)構(gòu)實現(xiàn)上，要比增加更多的隱含層簡單得多定理：實現(xiàn)任意n個輸入向量構(gòu)成的任何布爾函數(shù)的前向網(wǎng)絡所需權(quán)系數(shù)數(shù)目為在具體設計時，比較實際的做法是通過對不同神經(jīng)元數(shù)進行訓練對比，然后適當?shù)丶由弦稽c余量293.3 初始權(quán)值的選取一般取初始權(quán)值在(-1，1)之間的隨機數(shù)威得羅等人在分析了兩層網(wǎng)絡是如何對一個函數(shù)進行訓練后，提出一種選定初始權(quán)值的策略選擇權(quán)值的量級為在matlab工具箱中可采用函數(shù)nwlog.m或nwtan.m來初始化隱含層權(quán)值w1和b1。其方法僅使用在第一隱含層的初始值的選取上，后面層的初始值仍然采用隨機取數(shù)30

12、3.4 學習速率學習速率決定每一次循環(huán)訓練中所產(chǎn)生的權(quán)值變化量大的學習速率可能導致系統(tǒng)的不穩(wěn)定小的學習速率導致較長的訓練時間，可能收斂很慢，不過能保證網(wǎng)絡的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值所以在一般情況下，傾向于選取較小的學習速率以保證系統(tǒng)的穩(wěn)定性。學習速率的選取范圍在0.01-0.8之間313.5 期望誤差值選取在設計網(wǎng)絡的訓練過程中，期望誤差值也應當通過對比訓練后確定一個合適的值這個所謂的“合適”，是相對于所需要的隱含層的節(jié)點數(shù)來確定，因為較小的期望誤差值是要靠增加隱含層的節(jié)點，以及訓練時間來獲得一般情況下，作為對比，可以同時對兩個不同期望誤差值的網(wǎng)絡進行訓練，最后通過綜合因

13、素的考慮來確定采用其中一個網(wǎng)絡323.6 應用舉例求解函數(shù)逼近問題有21組單輸入矢量和相對應的目標矢量，試設計神經(jīng)網(wǎng)絡來實現(xiàn)這對數(shù)組的函數(shù)關(guān)系p=-1:0.1:1t=-0.96 0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336 -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072 0.396 0.3449 0.1816 -0.0312 -0.2183 -0.3201測試集p2=-1:0.025:1333.6 應用舉例目標矢量相對于輸入矢量的圖形 初始網(wǎng)絡的輸出曲線 343.6 應用舉例訓練1000次 2000次35

14、3.6 應用舉例訓練3000次 5000次363.7 限制與不足需要較長的訓練時間 完全不能訓練 選取較小的初始權(quán)值采用較小的學習速率，但同時又增加了訓練時間局部極小值 bp算法可以使網(wǎng)絡權(quán)值收斂到一個解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個局部極小解37四、bp網(wǎng)絡的改進4.1 目標4.2 附加動量法4.3 誤差函數(shù)改進 4.4 自適應學習速率384.1 目標加快訓練速度避免陷入局部極小值394.2 附加動量法 利用附加動量的作用則有可能滑過局部極小值修正網(wǎng)絡權(quán)值時，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響，其作用如同一個低通濾波器，它允許網(wǎng)絡忽略網(wǎng)

15、絡上微小變化特性該方法是在反向傳播法的基礎(chǔ)上在每一個權(quán)值的變化上加上一項正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值變化404.2 附加動量法 帶有附加動量因子的權(quán)值調(diào)節(jié)公式其中k為訓練次數(shù)，mc為動量因子，一般取095左右附加動量法的實質(zhì)是將最后一次權(quán)值變化的影響，通過一個動量因子來傳遞。當動量因子取值為零時，權(quán)值變化僅根據(jù)梯度下降法產(chǎn)生當動量因子取值為1時，新的權(quán)值變化則是設置為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了 促使權(quán)值的調(diào)節(jié)向著誤差曲面底部的平均方向變化，當網(wǎng)絡權(quán)值進入誤差曲面底部的平坦區(qū)時，i將變得很小，于是，wij(k+1)wij (k)，從而防止

16、了wij=0的出現(xiàn)，有助于使網(wǎng)絡從誤差曲面的局部極小值中跳出 414.2 附加動量法 在matlab工具箱中，帶有動量因子的權(quán)值修正法是用函數(shù)learnbpm.m來實現(xiàn)的trainbpm.m可以訓練一層直至三層的帶有附加動量因子的反向傳播網(wǎng)絡下面是對單層網(wǎng)絡使用函數(shù)trainbpm.m的情形：w，b，epochs，errorstrainbpm(w，b，f，p，t，tp)424.3 誤差函數(shù)改進當ak趨向1時，e趨向一個常數(shù)，即處于e的平坦區(qū)， f(n)0，可能造成完全訓練的麻痹現(xiàn)象當一個網(wǎng)絡的誤差曲面存在著平坦區(qū)時，可以選用別的誤差函數(shù)f(tk, ak)來代替(tk-ak)2的形式，只要其函數(shù)

17、在ak=tk時能達到最小值434.3 誤差函數(shù)改進包穆(baum)等人于1988年提出一種誤差函數(shù)為不會產(chǎn)生不能完全訓練的麻痹現(xiàn)象444.3 誤差函數(shù)改進與常規(guī)的誤差函數(shù)的情況ij=f(n)(tk-ak)相比較，其中的f(n)項消失了當n增大，進入激活函數(shù)的平坦區(qū)，使f(n)0時，不會產(chǎn)生不能完全訓練的麻痹現(xiàn)象但由于失去了f(n)對w的控制作用，過大的w又有可能導致網(wǎng)絡過調(diào)或振蕩 1989年，范爾曼(s.fahlman)提出一種折中的方案，即取kf(n)+0.1(tk-ak)一方面恢復了f(n)的某些影響另一方面當|n|變大時，仍能保持k有一定的大小，從而避免了麻痹現(xiàn)象的發(fā)生 454.4 自適

18、應學習速率通常調(diào)節(jié)學習速率的準則是，檢查權(quán)值的修正值是否真正降低了誤差函數(shù)，如果確實如此，則說明所選取的學習速率值小了，可以對其增加一個量；否則可認為產(chǎn)生過調(diào)，應該減小學習速率的值一種自適應學習速率的調(diào)整公式464.4 自適應學習速率matlab工具箱中帶有自適應學習速率進行反向傳播訓練的函數(shù)為 trainbpa.m可訓練直至三層網(wǎng)絡。使用方法w, b, epochs, tetrainbpa(w，b，f，p，t，tp)可以將動量法和自適應學習速率結(jié)合起來以利用兩方面的優(yōu)點。這個技術(shù)已編入了函數(shù)trainbpx.m之中函數(shù)的調(diào)用和其他函數(shù)一樣，只是需要更多的初始參數(shù)而已tpdisp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio；w，b，epochs，error; lrtrainbpx(w，b，f，p，t，tp)47五、內(nèi)容小結(jié)內(nèi)容安排一、內(nèi)容回顧二、bp網(wǎng)絡三、網(wǎng)絡設計四、改進bp網(wǎng)絡48五、內(nèi)容小結(jié)反向傳播法可以用來訓練具有可微激活函數(shù)的多層前向網(wǎng)絡,以進行函數(shù)逼近，模式分類等工作反向傳播網(wǎng)絡的結(jié)構(gòu)不完全受所要解決的問題所限制。網(wǎng)絡的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問題的要求所決定輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是由設計者來決定的已經(jīng)證明，兩層s型線性網(wǎng)絡，如果s型層有足夠的神經(jīng)元