BP神經(jīng)網(wǎng)絡(luò)的基本原理+很清楚

1、5.4 BP神經(jīng)網(wǎng)絡(luò)的基本原理BPBack Propagation網(wǎng)絡(luò)是1986年由Rinehart和McClelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓撲結(jié)構(gòu)包括輸入層input、隱層(hide layer)和輸出層(output layer)如圖5.2所示。5.4.1 BP神經(jīng)元圖5.3給出了第j個基本BP神經(jīng)元節(jié)點，它只

2、模仿了生物神經(jīng)元所具有的三個最基本也是最重要的功能：加權(quán)、求和與轉(zhuǎn)移。其中x1、x2xixn分別代表來自神經(jīng)元1、2in的輸入；wj1、wj2wjiwjn則分別表示神經(jīng)元1、2in與第j個神經(jīng)元的連接強度，即權(quán)值；bj為閾值；f(·)為傳遞函數(shù)；yj為第j個神經(jīng)元的輸出。第j個神經(jīng)元的凈輸入值為：                 5.12其中：     假設(shè)視，即令及包括及，則 

3、;  于是節(jié)點j的凈輸入可表示為：                     5.13    凈輸入通過傳遞函數(shù)Transfer Functionf (·)后，便得到第j個神經(jīng)元的輸出:           5.14式中f(·)是單調(diào)上升函數(shù)

4、，而且必須是有界函數(shù)，因為細胞傳遞的信號不可能無限增加，必有一最大值。5.4.2 BP網(wǎng)絡(luò)BP算法由數(shù)據(jù)流的前向計算正向傳播和誤差信號的反向傳播兩個過程構(gòu)成。正向傳播時，傳播方向為輸入層隱層輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元。假設(shè)在輸出層得不到期望的輸出，則轉(zhuǎn)向誤差信號的反向傳播流程。通過這兩個過程的交替進行，在權(quán)向量空間執(zhí)行誤差函數(shù)梯度下降策略，動態(tài)迭代搜索一組權(quán)向量，使網(wǎng)絡(luò)誤差函數(shù)到達最小值，從而完成信息提取和記憶過程。5.4.2.1 正向傳播設(shè) BP網(wǎng)絡(luò)的輸入層有n個節(jié)點，隱層有q個節(jié)點，輸出層有m個節(jié)點，輸入層與隱層之間的權(quán)值為，隱層與輸出層之間的權(quán)值為，如圖5.4所示。隱層的

5、傳遞函數(shù)為f1(·)，輸出層的傳遞函數(shù)為f2(·)，則隱層節(jié)點的輸出為將閾值寫入求和項中：         k=1,2,q              5.15輸出層節(jié)點的輸出為：       j=1,2,m        

6、0;     5.16至此B-P網(wǎng)絡(luò)就完成了n維空間向量對m維空間的近似映射。5.4.2.2 反向傳播1)     定義誤差函數(shù)輸入個學(xué)習(xí)樣本，用來表示。第個樣本輸入到網(wǎng)絡(luò)后得到輸出j=1,2,m。采用平方型誤差函數(shù)，于是得到第p個樣本的誤差Ep：                     5.17式中：為期望輸出。對于

7、個樣本，全局誤差為：                5.182輸出層權(quán)值的變化采用累計誤差BP算法調(diào)整，使全局誤差變小，即           5.19式中：學(xué)習(xí)率定義誤差信號為：              &

8、#160;   5.20其中第一項：          5.21    第二項：                         5.22是輸出層傳遞函數(shù)的偏微分。于是：    &

9、#160;               5.23由鏈定理得：      5.24于是輸出層各神經(jīng)元的權(quán)值調(diào)整公式為：               5.253隱層權(quán)值的變化        &#

10、160; 5.26定義誤差信號為：                   5.27其中第一項：          5.28依鏈定理有：                

11、60; 5.29    第二項：                         5.30是隱層傳遞函數(shù)的偏微分。于是：                5.31由鏈定理得：

12、0;  5.32從而得到隱層各神經(jīng)元的權(quán)值調(diào)整公式為：            5.335.4.3 BP算法的改良BP算法理論具有依據(jù)可靠、推導(dǎo)過程嚴(yán)謹(jǐn)、精度較高、通用性較好等優(yōu)點，但標(biāo)準(zhǔn)BP算法存在以下缺點：收斂速度緩慢；容易陷入局部極小值；難以確定隱層數(shù)和隱層節(jié)點個數(shù)。在實際應(yīng)用中，BP算法很難勝任，因此出現(xiàn)了很多改良算法。1    利用動量法改良BP算法標(biāo)準(zhǔn)BP算法實質(zhì)上是一種簡單的最速下降靜態(tài)尋優(yōu)方法，在修正W(K)時，只按照第K步的負梯度

13、方向進行修正，而沒有考慮到以前積累的經(jīng)驗，即以前時刻的梯度方向，從而常常使學(xué)習(xí)過程發(fā)生振蕩，收斂緩慢。動量法權(quán)值調(diào)整算法的具體做法是：將上一次權(quán)值調(diào)整量的一部分迭加到按本次誤差計算所得的權(quán)值調(diào)整量上，作為本次的實際權(quán)值調(diào)整量，即：                其中：為動量系數(shù)，通常00.9；學(xué)習(xí)率，范圍在0.00110之間。這種方法所加的動量因子實際上相當(dāng)于阻尼項，它減小了學(xué)習(xí)過程中的振蕩趨勢，從而改善了收斂性。動量法降低了網(wǎng)絡(luò)對于誤差曲面局部

14、細節(jié)的敏感性，有效的抑制了網(wǎng)絡(luò)陷入局部極小。2    自適應(yīng)調(diào)整學(xué)習(xí)速率標(biāo)準(zhǔn)BP算法收斂速度緩慢的一個重要原因是學(xué)習(xí)率選擇不當(dāng)，學(xué)習(xí)率選得太小，收斂太慢；學(xué)習(xí)率選得太大，則有可能修正過頭，導(dǎo)致振蕩甚至發(fā)散。可采用圖5.5所示的自適應(yīng)方法調(diào)整學(xué)習(xí)率。調(diào)整的基本指導(dǎo)思想是：在學(xué)習(xí)收斂的情況下，增大，以縮短學(xué)習(xí)時間；當(dāng)偏大致使不能收斂時，要及時減小，直到收斂為止。3    動量-自適應(yīng)學(xué)習(xí)速率調(diào)整算法采用動量法時，BP算法可以找到更優(yōu)的解；采用自適應(yīng)學(xué)習(xí)速率法時，BP算法可以縮短訓(xùn)練時間。將以上兩種方法結(jié)合起來，就得到動量-自適應(yīng)學(xué)習(xí)速率調(diào)

15、整算法。4    L-M學(xué)習(xí)規(guī)則L-MLevenberg-Marquardt算法比前述幾種使用梯度下降法的BP算法要快得多，但對于復(fù)雜問題，這種方法需要相當(dāng)大的存儲空間。L-M(Levenberg-Marquardt)優(yōu)化方法的權(quán)值調(diào)整率選為:                  5.35其中：e誤差向量；J網(wǎng)絡(luò)誤差對權(quán)值導(dǎo)數(shù)的雅可比Jacobian矩陣；標(biāo)量，當(dāng)很大時上式接近于梯度法，當(dāng)很小時上式

16、變成了Gauss-Newton法，在這種方法中，也是自適應(yīng)調(diào)整的。綜合考慮，擬采用L-M學(xué)習(xí)規(guī)則和動量法分別作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)和學(xué)習(xí)函數(shù)。5.5 BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練策略及結(jié)果本文借助于MATLAB神經(jīng)網(wǎng)絡(luò)工具箱來實現(xiàn)多層前饋BP網(wǎng)絡(luò)Multi-layer feed-forward backpropagation network的顏色空間轉(zhuǎn)換，免去了許多編寫電腦程序的煩惱。神經(jīng)網(wǎng)絡(luò)的實際輸出值與輸入值以及各權(quán)值和閾值有關(guān)，為了使實際輸出值與網(wǎng)絡(luò)期望輸出值相吻合，可用含有一定數(shù)量學(xué)習(xí)樣本的樣本集和相應(yīng)期望輸出值的集合來訓(xùn)練網(wǎng)絡(luò)。訓(xùn)練時仍然使用本章5.2節(jié)中所述的實測樣本數(shù)據(jù)。另外，目前尚未找到

17、較好的網(wǎng)絡(luò)構(gòu)造方法。確定神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)系數(shù)來描述給定的映射或逼近一個未知的映射，只能通過學(xué)習(xí)方式得到滿足要求的網(wǎng)絡(luò)模型。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)可以理解為：對確定的網(wǎng)絡(luò)結(jié)構(gòu)，尋找一組滿足要求的權(quán)系數(shù)，使給定的誤差函數(shù)最小。設(shè)計多層前饋網(wǎng)絡(luò)時，主要側(cè)重試驗、探討多種模型方案，在實驗中改良，直到選取一個滿意方案為止，可按以下步驟進行：對任何實際問題先都只選用一個隱層；使用很少的隱層節(jié)點數(shù)；不斷增加隱層節(jié)點數(shù)，直到獲得滿意性能為止；否則再采用兩個隱層重復(fù)上述過程。訓(xùn)練過程實際上是根據(jù)目標(biāo)值與網(wǎng)絡(luò)輸出值之間誤差的大小反復(fù)調(diào)整權(quán)值和閾值，直到此誤差到達預(yù)定值為止。5.5.1 確定BP網(wǎng)絡(luò)的結(jié)構(gòu)確定了網(wǎng)絡(luò)層數(shù)、

18、每層節(jié)點數(shù)、傳遞函數(shù)、初始權(quán)系數(shù)、學(xué)習(xí)算法等也就確定了BP網(wǎng)絡(luò)。確定這些選項時有一定的指導(dǎo)原則，但更多的是靠經(jīng)驗和試湊。1隱層數(shù)確實定：1998年Robert Hecht-Nielson證明了對任何在閉區(qū)間內(nèi)的連續(xù)函數(shù)，都可以用一個隱層的BP網(wǎng)絡(luò)來逼近，因而一個三層的BP網(wǎng)絡(luò)可以完成任意的n維到m維的映照。因此我們從含有一個隱層的網(wǎng)絡(luò)開始進行訓(xùn)練。2 BP網(wǎng)絡(luò)常用傳遞函數(shù):BP網(wǎng)絡(luò)的傳遞函數(shù)有多種。Log-sigmoid型函數(shù)的輸入值可取任意值，輸出值在0和1之間；tan-sigmod型傳遞函數(shù)tansig的輸入值可取任意值，輸出值在-1到+1之間；線性傳遞函數(shù)purelin的輸入與輸出值可取

19、任意值。BP網(wǎng)絡(luò)通常有一個或多個隱層，該層中的神經(jīng)元均采用sigmoid型傳遞函數(shù)，輸出層的神經(jīng)元則采用線性傳遞函數(shù)，整個網(wǎng)絡(luò)的輸出可以取任意值。各種傳遞函數(shù)如圖5.6所示。只改變傳遞函數(shù)而其余參數(shù)均固定，用本章5.2節(jié)所述的樣本集訓(xùn)練BP網(wǎng)絡(luò)時發(fā)現(xiàn)，傳遞函數(shù)使用tansig函數(shù)時要比logsig函數(shù)的誤差小。于是在以后的訓(xùn)練中隱層傳遞函數(shù)改用tansig函數(shù)，輸出層傳遞函數(shù)仍選用purelin函數(shù)。3 每層節(jié)點數(shù)確實定：使用神經(jīng)網(wǎng)絡(luò)的目的是實現(xiàn)攝像機輸出RGB顏色空間與CIE-XYZ色空間轉(zhuǎn)換，因此BP網(wǎng)絡(luò)的輸入層和輸出層的節(jié)點個數(shù)分別為3。下面主要介紹隱層節(jié)點數(shù)量確實定。對于多層前饋網(wǎng)絡(luò)來

20、說，隱層節(jié)點數(shù)確實定是成敗的關(guān)鍵。假設(shè)數(shù)量太少，則網(wǎng)絡(luò)所能獲取的用以解決問題的信息太少；假設(shè)數(shù)量太多，不僅增加訓(xùn)練時間，更重要的是隱層節(jié)點過多還可能出現(xiàn)所謂“過渡吻合”O(jiān)verfitting問題，即測試誤差增大導(dǎo)致泛化能力下降，因此合理選擇隱層節(jié)點數(shù)非常重要。關(guān)于隱層數(shù)及其節(jié)點數(shù)的選擇比較復(fù)雜，一般原則是：在能正確反映輸入輸出關(guān)系的基礎(chǔ)上，應(yīng)選用較少的隱層節(jié)點數(shù)，以使網(wǎng)絡(luò)結(jié)構(gòu)盡量簡單。本論文中采用網(wǎng)絡(luò)結(jié)構(gòu)增長型方法，即先設(shè)置較少的節(jié)點數(shù)，對網(wǎng)絡(luò)進行訓(xùn)練，并測試學(xué)習(xí)誤差，然后逐漸增加節(jié)點數(shù)，直到學(xué)習(xí)誤差不再有明顯減少為止。5.5.2 誤差的選取在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中選擇均方誤差MSE較為合理，原因

21、如下：  標(biāo)準(zhǔn)BP算法中，誤差定義為：                      5.36每個樣本作用時，都對權(quán)矩陣進行了一次修改。由于每次權(quán)矩陣的修改都沒有考慮權(quán)值修改后其它樣本作用的輸出誤差是否也減小，因此將導(dǎo)致迭代次數(shù)增加。  累計誤差BP算法的全局誤差定義為：        

22、60;       5.37這種算法是為了減小整個訓(xùn)練集的全局誤差，而不針對某一特定樣本，因此如果作某種修改能使全局誤差減小，并不等于說每一個特定樣本的誤差也都能同時減小。它不能用來比較P和m不同的網(wǎng)絡(luò)性能。因為對于同一網(wǎng)絡(luò)來說，P越大，E也越大； P值相同，m越大E也越大。  均方誤差MSE：                  5.38其中:輸出節(jié)點的個數(shù)

23、，訓(xùn)練樣本數(shù)目，網(wǎng)絡(luò)期望輸出值，網(wǎng)絡(luò)實際輸出值。均方誤差克服了上述兩種算法的缺點，所以選用均方誤差算法較合理。5.5.3 訓(xùn)練結(jié)果訓(xùn)練一個單隱層的三層BP網(wǎng)絡(luò)，根據(jù)如下經(jīng)驗公式選擇隱層節(jié)點數(shù)125：                         5.39式中：n為輸入節(jié)點個數(shù)，m為輸出節(jié)點個數(shù)，a為1到10之間的常數(shù)。針對本論文n1取值范圍為313。訓(xùn)練結(jié)

24、果如表5.1所示。   隱層節(jié)點數(shù)與誤差的關(guān)系隱層神經(jīng)元個數(shù)訓(xùn)練誤差測試誤差345678910111213由上表可以看出：              增加隱層節(jié)點數(shù)可以減少訓(xùn)練誤差，但超過10以后測試誤差產(chǎn)生波動，即泛化能力發(fā)生變化。綜合比較隱層節(jié)點數(shù)為10與12的訓(xùn)練誤差和測試誤差，決定隱層節(jié)點數(shù)選用12。           

25、0;  訓(xùn)練誤差和測試誤差都很大,而且收斂速度極慢訓(xùn)練過程如圖5.7所示，這個問題可以通過對輸出量進行歸一化來解決。根據(jù)Sigmoid型傳遞函數(shù)輸入和輸出的范圍，對輸入變量不進行歸一化處理，只對輸出變量進行歸一化，這是因為在輸出數(shù)據(jù)要求歸一化的同時，對輸入數(shù)據(jù)也進行歸一化的話，權(quán)值的可解釋性就更差了。目標(biāo)值按下式進行變化：                   5.40使目標(biāo)值落在之間，這樣靠近數(shù)據(jù)變化區(qū)間端點的網(wǎng)絡(luò)輸出值就有一波動范圍，網(wǎng)絡(luò)的性能較好。