遙感影像識別-第六章 神經(jīng)網(wǎng)絡(luò)在模式識別中的應(yīng)用 Part Ⅳ

1、遙感影像識別遙感影像識別第六章第六章:神經(jīng)網(wǎng)絡(luò)在模式識神經(jīng)網(wǎng)絡(luò)在模式識別中的應(yīng)用別中的應(yīng)用 Part 1. 主要內(nèi)容主要內(nèi)容v概概 論論v神經(jīng)元與網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)元與網(wǎng)絡(luò)結(jié)構(gòu)v感知器模型感知器模型v反向傳播網(wǎng)絡(luò)模型反向傳播網(wǎng)絡(luò)模型v遙感圖像處理試驗遙感圖像處理試驗l反向傳播網(wǎng)絡(luò)(Back-Propagation Network，簡稱BP網(wǎng)絡(luò))是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是S型（Sigmoid）函數(shù)，因此輸出量為0到1之間的連續(xù)量，它可以實現(xiàn)從輸入到輸出的任意的非線性映射。l 由于其權(quán)值的調(diào)整采用反向傳播的學(xué)習(xí)算法，因此被稱為BP網(wǎng)絡(luò)。 lBP網(wǎng)絡(luò)主要用于：l1) 函數(shù)逼近：用輸入

2、矢量和相應(yīng)的輸出矢量訓(xùn)練一個網(wǎng)絡(luò)逼近個函數(shù)；l2) 模式識別：用一個特定的輸出矢量將它與輸入矢量聯(lián)系起來；l3) 分類：把輸入矢量以所定義的合適方式進(jìn)行分類；l4)數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲。 4.1 BP網(wǎng)絡(luò)模型與結(jié)構(gòu)網(wǎng)絡(luò)模型與結(jié)構(gòu) 一個具有一個具有r個輸入和一個隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)個輸入和一個隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) l BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。l BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，所以它就不能采用二值型的閥值函數(shù)0，1或符號函數(shù)-1，1，BP網(wǎng)絡(luò)經(jīng)常使用的是S型的對數(shù)或正切激活函數(shù)和線

3、性函數(shù)。 圖圖4-1 BP網(wǎng)絡(luò)網(wǎng)絡(luò)S型激活函數(shù)型激活函數(shù) l 因為因為S型函數(shù)具有非線性放大系數(shù)功能，它可以把輸入從型函數(shù)具有非線性放大系數(shù)功能，它可以把輸入從負(fù)無窮大到正無窮大的信號，變換成負(fù)無窮大到正無窮大的信號，變換成-1到到l之間輸出，對較之間輸出，對較大的輸入信號，放大系數(shù)較小；而對較小的輸入信號，放大的輸入信號，放大系數(shù)較小；而對較小的輸入信號，放大系數(shù)則較大，所以采用大系數(shù)則較大，所以采用S型激活函數(shù)可以去處理和逼近非型激活函數(shù)可以去處理和逼近非線性的輸入線性的輸入/輸出關(guān)系。輸出關(guān)系。 l只有當(dāng)希望對網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制在0和1之間，那么在輸出層應(yīng)當(dāng)包含S型激活函數(shù)，在一

4、般情況下，均是在隱含層采用S型激活函數(shù)，而輸出層采用線性激活函數(shù)。lBP網(wǎng)絡(luò)的特點： 1）輸入和輸出是并行的模擬量； 2）網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒有固定的算法； 3）權(quán)因子是通過學(xué)習(xí)信號調(diào)節(jié)的，這樣學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明； 4）隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個別權(quán)因子的損壞不會對網(wǎng)絡(luò)輸出產(chǎn)生大的影響。4.2 BP學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 lBP算法屬于算法，是一種監(jiān)督式的學(xué)習(xí)算法。 l其主要思想為：對于q個輸入學(xué)習(xí)樣本：P1，P2，Pq，已知與其對應(yīng)的輸出樣本為：T1，T2，Tq。l學(xué)習(xí)的目的是用網(wǎng)絡(luò)的實際輸出A1，A2，Aq，與目標(biāo)矢量T1，T2，Tq，之間的誤差來修改其權(quán)值，使

5、Al，(ll，2，q)與期望的Tl盡可能地接近；即：使網(wǎng)絡(luò)輸出層的誤差平方和達(dá)到最小。 l BP算法是由兩部分組成：信息的正向正向傳遞與誤差的反向反向傳播。l 在正向傳播過程中，輸入信息從輸入經(jīng)隱含層逐層計算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。l 如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號沿原來的連接通路反傳回來修改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo)。 圖圖4-2 具有一個隱含層的簡化網(wǎng)絡(luò)圖具有一個隱含層的簡化網(wǎng)絡(luò)圖 l 設(shè)輸入為設(shè)輸入為P，輸入神經(jīng)元有輸入神經(jīng)元有r個，隱含層內(nèi)有個，隱含層內(nèi)有s1個神經(jīng)元，個神經(jīng)元，激活函

6、數(shù)為激活函數(shù)為F1，輸出層內(nèi)有輸出層內(nèi)有s2個神經(jīng)元，對應(yīng)的激活函數(shù)個神經(jīng)元，對應(yīng)的激活函數(shù)為為F2，輸出為輸出為A，目標(biāo)矢量為目標(biāo)矢量為T。 l4.2.1信息的正向傳遞 1) 隱含層中第i個神經(jīng)元的輸出為： 2)輸出層第輸出層第k個神經(jīng)元的輸出為：個神經(jīng)元的輸出為： 3)定義誤差函數(shù)為：定義誤差函數(shù)為： (4.1)（4.2） （4.3） l 4.2.2 利用梯度下降法求權(quán)值變化及誤差的反向傳播利用梯度下降法求權(quán)值變化及誤差的反向傳播 1) 隱含層的權(quán)值變化隱含層的權(quán)值變化對從第對從第i個輸入到第個輸入到第k個輸出的權(quán)值有：個輸出的權(quán)值有：其中：其中： 同理可得：同理可得： （4.4） （4.

7、5）（）（4.6） （4.7） 2) 輸出層權(quán)值變化輸出層權(quán)值變化 對從第對從第j個輸入到第個輸入到第i個輸出的權(quán)值，有：個輸出的權(quán)值，有： 其中：其中： 同理可得：同理可得： （4.8） （4.9） （4.10） l 4.2.3 誤差反向傳播的流程誤差反向傳播的流程l 誤差反向傳播過程實際上是通過計算輸出層的誤差誤差反向傳播過程實際上是通過計算輸出層的誤差ek，然后將其與輸出層激活函數(shù)的一階導(dǎo)數(shù)然后將其與輸出層激活函數(shù)的一階導(dǎo)數(shù)f2相乘來求得相乘來求得ki。l 由于隱含層中沒有直接給出目標(biāo)矢量，所以利用輸出層由于隱含層中沒有直接給出目標(biāo)矢量，所以利用輸出層的的ki反向傳遞來求出隱含層權(quán)值的變

8、化量反向傳遞來求出隱含層權(quán)值的變化量w2ki。然后計然后計算。算。l 并同樣通過將并同樣通過將ei與該層激活函數(shù)的一階導(dǎo)數(shù)與該層激活函數(shù)的一階導(dǎo)數(shù)f1相乘，而相乘，而求得求得ij，以此求出前層權(quán)值的變化量以此求出前層權(quán)值的變化量w1ij。如果前面還如果前面還有隱含層，沿用上述同樣方法依此類推，一直將輸出誤差有隱含層，沿用上述同樣方法依此類推，一直將輸出誤差ek一層一層的反推算到第一層為止。一層一層的反推算到第一層為止。4.3 BP網(wǎng)絡(luò)的訓(xùn)練過程網(wǎng)絡(luò)的訓(xùn)練過程 l為了訓(xùn)練一個BP網(wǎng)絡(luò)，需要計算網(wǎng)絡(luò)加權(quán)輸入矢量以及網(wǎng)絡(luò)輸出和誤差矢量，然后求得誤差平方和。l當(dāng)所訓(xùn)練矢量的誤差平方和小于誤差目標(biāo)，訓(xùn)練

9、則停止，否則在輸出層計算誤差變化，且采用反向傳播學(xué)習(xí)規(guī)則來調(diào)整權(quán)值，并重復(fù)此過程。l當(dāng)網(wǎng)絡(luò)完成訓(xùn)練后，對網(wǎng)絡(luò)輸入一個不是訓(xùn)練集合中的矢量，網(wǎng)絡(luò)將以泛化方式給出輸出結(jié)果。4.4 BP網(wǎng)絡(luò)的設(shè)計網(wǎng)絡(luò)的設(shè)計 4.4.1網(wǎng)絡(luò)的層數(shù)網(wǎng)絡(luò)的層數(shù)l理論上已經(jīng)證明：具有偏差和至少一個S型隱含層加上一個線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。 l增加層數(shù)主要可以更進(jìn)一步的降低誤差，提高精度，但同時也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時間。 l一般情況下，應(yīng)優(yōu)先考慮增加隱含層中的神經(jīng)元數(shù)。 l能不能僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題呢？結(jié)論是：沒有必要或效果不好。 4.4.2 隱含層的神經(jīng)元數(shù)l網(wǎng)絡(luò)訓(xùn)

10、練精度的提高，可以通過采用一個隱含層，而增加其神經(jīng)元數(shù)的方法來獲得。這在結(jié)構(gòu)實現(xiàn)上，要比增加更多的隱含層要簡單得多。 l在具體設(shè)計時，比較實際的做法是通過對不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練對比，然后適當(dāng)?shù)丶由弦稽c余量。 4.4.3 初始權(quán)值的選取l一般取初始權(quán)值在(-1，1)之間的隨機數(shù)。l威得羅等人在分析了兩層網(wǎng)絡(luò)是如何對一個函數(shù)進(jìn)行訓(xùn)練后，提出一種選定初始權(quán)值的策略。l在MATLAB工具箱中可采用函數(shù)nwlog.m或nwtan.m來初始化隱含層權(quán)值W1和B1。l其方法僅需要使用在第一隱含層的初始值的選取上，后面層的初始值仍然采用隨機取數(shù)。 4.4.4 學(xué)習(xí)速率l 學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)

11、值變化量。l 大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定。l小的學(xué)習(xí)速率導(dǎo)致較長的訓(xùn)練時間，可能收斂很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。l所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率的選取范圍在00108之間。 4.4.5 期望誤差的選取l 在設(shè)計網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也應(yīng)當(dāng)通過對比訓(xùn)練后確定一個合適的值。l 這個所謂的“合適”，是相對于所需要的隱含層的節(jié)點數(shù)來確定，因為較小的期望誤差值是要靠增加隱含層的節(jié)點，以及訓(xùn)練時間來獲得的。l 一般情況下，作為對比，可以同時對兩個不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過綜合因素的考慮來確定采用其中一

12、個網(wǎng)絡(luò)。 4.5 限制與不足限制與不足 1)需要較長的訓(xùn)練時間2)完全不能訓(xùn)練 通常為了避免這種現(xiàn)象的發(fā)生，一是選取較小的初始權(quán)值，二是采用較小的學(xué)習(xí)速率，但這又增加了訓(xùn)練時間。 3)局部極小值 BP算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個局部極小解。 4.6 反向傳播法的改進(jìn)方法反向傳播法的改進(jìn)方法 主要目標(biāo)是為了加快訓(xùn)練速度，避免陷入局部極小值。4.6.1 附加動量法附加動量法 l附加動量法使網(wǎng)絡(luò)在修正其權(quán)值時，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響，其作用如同一個低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上的微小變化特性。 l利

13、用附加動量的作用則有可能滑過局部極小值。 l 該方法是在反向傳播法的基礎(chǔ)上在每一個權(quán)值的變化上該方法是在反向傳播法的基礎(chǔ)上在每一個權(quán)值的變化上加上一項正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法加上一項正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值變化。來產(chǎn)生新的權(quán)值變化。l 帶有附加動量因子的權(quán)值調(diào)節(jié)公式為：帶有附加動量因子的權(quán)值調(diào)節(jié)公式為： l 其中其中k為訓(xùn)練次數(shù)，為訓(xùn)練次數(shù)，mc為動量因子，一般取為動量因子，一般取095左右。左右。 l 附加動量法的實質(zhì)是將最后一次權(quán)值變化的影響，通過附加動量法的實質(zhì)是將最后一次權(quán)值變化的影響，通過一個動量因子來傳遞。當(dāng)動量因子取值為零時，權(quán)值

14、的變一個動量因子來傳遞。當(dāng)動量因子取值為零時，權(quán)值的變化僅是根據(jù)梯度下降法產(chǎn)生；當(dāng)動量因子取值為化僅是根據(jù)梯度下降法產(chǎn)生；當(dāng)動量因子取值為1時，新的時，新的權(quán)值變化則是設(shè)置為最后一次權(quán)值的變化，而依梯度法產(chǎn)權(quán)值變化則是設(shè)置為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了。生的變化部分則被忽略掉了。 l 在在MATLAB工具箱中，帶有動量因子的權(quán)值修正法是用工具箱中，帶有動量因子的權(quán)值修正法是用函數(shù)函數(shù)learnbpm.m來實現(xiàn)的。來實現(xiàn)的。 4.6.2 誤差函數(shù)的改進(jìn)誤差函數(shù)的改進(jìn) 包穆包穆(Baum)等人于等人于1988年提出一種誤差函數(shù)為：年提出一種誤差函數(shù)為： 不會產(chǎn)生不能完全

15、訓(xùn)練的麻痹現(xiàn)象。不會產(chǎn)生不能完全訓(xùn)練的麻痹現(xiàn)象。 4.6.3 自適應(yīng)學(xué)習(xí)速率自適應(yīng)學(xué)習(xí)速率 l 通常調(diào)節(jié)學(xué)習(xí)速率的準(zhǔn)則是：檢查權(quán)值的修正值是否通常調(diào)節(jié)學(xué)習(xí)速率的準(zhǔn)則是：檢查權(quán)值的修正值是否真正降低了誤差函數(shù)，如果確實如此，則說明所選取的學(xué)真正降低了誤差函數(shù)，如果確實如此，則說明所選取的學(xué)習(xí)速率值小了，可以對其增加一個量；若不是這樣，而產(chǎn)習(xí)速率值小了，可以對其增加一個量；若不是這樣，而產(chǎn)生了過調(diào)，那么就應(yīng)該減小學(xué)習(xí)速率的值。下式給出了一生了過調(diào)，那么就應(yīng)該減小學(xué)習(xí)速率的值。下式給出了一種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式：種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式：4.7 小結(jié)小結(jié) 1) 反向傳播法可以用來訓(xùn)練具有可微激活函數(shù)的多層前向網(wǎng)絡(luò)以進(jìn)行函數(shù)逼近，模式分類等工作；2) 反向傳播網(wǎng)絡(luò)的結(jié)構(gòu)不完全受所要解決的問題所限制。網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問題的要求所決定的，而輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是由設(shè)計者來決定的；3) 已證明，兩層S型線性網(wǎng)絡(luò)，如果S型層有足夠的神經(jīng)元，則能夠訓(xùn)練出任意輸入和輸出之間的有理函數(shù)關(guān)系；4) 反向傳播法沿著誤差表面的梯度下降，使網(wǎng)絡(luò)誤差最小