神經(jīng)網(wǎng)絡方法-環(huán)境工程課件

神經(jīng)網(wǎng)絡

人工神經(jīng)網(wǎng)絡能夠模仿人腦的功能，具有對信息進行并行處理、分布式存貯，良好的自適應性、自組織性、自學習與推理的能力，表現(xiàn)出容錯性、非線性、非局域性、非凸性等特點，適用于對模糊信息或復雜的非線性關系進行識別與映射。1神經(jīng)網(wǎng)絡方法-環(huán)境工程BP神經(jīng)網(wǎng)絡

誤差反向傳播網(wǎng)絡（Back－PropagationNetwork），簡稱BP神經(jīng)網(wǎng)絡，是目前人工神經(jīng)網(wǎng)絡最具有代表性的一種網(wǎng)絡，應用最為廣泛。BP神經(jīng)網(wǎng)絡通常由輸入層、若干隱含層和輸出層組成，最基本的BP神經(jīng)網(wǎng)絡通常由一個輸入層、一個隱含層和一個輸出層組成。X表示網(wǎng)絡的輸入、H表示隱含層、Y表示網(wǎng)絡的輸出，Wij表示輸入層與隱含層之間的連接權值，Vjk表示隱含層到輸出層的連接權值。m、l、n分別表示輸入層、隱含層、輸出層神經(jīng)元的個數(shù)。Q1j和P1j分別表示隱含層、輸出層神經(jīng)元的閾值。2神經(jīng)網(wǎng)絡方法-環(huán)境工程BP網(wǎng)絡整個學習過程的一般步驟如下：①網(wǎng)絡初始化。給各連接權值{Wij}、{Vjk}及閾值{Q1j}、{P1j}賦予（-1，+1）間的隨機量。②將第t（t=1）個學習樣本輸入到圖的網(wǎng)絡中。③計算隱含層第j神經(jīng)元輸入{sj}和輸出{bj}：，即：式中：

f（x）—網(wǎng)絡相應函數(shù)，取f（x）為Sigmoid函數(shù)，即。3神經(jīng)網(wǎng)絡方法-環(huán)境工程④計算輸出層第k神經(jīng)元的輸入{Lk}和輸出層的輸出{Ck}，即：⑤計算輸出層各神經(jīng)元的一般化誤差{dk}：式中：Yk—第k神經(jīng)元的期望輸出。⑥計算隱含層第j神經(jīng)元的一般化誤差{Ej}：4神經(jīng)網(wǎng)絡方法-環(huán)境工程⑦調(diào)整連接權值和閾值：式中：η—學習速率，0<η<1。⑧選取下一個訓練樣本對（t=2），重復步驟③～⑦，直至所有樣本對（t=1，2，…m）訓練完畢，即完成了訓練樣本集的一輪訓練。5神經(jīng)網(wǎng)絡方法-環(huán)境工程⑨計算全局誤差SSE：式中：M—學習樣本的對數(shù)；Ykt—第t對學習樣本的期望輸出；Ckt—第t對學習樣本的計算輸出⑩如果SSE小于預先設定的一個誤差值，則網(wǎng)絡停止學習；否則將重復步驟③～⑦，進行樣本學習樣本集的下一輪訓練。6神經(jīng)網(wǎng)絡方法-環(huán)境工程標準BP算法是基于梯度下降法，通過計算目標函數(shù)對網(wǎng)絡權值和閾值的梯度進行修正。學習過程是通過調(diào)整權重和閾值使期望值和神經(jīng)網(wǎng)絡輸出值的均方誤差趨于最小實現(xiàn)的，只用到均方誤差函數(shù)對權值和閾值的一階導數(shù)信息。標準梯度下降法權值和閾值的迭代過程可表示為：標準BP算法：由網(wǎng)絡所有權值和閾值所形成的向量。

學習速率目標函數(shù)(均方誤差函數(shù))

目標函數(shù)的梯度(一階導數(shù))

迭代次數(shù)

7神經(jīng)網(wǎng)絡方法-環(huán)境工程BP神經(jīng)網(wǎng)絡的缺點：BP神經(jīng)網(wǎng)絡是目前應用最多的一種神經(jīng)網(wǎng)絡形式，但不是非常完美，表現(xiàn)出結構確定的人為性、訓練速度慢以及初始權值對結果影響的隨機性等缺陷；存在學習過程易陷入局部極小、易出現(xiàn)震蕩和網(wǎng)絡存在冗余連接或節(jié)點等缺陷；另外，隱含層單元數(shù)及隱含層結點數(shù)的確定至今沒有統(tǒng)一的方法。8神經(jīng)網(wǎng)絡方法-環(huán)境工程對于上述存在的缺點，許多學者對BP網(wǎng)絡進行了改進，大多采用基于標準梯度下降的改進方法，如附加動量法、彈性BP算法、自適應調(diào)整參數(shù)法等或基于標準數(shù)值優(yōu)化的改進方法，如擬牛頓法、共扼梯度法和LM法等，并沒有將兩種改進方法結合起來。

BP神經(jīng)網(wǎng)絡的改進：9神經(jīng)網(wǎng)絡方法-環(huán)境工程（1）基于標準數(shù)值優(yōu)化的改進BP神經(jīng)網(wǎng)絡的訓練實質(zhì)上是非線性目標函數(shù)的優(yōu)化問題，標準BP神經(jīng)網(wǎng)絡利用了目標函數(shù)的一階導數(shù)信息。本次改進采用“LM”法，它是基于標準數(shù)值優(yōu)化的改進方法，在利用目標函數(shù)的一階導數(shù)信息的基礎上，還利用了目標函數(shù)的二階導數(shù)信息。改進后的權值和閾值的迭代過程表示為：DH—是對角矩陣，其對角元素為H的對角元素；10神經(jīng)網(wǎng)絡方法-環(huán)境工程μ—阻尼因子（若E(X(k+1))≥E(X(k)),μ(k+1)=10μ(k)；否則μ(k+1)=0.1μ(k)）。

該改進方法根據(jù)迭代的結果動態(tài)地調(diào)整阻尼因子，使每次的迭代誤差函數(shù)值都有所下降，收斂速度快。（2）基于梯度下降的改進標準BP算法的步長λ是定值，這就導致了λ難以確定，若λ過小，在誤差曲面較平坦的區(qū)域，收斂較慢；當步長λ較大時，又會在峽谷區(qū)域引起震蕩。針對上述缺陷，本次采用步長自適應改進方法確定λ，即：式中：β—某一小正數(shù)，β∈[0.01，0.03]；

p—訓練次數(shù)

Ep—第p次的訓練誤差。11神經(jīng)網(wǎng)絡方法-環(huán)境工程

該方法的優(yōu)點是當誤差減小時步長相應增大，當誤差增大時步長相應減小，克服了標準BP算法步長難以確定的缺陷。采用這兩種方法改進的BP神經(jīng)網(wǎng)絡能克服標準BP神經(jīng)網(wǎng)絡訓練速度慢、初始權值對結果影響的隨機性、在學習過程易陷入局部極小、易出現(xiàn)震蕩等缺陷。12神經(jīng)網(wǎng)絡方法-環(huán)境工程基于人工神經(jīng)網(wǎng)絡的綜合評價方法步驟

（1）確定評價指標集，指標個數(shù)為BP網(wǎng)絡中輸入節(jié)點的個數(shù)；

（2）確定BP網(wǎng)絡的層數(shù)，一般采用具有一個輸入層，一個隱含層和一個輸出層的三層網(wǎng)絡模型結構；

（3）明確評價結果輸出層的節(jié)點數(shù)為1;

（4）對指標值進行標準化處理；

（5）用隨機數(shù)（一般為0-1之間的數(shù)）初始化網(wǎng)絡節(jié)點的權值與網(wǎng)絡閾值；

（6）將標準化以后的指標樣本值輸入網(wǎng)絡，并給出相應的期望輸出；

13神經(jīng)網(wǎng)絡方法-環(huán)境工程基于人工神經(jīng)網(wǎng)絡的綜合評價方法步驟（7）正向傳播，計算各層節(jié)點的輸出；

（8）計算各層節(jié)點的誤差；

（9）反向傳播，修正權重；

（10）計算誤差。當誤差小于給定的擬合誤差，網(wǎng)絡訓練結束；否則轉(zhuǎn)到（7），繼續(xù)訓練；

（11）訓練所得網(wǎng)絡權重就可以用于正式的評價。14神經(jīng)網(wǎng)絡方法-環(huán)境工程神經(jīng)網(wǎng)絡在地下水環(huán)境評價中的應用

地下水環(huán)境質(zhì)量評價是地下水資源評價的一項重要內(nèi)容，它根據(jù)地下水中主要物質(zhì)成分和給定的水質(zhì)標準，分析地下水水質(zhì)的時空分布狀況和可用程度，為地下水資源的開發(fā)利用、規(guī)劃和管理提供科學依據(jù)。15神經(jīng)網(wǎng)絡方法-環(huán)境工程神經(jīng)網(wǎng)絡在地下水環(huán)境評價中的應用

地下水水質(zhì)評價的方法有很多,如模糊數(shù)學法、灰色聚類法、物元分析法、內(nèi)梅羅指數(shù)法等。在設計模糊數(shù)學的隸屬度函數(shù)、灰色聚類的白化函數(shù)時及在確定各評價指標的權重時，都存在著人為因素，造成評價模式難以通用，而且也存在著在計算時丟失信息太多而使評價結果與實際不符。內(nèi)梅羅指數(shù)法數(shù)學過程簡捷，運算方便，物理概念清晰等，該方法的主要缺點是過于突出最大污染因子，未考慮權重因素，對各污染因子等同對待等。這些方法并沒有很好解決評價因子與水質(zhì)等級間復雜的非線性關系，以及水體污染的模糊性與隨機性，至今還沒統(tǒng)一的評價模型。16神經(jīng)網(wǎng)絡方法-環(huán)境工程神經(jīng)網(wǎng)絡在地下水環(huán)境評價中的應用表1水質(zhì)資料17神經(jīng)網(wǎng)絡方法-環(huán)境工程神經(jīng)網(wǎng)絡在地下水環(huán)境評價中的應用18神經(jīng)網(wǎng)絡方法-環(huán)境工程神經(jīng)網(wǎng)絡在地下水環(huán)境評價中的應用I類水的標準界值為I類水的分級代表值，Ⅱ類水的分級代表值為I類水和Ⅱ類水標準界值的中值，其余依次類推，將Ⅳ類水或Ⅴ類水的界值作為Ⅴ類水的分級代表值。得到本次BP網(wǎng)絡的訓練樣本，見表2。1訓練樣本選擇表2地下水質(zhì)量標準分級類別和網(wǎng)絡期望輸出值19神經(jīng)網(wǎng)絡方法-環(huán)境工程神經(jīng)網(wǎng)絡在地下水環(huán)境評價中的應用2數(shù)據(jù)的預處理BP網(wǎng)絡模型一般以S形函數(shù)作為轉(zhuǎn)換函數(shù)，該函數(shù)的值域為[0，1]，因此在網(wǎng)絡訓練時要將原始數(shù)據(jù)進行處理，規(guī)范到[0，1]之間，常用的數(shù)據(jù)預處理方法主要有標準化法、重新標法、變換法、比例壓縮法、壓縮系數(shù)法。為了實現(xiàn)將網(wǎng)絡輸入數(shù)據(jù)信息集進行合理的壓縮，又能夠體現(xiàn)原始輸入數(shù)據(jù)信息之間的差別，建議使用壓縮系數(shù)法。公式如下：T=αX式中：X——原始數(shù)據(jù)；α——壓縮系數(shù)法，0<α<1,根據(jù)具體對象選取α的值；T——變換后的數(shù)據(jù)。20神經(jīng)網(wǎng)絡方法-環(huán)境工程神經(jīng)網(wǎng)絡在地下水環(huán)境評價中的應用3隱層及隱層神經(jīng)元節(jié)點數(shù)的確定

地下水環(huán)境質(zhì)量評價是一個非線性關系較為復雜的問題，神經(jīng)網(wǎng)絡具有逼近任意非線性函數(shù)的能力，且一般的三層BP網(wǎng)絡模型就能滿足大部分非線性系統(tǒng)要求[7-8]，因此本次采用一個隱含層。隱含層神經(jīng)元節(jié)點數(shù)的確定是人工神經(jīng)網(wǎng)絡設計中最為關鍵的步驟，它直接影響網(wǎng)絡對復雜問題的映射能力。目前出現(xiàn)的確定隱含層神經(jīng)元方法是多樣的，但都缺乏令人信服的依據(jù)，有時常常也是無效的。本文采用“試算法”確定神經(jīng)元個數(shù)，經(jīng)試算，最佳隱含層節(jié)點數(shù)為15個。21神經(jīng)網(wǎng)絡方法-環(huán)境工程神經(jīng)網(wǎng)絡在地下水環(huán)境評價中的應用4地下水環(huán)境質(zhì)量評價

由于本次評價指標選擇了5個評價因子，因此輸入層神經(jīng)元節(jié)點數(shù)為5個，評價等級為5個，輸出層神經(jīng)元節(jié)點數(shù)為5個，隱含層神經(jīng)元節(jié)點數(shù)經(jīng)試算為15個，因本次BP網(wǎng)絡的拓撲結構為：一個輸入層，神經(jīng)元節(jié)點數(shù)為5個；一個隱含層，神經(jīng)元節(jié)點數(shù)為15個；一個輸出層，神經(jīng)元節(jié)點數(shù)為5個。

22神經(jīng)網(wǎng)絡方法-環(huán)境工程神經(jīng)網(wǎng)絡在地下水環(huán)境評價中的應用4地下水環(huán)境質(zhì)量評價表3地下水環(huán)境質(zhì)量評價結果23神經(jīng)網(wǎng)絡方法-環(huán)境工程神經(jīng)網(wǎng)絡時間序列預測模型記一個時間序列為{Xt}，其中xt=x(t)，t=0，±1，±2，…。時間序列預測也就是根據(jù)時間序列{Xt}的歷史觀測值xn，xn-1，…，xn-m對未來n+k時刻（k>0）的取值進行估計，可以認為xn，xn-1，…，xn-m之間存在有某種函數(shù)關系，可用下式描述：24神經(jīng)網(wǎng)絡方法-環(huán)境工程神經(jīng)網(wǎng)絡時間序列預測模型的步驟神經(jīng)網(wǎng)絡預測時間序列的方法就是用神經(jīng)網(wǎng)絡來擬合某一時間序列的函數(shù)F(·)，然后將之用于時間序列的預測。建立神經(jīng)網(wǎng)絡時間序列預測模型有以下幾個步驟：（1）數(shù)據(jù)的預處理BP神經(jīng)網(wǎng)絡一般以S型函數(shù)作為轉(zhuǎn)換函數(shù)，該函數(shù)的值域為[0，1]，因此在網(wǎng)絡訓練時要將原始數(shù)據(jù)進行處理，規(guī)范到[0，1]之間，常用的數(shù)據(jù)預處理方法主要有標準化法、重新標法、變換法、比例壓縮法、壓縮系數(shù)法。25神經(jīng)網(wǎng)絡方法-環(huán)境工程神經(jīng)網(wǎng)絡時間序列預測模型的步驟（1）數(shù)據(jù)的預處理

為了實現(xiàn)將輸入數(shù)據(jù)信息集進行合理的壓縮，又能夠體現(xiàn)原始輸入數(shù)據(jù)信息之間的差別，本次研究采用壓縮系數(shù)法，對數(shù)據(jù)進行預處理，公式如下：T=αX式中：X—原始數(shù)據(jù)；α—壓縮系數(shù)法，0<α<1，根據(jù)具體對象選取α的值；T—變換后的數(shù)據(jù)。26神經(jīng)網(wǎng)絡方法-環(huán)境工程神經(jīng)網(wǎng)絡時間序列預測模型的步驟（2）隱層及隱層神經(jīng)元節(jié)點數(shù)的確定神經(jīng)網(wǎng)絡具有逼近任意非線性函數(shù)的能力，且一般的三層BP網(wǎng)絡模型就能滿足大部分非線性系統(tǒng)要求，本次研究采用上述改進的BP神經(jīng)網(wǎng)絡。隱含層神經(jīng)元節(jié)點數(shù)的確定是人工神經(jīng)網(wǎng)絡設計中最為關鍵的步驟，它直接影響網(wǎng)絡對復雜問題的映射能力。目前出現(xiàn)的確定隱含層神經(jīng)元個數(shù)的方法是多樣的，但都缺乏令人信服的依據(jù)，有時常常也是無效的。本次研究采用隱含層采用一層，隱含層節(jié)點數(shù)的確定采用“試算法”。27神經(jīng)網(wǎng)絡方法-環(huán)境工程神經(jīng)網(wǎng)絡時間序列預測模型的步驟（3）網(wǎng)絡結構設計

網(wǎng)絡結構設計包括確定網(wǎng)絡的隱層數(shù)、隱層神經(jīng)元節(jié)點數(shù)及輸入、輸出層神經(jīng)元節(jié)點數(shù)。輸入、輸出層神經(jīng)元節(jié)點數(shù)由實際問題決定。28神經(jīng)網(wǎng)絡方法-環(huán)境工程神經(jīng)網(wǎng)絡時間序列預測模型的步驟（4）樣本的選取將時間序列作為樣本集，并將其分為兩組，一組作為訓練樣本，一組作為檢驗樣本。訓練樣本的選擇通常遵循以下原則：樣本足夠多，具有代表性且樣本分布均勻。29神經(jīng)網(wǎng)絡方法-環(huán)境工程神經(jīng)網(wǎng)絡時間序列預測模型的步驟（5）訓練網(wǎng)絡用訓練樣本，對神經(jīng)網(wǎng)絡進行訓練，得到神經(jīng)網(wǎng)絡時間序列預測模型。30神經(jīng)網(wǎng)絡方法-環(huán)境工程神經(jīng)網(wǎng)絡時間序列預測模型的步驟（6）驗證網(wǎng)絡對網(wǎng)絡進行檢驗，即對檢驗時間序列進行預測，與檢驗樣本對比，分析預測的效果，效果滿足精度要求便可以用來進行長期預測。檢驗方法通常采用后驗預