神經(jīng)網(wǎng)絡(luò)方法環(huán)境工程

神經(jīng)網(wǎng)絡(luò)方法環(huán)境工程第1頁(yè)/共37頁(yè)2BP神經(jīng)網(wǎng)絡(luò)

誤差反向傳播網(wǎng)絡(luò)（Back－PropagationNetwork），簡(jiǎn)稱BP神經(jīng)網(wǎng)絡(luò)，是目前人工神經(jīng)網(wǎng)絡(luò)最具有代表性的一種網(wǎng)絡(luò)，應(yīng)用最為廣泛。BP神經(jīng)網(wǎng)絡(luò)通常由輸入層、若干隱含層和輸出層組成，最基本的BP神經(jīng)網(wǎng)絡(luò)通常由一個(gè)輸入層、一個(gè)隱含層和一個(gè)輸出層組成。X表示網(wǎng)絡(luò)的輸入、H表示隱含層、Y表示網(wǎng)絡(luò)的輸出，Wij表示輸入層與隱含層之間的連接權(quán)值，Vjk表示隱含層到輸出層的連接權(quán)值。m、l、n分別表示輸入層、隱含層、輸出層神經(jīng)元的個(gè)數(shù)。Q1j和P1j分別表示隱含層、輸出層神經(jīng)元的閾值。第2頁(yè)/共37頁(yè)3BP網(wǎng)絡(luò)整個(gè)學(xué)習(xí)過(guò)程的一般步驟如下：①網(wǎng)絡(luò)初始化。給各連接權(quán)值{Wij}、{Vjk}及閾值{Q1j}、{P1j}賦予（-1，+1）間的隨機(jī)量。②將第t（t=1）個(gè)學(xué)習(xí)樣本輸入到圖的網(wǎng)絡(luò)中。③計(jì)算隱含層第j神經(jīng)元輸入{sj}和輸出{bj}：，即：式中：

f（x）—網(wǎng)絡(luò)相應(yīng)函數(shù)，取f（x）為Sigmoid函數(shù)，即。第3頁(yè)/共37頁(yè)4④計(jì)算輸出層第k神經(jīng)元的輸入{Lk}和輸出層的輸出{Ck}，即：⑤計(jì)算輸出層各神經(jīng)元的一般化誤差{dk}：式中：Yk—第k神經(jīng)元的期望輸出。⑥計(jì)算隱含層第j神經(jīng)元的一般化誤差{Ej}：第4頁(yè)/共37頁(yè)5⑦調(diào)整連接權(quán)值和閾值：式中：η—學(xué)習(xí)速率，0<η<1。⑧選取下一個(gè)訓(xùn)練樣本對(duì)（t=2），重復(fù)步驟③～⑦，直至所有樣本對(duì)（t=1，2，…m）訓(xùn)練完畢，即完成了訓(xùn)練樣本集的一輪訓(xùn)練。第5頁(yè)/共37頁(yè)6⑨計(jì)算全局誤差SSE：式中：M—學(xué)習(xí)樣本的對(duì)數(shù)；Ykt—第t對(duì)學(xué)習(xí)樣本的期望輸出；Ckt—第t對(duì)學(xué)習(xí)樣本的計(jì)算輸出⑩如果SSE小于預(yù)先設(shè)定的一個(gè)誤差值，則網(wǎng)絡(luò)停止學(xué)習(xí)；否則將重復(fù)步驟③～⑦，進(jìn)行樣本學(xué)習(xí)樣本集的下一輪訓(xùn)練。第6頁(yè)/共37頁(yè)7標(biāo)準(zhǔn)BP算法是基于梯度下降法，通過(guò)計(jì)算目標(biāo)函數(shù)對(duì)網(wǎng)絡(luò)權(quán)值和閾值的梯度進(jìn)行修正。學(xué)習(xí)過(guò)程是通過(guò)調(diào)整權(quán)重和閾值使期望值和神經(jīng)網(wǎng)絡(luò)輸出值的均方誤差趨于最小實(shí)現(xiàn)的，只用到均方誤差函數(shù)對(duì)權(quán)值和閾值的一階導(dǎo)數(shù)信息。標(biāo)準(zhǔn)梯度下降法權(quán)值和閾值的迭代過(guò)程可表示為：標(biāo)準(zhǔn)BP算法：由網(wǎng)絡(luò)所有權(quán)值和閾值所形成的向量。

學(xué)習(xí)速率目標(biāo)函數(shù)(均方誤差函數(shù))

目標(biāo)函數(shù)的梯度(一階導(dǎo)數(shù))

迭代次數(shù)

第7頁(yè)/共37頁(yè)8BP神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)：BP神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最多的一種神經(jīng)網(wǎng)絡(luò)形式，但不是非常完美，表現(xiàn)出結(jié)構(gòu)確定的人為性、訓(xùn)練速度慢以及初始權(quán)值對(duì)結(jié)果影響的隨機(jī)性等缺陷；存在學(xué)習(xí)過(guò)程易陷入局部極小、易出現(xiàn)震蕩和網(wǎng)絡(luò)存在冗余連接或節(jié)點(diǎn)等缺陷；另外，隱含層單元數(shù)及隱含層結(jié)點(diǎn)數(shù)的確定至今沒有統(tǒng)一的方法。第8頁(yè)/共37頁(yè)9對(duì)于上述存在的缺點(diǎn)，許多學(xué)者對(duì)BP網(wǎng)絡(luò)進(jìn)行了改進(jìn)，大多采用基于標(biāo)準(zhǔn)梯度下降的改進(jìn)方法，如附加動(dòng)量法、彈性BP算法、自適應(yīng)調(diào)整參數(shù)法等或基于標(biāo)準(zhǔn)數(shù)值優(yōu)化的改進(jìn)方法，如擬牛頓法、共扼梯度法和LM法等，并沒有將兩種改進(jìn)方法結(jié)合起來(lái)。

BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)：第9頁(yè)/共37頁(yè)10（1）基于標(biāo)準(zhǔn)數(shù)值優(yōu)化的改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練實(shí)質(zhì)上是非線性目標(biāo)函數(shù)的優(yōu)化問題，標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)利用了目標(biāo)函數(shù)的一階導(dǎo)數(shù)信息。本次改進(jìn)采用“LM”法，它是基于標(biāo)準(zhǔn)數(shù)值優(yōu)化的改進(jìn)方法，在利用目標(biāo)函數(shù)的一階導(dǎo)數(shù)信息的基礎(chǔ)上，還利用了目標(biāo)函數(shù)的二階導(dǎo)數(shù)信息。改進(jìn)后的權(quán)值和閾值的迭代過(guò)程表示為：DH—是對(duì)角矩陣，其對(duì)角元素為H的對(duì)角元素；第10頁(yè)/共37頁(yè)11μ—阻尼因子（若E(X(k+1))≥E(X(k)),μ(k+1)=10μ(k)；否則μ(k+1)=0.1μ(k)）。

該改進(jìn)方法根據(jù)迭代的結(jié)果動(dòng)態(tài)地調(diào)整阻尼因子，使每次的迭代誤差函數(shù)值都有所下降，收斂速度快。（2）基于梯度下降的改進(jìn)標(biāo)準(zhǔn)BP算法的步長(zhǎng)λ是定值，這就導(dǎo)致了λ難以確定，若λ過(guò)小，在誤差曲面較平坦的區(qū)域，收斂較慢；當(dāng)步長(zhǎng)λ較大時(shí)，又會(huì)在峽谷區(qū)域引起震蕩。針對(duì)上述缺陷，本次采用步長(zhǎng)自適應(yīng)改進(jìn)方法確定λ，即：式中：β—某一小正數(shù)，β∈[0.01，0.03]；

p—訓(xùn)練次數(shù)

Ep—第p次的訓(xùn)練誤差。第11頁(yè)/共37頁(yè)12

該方法的優(yōu)點(diǎn)是當(dāng)誤差減小時(shí)步長(zhǎng)相應(yīng)增大，當(dāng)誤差增大時(shí)步長(zhǎng)相應(yīng)減小，克服了標(biāo)準(zhǔn)BP算法步長(zhǎng)難以確定的缺陷。采用這兩種方法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)能克服標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度慢、初始權(quán)值對(duì)結(jié)果影響的隨機(jī)性、在學(xué)習(xí)過(guò)程易陷入局部極小、易出現(xiàn)震蕩等缺陷。第12頁(yè)/共37頁(yè)13基于人工神經(jīng)網(wǎng)絡(luò)的綜合評(píng)價(jià)方法步驟

（1）確定評(píng)價(jià)指標(biāo)集，指標(biāo)個(gè)數(shù)為BP網(wǎng)絡(luò)中輸入節(jié)點(diǎn)的個(gè)數(shù)；

（2）確定BP網(wǎng)絡(luò)的層數(shù)，一般采用具有一個(gè)輸入層，一個(gè)隱含層和一個(gè)輸出層的三層網(wǎng)絡(luò)模型結(jié)構(gòu)；

（3）明確評(píng)價(jià)結(jié)果輸出層的節(jié)點(diǎn)數(shù)為1;

（4）對(duì)指標(biāo)值進(jìn)行標(biāo)準(zhǔn)化處理；

（5）用隨機(jī)數(shù)（一般為0-1之間的數(shù)）初始化網(wǎng)絡(luò)節(jié)點(diǎn)的權(quán)值與網(wǎng)絡(luò)閾值；

（6）將標(biāo)準(zhǔn)化以后的指標(biāo)樣本值輸入網(wǎng)絡(luò)，并給出相應(yīng)的期望輸出；

第13頁(yè)/共37頁(yè)14基于人工神經(jīng)網(wǎng)絡(luò)的綜合評(píng)價(jià)方法步驟（7）正向傳播，計(jì)算各層節(jié)點(diǎn)的輸出；

（8）計(jì)算各層節(jié)點(diǎn)的誤差；

（9）反向傳播，修正權(quán)重；

（10）計(jì)算誤差。當(dāng)誤差小于給定的擬合誤差，網(wǎng)絡(luò)訓(xùn)練結(jié)束；否則轉(zhuǎn)到（7），繼續(xù)訓(xùn)練；

（11）訓(xùn)練所得網(wǎng)絡(luò)權(quán)重就可以用于正式的評(píng)價(jià)。第14頁(yè)/共37頁(yè)15神經(jīng)網(wǎng)絡(luò)在地下水環(huán)境評(píng)價(jià)中的應(yīng)用

地下水環(huán)境質(zhì)量評(píng)價(jià)是地下水資源評(píng)價(jià)的一項(xiàng)重要內(nèi)容，它根據(jù)地下水中主要物質(zhì)成分和給定的水質(zhì)標(biāo)準(zhǔn)，分析地下水水質(zhì)的時(shí)空分布狀況和可用程度，為地下水資源的開發(fā)利用、規(guī)劃和管理提供科學(xué)依據(jù)。第15頁(yè)/共37頁(yè)16神經(jīng)網(wǎng)絡(luò)在地下水環(huán)境評(píng)價(jià)中的應(yīng)用

地下水水質(zhì)評(píng)價(jià)的方法有很多,如模糊數(shù)學(xué)法、灰色聚類法、物元分析法、內(nèi)梅羅指數(shù)法等。在設(shè)計(jì)模糊數(shù)學(xué)的隸屬度函數(shù)、灰色聚類的白化函數(shù)時(shí)及在確定各評(píng)價(jià)指標(biāo)的權(quán)重時(shí)，都存在著人為因素，造成評(píng)價(jià)模式難以通用，而且也存在著在計(jì)算時(shí)丟失信息太多而使評(píng)價(jià)結(jié)果與實(shí)際不符。內(nèi)梅羅指數(shù)法數(shù)學(xué)過(guò)程簡(jiǎn)捷，運(yùn)算方便，物理概念清晰等，該方法的主要缺點(diǎn)是過(guò)于突出最大污染因子，未考慮權(quán)重因素，對(duì)各污染因子等同對(duì)待等。這些方法并沒有很好解決評(píng)價(jià)因子與水質(zhì)等級(jí)間復(fù)雜的非線性關(guān)系，以及水體污染的模糊性與隨機(jī)性，至今還沒統(tǒng)一的評(píng)價(jià)模型。第16頁(yè)/共37頁(yè)17神經(jīng)網(wǎng)絡(luò)在地下水環(huán)境評(píng)價(jià)中的應(yīng)用表1水質(zhì)資料第17頁(yè)/共37頁(yè)18神經(jīng)網(wǎng)絡(luò)在地下水環(huán)境評(píng)價(jià)中的應(yīng)用第18頁(yè)/共37頁(yè)19神經(jīng)網(wǎng)絡(luò)在地下水環(huán)境評(píng)價(jià)中的應(yīng)用I類水的標(biāo)準(zhǔn)界值為I類水的分級(jí)代表值，Ⅱ類水的分級(jí)代表值為I類水和Ⅱ類水標(biāo)準(zhǔn)界值的中值，其余依次類推，將Ⅳ類水或Ⅴ類水的界值作為Ⅴ類水的分級(jí)代表值。得到本次BP網(wǎng)絡(luò)的訓(xùn)練樣本，見表2。1訓(xùn)練樣本選擇表2地下水質(zhì)量標(biāo)準(zhǔn)分級(jí)類別和網(wǎng)絡(luò)期望輸出值第19頁(yè)/共37頁(yè)20神經(jīng)網(wǎng)絡(luò)在地下水環(huán)境評(píng)價(jià)中的應(yīng)用2數(shù)據(jù)的預(yù)處理BP網(wǎng)絡(luò)模型一般以S形函數(shù)作為轉(zhuǎn)換函數(shù)，該函數(shù)的值域?yàn)閇0，1]，因此在網(wǎng)絡(luò)訓(xùn)練時(shí)要將原始數(shù)據(jù)進(jìn)行處理，規(guī)范到[0，1]之間，常用的數(shù)據(jù)預(yù)處理方法主要有標(biāo)準(zhǔn)化法、重新標(biāo)法、變換法、比例壓縮法、壓縮系數(shù)法。為了實(shí)現(xiàn)將網(wǎng)絡(luò)輸入數(shù)據(jù)信息集進(jìn)行合理的壓縮，又能夠體現(xiàn)原始輸入數(shù)據(jù)信息之間的差別，建議使用壓縮系數(shù)法。公式如下：T=αX式中：X——原始數(shù)據(jù)；α——壓縮系數(shù)法，0<α<1,根據(jù)具體對(duì)象選取α的值；T——變換后的數(shù)據(jù)。第20頁(yè)/共37頁(yè)21神經(jīng)網(wǎng)絡(luò)在地下水環(huán)境評(píng)價(jià)中的應(yīng)用3隱層及隱層神經(jīng)元節(jié)點(diǎn)數(shù)的確定

地下水環(huán)境質(zhì)量評(píng)價(jià)是一個(gè)非線性關(guān)系較為復(fù)雜的問題，神經(jīng)網(wǎng)絡(luò)具有逼近任意非線性函數(shù)的能力，且一般的三層BP網(wǎng)絡(luò)模型就能滿足大部分非線性系統(tǒng)要求[7-8]，因此本次采用一個(gè)隱含層。隱含層神經(jīng)元節(jié)點(diǎn)數(shù)的確定是人工神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中最為關(guān)鍵的步驟，它直接影響網(wǎng)絡(luò)對(duì)復(fù)雜問題的映射能力。目前出現(xiàn)的確定隱含層神經(jīng)元方法是多樣的，但都缺乏令人信服的依據(jù)，有時(shí)常常也是無(wú)效的。本文采用“試算法”確定神經(jīng)元個(gè)數(shù)，經(jīng)試算，最佳隱含層節(jié)點(diǎn)數(shù)為15個(gè)。第21頁(yè)/共37頁(yè)22神經(jīng)網(wǎng)絡(luò)在地下水環(huán)境評(píng)價(jià)中的應(yīng)用4地下水環(huán)境質(zhì)量評(píng)價(jià)

由于本次評(píng)價(jià)指標(biāo)選擇了5個(gè)評(píng)價(jià)因子，因此輸入層神經(jīng)元節(jié)點(diǎn)數(shù)為5個(gè)，評(píng)價(jià)等級(jí)為5個(gè)，輸出層神經(jīng)元節(jié)點(diǎn)數(shù)為5個(gè)，隱含層神經(jīng)元節(jié)點(diǎn)數(shù)經(jīng)試算為15個(gè)，因本次BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)為：一個(gè)輸入層，神經(jīng)元節(jié)點(diǎn)數(shù)為5個(gè)；一個(gè)隱含層，神經(jīng)元節(jié)點(diǎn)數(shù)為15個(gè)；一個(gè)輸出層，神經(jīng)元節(jié)點(diǎn)數(shù)為5個(gè)。

第22頁(yè)/共37頁(yè)23神經(jīng)網(wǎng)絡(luò)在地下水環(huán)境評(píng)價(jià)中的應(yīng)用4地下水環(huán)境質(zhì)量評(píng)價(jià)表3地下水環(huán)境質(zhì)量評(píng)價(jià)結(jié)果第23頁(yè)/共37頁(yè)24神經(jīng)網(wǎng)絡(luò)時(shí)間序列預(yù)測(cè)模型記一個(gè)時(shí)間序列為{Xt}，其中xt=x(t)，t=0，±1，±2，…。時(shí)間序列預(yù)測(cè)也就是根據(jù)時(shí)間序列{Xt}的歷史觀測(cè)值xn，xn-1，…，xn-m對(duì)未來(lái)n+k時(shí)刻（k>0）的取值進(jìn)行估計(jì)，可以認(rèn)為xn，xn-1，…，xn-m之間存在有某種函數(shù)關(guān)系，可用下式描述：第24頁(yè)/共37頁(yè)25神經(jīng)網(wǎng)絡(luò)時(shí)間序列預(yù)測(cè)模型的步驟神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)時(shí)間序列的方法就是用神經(jīng)網(wǎng)絡(luò)來(lái)擬合某一時(shí)間序列的函數(shù)F(·)，然后將之用于時(shí)間序列的預(yù)測(cè)。建立神經(jīng)網(wǎng)絡(luò)時(shí)間序列預(yù)測(cè)模型有以下幾個(gè)步驟：（1）數(shù)據(jù)的預(yù)處理BP神經(jīng)網(wǎng)絡(luò)一般以S型函數(shù)作為轉(zhuǎn)換函數(shù)，該函數(shù)的值域?yàn)閇0，1]，因此在網(wǎng)絡(luò)訓(xùn)練時(shí)要將原始數(shù)據(jù)進(jìn)行處理，規(guī)范到[0，1]之間，常用的數(shù)據(jù)預(yù)處理方法主要有標(biāo)準(zhǔn)化法、重新標(biāo)法、變換法、比例壓縮法、壓縮系數(shù)法。第25頁(yè)/共37頁(yè)26神經(jīng)網(wǎng)絡(luò)時(shí)間序列預(yù)測(cè)模型的步驟（1）數(shù)據(jù)的預(yù)處理

為了實(shí)現(xiàn)將輸入數(shù)據(jù)信息集進(jìn)行合理的壓縮，又能夠體現(xiàn)原始輸入數(shù)據(jù)信息之間的差別，本次研究采用壓縮系數(shù)法，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，公式如下：T=αX式中：X—原始數(shù)據(jù)；α—壓縮系數(shù)法，0<α<1，根據(jù)具體對(duì)象選取α的值；T—變換后的數(shù)據(jù)。第26頁(yè)/共37頁(yè)27神經(jīng)網(wǎng)絡(luò)時(shí)間序列預(yù)測(cè)模型的步驟（2）隱層及隱層神經(jīng)元節(jié)點(diǎn)數(shù)的確定神經(jīng)網(wǎng)絡(luò)具有逼近任意非線性函數(shù)的能力，且一般的三層BP網(wǎng)絡(luò)模型就能滿足大部分非線性系統(tǒng)要求，本次研究采用上述改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)。隱含層神經(jīng)元節(jié)點(diǎn)數(shù)的確定是人工神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中最為關(guān)鍵的步驟，它直接影響網(wǎng)絡(luò)對(duì)復(fù)雜問題的映射能力。目前出現(xiàn)的確定隱含層神經(jīng)元個(gè)數(shù)的方法是多樣的，但都缺乏令人信服的依據(jù)，有時(shí)常常也是無(wú)效的。本次研究采用隱含層采用一層，隱含層節(jié)點(diǎn)數(shù)的確定采用“試算法”。第27頁(yè)/共37頁(yè)28神經(jīng)網(wǎng)絡(luò)時(shí)間序列預(yù)測(cè)模型的步驟（3）網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)包括確定網(wǎng)絡(luò)的隱層數(shù)、隱層神經(jīng)元節(jié)點(diǎn)數(shù)及輸入、輸出層神經(jīng)元節(jié)點(diǎn)數(shù)。輸入、輸出層神經(jīng)元節(jié)點(diǎn)數(shù)由實(shí)際問題決定。第28頁(yè)/共37頁(yè)29神經(jīng)網(wǎng)絡(luò)時(shí)間序列預(yù)測(cè)模型的步驟（4）樣本的選取將時(shí)間序列作為樣本集，并將其分為兩組，一組作為訓(xùn)練樣本，一組作為檢驗(yàn)樣本。訓(xùn)練樣本的選擇通常遵循以下原則：樣本足夠多，具有代表性且樣本分布均勻。第29頁(yè)/共37頁(yè)30神經(jīng)網(wǎng)絡(luò)時(shí)間序列預(yù)測(cè)模型的步驟（5）訓(xùn)練網(wǎng)絡(luò)用訓(xùn)練樣本，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到神經(jīng)網(wǎng)絡(luò)時(shí)間序列預(yù)測(cè)模型。第30頁(yè)/共37頁(yè)31神經(jīng)網(wǎng)絡(luò)時(shí)間序列預(yù)測(cè)模型的步驟（6）驗(yàn)證網(wǎng)絡(luò)對(duì)網(wǎng)絡(luò)進(jìn)行檢驗(yàn)，即對(duì)檢驗(yàn)時(shí)間序列進(jìn)行預(yù)測(cè)，與檢驗(yàn)樣本對(duì)比，分析預(yù)測(cè)的效果，效果滿足精度要求便可以用來(lái)進(jìn)行長(zhǎng)期預(yù)測(cè)。檢驗(yàn)方法通常采用后驗(yàn)預(yù)測(cè)法。第31頁(yè)/共37頁(yè)32