水資源系統(tǒng)分析-第8章人工神經(jīng)網(wǎng)絡(luò)與遺傳算法課件

2022/10/1018人工神經(jīng)網(wǎng)絡(luò)

與遺傳算法2022/10/102人工智能技術(shù)之一。人類對(duì)人工智能的研究可以分成兩種方式對(duì)應(yīng)著兩種不同的技術(shù)：傳統(tǒng)的人工智能技術(shù)——心理的角度模擬基于人工神經(jīng)網(wǎng)絡(luò)的技術(shù)——生理的角度模擬2022/10/103研究人工智能的目的增加人類探索世界，推動(dòng)社會(huì)前進(jìn)的能力進(jìn)一步認(rèn)識(shí)自己三大學(xué)術(shù)流派符號(hào)主義（或叫做符號(hào)/邏輯主義）學(xué)派聯(lián)接主義（或者叫做PDP）學(xué)派進(jìn)化主義（或者叫做行動(dòng)/響應(yīng)）學(xué)派

2022/10/1041.1人工神經(jīng)網(wǎng)絡(luò)的提出

人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，簡(jiǎn)記作ANN），是對(duì)人類大腦系統(tǒng)的一階特性的一種描述。簡(jiǎn)單地講，它是一個(gè)數(shù)學(xué)模型，可以用電子線路來實(shí)現(xiàn)，也可以用計(jì)算機(jī)程序來模擬，是人工智能研究的一種方法。

2022/10/105聯(lián)接主義觀點(diǎn)

核心：智能的本質(zhì)是聯(lián)接機(jī)制。人工智能應(yīng)著重于結(jié)構(gòu)模擬，即模擬人的生理神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并認(rèn)為功能、結(jié)構(gòu)和智能行為是密切相關(guān)的。神經(jīng)網(wǎng)絡(luò)是一個(gè)由大量簡(jiǎn)單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng)

ANN力求從四個(gè)方面去模擬人腦的智能行為物理結(jié)構(gòu)

計(jì)算模擬

存儲(chǔ)與操作

訓(xùn)練2022/10/107第一高潮期（1950~1968）

以MarvinMinsky，F(xiàn)rankRosenblatt，BernardWidrow等為代表人物，代表作是單級(jí)感知器（Perceptron）?？捎秒娮泳€路模擬。人們樂觀地認(rèn)為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項(xiàng)研究，希望盡快占領(lǐng)制高點(diǎn)。

2022/10/108反思期（1969~1982）

M.L.Minsky和S.Papert，《Perceptron》，MITPress，1969年

二十世紀(jì)70年代和80年代早期的研究結(jié)果

認(rèn)識(shí)規(guī)律：認(rèn)識(shí)——實(shí)踐——再認(rèn)識(shí)

2022/10/10104）1986年，并行分布處理小組的Rumelhart等研究者重新獨(dú)立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法——BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。（Paker1982和Werbos1974年）國(guó)內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會(huì)是1990年12月在北京舉行的。

2022/10/10112人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.1生物神經(jīng)網(wǎng)2.2人工神經(jīng)元2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)涮匦?.4人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練2022/10/1012單個(gè)神經(jīng)元細(xì)胞的工作速度并不高（毫秒級(jí)），但它通過超并行處理使得整個(gè)系統(tǒng)實(shí)現(xiàn)處理的高速性和信息表現(xiàn)的多樣性。

人腦的信息處理機(jī)制極其復(fù)雜，從結(jié)構(gòu)上看它是包含有140億神經(jīng)細(xì)胞的大規(guī)模神經(jīng)網(wǎng)絡(luò)。2022/10/1014樹突:是向四方收集由其他神經(jīng)細(xì)胞傳來的信息。在兩個(gè)神經(jīng)細(xì)胞之間的相互連接觸點(diǎn)稱為突觸。細(xì)胞體:神經(jīng)元接受與處理信息的部件。軸突:傳出從細(xì)胞體送來的信息。2工作過程每個(gè)神經(jīng)元具有興奮和抑制兩種狀態(tài)，只有當(dāng)所有外來刺激（輸入）作用之和超過某一閥值后，神經(jīng)元由抑制變?yōu)榕d奮，并輸出電脈沖。神經(jīng)元之間連接的強(qiáng)弱可隨外部的激勵(lì)信號(hào)自適應(yīng)地變化。大腦通過調(diào)節(jié)這些連結(jié)的數(shù)目和強(qiáng)度進(jìn)行學(xué)習(xí)。2022/10/10153六個(gè)基本特征：1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱；3）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的；4）信號(hào)可以是起刺激作用的，也可以是起抑制作用的；5）一個(gè)神經(jīng)元接受的信號(hào)的累積效果決定該神經(jīng)元的狀態(tài)；6）每個(gè)神經(jīng)元可以有一個(gè)“閾值”。2022/10/10172.2.1人工神經(jīng)元的基本構(gòu)成

人工神經(jīng)元模擬生物神經(jīng)元的一階特性。輸入：X=（x1，x2，…，xn）信號(hào)聯(lián)接權(quán)：W=（w1，w2，…，wn）T連接強(qiáng)度網(wǎng)絡(luò)輸入： net=XW激活函數(shù)：f網(wǎng)絡(luò)輸出：o=f（net）輸出脈沖xnwn∑x1w1x2w2out…2022/10/10182.2.2激活函數(shù)(ActivationFunction)

激活函數(shù)——執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵(lì)函數(shù)、活化函數(shù)：

O=f（net）

1、線性函數(shù)（LinerFunction）

f（net）=k*net+cnetooc2022/10/10192、非線性斜面函數(shù)（RampFunction）γ-γθ

-θ

net

o

2022/10/10203、閾值函數(shù)（ThresholdFunction）階躍函數(shù)β

-γθonet02022/10/10214、S形函數(shù)

a+bo(0,c)netac=a+b/22022/10/10222.2.3M-P模型

x2w2

∑fo=f（net）xnwn…net=XWx1w1McCulloch—Pitts（M—P）模型，也稱為處理單元（PE）

2022/10/1024層次劃分

信號(hào)只被允許從較低層流向較高層。輸入層：被記作第0層。該層負(fù)責(zé)接收來自網(wǎng)絡(luò)外部的信息輸出層隱藏層輸入層o1o2om…x1x2xn………………2022/10/1025第j層：第j-1層的直接后繼層（j>0），它直接接受第j-1層的輸出。輸出層：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的最大層號(hào)，負(fù)責(zé)輸出網(wǎng)絡(luò)的計(jì)算結(jié)果。隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號(hào)，也不直接向外界發(fā)送信號(hào)輸出層隱藏層輸入層o1o2om…x1x2xn………………2022/10/10272.4人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西。人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了它的學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對(duì)它的訓(xùn)練過程2022/10/10282.5.1無導(dǎo)師學(xué)習(xí)

無導(dǎo)師學(xué)習(xí)(UnsupervisedLearning)與無導(dǎo)師訓(xùn)練(UnsupervisedTraining)相對(duì)應(yīng)

樣本模式無期望輸出.抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。聚類2022/10/10292.5.2有導(dǎo)師學(xué)習(xí)

有導(dǎo)師學(xué)習(xí)(SupervisedLearning)與有導(dǎo)師訓(xùn)練(SupervisedTraining)相對(duì)應(yīng)。輸入向量與其對(duì)應(yīng)的輸出向量構(gòu)成一個(gè)“訓(xùn)練對(duì)”。有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：

1）

從樣本集合中取一個(gè)樣本（Ai，Bi）；

2）

計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出O；

3）

求D=Bi-O；

4）

根據(jù)D調(diào)整權(quán)矩陣W；

5）對(duì)每個(gè)樣本重復(fù)上述過程，直到對(duì)整個(gè)樣本集來說，誤差不超過規(guī)定范圍。

2022/10/10303BP網(wǎng)絡(luò)

BP算法的出現(xiàn)前饋非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法加州大學(xué)圣地牙哥分校(UCSD)的并行分布處理(PDP)小組的Rumelhart、Hinton和Williams1986年獨(dú)立地給出了BP算法清楚而簡(jiǎn)單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點(diǎn)：訓(xùn)練速度非常慢3、優(yōu)點(diǎn)：廣泛的適應(yīng)性和有效性。2022/10/1031網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

BP網(wǎng)的結(jié)構(gòu)輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定實(shí)驗(yàn)：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。BP網(wǎng)一般都選用二級(jí)網(wǎng)絡(luò)。2022/10/1032網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………WV2022/10/10333.2.4基本的BP算法

樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

基本思想：逐一地根據(jù)樣本集中的樣本(Xk,Yk)計(jì)算出實(shí)際輸出Ok和誤差測(cè)度E1，對(duì)W(1)

，W(2)

，…，W(L)各做一次調(diào)整，重復(fù)這個(gè)循環(huán)，直到∑Ep<ε。用輸出層的誤差調(diào)整輸出層權(quán)矩陣，并用此誤差估計(jì)輸出層的直接前導(dǎo)層的誤差，再用輸出層前導(dǎo)層誤差估計(jì)更前一層的誤差。如此獲得所有其它各層的誤差估計(jì)，并用這些估計(jì)實(shí)現(xiàn)對(duì)權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號(hào)相反的方向逐級(jí)向輸入端傳遞的過程

2022/10/10344ANN在水文水資源系統(tǒng)中應(yīng)用隨著近幾年神經(jīng)網(wǎng)絡(luò)研究熱的興起，ANN技術(shù)在水文水資源系統(tǒng)中的應(yīng)用也日漸增多，已開發(fā)出了許多水文水資源神經(jīng)網(wǎng)絡(luò)(HWRNN)模型，為解決水文水資源問題提供了新的途徑。2022/10/1035在目前的水資源研究中，ANN涉及的具體領(lǐng)域包括氣候影響分析、水質(zhì)分析、水文預(yù)測(cè)與預(yù)報(bào)、地下水管理和水庫(kù)優(yōu)化調(diào)度等。2022/10/10364.1水文預(yù)報(bào)ANN用于水文水資源中預(yù)測(cè)預(yù)報(bào)問題的研究主要有：降水預(yù)報(bào)、徑流預(yù)報(bào)、水質(zhì)預(yù)測(cè)、水量預(yù)測(cè)等。所采用的神經(jīng)網(wǎng)絡(luò)模型有BP模型、Adaline模型等。應(yīng)用神經(jīng)網(wǎng)絡(luò)進(jìn)行水文預(yù)報(bào)，其建模比較容易。一般影響因子(預(yù)測(cè)因子)就是網(wǎng)絡(luò)的輸入，輸入層神經(jīng)元個(gè)數(shù)就等于影響因子(預(yù)測(cè)因子)的個(gè)數(shù)，需要預(yù)報(bào)的水文變量就是網(wǎng)絡(luò)的輸出。2022/10/1037(1)BP人工神經(jīng)網(wǎng)絡(luò)在短期降水預(yù)報(bào)中的應(yīng)用a.預(yù)測(cè)因子：依據(jù)降水的主要條件，選取反映預(yù)測(cè)區(qū)域降水條件的物理量。如：濕度條件：相對(duì)濕度、水汽通量；垂直速度條件：散度、垂直速度、降水量、渦度；東高西低條件：高度差；鋒區(qū)和能量條件：溫度差等。2022/10/1038b.BP神經(jīng)網(wǎng)絡(luò)的建立可采用三層BP人工神經(jīng)網(wǎng)絡(luò)模式，輸入層為n(如n=10)個(gè)神經(jīng)元，其對(duì)應(yīng)10個(gè)預(yù)報(bào)因子。輸出層為1個(gè)神經(jīng)元，對(duì)應(yīng)降水量。中間層一般取輸入層和輸出層數(shù)的平均，這里取7個(gè)神經(jīng)元。設(shè)X為輸入層，H為隱含層，Y為預(yù)報(bào)輸出層。2022/10/1039①預(yù)報(bào)因子0~1化：Xi=(Xmax-Xi)/(Xmax-Xmin);②在訓(xùn)練以前我們?nèi)?~1之間的隨機(jī)數(shù)為連接權(quán)重系數(shù)Uil、Wlt賦初值。由于訓(xùn)練開始時(shí)誤差常常較大，它們將在以后的訓(xùn)練學(xué)習(xí)過程中自動(dòng)逐步調(diào)節(jié)。③輸入訓(xùn)練樣本訓(xùn)練：

以河北保定市氣象局02年為例。從3月到11月接收數(shù)值預(yù)報(bào)產(chǎn)品齊全的共有159天，用前109天的資料作為網(wǎng)絡(luò)訓(xùn)練樣本。50天為檢驗(yàn)樣本。擬合結(jié)果：經(jīng)過兩萬多次的訓(xùn)練，總體預(yù)報(bào)誤差達(dá)到了4.0以下。終止訓(xùn)練后。這109天中共有降水日27天，其中小雨20天，中雨6天，大雨以上降水一次。訓(xùn)練結(jié)束時(shí)27天降水全部報(bào)出，量級(jí)也全部正確，只是空?qǐng)?bào)兩次小雨過程，歷史擬合率達(dá)到27/29=93%。檢驗(yàn)結(jié)果：在試報(bào)的50天中共有降水8次，其中大雨2次，漏一次，一次報(bào)中雨。中雨3次，報(bào)對(duì)2次，漏一次。3次小雨，一次報(bào)中雨，漏2次。另空?qǐng)?bào)2次小雨，定性準(zhǔn)確率4/10=40%。2022/10/1041(2)人工神經(jīng)網(wǎng)絡(luò)在徑流(中長(zhǎng)期)預(yù)報(bào)中的應(yīng)用a.流域年徑流量主要影響因子分析在建立網(wǎng)絡(luò)預(yù)報(bào)模型之前，要分析流域產(chǎn)流的主要影響因子，流域年徑流量與降雨條件、流域地貌、植被、土壤特性等自然因素有關(guān)，降雨是流域產(chǎn)流的直接動(dòng)力因子，流域內(nèi)降雨強(qiáng)度、降雨量以及降雨范圍和落區(qū)等因素都對(duì)流域產(chǎn)流有較大影響，而流域的面平均降雨量則是主要的影響因子.b.實(shí)測(cè)水文系列標(biāo)準(zhǔn)化。c.建立神經(jīng)網(wǎng)絡(luò)模型。d.把影響因子標(biāo)準(zhǔn)化序列輸入網(wǎng)絡(luò),以實(shí)測(cè)徑流量為期望輸出對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。e.使用訓(xùn)練好的網(wǎng)絡(luò)模型進(jìn)行預(yù)測(cè)。2022/10/1042(1)BP神經(jīng)網(wǎng)絡(luò)水質(zhì)評(píng)價(jià)流域中水質(zhì)參數(shù)的變化都是一個(gè)漸變的過程，所以根據(jù)歷史變化的趨勢(shì)來預(yù)測(cè)后面的輸出有比較好的效果。所以以若干連續(xù)實(shí)際值作為輸入，來預(yù)測(cè)下一時(shí)段的輸出值是本文構(gòu)建神經(jīng)網(wǎng)絡(luò)的主要框架。預(yù)測(cè)模型可以描述為:式中：D(t)表示t時(shí)刻某水質(zhì)指標(biāo)的監(jiān)測(cè)數(shù)據(jù)(即濃度值)，n為輸入節(jié)點(diǎn)個(gè)數(shù)，F(xiàn)是由神經(jīng)網(wǎng)絡(luò)確定的輸入輸出映射關(guān)系。

項(xiàng)目CODMn氨氮處理后COD項(xiàng)目CODMn氨氮處理后COD日期≦6mg/l≦1mg/l≦6mg/l日期≦6mg/l≦1mg/l≦6mg/l12.80.2010.280112.70.2020.27022.60.2130.260122.60.2100.26032.80.1750.280132.70.1980.27042.60.1690.260142.40.2030.24052.90.2110.290152.40.2520.24062.30.2260.230162.70.2160.27072.80.1900.280172.90.2310.29082.30.1800.230183.00.2670.30092.70.1950.270193.20.2280.320102.70.2050.270

啟發(fā)式算法-遺傳算法遺傳算法的基本思想是基于Darwin進(jìn)化論和Mendel的遺傳學(xué)說的。Darwin進(jìn)化論最重要的是適者生存原理。Mendel遺傳學(xué)說最重要的是基因遺傳原理。基因形式包含在染色體內(nèi)，經(jīng)過存優(yōu)去劣的自然淘汰，適應(yīng)性高的基因結(jié)構(gòu)得以保存下來。遺傳算法是模擬生物自然遺傳和進(jìn)化過程而形成的一種自適應(yīng)全局優(yōu)化概率搜索方法。每代中都保留一組候選解，并按某種指標(biāo)從解群中選取較優(yōu)的個(gè)體，利用遺傳算子(選擇、交叉和變異)對(duì)這些個(gè)體進(jìn)行組合，產(chǎn)生新一代的候選解群，重復(fù)此過程，直到滿足某種收斂指標(biāo)為止。種群編碼適應(yīng)度復(fù)制與變異進(jìn)化求下列一元函數(shù)的最大值：

x∈[-1,2]，求解結(jié)果精確到6位小數(shù)。例：幾個(gè)術(shù)語基因型：1000101110110101000111表現(xiàn)型：0.637197編碼解碼個(gè)體（染色體）基因(2)初始群體的產(chǎn)生遺傳算法是對(duì)群體進(jìn)行的進(jìn)化操作，需要給其淮備一些表示起始搜索點(diǎn)的初始群體數(shù)據(jù)。本例中，群體規(guī)模的大小取為4，即群體由4個(gè)個(gè)體組成，每個(gè)個(gè)體可通過隨機(jī)方法產(chǎn)生。如：011101，101011，011100，111001(3)適應(yīng)度汁算遺傳算法中以個(gè)體適應(yīng)度的大小來評(píng)定各個(gè)個(gè)體的優(yōu)劣程度，從而決定其遺傳機(jī)會(huì)的大小。適應(yīng)度函數(shù)值越大，解的質(zhì)量越好。適應(yīng)度函數(shù)是遺傳算法進(jìn)化過程的驅(qū)動(dòng)力，也是進(jìn)行自然選擇的唯一標(biāo)準(zhǔn)，它的設(shè)計(jì)應(yīng)結(jié)合求解問題本身的要求而定。本例中，目標(biāo)函數(shù)總?cè)》秦?fù)值，并且是以求函數(shù)最大值為優(yōu)化目標(biāo)，故可直接利用目標(biāo)函數(shù)值作為個(gè)體的適應(yīng)度。(4)選擇運(yùn)算遺傳算法使用選擇運(yùn)算來實(shí)現(xiàn)對(duì)群體中的個(gè)體進(jìn)行優(yōu)勝劣汰操作：選擇運(yùn)算(或稱為復(fù)制運(yùn)算)把當(dāng)前群體中適應(yīng)度較高的個(gè)體按某種規(guī)則或模型遺傳到下一代群體中。一般要求適應(yīng)度較高的個(gè)體將有更多的機(jī)會(huì)遺傳到下一代群體中。選擇算子選擇操作的任務(wù)就是按某種方法從父代群體中選取一些個(gè)體，遺傳到下一代群體。SGA中選擇算子采用輪盤賭選擇方法?；舅枷胧牵簜€(gè)體被選中的概率與其適應(yīng)度函數(shù)值大小成正比。設(shè)群體大小為n，個(gè)體i的適應(yīng)度為Fi，則個(gè)體i被選中遺傳到下一代群體的概率為：

......p1p2pir0124%24%17%35%1#2#3#4#編號(hào)初始群體p(0)適值占總數(shù)的百分比總和1234011101101011011100111001343425500.240.240.170.351431選擇次數(shù)選擇結(jié)果1102011101111001101011111001

(5)交叉運(yùn)算交叉運(yùn)算是遺傳算法中產(chǎn)生新個(gè)體的主要操作過程，它以某一概率相互交換某兩個(gè)個(gè)體之間的部分染色體。交叉運(yùn)算是遺傳算法區(qū)別于其他進(jìn)化算法的重要特征，它在遺傳算法中起關(guān)鍵作用，是產(chǎn)生新個(gè)體的主要方法。

SGA采用單點(diǎn)交叉的方法，其具體操作過程是：

?先對(duì)群體進(jìn)行隨機(jī)配對(duì)；

?其次隨機(jī)設(shè)置交叉點(diǎn)位置；

?最后再相互交換配對(duì)染色體之間的部分基因。選擇結(jié)果011101111001101011111001配對(duì)情況交叉點(diǎn)位置個(gè)體編號(hào)12341-23-41-2：23-4：4交叉結(jié)果011001111101101001111011新產(chǎn)生的個(gè)體“111101”、“111011”的適應(yīng)度較原來兩個(gè)個(gè)體的適應(yīng)度都要高。(6)變異運(yùn)算變異運(yùn)算是對(duì)個(gè)體的某一個(gè)或某一些基因座上的基因值按某一較小的概率進(jìn)行改變，它也是產(chǎn)生新個(gè)體保持種群多樣性的一種操作方法。本例中，我們采用基本位變異的方法來進(jìn)行變異運(yùn)算，其具體操作過程是：

首先確定出各個(gè)個(gè)體的基因變異位置，下表所示為隨機(jī)產(chǎn)生的變異點(diǎn)位置，其中的數(shù)字表示變異點(diǎn)設(shè)置在該基因座處；然后依照某一概率將變異點(diǎn)的原有基因值取反。個(gè)體編號(hào)1234交叉結(jié)果011001111101101001111011變異結(jié)果變異點(diǎn)4526011101111111111001111010子代群體p(1)011101111111111001