BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例

1、整理ppt1人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) (Artificial Neural Netwroks -ANN) -HZAU 數(shù)模基地?cái)?shù)?；卣韕pt2引引 言言v利用機(jī)器模仿人類(lèi)的智能是長(zhǎng)期以來(lái)人們認(rèn)識(shí)自利用機(jī)器模仿人類(lèi)的智能是長(zhǎng)期以來(lái)人們認(rèn)識(shí)自然、改造自然和認(rèn)識(shí)自身的理想。然、改造自然和認(rèn)識(shí)自身的理想。v 研究研究ANN目的：目的：v（1）探索和模擬人的感覺(jué)、思維和行為的規(guī)律，）探索和模擬人的感覺(jué)、思維和行為的規(guī)律，設(shè)計(jì)具有人類(lèi)智能的計(jì)算機(jī)系統(tǒng)。設(shè)計(jì)具有人類(lèi)智能的計(jì)算機(jī)系統(tǒng)。v（2）探討人腦的智能活動(dòng)，用物化了的智能來(lái)）探討人腦的智能活動(dòng)，用物化了的智能來(lái)考察和研究人腦智能的物質(zhì)過(guò)程及其規(guī)律?？?/p>

2、察和研究人腦智能的物質(zhì)過(guò)程及其規(guī)律。 整理ppt3ANN的研究?jī)?nèi)容的研究?jī)?nèi)容（1）理論研究理論研究：ANN模型及其學(xué)習(xí)算法，試圖從數(shù)模型及其學(xué)習(xí)算法，試圖從數(shù)學(xué)上描述學(xué)上描述ANN的動(dòng)力學(xué)過(guò)程，建立相應(yīng)的的動(dòng)力學(xué)過(guò)程，建立相應(yīng)的ANN模模型，在該模型的基礎(chǔ)上，對(duì)于給定的學(xué)習(xí)樣本，型，在該模型的基礎(chǔ)上，對(duì)于給定的學(xué)習(xí)樣本，找出一種能以較快的速度和較高的精度調(diào)整神經(jīng)找出一種能以較快的速度和較高的精度調(diào)整神經(jīng)元間互連權(quán)值，使系統(tǒng)達(dá)到穩(wěn)定狀態(tài)，滿(mǎn)足學(xué)習(xí)元間互連權(quán)值，使系統(tǒng)達(dá)到穩(wěn)定狀態(tài)，滿(mǎn)足學(xué)習(xí)要求的算法。要求的算法。（2）實(shí)現(xiàn)技術(shù)的研究實(shí)現(xiàn)技術(shù)的研究：探討利用電子、光學(xué)、生物：探討利用電子、光學(xué)、生物

3、等技術(shù)實(shí)現(xiàn)神經(jīng)計(jì)算機(jī)的途徑。等技術(shù)實(shí)現(xiàn)神經(jīng)計(jì)算機(jī)的途徑。（3）應(yīng)用的研究應(yīng)用的研究：探討如何應(yīng)用：探討如何應(yīng)用ANN解決實(shí)際問(wèn)題，解決實(shí)際問(wèn)題，如模式識(shí)別、故障檢測(cè)、智能機(jī)器人等。如模式識(shí)別、故障檢測(cè)、智能機(jī)器人等。 整理ppt4研究研究ANN方法方法（1）生理結(jié)構(gòu)的模擬：生理結(jié)構(gòu)的模擬： 用仿生學(xué)觀點(diǎn)，探索人腦的生理結(jié)構(gòu)，用仿生學(xué)觀點(diǎn)，探索人腦的生理結(jié)構(gòu)，把對(duì)人腦的微觀結(jié)構(gòu)及其智能行為的研究結(jié)合把對(duì)人腦的微觀結(jié)構(gòu)及其智能行為的研究結(jié)合起來(lái)即人工神經(jīng)網(wǎng)絡(luò)（起來(lái)即人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Netwroks，簡(jiǎn)稱(chēng)，簡(jiǎn)稱(chēng)ANN）方法。）方法。（2）宏觀功能的模擬：）宏觀功能的

4、模擬： 從人的思維活動(dòng)和智能行為的心理學(xué)特從人的思維活動(dòng)和智能行為的心理學(xué)特性出發(fā)，利用計(jì)算機(jī)系統(tǒng)來(lái)對(duì)人腦智能進(jìn)行宏性出發(fā)，利用計(jì)算機(jī)系統(tǒng)來(lái)對(duì)人腦智能進(jìn)行宏觀功能的模擬，即符號(hào)處理方法。觀功能的模擬，即符號(hào)處理方法。整理ppt5ANNANN研究的目的和意義研究的目的和意義(1)(1)通過(guò)揭示物理平面與認(rèn)知平面之間的映射，了通過(guò)揭示物理平面與認(rèn)知平面之間的映射，了解它們相互聯(lián)系和相互作用的機(jī)理，從而揭示思解它們相互聯(lián)系和相互作用的機(jī)理，從而揭示思維的本質(zhì)，探索智能的本源。維的本質(zhì)，探索智能的本源。(2)(2)爭(zhēng)取構(gòu)造出盡可能與人腦具有相似功能的計(jì)算爭(zhēng)取構(gòu)造出盡可能與人腦具有相似功能的計(jì)算機(jī)，即機(jī)

5、，即ANNANN計(jì)算機(jī)。計(jì)算機(jī)。(3)研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在模研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在模式識(shí)別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計(jì)式識(shí)別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計(jì)算機(jī)所難以達(dá)到的效果。算機(jī)所難以達(dá)到的效果。 整理ppt6神經(jīng)網(wǎng)絡(luò)研究的發(fā)展神經(jīng)網(wǎng)絡(luò)研究的發(fā)展(1)(1)第一次熱潮第一次熱潮(40-60(40-60年代未年代未) ) 1943 1943年年, ,美國(guó)心理學(xué)家美國(guó)心理學(xué)家W.McCullochW.McCulloch和數(shù)學(xué)家和數(shù)學(xué)家W.PittsW.Pitts在提出了一個(gè)簡(jiǎn)單的神經(jīng)元模型，即在提出了一個(gè)簡(jiǎn)單的神經(jīng)元模型，即MPMP模型。模型。19

6、581958年，年，F(xiàn).RosenblattF.Rosenblatt等研制出了感知機(jī)等研制出了感知機(jī)(Perceptron(Perceptron）。）。(2)低潮低潮(70- -80年代初年代初) ):(3)第二次熱潮第二次熱潮 1982年，美國(guó)物理學(xué)家年，美國(guó)物理學(xué)家J.J.Hopfield提出提出Hopfield模型，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò)模型，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò). .他解決問(wèn)題他解決問(wèn)題的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過(guò)程的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過(guò)程, ,這是符號(hào)邏輯處理這是符號(hào)邏輯處理方法所不具備的性質(zhì)方法所不具備的性質(zhì). . 1987年首屆國(guó)際年首屆國(guó)際A ANN大會(huì)

7、在圣地大會(huì)在圣地亞哥召開(kāi)，國(guó)際亞哥召開(kāi)，國(guó)際A ANN聯(lián)合會(huì)成立，創(chuàng)辦了多種聯(lián)合會(huì)成立，創(chuàng)辦了多種A ANN國(guó)際國(guó)際刊物?？?。1990年年12月，北京召開(kāi)首屆學(xué)術(shù)會(huì)議。月，北京召開(kāi)首屆學(xué)術(shù)會(huì)議。整理ppt7人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)研究的局限性研究的局限性（1 1）ANNANN研究受到腦科學(xué)研究成果的限制。研究受到腦科學(xué)研究成果的限制。 （2 2）ANNANN缺少一個(gè)完整、成熟的理論體系。缺少一個(gè)完整、成熟的理論體系。（3 3）ANNANN研究帶有濃厚的策略和經(jīng)驗(yàn)色彩。研究帶有濃厚的策略和經(jīng)驗(yàn)色彩。（4）ANN與傳統(tǒng)技術(shù)的接口不成熟。與傳統(tǒng)技術(shù)的接口不成熟。 整理ppt8人工神經(jīng)網(wǎng)絡(luò)概述人工神

8、經(jīng)網(wǎng)絡(luò)概述 v什么是什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)？vT.Koholen的定義：的定義：“人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是由是由 具有具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò)，適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)。體所作出的交互反應(yīng)。” 整理ppt9二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò)二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò)v大腦可視作為1000多億神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò) 圖3 神經(jīng)元的解剖圖整理ppt10v神經(jīng)元的信息傳遞和處理是一種電化學(xué)活動(dòng)樹(shù)突由于電化學(xué)作用接受外界的刺激；通過(guò)胞體內(nèi)的活動(dòng)體現(xiàn)為軸突電位，當(dāng)軸突電位達(dá)到一定的

9、值則形成神經(jīng)脈沖或動(dòng)作電位；再通過(guò)軸突末梢傳遞給其它的神經(jīng)元從控制論的觀點(diǎn)來(lái)看；這一過(guò)程可以看作一個(gè)多輸入單輸出非線性系統(tǒng)的動(dòng)態(tài)過(guò)程神經(jīng)網(wǎng)絡(luò)研究的兩個(gè)方面 從生理上、解剖學(xué)上進(jìn)行研究 從工程技術(shù)上、算法上進(jìn)行研究整理ppt11腦神經(jīng)信息活動(dòng)的特征腦神經(jīng)信息活動(dòng)的特征(1)(1)巨量并行性。巨量并行性。(2)(2)信息處理和存儲(chǔ)單元結(jié)合在一起。信息處理和存儲(chǔ)單元結(jié)合在一起。(3)自組織自學(xué)習(xí)功能。自組織自學(xué)習(xí)功能。 整理ppt12神經(jīng)網(wǎng)絡(luò)基本模型神經(jīng)網(wǎng)絡(luò)基本模型細(xì)胞體突觸軸突樹(shù)突圖12.2 生物神經(jīng)元功能模型輸入輸出信息處理電脈沖形成傳輸整理ppt13v神經(jīng)元的數(shù)學(xué)模型 圖4神經(jīng)元的數(shù)學(xué)模型 整

10、理ppt14v其中x（x1，xm）T 輸入向量，y為輸出，wi是權(quán)系數(shù)；輸入與輸出具有如下關(guān)系：miiixwfy1)( 為閾值，f（X）是激發(fā)函數(shù)；它可以是線性函數(shù)，也可以是非線性函數(shù) 整理ppt15例如，若記 取激發(fā)函數(shù)為符號(hào)函數(shù) miiixwz1.0,0,0, 1)sgn(xxx則 S型激發(fā)函數(shù)： miiimiiixwxwzfy11,0, 1)(,11)(xexf; 1)(0 xf整理ppt16或或 v注：若將閾值看作是一個(gè)權(quán)系數(shù)，-1是一個(gè)固定的輸入，另有m-1個(gè)正常的輸入，則（1）式也可表示為： ,)(xxxxeeeexf. 1)(1xfmiiixwfy1)( （1） 參數(shù)識(shí)別：假設(shè)函

11、數(shù)形式已知，則可以從已有的輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及閾值。 整理ppt172 2、神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型、神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型 v眾多神經(jīng)元之間組合形成神經(jīng)網(wǎng)絡(luò)，例如下圖的含有中間層（隱層）的B-P網(wǎng)絡(luò) 整理ppt18基本基本BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)b1bia1c1cqcjahbpanWp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnpkjckqckhakna1ka輸出層輸出層LC隱含層隱含層LB輸入層輸入層LAWVklc整理ppt19 ANN類(lèi)型與功能整理ppt20 一般而言, ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越, 只有當(dāng)常規(guī)方法解決不

12、了或效果不佳時(shí)ANN方法才能顯示出其優(yōu)越性。尤其對(duì)問(wèn)題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障診斷、特征提取和預(yù)測(cè)等問(wèn)題,ANN往往是最有利的工具。另一方面, ANN對(duì)處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問(wèn)題, 表現(xiàn)出極大的靈活性和自適應(yīng)性。整理ppt21人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（Artificial Neuron Nets=ANN） 例 1981年生物學(xué)家格若根（W Grogan）和維什（WWirth）發(fā)現(xiàn)了兩類(lèi)蚊子(或飛蠓midges)他們測(cè)量了這兩類(lèi)蚊子每個(gè)個(gè)體的翼長(zhǎng)和觸角長(zhǎng)，數(shù)據(jù)如下：翼長(zhǎng) 觸角長(zhǎng) 類(lèi)別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38

13、 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼長(zhǎng) 觸角長(zhǎng) 類(lèi)別1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af整理ppt22v問(wèn)：如果抓到三只新的蚊子，它們的觸角長(zhǎng)和翼長(zhǎng)分別為(l.24,1.80); (l.28，1.84)；（1.40，2.04）問(wèn)它們應(yīng)分別屬于哪一個(gè)種類(lèi)？ 解法一： 把翼長(zhǎng)作縱坐標(biāo)，觸角長(zhǎng)作橫坐標(biāo)；那么每個(gè)蚊子的翼長(zhǎng)和觸角決定了坐標(biāo)平面的一個(gè)點(diǎn).其中 6個(gè)

14、蚊子屬于 APf類(lèi)；用黑點(diǎn)“”表示；9個(gè)蚊子屬 Af類(lèi)；用小圓圈“?！北硎?得到的結(jié)果見(jiàn)圖1 圖1飛蠓的觸角長(zhǎng)和翼長(zhǎng) 整理ppt23v思路：作一直線將兩類(lèi)飛蠓分開(kāi) 例如；取A（1.44，2.10）和 B(1.10，1.16)，過(guò)A B兩點(diǎn)作一條直線： y 1.47x - 0.017 其中X表示觸角長(zhǎng)；y表示翼長(zhǎng) 分類(lèi)規(guī)則：設(shè)一個(gè)蚊子的數(shù)據(jù)為（x, y） 如果y1.47x - 0.017，則判斷蚊子屬Apf類(lèi)； 如果y1.47x - 0.017；則判斷蚊子屬Af類(lèi) 整理ppt24v分類(lèi)結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類(lèi)；(1.40，2.04）屬于 Apf類(lèi)圖2 分類(lèi)直

15、線圖 整理ppt25缺陷：根據(jù)什么原則確定分類(lèi)直線？ 若取A=(1.46,2.10), B=(1.1,1.6)不變，則分類(lèi)直線變?yōu)?y=1.39x+0.071分類(lèi)結(jié)果變?yōu)椋?(1.24,1.80)， (1.40,2.04) 屬于Apf類(lèi)； (1.28,1.84)屬于Af類(lèi) 哪一分類(lèi)直線才是正確的呢？ 因此如何來(lái)確定這個(gè)判別直線是一個(gè)值得研究的問(wèn)題一般地講，應(yīng)該充分利用已知的數(shù)據(jù)信息來(lái)確定判別直線整理ppt26v再如，如下的情形已經(jīng)不能用分類(lèi)直線的辦法： 新思路：將問(wèn)題看作一個(gè)系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類(lèi)型作為輸出，研究輸入與輸出的關(guān)系。整理ppt27基本基本BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)的拓?fù)浣Y(jié)

16、構(gòu)b1bia1c1cqcjahbpanWp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnpkjckqckhakna1ka輸出層輸出層LC隱含層隱含層LB輸入層輸入層LAWVklc整理ppt28四、反向傳播算法（四、反向傳播算法（B-PB-P算法）算法） Back propagation algorithm 1簡(jiǎn)單網(wǎng)絡(luò)的簡(jiǎn)單網(wǎng)絡(luò)的B-P算法算法 算法的目的：根據(jù)實(shí)際的輸入與輸出數(shù)據(jù)，計(jì)算模型的參數(shù)（權(quán)系數(shù)）圖6 簡(jiǎn)單網(wǎng)絡(luò)整理ppt29v假設(shè)有P個(gè)訓(xùn)練樣本，即有P個(gè)輸入輸出對(duì)v（Ip, Tp）,p=1,P, 其中 輸入向量為 : Tpmppi

17、iI),.,(1目標(biāo)輸出向量為（實(shí)際上的）: TpnppttT),.,(1網(wǎng)絡(luò)輸出向量為 （理論上的） TpnppooO),.,(1整理ppt30nipipiot12)(min（p=1,P） （2） 記wij為從輸入向量的第j (j=1,m) 個(gè)分量到輸出向量的第i (i=1,n)個(gè)分量的權(quán)重。通常理論值與實(shí)際值有一誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不斷地把與比較，并根據(jù)極小原則修改參數(shù)wij，使誤差平方和達(dá)最小：記 Delta學(xué)習(xí)規(guī)則: pipipiotPppjpipjPppipiijiiotw11)(（4） ijijijwww （3） ijw表示遞推一次的修改量，則有稱(chēng)為學(xué)習(xí)的速率 整理ppt31ipm

18、= -1 , wim= (第i個(gè)神經(jīng)元的閾值) （5）注：由（1） 式，第i個(gè)神經(jīng)元的輸出可表示為mjpjijpiiwfo1)(特別當(dāng)f是線性函數(shù)時(shí) biwaomjpjijpi1)(（6）整理ppt32整理ppt33圖7 多層前饋網(wǎng)絡(luò) 2多層前饋網(wǎng)絡(luò) （l）輸入層不計(jì)在層數(shù)之內(nèi)，它有N0個(gè)神經(jīng)元設(shè)網(wǎng)絡(luò) 共有L層；輸出層為第L層；第 k層有Nk個(gè)神經(jīng)元假設(shè)：假設(shè)： (2) 設(shè))( iuk表示第k層第i神經(jīng)元所接收的信息 wk(i,j) 表示從第k-1層第j個(gè)元到第k層第i個(gè)元的權(quán)重， )(iak表第k層第i個(gè)元的輸出 整理ppt34（3）設(shè)層與層間的神經(jīng)元都有信息交換（否則，可設(shè)它們之間的權(quán)重為

19、零）；但同一層的神經(jīng)元之間無(wú)信息傳輸 (4) 設(shè)信息傳輸?shù)姆较蚴菑妮斎雽拥捷敵鰧臃较?；因此稱(chēng)為前向網(wǎng)絡(luò)沒(méi)有反向傳播信息 （5） 表示輸入的第j個(gè)分量 )(0ja假設(shè)：假設(shè)： 整理ppt35在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為：,1),()(),()(),()(.,1),()(),()(),()(,1),()(),()(),()(1101112221212211111011LLLNjLLLLNjNjNiiufiaijajiwiuNiiufiaijajiwiuNiiufiaijajiwiuL（7） 其中表示第k層第i個(gè)元的閾值. 整理ppt36定理2 對(duì)于具有多個(gè)隱層的前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)

20、為S 函數(shù)；且指標(biāo)函數(shù)取 PppEE1（8 8）LNipLppiaitE12)()()()(21（9）則每個(gè)訓(xùn)練循環(huán)中按梯度下降時(shí)；其權(quán)重迭代公式為),(),(),()(1)()1()(jajiwjiwplplplpl,.,1Ll （ 10 ）表示第-1層第個(gè)元對(duì)第層第個(gè)元輸入的第次迭代時(shí)的權(quán)重 ),()(jiwpl其中其中 )()()()()()()()(iufiaitipLpLppL（11）（12）11)1(1)(1)()(),()()()(lNjplplplplijwjiufi. 11Ll整理ppt37BP算法 Step1 選定學(xué)習(xí)的數(shù)據(jù),p=1,P, 隨機(jī)確定初始權(quán)矩陣W（0）Step

21、2 用（10）式反向修正,直到用完所有學(xué)習(xí)數(shù)據(jù). 用學(xué)習(xí)數(shù)據(jù)計(jì)算網(wǎng)絡(luò)輸出Step3 ),(),(),()(1)()1()(jajiwjiwplplplpl,.,1Ll 整理ppt38五應(yīng)用之例：蚊子的分類(lèi)五應(yīng)用之例：蚊子的分類(lèi) 已知的兩類(lèi)蚊子的數(shù)據(jù)如表1： v翼長(zhǎng) 觸角長(zhǎng) 類(lèi)別v1.78 1.14 Apfv1.96 1.18 Apfv1.86 1.20 Apfv1.72 1.24 Afv2.00 1.26 Apfv2.00 1.28 Apfv1.96 1.30 Apfv1.74 1.36 Af目標(biāo)值目標(biāo)值0.90.1 v翼長(zhǎng) 觸角長(zhǎng) 類(lèi)別v 1.64 1.3

22、8 Afv 1.82 1.38 Afv 1.90 1.38 Afv 1.70 1.40 Afv 1.82 1.48 Afv 1.82 1.54 Afv 2.08 1.56 Af目標(biāo)t0.1 整理ppt39v輸入數(shù)據(jù)有15個(gè)，即 , p=1,15; j=1, 2; 對(duì)應(yīng)15個(gè)輸出。v建模：（輸入層，中間層，輸出層，每層的元素應(yīng)取多少個(gè)？）v建立神經(jīng)網(wǎng)絡(luò)整理ppt40v規(guī)定目標(biāo)為： 當(dāng)t(1)=0.9 時(shí)表示屬于Apf類(lèi)，t(2)=0.1表示屬于Af類(lèi)。v設(shè)兩個(gè)權(quán)重系數(shù)矩陣為：)3 ,2()2,2()1 ,2()3 , 1()2, 1()1 , 1(111111

23、1wwwwwwW)3 , 1()2, 1()1 , 1(2222wwwW)()3 ,(jjwii為閾值 其中整理ppt41分析如下： 為第一層的輸出，同時(shí)作為第二層的輸入。)2()2()2 , 2() 1 () 1 , 2()2() 1 ()2()2 , 1 () 1 () 1 , 1 () 1 (101011101011awawuawawu)1 () 1 (11ufa)2()2(11ufa其中， 為閾值， 為激勵(lì)函數(shù)if1)3(0a若令 （作為一固定輸入） （閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)） jjw)3,(12,1j整理ppt423101010101131010101011)(), 2(

24、)3()3 , 2()2()2 , 2() 1 () 1 , 2()2()(), 1 ()3()3 , 1 ()2()2 , 1 () 1 () 1 , 1 () 1 (jjjajwawawawujajwawawawu則有： xexf11)(取激勵(lì)函數(shù)為)()(11iufia= )(exp(111iu2 , 1i則同樣，取 , 1) 3(1a)3 , 1 (2w)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj整理ppt43（1）隨機(jī)給出兩個(gè)權(quán)矩陣的初值；例如用MATLAB軟件時(shí)可以用以下語(yǔ)句： 令p=0具體算法如下：具體算法如下： )0(1W=rand(2

25、,3); )0(2W=rand(1,3); (2) 根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出 3101010101131010101011)(), 2() 3() 3 , 2()2()2 , 2() 1 () 1 , 2()2()(), 1 () 3() 3 , 1 ()2()2 , 1 () 1 () 1 , 1 () 1 (jjjajwawawawujajwawawawu)()(11iufia)(exp(111iu=2, 1i整理ppt44, 1) 3(1a)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj取?。?）計(jì)算 xexf11)(因?yàn)?所以 2)1 (

26、)(xxeexf)1 ()1 () 1 () 1 (222ufat2222)1 (exp(1/()1 (exp()1 () 1 (uuat（4）取 （或其他正數(shù)，可調(diào)整大?。?1 . 0整理ppt45)()1(1ip(5) 計(jì)算 和 :),()1(1jiWp)()1(1ip222)1(2)1(2)1 (exp(1/()1 (exp(), 1 () 1 (uuiWpp)()(),(),() 1(0) 1(1)(1) 1(1jaijiWjiWppppj=1,2,3, i=1,2,3, 計(jì)算 j=1,2,3 ), 1()1(2jWP )() 1 (), 1 (), 1 () 1(1) 1(2)(2)

27、 1(2jajWjWppppj=1,2,3整理ppt46v(6) p=p+1，轉(zhuǎn)（2） 注：僅計(jì)算一圈（p=1，2，15）是不夠的，直到當(dāng)各權(quán)重變化很小時(shí)停止，本例中，共計(jì)算了147圈，迭代了2205次。 最后結(jié)果是：2764. 02875. 05787. 05765. 05976. 75921. 51W9829. 34838. 04075. 82W整理ppt47v即網(wǎng)絡(luò)模型的解為： 2764. 0)2(2875. 0) 1 (5787. 0)2(5765. 0)2(5976. 7) 1 (5921. 5) 1 (001001aauaau)()(11iufia)(exp(111iu2 , 1i

28、=)1 (exp(11) 1 (9829. 3)2(4838. 0) 1 (4075. 8) 1 (22112uaaau整理ppt48BP網(wǎng)絡(luò)建模特點(diǎn)：非線性映照能力：神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模過(guò)程中的許多問(wèn)題正是具有高度的非線性。并行分布處理方式：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲(chǔ)存和并行處理的，這使它具有很強(qiáng)的容錯(cuò)性和很快的處理速度。自學(xué)習(xí)和自適應(yīng)能力：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識(shí)，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力，即將這組權(quán)值應(yīng)用于一般情形的能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可以在線進(jìn)行。數(shù)據(jù)融合的能力：神經(jīng)網(wǎng)絡(luò)可以同時(shí)處理定量信息和定性信息，因此它可以

29、利用傳統(tǒng)的工程技術(shù)（數(shù)值運(yùn)算）和人工智能技術(shù)（符號(hào)處理）。多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的，對(duì)單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式，不必考慮各子系統(tǒng)間的解耦問(wèn)題。整理ppt49神經(jīng)網(wǎng)絡(luò)的應(yīng)用神經(jīng)網(wǎng)絡(luò)的應(yīng)用 人工神經(jīng)網(wǎng)絡(luò)以其具有自學(xué)習(xí)、自組織、較好的容錯(cuò)性和優(yōu)良的非線性逼近能力，受到眾多領(lǐng)域?qū)W者的關(guān)注。在實(shí)際應(yīng)用中，80%90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用誤差反傳算法或其變化形式的網(wǎng)絡(luò)模型（簡(jiǎn)稱(chēng)BP網(wǎng)絡(luò)），目前主要應(yīng)用于函數(shù)逼近、模式識(shí)別、分類(lèi)和數(shù)據(jù)壓縮或數(shù)據(jù)挖掘。 整理ppt50基本基本BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)klcb1bia1c1cqcjahbpanWp1Wi

30、qWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnpkjckqckhakna1ka輸出層輸出層LC隱含層隱含層LB輸入層輸入層LAWVklcklc整理ppt511.樣本數(shù)據(jù)樣本數(shù)據(jù)1.1 收集和整理分組收集和整理分組 采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。而且，為監(jiān)控訓(xùn)練（學(xué)習(xí)）過(guò)程使之不發(fā)生“過(guò)擬合”和評(píng)價(jià)建立的網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機(jī)分成訓(xùn)練樣本、檢驗(yàn)樣本（10%以上）和測(cè)試樣本（10%以上）3部分。此外，數(shù)據(jù)分組時(shí)還應(yīng)盡可能考慮樣本模式間的平衡。整理ppt521.2 輸入輸入/輸出變

31、量的確定及其數(shù)據(jù)的預(yù)處理輸出變量的確定及其數(shù)據(jù)的預(yù)處理 一般地，BP網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生變量（影響因子或自變量）數(shù)，一般根據(jù)專(zhuān)業(yè)知識(shí)確定。若輸入變量較多，一般可通過(guò)主成份分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來(lái)壓減輸入變量。輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)性能指標(biāo)或因變量），可以是一個(gè)，也可以是多個(gè)。一般將一個(gè)具有多個(gè)輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為多個(gè)具有一個(gè)輸出的網(wǎng)絡(luò)模型效果會(huì)更好，訓(xùn)練也更方便。整理ppt53 由于BP神經(jīng)網(wǎng)絡(luò)的隱層一般采用Sigmoid轉(zhuǎn)換函數(shù)，為提高訓(xùn)練速度和靈敏性以及有效避開(kāi)Sigmoid函數(shù)的飽和區(qū)，一般要求輸入數(shù)

32、據(jù)的值在01之間。因此，要對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理。一般要求對(duì)不同變量分別進(jìn)行預(yù)處理，也可以對(duì)類(lèi)似性質(zhì)的變量進(jìn)行統(tǒng)一的預(yù)處理。如果輸出層節(jié)點(diǎn)也采用Sigmoid轉(zhuǎn)換函數(shù)，輸出變量也必須作相應(yīng)的預(yù)處理，否則，輸出變量也可以不做預(yù)處理。 預(yù)處理的方法有多種多樣，各文獻(xiàn)采用的公式也不盡相同。但必須注意的是，預(yù)處理的數(shù)據(jù)訓(xùn)練完成后，網(wǎng)絡(luò)輸出的結(jié)果要進(jìn)行反變換才能得到實(shí)際值。再者，為保證建立的模型具有一定的外推能力，最好使數(shù)據(jù)預(yù)處理后的值在0.20.8之間。整理ppt542.神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的確定神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的確定2.1 隱層數(shù)隱層數(shù) 一般認(rèn)為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差（也有文獻(xiàn)認(rèn)為不一定能有效降低）

33、，提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)的訓(xùn)練時(shí)間和出現(xiàn)“過(guò)擬合”的傾向。Hornik等早已證明：若輸入層和輸出層采用線性轉(zhuǎn)換函數(shù)，隱層采用Sigmoid轉(zhuǎn)換函數(shù)，則含一個(gè)隱層的MLP網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。顯然，這是一個(gè)存在性結(jié)論。在設(shè)計(jì)BP網(wǎng)絡(luò)時(shí)可參考這一點(diǎn)，應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個(gè)隱層）。一般地，靠增加隱層節(jié)點(diǎn)數(shù)來(lái)獲得較低的誤差，其訓(xùn)練效果要比增加隱層數(shù)更容易實(shí)現(xiàn)。對(duì)于沒(méi)有隱層的神經(jīng)網(wǎng)絡(luò)模型，實(shí)際上就是一個(gè)線性或非線性（取決于輸出層采用線性或非線性轉(zhuǎn)換函數(shù)型式）回歸模型。因此，一般認(rèn)為，應(yīng)將不含隱層的網(wǎng)絡(luò)模型歸入回歸分析中，技術(shù)已很成熟，沒(méi)有必要在神經(jīng)網(wǎng)絡(luò)理論中再

34、討論之。整理ppt552.2 隱層節(jié)點(diǎn)數(shù)隱層節(jié)點(diǎn)數(shù) 在BP 網(wǎng)絡(luò)中，隱層節(jié)點(diǎn)數(shù)的選擇非常重要，它不僅對(duì)建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練時(shí)出現(xiàn)“過(guò)擬合”的直接原因，但是目前理論上還沒(méi)有一種科學(xué)的和普遍的確定方法。 目前多數(shù)文獻(xiàn)中提出的確定隱層節(jié)點(diǎn)數(shù)的計(jì)算公式都是針對(duì)訓(xùn)練樣本任意多的情況，而且多數(shù)是針對(duì)最不利的情況，一般工程實(shí)踐中很難滿(mǎn)足，不宜采用。事實(shí)上，各種計(jì)算公式得到的隱層節(jié)點(diǎn)數(shù)有時(shí)相差幾倍甚至上百倍。為盡可能避免訓(xùn)練時(shí)出現(xiàn)“過(guò)擬合”現(xiàn)象，保證足夠高的網(wǎng)絡(luò)性能和泛化能力，確定隱層節(jié)點(diǎn)數(shù)的最基本原則是：在滿(mǎn)足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即取盡可能少的隱層節(jié)點(diǎn)數(shù)。研究表明，隱

35、層節(jié)點(diǎn)數(shù)不僅與輸入/輸出層的節(jié)點(diǎn)數(shù)有關(guān)，更與需解決的問(wèn)題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特性等因素有關(guān)。整理ppt56 在確定隱層節(jié)點(diǎn)數(shù)時(shí)必須滿(mǎn)足下列條件：隱層節(jié)點(diǎn)數(shù)必須小于N-1（其中N為訓(xùn)練樣本數(shù)），否則，網(wǎng)絡(luò)模型的系統(tǒng)誤差與訓(xùn)練樣本的特性無(wú)關(guān)而趨于零，即建立的網(wǎng)絡(luò)模型沒(méi)有泛化能力，也沒(méi)有任何實(shí)用價(jià)值。同理可推得：輸入層的節(jié)點(diǎn)數(shù)（變量數(shù)）必須小于N-1。(1)(2) 訓(xùn)練樣本數(shù)必須多于網(wǎng)絡(luò)模型的連接權(quán)數(shù)，一般為210倍，否則，樣本必須分成幾部分并采用“輪流訓(xùn)練”的方法才可能得到可靠的神經(jīng)網(wǎng)絡(luò)模型。 整理ppt57 總之，若隱層節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)可能根本不能訓(xùn)練或網(wǎng)絡(luò)性能很差；若隱層節(jié)

36、點(diǎn)數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓(xùn)練時(shí)間延長(zhǎng)，另一方面，訓(xùn)練容易陷入局部極小點(diǎn)而得不到最優(yōu)點(diǎn)，也是訓(xùn)練時(shí)出現(xiàn)“過(guò)擬合”的內(nèi)在原因。因此，合理隱層節(jié)點(diǎn)數(shù)應(yīng)在綜合考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度和誤差大小的情況下用節(jié)點(diǎn)刪除法和擴(kuò)張法確定。整理ppt583.神經(jīng)網(wǎng)絡(luò)的訓(xùn)練神經(jīng)網(wǎng)絡(luò)的訓(xùn)練3.1 訓(xùn)練訓(xùn)練 BP網(wǎng)絡(luò)的訓(xùn)練就是通過(guò)應(yīng)用誤差反傳原理不斷調(diào)整網(wǎng)絡(luò)權(quán)值使網(wǎng)絡(luò)模型輸出值與已知的訓(xùn)練樣本輸出值之間的誤差平方和達(dá)到最小或小于某一期望值。雖然理論上早已經(jīng)證明：具有1個(gè)隱層（采用Sigmoid轉(zhuǎn)換函數(shù)）的BP網(wǎng)絡(luò)可實(shí)現(xiàn)對(duì)任意函數(shù)的任意逼近。但遺憾的是，迄今為止還沒(méi)有構(gòu)造性結(jié)論，即在給定有限個(gè)（訓(xùn)練

37、）樣本的情況下，如何設(shè)計(jì)一個(gè)合理的BP網(wǎng)絡(luò)模型并通過(guò)向所給的有限個(gè)樣本的學(xué)習(xí)（訓(xùn)練）來(lái)滿(mǎn)意地逼近樣本所蘊(yùn)含的規(guī)律（函數(shù)關(guān)系，不僅僅是使訓(xùn)練樣本的誤差達(dá)到很?。┑膯?wèn)題，目前在很大程度上還需要依靠經(jīng)驗(yàn)知識(shí)和設(shè)計(jì)者的經(jīng)驗(yàn)。因此，通過(guò)訓(xùn)練樣本的學(xué)習(xí)（訓(xùn)練）建立合理的BP神經(jīng)網(wǎng)絡(luò)模型的過(guò)程，在國(guó)外被稱(chēng)為“藝術(shù)創(chuàng)造的過(guò)程”，是一個(gè)復(fù)雜而又十分煩瑣和困難的過(guò)程。 整理ppt59 由于BP網(wǎng)絡(luò)采用誤差反傳算法，其實(shí)質(zhì)是一個(gè)無(wú)約束的非線性最優(yōu)化計(jì)算過(guò)程，在網(wǎng)絡(luò)結(jié)構(gòu)較大時(shí)不僅計(jì)算時(shí)間長(zhǎng)，而且很容易限入局部極小點(diǎn)而得不到最優(yōu)結(jié)果。目前雖已有改進(jìn)BP法、遺傳算法（GA）和模擬退火算法等多種優(yōu)化方法用于BP網(wǎng)絡(luò)的訓(xùn)練(

38、這些方法從原理上講可通過(guò)調(diào)整某些參數(shù)求得全局極小點(diǎn))，但在應(yīng)用中，這些參數(shù)的調(diào)整往往因問(wèn)題不同而異，較難求得全局極小點(diǎn)。這些方法中應(yīng)用最廣的是增加了沖量（動(dòng)量）項(xiàng)的改進(jìn)BP算法。 整理ppt603.2 學(xué)習(xí)率和沖量系數(shù)學(xué)習(xí)率和沖量系數(shù) 學(xué)習(xí)率影響系統(tǒng)學(xué)習(xí)過(guò)程的穩(wěn)定性。大的學(xué)習(xí)率可能使網(wǎng)絡(luò)權(quán)值每一次的修正量過(guò)大，甚至?xí)?dǎo)致權(quán)值在修正過(guò)程中超出某個(gè)誤差的極小值呈不規(guī)則跳躍而不收斂；但過(guò)小的學(xué)習(xí)率導(dǎo)致學(xué)習(xí)時(shí)間過(guò)長(zhǎng)，不過(guò)能保證收斂于某個(gè)極小值。所以，一般傾向選取較小的學(xué)習(xí)率以保證學(xué)習(xí)過(guò)程的收斂性（穩(wěn)定性），通常在0.010.8之間。 增加沖量項(xiàng)的目的是為了避免網(wǎng)絡(luò)訓(xùn)練陷于較淺的局部極小點(diǎn)。理論上其值大

39、小應(yīng)與權(quán)值修正量的大小有關(guān)，但實(shí)際應(yīng)用中一般取常量。通常在01之間，而且一般比學(xué)習(xí)率要大。 整理ppt614 網(wǎng)絡(luò)的初始連接權(quán)值網(wǎng)絡(luò)的初始連接權(quán)值 BP算法決定了誤差函數(shù)一般存在（很）多個(gè)局部極小點(diǎn)，不同的網(wǎng)絡(luò)初始權(quán)值直接決定了BP算法收斂于哪個(gè)局部極小點(diǎn)或是全局極小點(diǎn)。因此，要求計(jì)算程序（建議采用標(biāo)準(zhǔn)通用軟件，如Statsoft公司出品的Statistica Neural Networks軟件和Matlab 軟件）必須能夠自由改變網(wǎng)絡(luò)初始連接權(quán)值。由于Sigmoid轉(zhuǎn)換函數(shù)的特性，一般要求初始權(quán)值分布在-0.50.5之間比較有效。整理ppt625.網(wǎng)絡(luò)模型的性能和泛化能力網(wǎng)絡(luò)模型的性能和泛化

40、能力 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的首要和根本任務(wù)是確保訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)非訓(xùn)練樣本具有好的泛化能力（推廣性），即有效逼近樣本蘊(yùn)含的內(nèi)在規(guī)律，而不是看網(wǎng)絡(luò)模型對(duì)訓(xùn)練樣本的擬合能力。從存在性結(jié)論可知，即使每個(gè)訓(xùn)練樣本的誤差都很小（可以為零），并不意味著建立的模型已逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律。因此，僅給出訓(xùn)練樣本誤差（通常是指均方根誤差RSME或均方誤差、AAE或MAPE等）的大小而不給出非訓(xùn)練樣本誤差的大小是沒(méi)有任何意義的。整理ppt63 要分析建立的網(wǎng)絡(luò)模型對(duì)樣本所蘊(yùn)含的規(guī)律的逼近情況（能力），即泛化能力，應(yīng)該也必須用非訓(xùn)練樣本（本文稱(chēng)為檢驗(yàn)樣本和測(cè)試樣本）誤差的大小來(lái)表示和評(píng)價(jià)，這也是之所以必須將總樣本分成訓(xùn)

41、練樣本和非訓(xùn)練樣本而絕不能將全部樣本用于網(wǎng)絡(luò)訓(xùn)練的主要原因之一。判斷建立的模型是否已有效逼近樣本所蘊(yùn)含的規(guī)律,最直接和客觀的指標(biāo)是從總樣本中隨機(jī)抽取的非訓(xùn)練樣本（檢驗(yàn)樣本和測(cè)試樣本）誤差是否和訓(xùn)練樣本的誤差一樣小或稍大。非訓(xùn)練樣本誤差很接近訓(xùn)練樣本誤差或比其小，一般可認(rèn)為建立的網(wǎng)絡(luò)模型已有效逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律，否則，若相差很多（如幾倍、幾十倍甚至上千倍）就說(shuō)明建立的網(wǎng)絡(luò)模型并沒(méi)有有效逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律，而只是在這些訓(xùn)練樣本點(diǎn)上逼近而已，而建立的網(wǎng)絡(luò)模型是對(duì)訓(xùn)練樣本所蘊(yùn)含規(guī)律的錯(cuò)誤反映。整理ppt64 因?yàn)橛?xùn)練樣本的誤差可以達(dá)到很小，因此，因?yàn)橛?xùn)練樣本的誤差可以達(dá)到很小，因此，用從總

42、樣本中隨機(jī)抽取的一部分測(cè)試樣本的誤差表用從總樣本中隨機(jī)抽取的一部分測(cè)試樣本的誤差表示網(wǎng)絡(luò)模型計(jì)算和預(yù)測(cè)所具有的精度（網(wǎng)絡(luò)性能）示網(wǎng)絡(luò)模型計(jì)算和預(yù)測(cè)所具有的精度（網(wǎng)絡(luò)性能）是合理的和可靠的。是合理的和可靠的。 值得注意的是，判斷網(wǎng)絡(luò)模型泛化能力的好值得注意的是，判斷網(wǎng)絡(luò)模型泛化能力的好壞，主要不是看測(cè)試樣本誤差大小的本身，而是要壞，主要不是看測(cè)試樣本誤差大小的本身，而是要看測(cè)試樣本的誤差是否接近于訓(xùn)練樣本和檢驗(yàn)樣本看測(cè)試樣本的誤差是否接近于訓(xùn)練樣本和檢驗(yàn)樣本的誤差。的誤差。整理ppt656.合理網(wǎng)絡(luò)模型的確定合理網(wǎng)絡(luò)模型的確定 對(duì)同一結(jié)構(gòu)的網(wǎng)絡(luò)，由于BP算法存在（很）多個(gè)局部極小點(diǎn)，因此，必須通

43、過(guò)多次（通常是幾十次）改變網(wǎng)絡(luò)初始連接權(quán)值求得相應(yīng)的極小點(diǎn)，才能通過(guò)比較這些極小點(diǎn)的網(wǎng)絡(luò)誤差的大小，確定全局極小點(diǎn)，從而得到該網(wǎng)絡(luò)結(jié)構(gòu)的最佳網(wǎng)絡(luò)連接權(quán)值。必須注意的是，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程本質(zhì)上是求非線性函數(shù)的極小點(diǎn)問(wèn)題，因此，在全局極小點(diǎn)鄰域內(nèi)（即使網(wǎng)絡(luò)誤差相同），各個(gè)網(wǎng)絡(luò)連接權(quán)值也可能有較大的差異，這有時(shí)也會(huì)使各個(gè)輸入變量的重要性發(fā)生變化，但這與具有多個(gè)零極小點(diǎn)（一般稱(chēng)為多模式現(xiàn)象）（如訓(xùn)練樣本數(shù)少于連接權(quán)數(shù)時(shí)）的情況是截然不同的。此外，在不滿(mǎn)足隱層節(jié)點(diǎn)數(shù)條件時(shí)，總也可以求得訓(xùn)練樣本誤差很小或?yàn)榱愕臉O小點(diǎn)，但此時(shí)檢驗(yàn)樣本和測(cè)試樣本的誤差可能要大得多；若改變網(wǎng)絡(luò)連接權(quán)初始值，檢驗(yàn)樣本和測(cè)試樣本

44、的網(wǎng)絡(luò)計(jì)算結(jié)果會(huì)產(chǎn)生很大變化，即多模式現(xiàn)象。整理ppt66 對(duì)于不同的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)模型的誤差或性能和泛化能力也不一樣。因此，還必須比較不同網(wǎng)絡(luò)結(jié)構(gòu)的模型的優(yōu)劣。一般地，隨著網(wǎng)絡(luò)結(jié)構(gòu)的變大，誤差變小。通常，在網(wǎng)絡(luò)結(jié)構(gòu)擴(kuò)大（隱層節(jié)點(diǎn)數(shù)增加）的過(guò)程中，網(wǎng)絡(luò)誤差會(huì)出現(xiàn)迅速減小然后趨于穩(wěn)定的一個(gè)階段，因此，合理隱層節(jié)點(diǎn)數(shù)應(yīng)取誤差迅速減小后基本穩(wěn)定時(shí)的隱層節(jié)點(diǎn)數(shù)。 總之，合理網(wǎng)絡(luò)模型是必須在具有合理隱層節(jié)點(diǎn)數(shù)、訓(xùn)練時(shí)沒(méi)有發(fā)生“過(guò)擬合”現(xiàn)象、求得全局極小點(diǎn)和同時(shí)考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度和誤差大小的綜合結(jié)果。設(shè)計(jì)合理BP網(wǎng)絡(luò)模型的過(guò)程是一個(gè)不斷調(diào)整參數(shù)的過(guò)程，也是一個(gè)不斷對(duì)比結(jié)果的過(guò)程，比較復(fù)雜且有時(shí)還帶有經(jīng)驗(yàn)

45、性。這個(gè)過(guò)程并不是有些作者想象的（實(shí)際也是這么做的）那樣，隨便套用一個(gè)公式確定隱層節(jié)點(diǎn)數(shù)，經(jīng)過(guò)一次訓(xùn)練就能得到合理的網(wǎng)絡(luò)模型（這樣建立的模型極有可能是訓(xùn)練樣本的錯(cuò)誤反映，沒(méi)有任何實(shí)用價(jià)值）。整理ppt67 雖然神經(jīng)網(wǎng)絡(luò)的類(lèi)型很多，建立神經(jīng)網(wǎng)絡(luò)模型時(shí)，根據(jù)研究對(duì)象的特點(diǎn)，可以考慮不同的神經(jīng)網(wǎng)絡(luò)模型。 前饋型BP網(wǎng)絡(luò)即誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)是最常用、最流行的神經(jīng)網(wǎng)絡(luò)。BP網(wǎng)絡(luò)的輸入和輸出關(guān)系可以看成是一種映射關(guān)系，即每一組輸入對(duì)應(yīng)一組輸出。由于網(wǎng)絡(luò)中神經(jīng)元作用函數(shù)的非線性，網(wǎng)絡(luò)實(shí)現(xiàn)是復(fù)雜的非線性映射。關(guān)于這類(lèi)網(wǎng)絡(luò)對(duì)非線性的逼近能力，Hornikl等分別利用不同的方法證明了如下一個(gè)事實(shí)：僅含有一個(gè)隱層的

46、前向網(wǎng)絡(luò)能以任意精度逼近定義在Rn的一個(gè)緊集上的任意非線性函數(shù)。誤差反向算法是最著名的多層前向網(wǎng)絡(luò)訓(xùn)練算法，盡管存在收斂速度慢、局部極值等缺點(diǎn)，但可通過(guò)各種改進(jìn)措施來(lái)提高它的收斂速度、克服局部極值現(xiàn)象，而且具有簡(jiǎn)單、易行、計(jì)算量小、并行性強(qiáng)等特點(diǎn)，目前仍是多層前向網(wǎng)絡(luò)的首選算法。整理ppt68神經(jīng)網(wǎng)絡(luò)模型參數(shù)的確定： 由于傳統(tǒng)的誤差反傳BP算法較為成熟，且應(yīng)用廣泛，因此努力提高該方法的學(xué)習(xí)速度具有較高的實(shí)用價(jià)值。BP算法中有幾個(gè)常用的參數(shù)，包括學(xué)習(xí)率，動(dòng)量因子，形狀因子及收斂誤差界值E等。這些參數(shù)對(duì)訓(xùn)練速度的影響最為關(guān)鍵。 整理ppt69MATLAB神經(jīng)網(wǎng)絡(luò)工具箱的應(yīng)用 在網(wǎng)絡(luò)訓(xùn)練過(guò)程中使用的

47、是Matlab 7.0 for Windows軟件，對(duì)于BP神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練可以使用Neural Networks Toolbox for Matlab。美國(guó)的Mathwork公司推出的MATLAB軟件包既是一種非常實(shí)用有效的科研編程軟件環(huán)境，又是一種進(jìn)行科學(xué)和工程計(jì)算的交互式程序。MATLAB本身帶有神經(jīng)網(wǎng)絡(luò)工具箱，可以大大方便權(quán)值訓(xùn)練，減少訓(xùn)練程序工作量，有效的提高工作效率. 整理ppt70隱層的數(shù)目: 理論上雖然證明了這類(lèi)網(wǎng)絡(luò)的逼近能力，對(duì)于網(wǎng)絡(luò)結(jié)構(gòu)的要求，并沒(méi)有給出明確的說(shuō)明。因而在應(yīng)用中神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)確定常常有人為的主觀性和藝術(shù)性，缺乏一個(gè)指導(dǎo)原則。而網(wǎng)絡(luò)訓(xùn)練與結(jié)構(gòu)緊密相關(guān)，太大

48、的網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練時(shí)效率不高，而且還會(huì)由于過(guò)擬合(overfitting)造成網(wǎng)絡(luò)的性能脆弱，泛化能力(generalization ability)下降；太小的網(wǎng)絡(luò)可能就根本不收斂。當(dāng)選取隱層數(shù)為1時(shí)，BP網(wǎng)絡(luò)不收斂，而當(dāng)選取隱層數(shù)為2時(shí)，BP網(wǎng)絡(luò)訓(xùn)練較好?？紤]到本研究的特點(diǎn)，結(jié)合不同隱層網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練結(jié)果，本文選擇了隱層數(shù)L=2的網(wǎng)絡(luò)結(jié)構(gòu)模型。2375 Epochs隱層數(shù)為1節(jié)點(diǎn)數(shù)6 不同隱層數(shù)訓(xùn)練誤差曲線隱層數(shù)為2 節(jié)點(diǎn)數(shù)126整理ppt71 例: BP神經(jīng)網(wǎng)絡(luò)水（處理）系統(tǒng)的模擬與預(yù)測(cè)等方面獲得了廣泛的應(yīng)用 。光催化臭氧氧化處理自來(lái)水工藝神經(jīng)網(wǎng)絡(luò)模型整理ppt72 樣本實(shí)驗(yàn)號(hào)臭氧濃度(m

49、g/L)入口UV254UV254去除率(%)11.160.11650.221.350.10459.531.720.07858.841.860.10766.251.970.13665.562.150.08264.572.230.12573.682.480.07676.492.790.12278.5102.850.09279.2113.070.08181.4123.450.06890.3133.590.07793.1143.800.10898.2153.930.12897.3164.140.06398.1174.460.13597.3184.550.07098.8194.840.12696.920

50、5.030.08798.6整理ppt73檢驗(yàn)樣本實(shí)驗(yàn)號(hào)臭氧濃度(mg/L)入口UV254UV254去除率(%)11.420.086?22.510.071?33.210.107?44.290.096?55.240.65?整理ppt74隱層神經(jīng)元數(shù)的選擇 隱層神經(jīng)元數(shù)的選擇是一個(gè)十分復(fù)雜的問(wèn)題。因?yàn)闆](méi)有很好的解析式表示，可以說(shuō)隱層神經(jīng)元數(shù)與問(wèn)題的要求、輸入層與輸出層神經(jīng)元的數(shù)量、訓(xùn)練樣本的數(shù)量等都有直接關(guān)系。事實(shí)上隱層神經(jīng)元太少不可能將網(wǎng)絡(luò)訓(xùn)練出來(lái)，但太多又使學(xué)習(xí)時(shí)間過(guò)長(zhǎng)，使網(wǎng)絡(luò)不“不強(qiáng)壯”，泛化能力下降，即不能識(shí)別以前沒(méi)有直接接收到的樣本，容錯(cuò)性差。 當(dāng)隱層數(shù)為2010和84時(shí)的訓(xùn)練結(jié)果: 隱層

51、數(shù)為2節(jié)點(diǎn)數(shù)84 隱層數(shù)為2節(jié)點(diǎn)數(shù)2010 圖6-2 相同隱層數(shù)不同節(jié)點(diǎn)數(shù)訓(xùn)練誤差曲線整理ppt75 神經(jīng)網(wǎng)絡(luò)模型的各層節(jié)點(diǎn)數(shù)分別為：輸入層2個(gè)；第一隱層12個(gè)；第二隱層6個(gè)；輸出層1個(gè)。 綜合以上研究?jī)?nèi)容，建立光催化臭氧氧化處理自來(lái)水工藝神經(jīng)網(wǎng)絡(luò)模型如圖6-3所示。輸入層輸出層隱層圖6-3 BP網(wǎng)絡(luò)模型臭氧濃度入口UV254UV254去除率整理ppt761學(xué)習(xí)率和動(dòng)量因子 BP算法本質(zhì)上是優(yōu)化計(jì)算中的梯度下降法，利用誤差對(duì)于權(quán)、閥值的一階導(dǎo)數(shù)信息來(lái)指導(dǎo)下一步的權(quán)值調(diào)整方向，以求最終得到誤差最小。為了保證算法的收斂性，學(xué)習(xí)率必須小于某一上限，一般取01而且越接近極小值，由于梯度變化值逐漸趨于零

52、，算法的收斂就越來(lái)越慢。在網(wǎng)絡(luò)參數(shù)中，學(xué)習(xí)率和動(dòng)量因子是很重要的，它們的取值直接影響到網(wǎng)絡(luò)的性能，主要是收斂速度。為提高學(xué)習(xí)速度，應(yīng)采用大的。但太大卻可能導(dǎo)致在穩(wěn)定點(diǎn)附近振蕩，乃至不收斂。針對(duì)具體的網(wǎng)絡(luò)結(jié)構(gòu)模型和學(xué)習(xí)樣本，都存在一個(gè)最佳的學(xué)習(xí)率門(mén)和動(dòng)量因子，它們的取值范圍一般01之間，視實(shí)際情況而定。在上述范圍內(nèi)通過(guò)對(duì)不同的和的取值進(jìn)行了考察，確定本文神經(jīng)網(wǎng)絡(luò)模型的參數(shù)為：0.7，0.9。整理ppt772初始權(quán)值的選擇 在前饋多層神經(jīng)網(wǎng)絡(luò)的BP算法中，初始權(quán)、閾值一般是在一個(gè)固定范圍內(nèi)按均勻分布隨機(jī)產(chǎn)生的。一般文獻(xiàn)認(rèn)為初始權(quán)值范圍為-11之間，初始權(quán)值的選擇對(duì)于局部極小點(diǎn)的防止和網(wǎng)絡(luò)收斂速度的

53、提高均有一定程度的影響，如果初始權(quán)值范圍選擇不當(dāng)，學(xué)習(xí)過(guò)程一開(kāi)始就可能進(jìn)入“假飽和”現(xiàn)象，甚至進(jìn)入局部極小點(diǎn)，網(wǎng)絡(luò)根本不收斂。初始權(quán)、閾值的選擇因具體的網(wǎng)絡(luò)結(jié)構(gòu)模式和訓(xùn)練樣本不同而有所差別，一般應(yīng)視實(shí)際情況而定。本文考察了不同初始權(quán)、閾值的賦值范圍對(duì)網(wǎng)絡(luò)收斂速度的影響，確定本文神經(jīng)網(wǎng)絡(luò)模型的初始權(quán)和閾值的隨機(jī)賦值范圍為0.5+0.5。整理ppt783收斂誤差界值Emin 在網(wǎng)絡(luò)訓(xùn)練過(guò)程中應(yīng)根據(jù)實(shí)際情況預(yù)先確定誤差界值。誤差界值的選擇完全根據(jù)網(wǎng)絡(luò)模型的收斂速度大小和具體樣本的學(xué)習(xí)精度來(lái)確定。當(dāng)Emin 值選擇較小時(shí)，學(xué)習(xí)效果好，但收斂速度慢，訓(xùn)練次數(shù)增加。如果Emin值取得較大時(shí)則相反。本文神經(jīng)網(wǎng)絡(luò)的誤差界值Emin為0.0001，即在迭代計(jì)算時(shí)誤差值E Emin0.0001時(shí)，則認(rèn)為學(xué)習(xí)完成，停止計(jì)算，輸出