BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例課件

1、BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例1 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) (Artificial Neural NetwroksArtificial Neural Netwroks -ANN) - - HZAU HZAU 數(shù)?；?cái)?shù)模基地 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例2 引引 言言 利用機(jī)器模仿人類的智能是長期以來人們認(rèn)識自利用機(jī)器模仿人類的智能是長期以來人們認(rèn)識自 然、改造自然和認(rèn)識自身的理想。然、改造自然和認(rèn)識自身的理想。 研究研究ANN目的：目的： （1）探索和模擬人的感覺、思維和行為的規(guī)）探索和模擬人的感覺、思維和行為的規(guī) 律，設(shè)計(jì)律，設(shè)計(jì) 具有人類智能的計(jì)算機(jī)系統(tǒng)。具有人類智能的計(jì)算機(jī)系統(tǒng)。 （2）探討人腦的智

2、能活動，用物化了的智能來）探討人腦的智能活動，用物化了的智能來 考察和研考察和研 究人腦智能的物質(zhì)過程及其規(guī)律。究人腦智能的物質(zhì)過程及其規(guī)律。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例3 ANN的研究內(nèi)容的研究內(nèi)容 （1）理論研究理論研究：ANN模型及其學(xué)習(xí)算法，試圖從數(shù)模型及其學(xué)習(xí)算法，試圖從數(shù) 學(xué)上描述學(xué)上描述ANN的動力學(xué)過程，建立相應(yīng)的的動力學(xué)過程，建立相應(yīng)的ANN模模 型，在該模型的基礎(chǔ)上，對于給定的學(xué)習(xí)樣本，型，在該模型的基礎(chǔ)上，對于給定的學(xué)習(xí)樣本， 找出一種能以較快的速度和較高的精度調(diào)整神經(jīng)找出一種能以較快的速度和較高的精度調(diào)整神經(jīng) 元間互連權(quán)值，使系統(tǒng)達(dá)到穩(wěn)定狀態(tài)，滿足學(xué)習(xí)元間互連權(quán)值，使系統(tǒng)達(dá)

3、到穩(wěn)定狀態(tài)，滿足學(xué)習(xí) 要求的算法。要求的算法。 （2）實(shí)現(xiàn)技術(shù)的研究實(shí)現(xiàn)技術(shù)的研究：探討利用電子、光學(xué)、生物：探討利用電子、光學(xué)、生物 等等 技術(shù)實(shí)現(xiàn)神經(jīng)計(jì)算機(jī)的途徑。技術(shù)實(shí)現(xiàn)神經(jīng)計(jì)算機(jī)的途徑。 （3）應(yīng)用的研究應(yīng)用的研究：探討如何應(yīng)用：探討如何應(yīng)用ANN解決實(shí)際問題，解決實(shí)際問題， 如模式識別、故障檢測、智能機(jī)器人等。如模式識別、故障檢測、智能機(jī)器人等。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例4 研究研究ANN方法方法 （1）生理結(jié)構(gòu)的模擬：生理結(jié)構(gòu)的模擬： 用仿生學(xué)觀點(diǎn)，探索人腦的生理結(jié)構(gòu)，用仿生學(xué)觀點(diǎn)，探索人腦的生理結(jié)構(gòu)， 把對人腦的微觀結(jié)構(gòu)及其智能行為的研究結(jié)合把對人腦的微觀結(jié)構(gòu)及其智能行為的研究結(jié)合

4、 起來即人工神經(jīng)網(wǎng)絡(luò)（起來即人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Netwroks，簡稱，簡稱ANN）方法。）方法。 （2）宏觀功能的模擬：）宏觀功能的模擬： 從人的思維活動和智能行為的心理學(xué)特從人的思維活動和智能行為的心理學(xué)特 性出發(fā)，利用計(jì)算機(jī)系統(tǒng)來對人腦智能進(jìn)行宏性出發(fā)，利用計(jì)算機(jī)系統(tǒng)來對人腦智能進(jìn)行宏 觀功能的模擬，即符號處理方法。觀功能的模擬，即符號處理方法。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例5 ANNANN研究的目的和意義研究的目的和意義 (1)(1)通過揭示物理平面與認(rèn)知平面之間的映射，了通過揭示物理平面與認(rèn)知平面之間的映射，了 解它們相互聯(lián)系和相互作用的機(jī)理，從而揭示思解它們

5、相互聯(lián)系和相互作用的機(jī)理，從而揭示思 維的本質(zhì)，探索智能的本源。維的本質(zhì)，探索智能的本源。 (2)(2)爭取構(gòu)造出盡可能與人腦具有相似功能的計(jì)算爭取構(gòu)造出盡可能與人腦具有相似功能的計(jì)算 機(jī)，即機(jī)，即ANNANN計(jì)算機(jī)。計(jì)算機(jī)。 (3)研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在模研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在模 式識別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計(jì)式識別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計(jì) 算機(jī)所難以達(dá)到的效果。算機(jī)所難以達(dá)到的效果。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例6 神經(jīng)網(wǎng)絡(luò)研究的發(fā)展神經(jīng)網(wǎng)絡(luò)研究的發(fā)展 (1)(1)第一次熱潮第一次熱潮(40-60(40-60年代未年代未) ) 1943 1

6、943年年, ,美國心理學(xué)家美國心理學(xué)家W.McCullochW.McCulloch和數(shù)學(xué)家和數(shù)學(xué)家 W.PittsW.Pitts在提出了一個(gè)簡單的神經(jīng)元模型，即在提出了一個(gè)簡單的神經(jīng)元模型，即MPMP模型。模型。 19581958年，年，F(xiàn).RosenblattF.Rosenblatt等研制出了感知機(jī)等研制出了感知機(jī) (Perceptron(Perceptron）。）。 (2)低潮低潮(70- -80年代初年代初) ): (3)第二次熱潮第二次熱潮 1982年，美國物理學(xué)家年，美國物理學(xué)家J.J.Hopfield提出提出Hopfield 模型，它是一個(gè)互聯(lián)的非線性動力學(xué)網(wǎng)絡(luò)模型，它是一個(gè)互聯(lián)

7、的非線性動力學(xué)網(wǎng)絡(luò). .他解決問題他解決問題 的方法是一種反復(fù)運(yùn)算的動態(tài)過程的方法是一種反復(fù)運(yùn)算的動態(tài)過程, ,這是符號邏輯處理這是符號邏輯處理 方法所不具備的性質(zhì)方法所不具備的性質(zhì). . 1987年首屆國際年首屆國際A ANN大會在圣地大會在圣地 亞哥召開，國際亞哥召開，國際A ANN聯(lián)合會成立，創(chuàng)辦了多種聯(lián)合會成立，創(chuàng)辦了多種A ANN國際國際 刊物?？铩?990年年12月，北京召開首屆學(xué)術(shù)會議。月，北京召開首屆學(xué)術(shù)會議。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例7 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)研究的局限性研究的局限性 （1 1）ANNANN研究受到腦科學(xué)研究成果的限制。研究受到腦科學(xué)研究成果的限制。 （2

8、2）ANNANN缺少一個(gè)完整、成熟的理論體系。缺少一個(gè)完整、成熟的理論體系。 （3 3）ANNANN研究帶有濃厚的策略和經(jīng)驗(yàn)色彩。研究帶有濃厚的策略和經(jīng)驗(yàn)色彩。 （4）ANN與傳統(tǒng)技術(shù)的接口不成熟。與傳統(tǒng)技術(shù)的接口不成熟。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例8 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 什么是什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)？ T.Koholen的定義：的定義：“人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是由是由 具有具有 適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)， 它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實(shí)世界物它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實(shí)世界物 體所作出的交互反應(yīng)。體所作出

9、的交互反應(yīng)?！?BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例9 二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò)二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò) 大腦可視作為1000多億神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò) 圖3 神經(jīng)元的解剖圖 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例10 神經(jīng)元的信息傳遞和處理是一種電化學(xué)活 動樹突由于電化學(xué)作用接受外界的刺激；通 過胞體內(nèi)的活動體現(xiàn)為軸突電位，當(dāng)軸突電位 達(dá)到一定的值則形成神經(jīng)脈沖或動作電位；再 通過軸突末梢傳遞給其它的神經(jīng)元從控制論 的觀點(diǎn)來看；這一過程可以看作一個(gè)多輸入單 輸出非線性系統(tǒng)的動態(tài)過程 神經(jīng)網(wǎng)絡(luò)研究的兩個(gè)方面 從生理上、解剖學(xué)上進(jìn)行研究 從工程技術(shù)上、算法上進(jìn)行研究 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例11 腦神經(jīng)信息活動的特征腦神經(jīng)信息活動的特征

10、 (1)(1)巨量并行性。巨量并行性。 (2)(2)信息處理和存儲單元結(jié)合在一起。信息處理和存儲單元結(jié)合在一起。 (3)自組織自學(xué)習(xí)功能。自組織自學(xué)習(xí)功能。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例12 神經(jīng)網(wǎng)絡(luò)基本模型神經(jīng)網(wǎng)絡(luò)基本模型 細(xì)胞體 突 觸 軸突 樹 突 圖12.2 生物神經(jīng)元功能模型 輸 入 輸 出 信息處理 電脈沖 形成 傳輸 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例13 神經(jīng)元的數(shù)學(xué)模型 圖4神經(jīng)元的數(shù)學(xué)模型 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例14 其中x（x1，xm）T 輸入向量，y為輸出， wi是權(quán)系數(shù)；輸入與輸出具有如下關(guān)系： m i ii xwfy 1 )( 為閾值，f（X）是激發(fā)函數(shù)；它可以是線性 函數(shù)，也可以是

11、非線性函數(shù) BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例15 例如，若記 取激發(fā)函數(shù)為符號函數(shù) m i ii xwz 1 .0,0 ,0, 1 )sgn( x x x 則 S型激發(fā)函數(shù)： m i ii m i ii xw xw zfy 1 1 ,0 , 1 )( , 1 1 )( x e xf ; 1)(0 xf BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例16 或或 注：若將閾值看作是一個(gè)權(quán)系數(shù)，-1是一個(gè)固定的 輸入，另有m-1個(gè)正常的輸入，則（1）式也可表 示為： ,)( xx xx ee ee xf . 1)(1xf m i iix wfy 1 )( （1） 參數(shù)識別：假設(shè)函數(shù)形式已知，則可以從已有的 輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及

12、閾值。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例17 2 2、神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型、神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型 眾多神經(jīng)元之間組合形成神經(jīng)網(wǎng)絡(luò)，例如下圖 的含有中間層（隱層）的B-P網(wǎng)絡(luò) BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例18 基本基本BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) b1bi a1 c1cqcj ah bp an Wp1 Wiq WpjW1q W1j Wij V11 W11 WpqWi1 Vh1 Vhi V1iVn1 Vni V1p Vhp Vnp k j c k q c k h a k n a 1 k a 輸出層輸出層LC 隱含層隱含層LB 輸入層輸入層LA W V k l c BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例19 ANN類型與功能 BP

13、神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例20 一般而言, ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越, 只有當(dāng)常規(guī) 方法解決不了或效果不佳時(shí)ANN方法才能顯示出其優(yōu)越性。尤 其對問題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障 診斷、特征提取和預(yù)測等問題,ANN往往是最有利的工具。另 一方面, ANN對處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的 問題, 表現(xiàn)出極大的靈活性和自適應(yīng)性。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例21 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) （Artificial Neuron Nets=ANN） 例 1981年生物學(xué)家格若根（W Grogan）和維什（WWirth）發(fā)現(xiàn)了兩 類蚊子(或飛蠓midges)他們測量了這兩類蚊子每

14、個(gè)個(gè)體的翼長和觸角 長，數(shù)據(jù)如下： 翼長 觸角長 類別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af 翼長 觸角長 類別 1.78 1.14 Apf 1.96 1.18 Apf 1.86 1.20 Apf 1.72 1.24 Af 2.00 1.26 Apf 2.00 1.28 Apf 1.96 1.30 Apf 1.74 1.36 Af BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例22 問：如果抓到三只新的蚊子，它們的觸角長和 翼長分別為(l.24,1.80); (l.28，1.

15、84)；（1.40， 2.04）問它們應(yīng)分別屬于哪一個(gè)種類？ 解法一： 把翼長作縱坐標(biāo)，觸角長作橫坐標(biāo)；那么每個(gè) 蚊子的翼長和觸角決定了坐標(biāo)平面的一個(gè)點(diǎn).其 中 6個(gè)蚊子屬于 APf類；用黑點(diǎn)“”表示；9 個(gè)蚊子屬 Af類；用小圓圈“。”表示 得到的結(jié)果見圖1 圖1飛蠓的觸角長和翼長 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例23 思路：作一直線將兩類飛蠓分開 例如；取A（1.44，2.10）和 B(1.10，1.16)， 過A B兩點(diǎn)作一條直線： y 1.47x - 0.017 其中X表示觸角長；y表示翼長 分類規(guī)則：設(shè)一個(gè)蚊子的數(shù)據(jù)為（x, y） 如果y1.47x - 0.017，則判斷蚊子屬Apf類； 如果

16、y1.47x - 0.017；則判斷蚊子屬Af類 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例24 分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類； (1.40，2.04）屬于 Apf類 圖2 分類直線圖 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例25 缺陷：根據(jù)什么原則確定分類直線？ 若取A=(1.46,2.10), B=(1.1,1.6)不變，則分類直線 變?yōu)?y=1.39x+0.071 分類結(jié)果變?yōu)椋?(1.24,1.80)， (1.40,2.04) 屬于Apf類； (1.28,1.84)屬于Af類 哪一分類直線才是正確的呢？ 因此如何來確定這個(gè)判別直線是一個(gè)值得研究的 問題一般地講，應(yīng)該充分利用已知的數(shù)據(jù)信

17、息 來確定判別直線 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例26 再如，如下的情形已經(jīng)不能用分類直線的辦法： 新思路：將問題看作一個(gè)系統(tǒng)，飛蠓的數(shù)據(jù)作為 輸入，飛蠓的類型作為輸出，研究輸入與輸出的 關(guān)系。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例27 基本基本BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) b1bi a1 c1cqcj ah bp an Wp1 Wiq WpjW1q W1j Wij V11 W11 WpqWi1 Vh1 Vhi V1iVn1 Vni V1p Vhp Vnp k j c k q c k h a k n a 1 k a 輸出層輸出層LC 隱含層隱含層LB 輸入層輸入層LA W V k l c BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例

18、28 四、反向傳播算法（四、反向傳播算法（B-PB-P算法）算法） Back propagation algorithm 1簡單網(wǎng)絡(luò)的簡單網(wǎng)絡(luò)的B-P算法算法 算法的目的：根據(jù)實(shí)際的輸入與輸出數(shù)據(jù)，計(jì)算模型的參 數(shù)（權(quán)系數(shù)） 圖6 簡單網(wǎng)絡(luò) BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例29 假設(shè)有P個(gè)訓(xùn)練樣本，即有P個(gè)輸入輸出對 （Ip, Tp）,p=1,P, 其中 輸入向量為 : T pmpp iiI),.,( 1 目標(biāo)輸出向量為（實(shí)際上的）: T pnpp ttT),.,( 1 網(wǎng)絡(luò)輸出向量為 （理論上的） T pnpp ooO),.,( 1 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例30 n i pipi ot 1 2 )(mi

19、n （p=1,P） （2） 記wij為從輸入向量的第j (j=1,m) 個(gè)分量到輸出向量 的第i (i=1,n)個(gè)分量的權(quán)重。通常理論值與實(shí)際值有一誤 差，網(wǎng)絡(luò)學(xué)習(xí)則是指不斷地把與比較，并根據(jù)極小原則修 改參數(shù)wij，使誤差平方和達(dá)最小： 記 Delta學(xué)習(xí)規(guī)則: pi pipi ot P p pjpipj P p pipiij iiotw 11 )( （4） ijijij www （3） ij w表示遞推一次的修改量，則有 稱為學(xué)習(xí)的速率 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例31 ipm= -1 , wim= (第i個(gè)神經(jīng)元的閾值) （5） 注：由（1） 式，第i個(gè)神經(jīng)元的輸出可表示為 m j pjijp

20、i iwfo 1 )( 特別當(dāng)f是線性函數(shù)時(shí) biwao m j pjijpi 1 )(（6） BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例32 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例33 圖7 多層前饋網(wǎng)絡(luò) 2多層前饋網(wǎng)絡(luò) （l）輸入層不計(jì)在層數(shù)之內(nèi)，它有N0個(gè)神經(jīng)元設(shè)網(wǎng)絡(luò) 共有L層；輸出層為第L層；第 k層有Nk個(gè)神經(jīng)元 假設(shè)：假設(shè)： (2) 設(shè))( iu k 表示第k層第i神經(jīng)元所接收的信息 wk(i,j) 表示從第k-1層第j個(gè)元到第k層第i個(gè)元的權(quán)重， )(ia k 表第k層第i個(gè)元的輸出 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例34 （3）設(shè)層與層間的神經(jīng)元都有信息交換（否則，可設(shè)它們 之間的權(quán)重為零）；但同一層的神經(jīng)元之間無信息傳 輸

21、 (4) 設(shè)信息傳輸?shù)姆较蚴菑妮斎雽拥捷敵鰧臃较?；因此稱為 前向網(wǎng)絡(luò)沒有反向傳播信息 （5） 表示輸入的第j個(gè)分量 )( 0 ja 假設(shè)：假設(shè)： BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例35 在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為： ,1),()( ),()(),()( . ,1),()( ),()(),()( ,1),()( ),()(),()( 1 1 0 1 11 222 1 2122 111 1 1011 LLL N j LLLL N j N j Niiufia ijajiwiu Niiufia ijajiwiu Niiufia ijajiwiu L （7） 其中表示第k層第i個(gè)元的閾值. BP神經(jīng)網(wǎng)

22、絡(luò)詳解和實(shí)例36 定理2 對于具有多個(gè)隱層的前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S 函數(shù)；且指標(biāo)函數(shù)取 P p p EE 1 （8 8） L N i p L p p iaitE 1 2)()( )()( 2 1 （9） 則每個(gè)訓(xùn)練循環(huán)中按梯度下降時(shí)；其權(quán)重迭代公式為 ),(),(),( )( 1 )()1()( jajiwjiw p l p l p l p l ,.,1Ll （ 10 ） 表示第-1層第個(gè)元對第層第個(gè)元輸入的第 次迭代時(shí)的權(quán)重 ),( )( jiw p l 其中其中 )()()()( )()()()( iufiaiti p L p L pp L （11） （12） 1 1 )1( 1 )

23、( 1 )()( ),()()()( l N j p l p l p l p l ijwjiufi . 11Ll BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例37 BP算法 Step1 選定學(xué)習(xí)的數(shù)據(jù),p=1,P, 隨機(jī)確定初始 權(quán)矩陣W（0） Step2 用（10）式反向修正,直到用完所有學(xué) 習(xí)數(shù)據(jù). 用學(xué)習(xí)數(shù)據(jù)計(jì)算網(wǎng)絡(luò)輸出 Step3 ),(),(),( )( 1 )()1()( jajiwjiw p l p l p l p l ,.,1Ll BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例38 五應(yīng)用之例：蚊子的分類五應(yīng)用之例：蚊子的分類 已知的兩類蚊子的數(shù)據(jù)如表1： v翼長 觸角長 類別 v1.78 1.14 Apf v1.96 1

24、.18 Apf v1.86 1.20 Apf v1.72 1.24 Af v2.00 1.26 Apf v2.00 1.28 Apf v1.96 1.30 Apf v1.74 1.36 Af 目標(biāo)值目標(biāo)值 0.9 0.9 0.9 0.1 0.9 0.9 0.9 0.1 v翼長 觸角長 類別 v 1.64 1.38 Af v 1.82 1.38 Af v 1.90 1.38 Af v 1.70 1.40 Af v 1.82 1.48 Af v 1.82 1.54 Af v 2.08 1.56 Af 目標(biāo)t 0.1 0.1 0.1 0.1 0.1 0.1 0.1 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例39 輸入數(shù)

25、據(jù)有15個(gè)，即 , p=1,15; j=1, 2; 對應(yīng)15 個(gè)輸出。 建模：（輸入層，中間層，輸出層，每層的元素 應(yīng)取多少個(gè)？） 建立神經(jīng)網(wǎng)絡(luò) BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例40 規(guī)定目標(biāo)為： 當(dāng)t(1)=0.9 時(shí)表示屬于Apf類，t(2)=0.1表 示屬于Af類。 設(shè)兩個(gè)權(quán)重系數(shù)矩陣為： )3 ,2()2,2()1 ,2( )3 , 1()2, 1()1 , 1( 111 111 1 www www W )3 , 1()2, 1()1 , 1( 2222 wwwW )()3 ,(jjw ii 為閾值 其中 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例41 分析如下： 為第一層的輸出，同時(shí)作為第二層的輸入。 )2()2

26、()2 , 2() 1 () 1 , 2()2( ) 1 ()2()2 , 1 () 1 () 1 , 1 () 1 ( 101011 101011 awawu awawu )1 () 1 ( 11 ufa )2()2( 11 ufa 其中， 為閾值， 為激勵(lì)函數(shù) i f 1)3( 0 a若令 （作為一固定輸入） （閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)） j jw)3,( 1 2,1j BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例42 3 1 010101011 3 1 010101011 )(), 2()3()3 , 2()2()2 , 2() 1 () 1 , 2()2( )(), 1 ()3()3 , 1 ()

27、2()2 , 1 () 1 () 1 , 1 () 1 ( j j jajwawawawu jajwawawawu 則有： x e xf 1 1 )(取激勵(lì)函數(shù)為 )()( 11 iufia= )(exp(1 1 1 iu 2 , 1i 則 同樣，取 , 1) 3( 1 a )3 , 1 ( 2 w )1 (exp(1 1 ) 1 ( )(), 1 () 1 ( 2 2 3 1 122 u a jajwu j BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例43 （1）隨機(jī)給出兩個(gè)權(quán)矩陣的初值；例如用MATLAB軟件時(shí)可 以用以下語句： 令p=0 具體算法如下：具體算法如下： )0( 1 W=rand(2,3); )0

28、( 2 W=rand(1,3); (2) 根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出 3 1 010101011 3 1 010101011 )(), 2() 3() 3 , 2()2()2 , 2() 1 () 1 , 2()2( )(), 1 () 3() 3 , 1 ()2()2 , 1 () 1 () 1 , 1 () 1 ( j j jajwawawawu jajwawawawu )()( 11 iufia )(exp(1 1 1 iu = 2, 1i BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例44 , 1) 3( 1 a )1 (exp(1 1 ) 1 ( )(), 1 () 1 ( 2 2 3 1 122

29、u a jajwu j 取取 （3）計(jì)算 x e xf 1 1 )( 因?yàn)?所以 2 )1 ( )( x x e e xf )1 ()1 () 1 () 1 ( 2 22 ufat 2 222 )1 (exp(1/()1 (exp()1 () 1 (uuat （4）取 （或其他正數(shù)，可調(diào)整大?。?1 . 0 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例45 )( )1( 1 i p (5) 計(jì)算 和 :),( )1( 1 jiW p )( )1( 1 i p 2 22 )1( 2 )1( 2 )1 (exp(1/()1 (exp(), 1 () 1 (uuiW pp )()(),(),( ) 1( 0 ) 1( 1

30、 )( 1 ) 1( 1 jaijiWjiW pppp j=1,2,3, i=1,2,3, 計(jì)算 j=1,2,3 ), 1( )1( 2 jW P )() 1 (), 1 (), 1 ( ) 1( 1 ) 1( 2 )( 2 ) 1( 2 jajWjW pppp j=1,2,3 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例46 (6) p=p+1，轉(zhuǎn)（2） 注：僅計(jì)算一圈（p=1，2，15）是不夠的，直 到當(dāng)各權(quán)重變化很小時(shí)停止，本例中，共計(jì)算了 147圈，迭代了2205次。 最后結(jié)果是： 2764. 02875. 05787. 0 5765. 05976. 75921. 5 1 W 9829. 34838. 04

31、075. 8 2 W BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例47 即網(wǎng)絡(luò)模型的解為： 2764. 0)2(2875. 0) 1 (5787. 0)2( 5765. 0)2(5976. 7) 1 (5921. 5) 1 ( 001 001 aau aau )()( 11 iufia )(exp(1 1 1 iu 2 , 1i = )1 (exp(1 1 ) 1 ( 9829. 3)2(4838. 0) 1 (4075. 8) 1 ( 2 2 112 u a aau BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例48 BP網(wǎng)絡(luò)建模特點(diǎn)： 非線性映照能力：神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函 數(shù)。在建模過程中的許多問題正是具有高度的非

32、線性。 并行分布處理方式：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲存和并行處理的， 這使它具有很強(qiáng)的容錯(cuò)性和很快的處理速度。 自學(xué)習(xí)和自適應(yīng)能力：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，能從輸入、輸出的數(shù) 據(jù)中提取出規(guī)律性的知識，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能 力，即將這組權(quán)值應(yīng)用于一般情形的能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可 以在線進(jìn)行。 數(shù)據(jù)融合的能力：神經(jīng)網(wǎng)絡(luò)可以同時(shí)處理定量信息和定性信息， 因此它可以利用傳統(tǒng)的工程技術(shù)（數(shù)值運(yùn)算）和人工智能技術(shù) （符號處理）。 多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的，對單 變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式，不必考慮各 子系統(tǒng)間的解耦問題。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例49 神經(jīng)網(wǎng)

33、絡(luò)的應(yīng)用神經(jīng)網(wǎng)絡(luò)的應(yīng)用 人工神經(jīng)網(wǎng)絡(luò)以其具有自學(xué)習(xí)、自組織、 較好的容錯(cuò)性和優(yōu)良的非線性逼近能力，受到 眾多領(lǐng)域?qū)W者的關(guān)注。在實(shí)際應(yīng)用中，80% 90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用誤差反傳算法 或其變化形式的網(wǎng)絡(luò)模型（簡稱BP網(wǎng)絡(luò)），目 前主要應(yīng)用于函數(shù)逼近、模式識別、分類和數(shù) 據(jù)壓縮或數(shù)據(jù)挖掘。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例50 基本基本BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) k l c b1bi a1 c1cqcj ah bp an Wp1 Wiq WpjW1q W1j Wij V11 W11 WpqWi1 Vh1 Vhi V1iVn1 Vni V1p Vhp Vnp k j c k q c k h a

34、k n a 1 k a 輸出層輸出層LC 隱含層隱含層LB 輸入層輸入層LA W V k l c k l c BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例51 1.樣本數(shù)據(jù)樣本數(shù)據(jù) 1.1 收集和整理分組收集和整理分組 采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有 足夠多典型性好和精度高的樣本。而且，為監(jiān)控訓(xùn)練 （學(xué)習(xí)）過程使之不發(fā)生“過擬合”和評價(jià)建立的網(wǎng) 絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機(jī) 分成訓(xùn)練樣本、檢驗(yàn)樣本（10%以上）和測試樣本 （10%以上）3部分。此外，數(shù)據(jù)分組時(shí)還應(yīng)盡可能考 慮樣本模式間的平衡。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例52 1.2 輸入輸入/輸出變量的確定及其數(shù)據(jù)的預(yù)處理輸出變量的確定

35、及其數(shù)據(jù)的預(yù)處理 一般地，BP網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生 變量（影響因子或自變量）數(shù)，一般根據(jù)專業(yè)知識確定。 若輸入變量較多，一般可通過主成份分析方法壓減輸入 變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng) 誤差的比值的大小來壓減輸入變量。輸出變量即為系統(tǒng) 待分析的外生變量（系統(tǒng)性能指標(biāo)或因變量），可以是 一個(gè)，也可以是多個(gè)。一般將一個(gè)具有多個(gè)輸出的網(wǎng)絡(luò) 模型轉(zhuǎn)化為多個(gè)具有一個(gè)輸出的網(wǎng)絡(luò)模型效果會更好， 訓(xùn)練也更方便。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例53 由于BP神經(jīng)網(wǎng)絡(luò)的隱層一般采用Sigmoid轉(zhuǎn)換函數(shù)， 為提高訓(xùn)練速度和靈敏性以及有效避開Sigmoid函數(shù)的 飽和區(qū)，一般要求輸入數(shù)據(jù)的

36、值在01之間。因此，要 對輸入數(shù)據(jù)進(jìn)行預(yù)處理。一般要求對不同變量分別進(jìn) 行預(yù)處理，也可以對類似性質(zhì)的變量進(jìn)行統(tǒng)一的預(yù)處 理。如果輸出層節(jié)點(diǎn)也采用Sigmoid轉(zhuǎn)換函數(shù)，輸出變 量也必須作相應(yīng)的預(yù)處理，否則，輸出變量也可以不 做預(yù)處理。 預(yù)處理的方法有多種多樣，各文獻(xiàn)采用的公式也 不盡相同。但必須注意的是，預(yù)處理的數(shù)據(jù)訓(xùn)練完成 后，網(wǎng)絡(luò)輸出的結(jié)果要進(jìn)行反變換才能得到實(shí)際值。 再者，為保證建立的模型具有一定的外推能力，最好 使數(shù)據(jù)預(yù)處理后的值在0.20.8之間。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例54 2.神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的確定神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的確定 2.1 隱層數(shù)隱層數(shù) 一般認(rèn)為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差

37、（也有文 獻(xiàn)認(rèn)為不一定能有效降低），提高精度，但也使網(wǎng)絡(luò)復(fù) 雜化，從而增加了網(wǎng)絡(luò)的訓(xùn)練時(shí)間和出現(xiàn)“過擬合”的 傾向。Hornik等早已證明：若輸入層和輸出層采用線性 轉(zhuǎn)換函數(shù)，隱層采用Sigmoid轉(zhuǎn)換函數(shù)，則含一個(gè)隱層的 MLP網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。顯然，這 是一個(gè)存在性結(jié)論。在設(shè)計(jì)BP網(wǎng)絡(luò)時(shí)可參考這一點(diǎn)，應(yīng) 優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個(gè)隱層）。一般地，靠增加 隱層節(jié)點(diǎn)數(shù)來獲得較低的誤差，其訓(xùn)練效果要比增加隱 層數(shù)更容易實(shí)現(xiàn)。對于沒有隱層的神經(jīng)網(wǎng)絡(luò)模型，實(shí)際 上就是一個(gè)線性或非線性（取決于輸出層采用線性或非 線性轉(zhuǎn)換函數(shù)型式）回歸模型。因此，一般認(rèn)為，應(yīng)將 不含隱層的網(wǎng)絡(luò)模型

38、歸入回歸分析中，技術(shù)已很成熟， 沒有必要在神經(jīng)網(wǎng)絡(luò)理論中再討論之。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例55 2.2 隱層節(jié)點(diǎn)數(shù)隱層節(jié)點(diǎn)數(shù) 在BP 網(wǎng)絡(luò)中，隱層節(jié)點(diǎn)數(shù)的選擇非常重要，它不僅對建立的 神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練時(shí)出現(xiàn)“過擬合”的 直接原因，但是目前理論上還沒有一種科學(xué)的和普遍的確定方法。 目前多數(shù)文獻(xiàn)中提出的確定隱層節(jié)點(diǎn)數(shù)的計(jì)算公式都是針對訓(xùn)練 樣本任意多的情況，而且多數(shù)是針對最不利的情況，一般工程實(shí) 踐中很難滿足，不宜采用。事實(shí)上，各種計(jì)算公式得到的隱層節(jié) 點(diǎn)數(shù)有時(shí)相差幾倍甚至上百倍。為盡可能避免訓(xùn)練時(shí)出現(xiàn)“過擬 合”現(xiàn)象，保證足夠高的網(wǎng)絡(luò)性能和泛化能力，確定隱層節(jié)點(diǎn)數(shù) 的最基本

39、原則是：在滿足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)， 即取盡可能少的隱層節(jié)點(diǎn)數(shù)。研究表明，隱層節(jié)點(diǎn)數(shù)不僅與輸入/ 輸出層的節(jié)點(diǎn)數(shù)有關(guān)，更與需解決的問題的復(fù)雜程度和轉(zhuǎn)換函數(shù) 的型式以及樣本數(shù)據(jù)的特性等因素有關(guān)。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例56 在確定隱層節(jié)點(diǎn)數(shù)時(shí)必須滿足下列條件： 隱層節(jié)點(diǎn)數(shù)必須小于N-1（其中N為訓(xùn)練樣本數(shù)），否 則，網(wǎng)絡(luò)模型的系統(tǒng)誤差與訓(xùn)練樣本的特性無關(guān)而趨 于零，即建立的網(wǎng)絡(luò)模型沒有泛化能力，也沒有任何 實(shí)用價(jià)值。同理可推得：輸入層的節(jié)點(diǎn)數(shù)（變量數(shù)） 必須小于N-1。 (1)(2) 訓(xùn)練樣本數(shù)必須多于網(wǎng)絡(luò)模型的連接權(quán)數(shù)，一般 為210倍，否則，樣本必須分成幾部分并采用“輪流 訓(xùn)練

40、”的方法才可能得到可靠的神經(jīng)網(wǎng)絡(luò)模型。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例57 總之，若隱層節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)可能根本不能訓(xùn)練或 網(wǎng)絡(luò)性能很差；若隱層節(jié)點(diǎn)數(shù)太多，雖然可使網(wǎng)絡(luò)的系 統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓(xùn)練時(shí)間延長，另一方面， 訓(xùn)練容易陷入局部極小點(diǎn)而得不到最優(yōu)點(diǎn)，也是訓(xùn)練時(shí) 出現(xiàn)“過擬合”的內(nèi)在原因。因此，合理隱層節(jié)點(diǎn)數(shù)應(yīng) 在綜合考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度和誤差大小的情況下用節(jié) 點(diǎn)刪除法和擴(kuò)張法確定。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例58 3.神經(jīng)網(wǎng)絡(luò)的訓(xùn)練神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 3.1 訓(xùn)練訓(xùn)練 BP網(wǎng)絡(luò)的訓(xùn)練就是通過應(yīng)用誤差反傳原理不斷調(diào)整 網(wǎng)絡(luò)權(quán)值使網(wǎng)絡(luò)模型輸出值與已知的訓(xùn)練樣本輸出值之 間的誤差平方和達(dá)到最小或小于某

41、一期望值。雖然理論 上早已經(jīng)證明：具有1個(gè)隱層（采用Sigmoid轉(zhuǎn)換函數(shù)） 的BP網(wǎng)絡(luò)可實(shí)現(xiàn)對任意函數(shù)的任意逼近。但遺憾的是， 迄今為止還沒有構(gòu)造性結(jié)論，即在給定有限個(gè)（訓(xùn)練） 樣本的情況下，如何設(shè)計(jì)一個(gè)合理的BP網(wǎng)絡(luò)模型并通過 向所給的有限個(gè)樣本的學(xué)習(xí)（訓(xùn)練）來滿意地逼近樣本 所蘊(yùn)含的規(guī)律（函數(shù)關(guān)系，不僅僅是使訓(xùn)練樣本的誤差 達(dá)到很小）的問題，目前在很大程度上還需要依靠經(jīng)驗(yàn) 知識和設(shè)計(jì)者的經(jīng)驗(yàn)。因此，通過訓(xùn)練樣本的學(xué)習(xí)（訓(xùn) 練）建立合理的BP神經(jīng)網(wǎng)絡(luò)模型的過程，在國外被稱為 “藝術(shù)創(chuàng)造的過程”，是一個(gè)復(fù)雜而又十分煩瑣和困難 的過程。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例59 由于BP網(wǎng)絡(luò)采用誤差反傳算法

42、，其實(shí)質(zhì)是一個(gè)無 約束的非線性最優(yōu)化計(jì)算過程，在網(wǎng)絡(luò)結(jié)構(gòu)較大時(shí)不 僅計(jì)算時(shí)間長，而且很容易限入局部極小點(diǎn)而得不到 最優(yōu)結(jié)果。目前雖已有改進(jìn)BP法、遺傳算法（GA）和 模擬退火算法等多種優(yōu)化方法用于BP網(wǎng)絡(luò)的訓(xùn)練(這些 方法從原理上講可通過調(diào)整某些參數(shù)求得全局極小點(diǎn))， 但在應(yīng)用中，這些參數(shù)的調(diào)整往往因問題不同而異， 較難求得全局極小點(diǎn)。這些方法中應(yīng)用最廣的是增加 了沖量（動量）項(xiàng)的改進(jìn)BP算法。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例60 3.2 學(xué)習(xí)率和沖量系數(shù)學(xué)習(xí)率和沖量系數(shù) 學(xué)習(xí)率影響系統(tǒng)學(xué)習(xí)過程的穩(wěn)定性。大的學(xué)習(xí)率可 能使網(wǎng)絡(luò)權(quán)值每一次的修正量過大，甚至?xí)?dǎo)致權(quán)值在修 正過程中超出某個(gè)誤差的極小值呈不

43、規(guī)則跳躍而不收斂； 但過小的學(xué)習(xí)率導(dǎo)致學(xué)習(xí)時(shí)間過長，不過能保證收斂于某 個(gè)極小值。所以，一般傾向選取較小的學(xué)習(xí)率以保證學(xué)習(xí) 過程的收斂性（穩(wěn)定性），通常在0.010.8之間。 增加沖量項(xiàng)的目的是為了避免網(wǎng)絡(luò)訓(xùn)練陷于較淺的 局部極小點(diǎn)。理論上其值大小應(yīng)與權(quán)值修正量的大小有關(guān)， 但實(shí)際應(yīng)用中一般取常量。通常在01之間，而且一般比 學(xué)習(xí)率要大。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例61 4 網(wǎng)絡(luò)的初始連接權(quán)值網(wǎng)絡(luò)的初始連接權(quán)值 BP算法決定了誤差函數(shù)一般存在（很）多個(gè)局部極 小點(diǎn)，不同的網(wǎng)絡(luò)初始權(quán)值直接決定了BP算法收斂于哪 個(gè)局部極小點(diǎn)或是全局極小點(diǎn)。因此，要求計(jì)算程序（建 議采用標(biāo)準(zhǔn)通用軟件，如Statsof

44、t公司出品的Statistica Neural Networks軟件和Matlab 軟件）必須能夠自由改變網(wǎng) 絡(luò)初始連接權(quán)值。由于Sigmoid轉(zhuǎn)換函數(shù)的特性，一般要 求初始權(quán)值分布在-0.50.5之間比較有效。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例62 5.網(wǎng)絡(luò)模型的性能和泛化能力網(wǎng)絡(luò)模型的性能和泛化能力 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的首要和根本任務(wù)是確保訓(xùn)練好的網(wǎng) 絡(luò)模型對非訓(xùn)練樣本具有好的泛化能力（推廣性），即 有效逼近樣本蘊(yùn)含的內(nèi)在規(guī)律，而不是看網(wǎng)絡(luò)模型對訓(xùn) 練樣本的擬合能力。從存在性結(jié)論可知，即使每個(gè)訓(xùn)練 樣本的誤差都很?。梢詾榱悖?，并不意味著建立的模 型已逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律。因此，僅給出訓(xùn)練樣 本誤差（

45、通常是指均方根誤差RSME或均方誤差、AAE 或MAPE等）的大小而不給出非訓(xùn)練樣本誤差的大小是 沒有任何意義的。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例63 要分析建立的網(wǎng)絡(luò)模型對樣本所蘊(yùn)含的規(guī)律的逼近 情況（能力），即泛化能力，應(yīng)該也必須用非訓(xùn)練樣本 （本文稱為檢驗(yàn)樣本和測試樣本）誤差的大小來表示和 評價(jià)，這也是之所以必須將總樣本分成訓(xùn)練樣本和非訓(xùn) 練樣本而絕不能將全部樣本用于網(wǎng)絡(luò)訓(xùn)練的主要原因之 一。判斷建立的模型是否已有效逼近樣本所蘊(yùn)含的規(guī)律, 最直接和客觀的指標(biāo)是從總樣本中隨機(jī)抽取的非訓(xùn)練樣 本（檢驗(yàn)樣本和測試樣本）誤差是否和訓(xùn)練樣本的誤差 一樣小或稍大。非訓(xùn)練樣本誤差很接近訓(xùn)練樣本誤差或 比其小，

46、一般可認(rèn)為建立的網(wǎng)絡(luò)模型已有效逼近訓(xùn)練樣 本所蘊(yùn)含的規(guī)律，否則，若相差很多（如幾倍、幾十倍 甚至上千倍）就說明建立的網(wǎng)絡(luò)模型并沒有有效逼近訓(xùn) 練樣本所蘊(yùn)含的規(guī)律，而只是在這些訓(xùn)練樣本點(diǎn)上逼近 而已，而建立的網(wǎng)絡(luò)模型是對訓(xùn)練樣本所蘊(yùn)含規(guī)律的錯(cuò) 誤反映。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例64 因?yàn)橛?xùn)練樣本的誤差可以達(dá)到很小，因此，因?yàn)橛?xùn)練樣本的誤差可以達(dá)到很小，因此， 用從總樣本中隨機(jī)抽取的一部分測試樣本的誤差用從總樣本中隨機(jī)抽取的一部分測試樣本的誤差 表示網(wǎng)絡(luò)模型計(jì)算和預(yù)測所具有的精度（網(wǎng)絡(luò)性表示網(wǎng)絡(luò)模型計(jì)算和預(yù)測所具有的精度（網(wǎng)絡(luò)性 能）是合理的和可靠的。能）是合理的和可靠的。 值得注意的是，判斷網(wǎng)絡(luò)模

47、型泛化能力的好值得注意的是，判斷網(wǎng)絡(luò)模型泛化能力的好 壞，主要不是看測試樣本誤差大小的本身，而是壞，主要不是看測試樣本誤差大小的本身，而是 要看測試樣本的誤差是否接近于訓(xùn)練樣本和檢驗(yàn)要看測試樣本的誤差是否接近于訓(xùn)練樣本和檢驗(yàn) 樣本的誤差。樣本的誤差。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例65 6.合理網(wǎng)絡(luò)模型的確定合理網(wǎng)絡(luò)模型的確定 對同一結(jié)構(gòu)的網(wǎng)絡(luò)，由于BP算法存在（很）多個(gè)局 部極小點(diǎn)，因此，必須通過多次（通常是幾十次）改變網(wǎng) 絡(luò)初始連接權(quán)值求得相應(yīng)的極小點(diǎn)，才能通過比較這些極 小點(diǎn)的網(wǎng)絡(luò)誤差的大小，確定全局極小點(diǎn)，從而得到該網(wǎng) 絡(luò)結(jié)構(gòu)的最佳網(wǎng)絡(luò)連接權(quán)值。必須注意的是，神經(jīng)網(wǎng)絡(luò)的 訓(xùn)練過程本質(zhì)上是求非線

48、性函數(shù)的極小點(diǎn)問題，因此，在 全局極小點(diǎn)鄰域內(nèi)（即使網(wǎng)絡(luò)誤差相同），各個(gè)網(wǎng)絡(luò)連接 權(quán)值也可能有較大的差異，這有時(shí)也會使各個(gè)輸入變量的 重要性發(fā)生變化，但這與具有多個(gè)零極小點(diǎn)（一般稱為多 模式現(xiàn)象）（如訓(xùn)練樣本數(shù)少于連接權(quán)數(shù)時(shí)）的情況是截 然不同的。此外，在不滿足隱層節(jié)點(diǎn)數(shù)條件時(shí)，總也可以 求得訓(xùn)練樣本誤差很小或?yàn)榱愕臉O小點(diǎn)，但此時(shí)檢驗(yàn)樣本 和測試樣本的誤差可能要大得多；若改變網(wǎng)絡(luò)連接權(quán)初始 值，檢驗(yàn)樣本和測試樣本的網(wǎng)絡(luò)計(jì)算結(jié)果會產(chǎn)生很大變化， 即多模式現(xiàn)象。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例66 對于不同的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)模型的誤差或性能和泛化能力也 不一樣。因此，還必須比較不同網(wǎng)絡(luò)結(jié)構(gòu)的模型的優(yōu)劣。一般

49、地， 隨著網(wǎng)絡(luò)結(jié)構(gòu)的變大，誤差變小。通常，在網(wǎng)絡(luò)結(jié)構(gòu)擴(kuò)大（隱層 節(jié)點(diǎn)數(shù)增加）的過程中，網(wǎng)絡(luò)誤差會出現(xiàn)迅速減小然后趨于穩(wěn)定 的一個(gè)階段，因此，合理隱層節(jié)點(diǎn)數(shù)應(yīng)取誤差迅速減小后基本穩(wěn) 定時(shí)的隱層節(jié)點(diǎn)數(shù)。 總之，合理網(wǎng)絡(luò)模型是必須在具有合理隱層節(jié)點(diǎn)數(shù)、訓(xùn)練時(shí) 沒有發(fā)生“過擬合”現(xiàn)象、求得全局極小點(diǎn)和同時(shí)考慮網(wǎng)絡(luò)結(jié)構(gòu) 復(fù)雜程度和誤差大小的綜合結(jié)果。設(shè)計(jì)合理BP網(wǎng)絡(luò)模型的過程是 一個(gè)不斷調(diào)整參數(shù)的過程，也是一個(gè)不斷對比結(jié)果的過程，比較 復(fù)雜且有時(shí)還帶有經(jīng)驗(yàn)性。這個(gè)過程并不是有些作者想象的（實(shí) 際也是這么做的）那樣，隨便套用一個(gè)公式確定隱層節(jié)點(diǎn)數(shù)，經(jīng) 過一次訓(xùn)練就能得到合理的網(wǎng)絡(luò)模型（這樣建立的模型極有可

50、能 是訓(xùn)練樣本的錯(cuò)誤反映，沒有任何實(shí)用價(jià)值）。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例67 雖然神經(jīng)網(wǎng)絡(luò)的類型很多，建立神經(jīng)網(wǎng)絡(luò)模型時(shí)，根據(jù)研 究對象的特點(diǎn)，可以考慮不同的神經(jīng)網(wǎng)絡(luò)模型。 前饋型BP網(wǎng)絡(luò)即 誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)是最常用、最流行的神經(jīng)網(wǎng)絡(luò)。BP網(wǎng)絡(luò)的輸 入和輸出關(guān)系可以看成是一種映射關(guān)系，即每一組輸入對應(yīng)一組 輸出。由于網(wǎng)絡(luò)中神經(jīng)元作用函數(shù)的非線性，網(wǎng)絡(luò)實(shí)現(xiàn)是復(fù)雜的 非線性映射。關(guān)于這類網(wǎng)絡(luò)對非線性的逼近能力，Hornikl等分別 利用不同的方法證明了如下一個(gè)事實(shí)：僅含有一個(gè)隱層的前向網(wǎng) 絡(luò)能以任意精度逼近定義在Rn的一個(gè)緊集上的任意非線性函數(shù)。 誤差反向算法是最著名的多層前向網(wǎng)絡(luò)訓(xùn)練算法，盡管存

51、在收斂 速度慢、局部極值等缺點(diǎn)，但可通過各種改進(jìn)措施來提高它的收 斂速度、克服局部極值現(xiàn)象，而且具有簡單、易行、計(jì)算量小、 并行性強(qiáng)等特點(diǎn)，目前仍是多層前向網(wǎng)絡(luò)的首選算法。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例68 神經(jīng)網(wǎng)絡(luò)模型參數(shù)的確定： 由于傳統(tǒng)的誤差反傳BP算法較為成熟，且應(yīng)用廣泛， 因此努力提高該方法的學(xué)習(xí)速度具有較高的實(shí)用價(jià)值。 BP算法中有幾個(gè)常用的參數(shù)，包括學(xué)習(xí)率，動量因子， 形狀因子及收斂誤差界值E等。這些參數(shù)對訓(xùn)練速度的影 響最為關(guān)鍵。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例69 MATLAB神經(jīng)網(wǎng)絡(luò)工具箱的應(yīng)用 在網(wǎng)絡(luò)訓(xùn)練過程中使用的是Matlab 7.0 for Windows軟件， 對于BP神經(jīng)元網(wǎng)

52、絡(luò)的訓(xùn)練可以使用Neural Networks Toolbox for Matlab。美國的Mathwork公司推出的MATLAB軟件包既是一種 非常實(shí)用有效的科研編程軟件環(huán)境，又是一種進(jìn)行科學(xué)和工程 計(jì)算的交互式程序。MATLAB本身帶有神經(jīng)網(wǎng)絡(luò)工具箱，可以 大大方便權(quán)值訓(xùn)練，減少訓(xùn)練程序工作量，有效的提高工作效 率. BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例70 隱層的數(shù)目: 理論上雖然證明了這類網(wǎng)絡(luò)的逼近能力，對于網(wǎng)絡(luò)結(jié)構(gòu)的要求，并沒有給 出明確的說明。因而在應(yīng)用中神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)確定常常有人為的主觀性和藝 術(shù)性，缺乏一個(gè)指導(dǎo)原則。而網(wǎng)絡(luò)訓(xùn)練與結(jié)構(gòu)緊密相關(guān)，太大的網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練 時(shí)效率不高，而且還會由于

53、過擬合(overfitting)造成網(wǎng)絡(luò)的性能脆弱，泛化能力 (generalization ability)下降；太小的網(wǎng)絡(luò)可能就根本不收斂。當(dāng)選取隱層數(shù)為1時(shí)， BP網(wǎng)絡(luò)不收斂，而當(dāng)選取隱層數(shù)為2時(shí)，BP網(wǎng)絡(luò)訓(xùn)練較好?？紤]到本研究的特點(diǎn)， 結(jié)合不同隱層網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練結(jié)果，本文選擇了隱層數(shù)L=2的網(wǎng)絡(luò)結(jié)構(gòu)模型。 2375 Epochs 隱層數(shù)為1節(jié)點(diǎn)數(shù)6 不同隱層數(shù)訓(xùn)練誤差曲線 隱層數(shù)為2 節(jié)點(diǎn)數(shù)126 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例71 例: BP神經(jīng)網(wǎng)絡(luò)水（處理）系統(tǒng)的模擬與預(yù) 測等方面獲得了廣泛的應(yīng)用 。 光催化臭氧氧化處理自來水工藝神經(jīng)網(wǎng)絡(luò)模型 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例72 樣本 實(shí)驗(yàn)號臭氧濃

54、度(mg/L)入口UV254UV254去除率(%) 11.160.11650.2 21.350.10459.5 31.720.07858.8 41.860.10766.2 51.970.13665.5 62.150.08264.5 72.230.12573.6 82.480.07676.4 92.790.12278.5 102.850.09279.2 113.070.08181.4 123.450.06890.3 133.590.07793.1 143.800.10898.2 153.930.12897.3 164.140.06398.1 174.460.13597.3 184.550.070

55、98.8 194.840.12696.9 205.030.08798.6 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例73 檢驗(yàn)樣本 實(shí)驗(yàn) 號 臭氧濃度 (mg/L) 入口 UV254 UV254去 除率(%) 11.420.086? 22.510.071? 33.210.107? 44.290.096? 55.240.65? BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例74 隱層神經(jīng)元數(shù)的選擇 隱層神經(jīng)元數(shù)的選擇是一個(gè)十分復(fù)雜的問題。因?yàn)闆]有很好 的解析式表示，可以說隱層神經(jīng)元數(shù)與問題的要求、輸入層與輸 出層神經(jīng)元的數(shù)量、訓(xùn)練樣本的數(shù)量等都有直接關(guān)系。事實(shí)上隱 層神經(jīng)元太少不可能將網(wǎng)絡(luò)訓(xùn)練出來，但太多又使學(xué)習(xí)時(shí)間過長 ，使網(wǎng)絡(luò)不“不強(qiáng)

56、壯”，泛化能力下降，即不能識別以前沒有直 接接收到的樣本，容錯(cuò)性差。 當(dāng)隱層數(shù)為2010和84時(shí)的訓(xùn)練結(jié)果: 隱層數(shù)為2節(jié)點(diǎn)數(shù)84 隱層數(shù)為2節(jié)點(diǎn)數(shù)2010 圖6-2 相同隱層數(shù)不同節(jié)點(diǎn)數(shù)訓(xùn)練誤差曲線 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例75 神經(jīng)網(wǎng)絡(luò)模型的各層節(jié)點(diǎn)數(shù)分別為：輸入層2個(gè)；第一隱層12 個(gè)；第二隱層6個(gè)；輸出層1個(gè)。 綜合以上研究內(nèi)容，建立光催化臭氧氧化處理自來水工藝神 經(jīng)網(wǎng)絡(luò)模型如圖6-3所示。 輸入層輸出層隱層 圖6-3 BP網(wǎng)絡(luò)模型 臭氧濃度 入口UV254 UV254去除率 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例76 1學(xué)習(xí)率和動量因子 BP算法本質(zhì)上是優(yōu)化計(jì)算中的梯度下降法，利用誤差對于權(quán)、 閥值的

57、一階導(dǎo)數(shù)信息來指導(dǎo)下一步的權(quán)值調(diào)整方向，以求最終得到 誤差最小。為了保證算法的收斂性，學(xué)習(xí)率必須小于某一上限， 一般取01而且越接近極小值，由于梯度變化值逐漸趨于零，算 法的收斂就越來越慢。在網(wǎng)絡(luò)參數(shù)中，學(xué)習(xí)率和動量因子是很重 要的，它們的取值直接影響到網(wǎng)絡(luò)的性能，主要是收斂速度。為提 高學(xué)習(xí)速度，應(yīng)采用大的。但太大卻可能導(dǎo)致在穩(wěn)定點(diǎn)附近振蕩， 乃至不收斂。針對具體的網(wǎng)絡(luò)結(jié)構(gòu)模型和學(xué)習(xí)樣本，都存在一個(gè)最 佳的學(xué)習(xí)率門和動量因子，它們的取值范圍一般01之間，視實(shí) 際情況而定。在上述范圍內(nèi)通過對不同的和的取值進(jìn)行了考察， 確定本文神經(jīng)網(wǎng)絡(luò)模型的參數(shù)為：0.7，0.9。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例77

58、2初始權(quán)值的選擇 在前饋多層神經(jīng)網(wǎng)絡(luò)的BP算法中，初始權(quán)、閾值一般是在 一個(gè)固定范圍內(nèi)按均勻分布隨機(jī)產(chǎn)生的。一般文獻(xiàn)認(rèn)為初始權(quán) 值范圍為-11之間，初始權(quán)值的選擇對于局部極小點(diǎn)的防止 和網(wǎng)絡(luò)收斂速度的提高均有一定程度的影響，如果初始權(quán)值范 圍選擇不當(dāng)，學(xué)習(xí)過程一開始就可能進(jìn)入“假飽和”現(xiàn)象，甚 至進(jìn)入局部極小點(diǎn)，網(wǎng)絡(luò)根本不收斂。初始權(quán)、閾值的選擇因 具體的網(wǎng)絡(luò)結(jié)構(gòu)模式和訓(xùn)練樣本不同而有所差別，一般應(yīng)視實(shí) 際情況而定。本文考察了不同初始權(quán)、閾值的賦值范圍對網(wǎng)絡(luò) 收斂速度的影響，確定本文神經(jīng)網(wǎng)絡(luò)模型的初始權(quán)和閾值的隨 機(jī)賦值范圍為0.5+0.5。 BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例78 3收斂誤差界值Emin 在網(wǎng)絡(luò)訓(xùn)練過程中應(yīng)根據(jù)實(shí)際情況預(yù)先確定誤差界值。 誤差界值的選擇完全根據(jù)網(wǎng)絡(luò)模型的收斂速度大小和具體 樣本的學(xué)習(xí)精度來確定。當(dāng)Emin 值選擇較小時(shí)，學(xué)習(xí)效果 好，但收斂速度慢，訓(xùn)練次數(shù)增加。如果Emin值取得較大