人工神經(jīng)網(wǎng)絡(luò)(II)

1、 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期1Artificial Neural Networks ANN第六章 人工神經(jīng)網(wǎng)絡(luò)(II) by 謝廣明 ， 20052006學(xué)年度第一學(xué)期2內(nèi) 容前向神經(jīng)網(wǎng)絡(luò)模型前向神經(jīng)網(wǎng)絡(luò)用途前向神經(jīng)網(wǎng)絡(luò)訓(xùn)練BP算法 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期3前向神經(jīng)網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)一個M層的多層前向網(wǎng)絡(luò)可描述為：網(wǎng)絡(luò)包含一個輸入層（定義為第0層）和M-1個隱層，最后一個隱層稱為輸出層；第 l 層包含 個神經(jīng)元和一個閾值單元（定義為每層的第0單元），輸出層不含閾值單元； lN by 謝廣明 ， 20052006學(xué)年度第一學(xué)期4前向神經(jīng)網(wǎng)絡(luò)第 層第

2、個單元到第個單元的權(quán)值表為 ；第 層（ 0）第 個（ 0）神經(jīng)元的輸入定義為 ，輸出定義為 ，其中 為隱單元激勵函數(shù)，常采用Sigmoid函數(shù)，即 。輸入單元一般采用線性激勵函數(shù) ，閾值單元的輸出始終為1； 1lillij,1lljj101,1lNilillijljyx)(ljljxfy )(f1)exp(1 )(xxfxxf)( by 謝廣明 ， 20052006學(xué)年度第一學(xué)期5前向神經(jīng)網(wǎng)絡(luò)x1o1輸出層輸出層隱藏層隱藏層輸入層輸入層x2o2omxn by 謝廣明 ， 20052006學(xué)年度第一學(xué)期6前向神經(jīng)網(wǎng)絡(luò)用途弄這么個東西有用么？怎么用呢？ by 謝廣明 ， 20052006學(xué)年度第一

3、學(xué)期7前向神經(jīng)網(wǎng)絡(luò)用途用途非常廣泛 非線性映照能力：神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模過程中的許多問題正是具有高度的非線性。 并行分布處理方式：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲存和并行處理的，這使它具有很強的容錯性和很快的處理速度。 自學(xué)習(xí)和自適應(yīng)能力：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力，即將這組權(quán)值應(yīng)用于一般情形的能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可以在線進(jìn)行。 多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的，對單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式，不必考慮各子系統(tǒng)間的解耦問題。 by 謝廣明 ， 20052006學(xué)年度第

4、一學(xué)期8前向神經(jīng)網(wǎng)絡(luò)用途Bool 函數(shù) 任何bool函數(shù)都可以用一個單隱層的網(wǎng)絡(luò)來表示 但是可能要求指數(shù)級的隱層單元個數(shù)連續(xù)函數(shù) 每一個有界的連續(xù)函數(shù)都可以有一個兩級的網(wǎng)絡(luò)以任意小的誤差（在有限的范數(shù)下）逼近任意函數(shù) 任意函數(shù)都可以被一個由三級的網(wǎng)絡(luò)以任意精度逼近 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期9前向神經(jīng)網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 給定一組樣本，即一組神經(jīng)網(wǎng)絡(luò)的輸入輸出，不斷調(diào)整網(wǎng)絡(luò)中的權(quán)重使得網(wǎng)絡(luò)最終能夠很好的滿足樣本所給定的輸入輸出關(guān)系。 最基本的算法: BP算法 其它方法Hebb學(xué)習(xí)概率式學(xué)習(xí)競爭學(xué)習(xí) by 謝廣明 ， 20052006學(xué)年度第一學(xué)期10前向神經(jīng)網(wǎng)絡(luò)訓(xùn)練本質(zhì)

5、：優(yōu)化如下目標(biāo)函數(shù) 其中P為樣本數(shù)， 為第p個樣本的第j個輸出分量。是理想輸出和實際輸出的誤差函數(shù) PpNjpjMpjPppMtyEE112,1,11)(21pjt, by 謝廣明 ， 20052006學(xué)年度第一學(xué)期11BP算法BP算法-前向網(wǎng)絡(luò)的訓(xùn)練算法BP算法的出現(xiàn) 1974年，Werbos已提出了該方法 1982年，Paker完成了相似的工作 UCSD PDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單的描述 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期12BP算法算法實施過程 根據(jù)輸入輸出狀態(tài)維數(shù)決定網(wǎng)絡(luò)的輸入層和輸出層神經(jīng)元的個

6、數(shù) 根據(jù)問題特點和經(jīng)驗決定隱層層數(shù)和神經(jīng)元個數(shù) 一般選擇 M=2 設(shè)定網(wǎng)絡(luò)的初始參數(shù) 按照梯度下降法極小化目標(biāo)函數(shù)，逐步調(diào)整權(quán)重矩陣直到滿意為止 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期13梯度下降算法)(minxf,.1 , 0 ),()() 1(kkxfkxkx求解函數(shù)優(yōu)化問題可按照如下公式迭代其中序列初值任取 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期14BP算法PplpilpjllijllijllijllijkykkkEkk11, 1, 1, 1, 1)()()()(/)()1(1111,1 , 2),()()(1),()()(lNmljmlpmlpjlpjpjlpjlp

7、jMlkkkxfMlkxftkyk梯度下降法 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期15BP算法特點： 網(wǎng)絡(luò)權(quán)重的調(diào)節(jié)上用的是梯度下降算法 容易推廣到任意有向網(wǎng)絡(luò) 訓(xùn)練的時候迭代的次數(shù)可能很多，慢 訓(xùn)練后使用網(wǎng)絡(luò)會非?？靻栴} 收斂性和局部極小值 過擬和的問題:指網(wǎng)絡(luò)訓(xùn)練精度很高,但推廣檢驗樣本精度較差,也稱為網(wǎng)絡(luò)的泛化能力差 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期16算法設(shè)計輸入/輸出變量的確定及其數(shù)據(jù)的預(yù)處理 網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生變量（影響因子或自變量）數(shù)，一般根據(jù)專業(yè)知識確定。 若輸入變量較多，一般可通過主成份分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起

8、的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。 輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)性能指標(biāo)或因變量），可以是一個，也可以是多個。 一般將一個具有多個輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為多個具有一個輸出的網(wǎng)絡(luò)模型效果會更好，訓(xùn)練也更方便。 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期17算法設(shè)計樣本數(shù)據(jù)收集和整理分組 采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。 為訓(xùn)練過程使之不發(fā)生“過擬合”和評價建立的網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機分成訓(xùn)練樣本、檢驗樣本（10%以上）和測試樣本（10%以上）3部分。 此外，數(shù)據(jù)分組時還應(yīng)盡可能考慮樣本模式間的平衡。

9、by 謝廣明 ， 20052006學(xué)年度第一學(xué)期18算法設(shè)計 由于采用Sigmoid轉(zhuǎn)換函數(shù)，為提高訓(xùn)練速度和靈敏性以及有效避開Sigmoid函數(shù)的飽和區(qū)，一般要求輸入數(shù)據(jù)的值在01之間。因此，要對輸入數(shù)據(jù)進(jìn)行預(yù)處理。如果輸出層節(jié)點也采用Sigmoid轉(zhuǎn)換函數(shù)，輸出變量也必須作相應(yīng)的預(yù)處理，否則，輸出變量也可以不做預(yù)處理。 預(yù)處理的方法有多種多樣，各文獻(xiàn)采用的公式也不盡相同。預(yù)處理的數(shù)據(jù)訓(xùn)練完成后，網(wǎng)絡(luò)輸出的結(jié)果要進(jìn)行反變換才能得到實際值。為保證建立的模型具有一定的外推能力，最好使數(shù)據(jù)預(yù)處理后的值在0.20.8之間。 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期19算法設(shè)計隱層數(shù) 一般認(rèn)為

10、，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差（也有文獻(xiàn)認(rèn)為不一定能有效降低），提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)的訓(xùn)練時間和出現(xiàn)“過擬合”的傾向。 應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個隱層）。 一般地，靠增加隱層節(jié)點數(shù)來獲得較低的誤差，其訓(xùn)練效果要比增加隱層數(shù)更容易實現(xiàn)。 對于沒有隱層的神經(jīng)網(wǎng)絡(luò)模型，實際上就是一個線性或非線性（取決于輸出層采用線性或非線性轉(zhuǎn)換函數(shù)型式）回歸模型。因此，一般認(rèn)為，應(yīng)將不含隱層的網(wǎng)絡(luò)模型歸入回歸分析中，技術(shù)已很成熟，沒有必要在神經(jīng)網(wǎng)絡(luò)理論中再討論之。 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期20算法設(shè)計隱層節(jié)點數(shù) 隱層節(jié)點數(shù)的選擇非常重要，它不僅對建立的神經(jīng)網(wǎng)絡(luò)模型的

11、性能影響很大，而且是訓(xùn)練時出現(xiàn)“過擬合”的直接原因，但是目前理論上還沒有一種科學(xué)的和普遍的確定方法。 目前多數(shù)文獻(xiàn)中提出的確定隱層節(jié)點數(shù)的計算公式都是針對訓(xùn)練樣本任意多的情況，而且多數(shù)是針對最不利的情況，一般工程實踐中很難滿足，不宜采用。 確定隱層節(jié)點數(shù)的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即取盡可能少的隱層節(jié)點數(shù)。 研究表明，隱層節(jié)點數(shù)不僅與輸入/輸出層的節(jié)點數(shù)有關(guān)，更與需解決的問題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特性等因素有關(guān)。 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期21算法設(shè)計在確定隱層節(jié)點數(shù)時必須滿足下列條件： 隱層節(jié)點數(shù)必須小于N-1（其中N為訓(xùn)

12、練樣本數(shù)），否則，網(wǎng)絡(luò)模型的系統(tǒng)誤差與訓(xùn)練樣本的特性無關(guān)而趨于零，即建立的網(wǎng)絡(luò)模型沒有泛化能力，也沒有任何實用價值。同理可推得：輸入層的節(jié)點數(shù)（變量數(shù)）必須小于N-1。 訓(xùn)練樣本數(shù)必須多于網(wǎng)絡(luò)模型的連接權(quán)數(shù)，一般為210倍，否則，樣本必須分成幾部分并采用“輪流訓(xùn)練”的方法才可能得到可靠的神經(jīng)網(wǎng)絡(luò)模型。 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期22算法設(shè)計折衷選擇 若隱層節(jié)點數(shù)太少，網(wǎng)絡(luò)可能根本不能訓(xùn)練或網(wǎng)絡(luò)性能很差； 若隱層節(jié)點數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓(xùn)練時間延長，另一方面，訓(xùn)練容易陷入局部極小點而得不到最優(yōu)點，也是訓(xùn)練時出現(xiàn)“過擬合”的內(nèi)在原因。 合理隱層節(jié)

13、點數(shù)應(yīng)在綜合考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度和誤差大小的情況下用節(jié)點刪除法和擴張法確定。 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期23算法設(shè)計迄今為止還沒有構(gòu)造性結(jié)論，即在給定有限個（訓(xùn)練）樣本的情況下，如何設(shè)計一個合理的BP網(wǎng)絡(luò)模型并通過向所給的有限個樣本的學(xué)習(xí)（訓(xùn)練）來滿意地逼近樣本所蘊含的規(guī)律（函數(shù)關(guān)系，不僅僅是使訓(xùn)練樣本的誤差達(dá)到很?。┑膯栴}。通過訓(xùn)練樣本的學(xué)習(xí)（訓(xùn)練）建立合理的BP神經(jīng)網(wǎng)絡(luò)模型的過程，在國外被稱為“藝術(shù)創(chuàng)造的過程”，是一個復(fù)雜而又十分煩瑣和困難的過程。 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期24算法設(shè)計學(xué)習(xí)率 學(xué)習(xí)率影響系統(tǒng)學(xué)習(xí)過程的穩(wěn)定性。大的學(xué)習(xí)率可能使網(wǎng)絡(luò)

14、權(quán)值每一次的修正量過大，甚至?xí)?dǎo)致權(quán)值在修正過程中超出某個誤差的極小值呈不規(guī)則跳躍而不收斂；但過小的學(xué)習(xí)率導(dǎo)致學(xué)習(xí)時間過長，不過能保證收斂于某個極小值。所以，一般傾向選取較小的學(xué)習(xí)率以保證學(xué)習(xí)過程的收斂性（穩(wěn)定性），通常在0.010.8之間。 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期25算法設(shè)計初始連接權(quán)值 誤差函數(shù)一般存在（很）多個局部極小點，不同的網(wǎng)絡(luò)初始權(quán)值直接決定了BP算法收斂于哪個局部極小點或是全局極小點。 要求計算程序必須能夠自由改變網(wǎng)絡(luò)初始連接權(quán)值。 由于Sigmoid轉(zhuǎn)換函數(shù)的特性，一般要求初始權(quán)值分布在-0.50.5之間比較有效。 by 謝廣明 ， 20052006學(xué)

15、年度第一學(xué)期26算法設(shè)計網(wǎng)絡(luò)模型的性能和泛化能力 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的首要和根本任務(wù)是確保訓(xùn)練好的網(wǎng)絡(luò)模型對非訓(xùn)練樣本具有好的泛化能力（推廣性），即有效逼近樣本蘊含的內(nèi)在規(guī)律，而不是看網(wǎng)絡(luò)模型對訓(xùn)練樣本的擬合能力。 從存在性結(jié)論可知，即使每個訓(xùn)練樣本的誤差都很?。梢詾榱悖?，并不意味著建立的模型已逼近訓(xùn)練樣本所蘊含的規(guī)律。 僅給出訓(xùn)練樣本誤差（通常是指均方根誤差RSME或均方誤差、AAE或MAPE等）的大小而不給出非訓(xùn)練樣本誤差的大小是沒有任何意義的。 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期27算法設(shè)計 分析模型泛化能力，應(yīng)該也必須用非訓(xùn)練樣本誤差的大小來表示和評價。判斷建立的模型是否已有

16、效逼近樣本所蘊含的規(guī)律,最直接和客觀的指標(biāo)是從總樣本中隨機抽取的非訓(xùn)練樣本（檢驗樣本和測試樣本）誤差是否和訓(xùn)練樣本的誤差一樣小或稍大。非訓(xùn)練樣本誤差很接近訓(xùn)練樣本誤差或比其小，一般可認(rèn)為建立的網(wǎng)絡(luò)模型已有效逼近訓(xùn)練樣本所蘊含的規(guī)律。 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期28算法設(shè)計因為訓(xùn)練樣本的誤差可以達(dá)到很小，因此，用從總樣本中隨機抽取的一部分測試樣本的誤差表示網(wǎng)絡(luò)模型計算和預(yù)測所具有的精度（網(wǎng)絡(luò)性能）是合理的和可靠的。判斷網(wǎng)絡(luò)模型泛化能力的好壞，主要不是看測試樣本誤差大小的本身，而是要看測試樣本的誤差是否接近于訓(xùn)練樣本和檢驗樣本的誤差。 by 謝廣明 ， 20052006學(xué)年度

17、第一學(xué)期29算法設(shè)計合理網(wǎng)絡(luò)模型的確定 對同一結(jié)構(gòu)的網(wǎng)絡(luò)，由于BP算法存在（很）多個局部極小點，因此，必須通過多次（通常是幾十次）改變網(wǎng)絡(luò)初始連接權(quán)值求得相應(yīng)的極小點，才能通過比較這些極小點的網(wǎng)絡(luò)誤差的大小，確定全局極小點，從而得到該網(wǎng)絡(luò)結(jié)構(gòu)的最佳網(wǎng)絡(luò)連接權(quán)值。 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期30算法設(shè)計收斂誤差界值 在網(wǎng)絡(luò)訓(xùn)練過程中應(yīng)根據(jù)實際情況預(yù)先確定誤差界值。 誤差界值的選擇完全根據(jù)網(wǎng)絡(luò)模型的收斂速度大小和具體樣本的學(xué)習(xí)精度來確定。 當(dāng)選擇較小時，學(xué)習(xí)效果好，但收斂速度慢，訓(xùn)練次數(shù)增加。 取得較大時則相反。 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期31算法改進(jìn) 由于BP網(wǎng)絡(luò)采用誤差反傳算法，其實質(zhì)是一個無約束的非線性最優(yōu)化計算過程，在網(wǎng)絡(luò)結(jié)構(gòu)較大時不僅計算時間長，而且很容易限入局部極小點而得不到最優(yōu)結(jié)果。目前已有改進(jìn)BP法、遺傳算法（GA）和模擬退火算法等多種優(yōu)化方法用于BP網(wǎng)絡(luò)的訓(xùn)練。 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期32http:/題