神經(jīng)網(wǎng)絡(luò)講解與實(shí)例

神經(jīng)網(wǎng)絡(luò)講解與實(shí)例第一頁(yè)，共六十四頁(yè)，編輯于2023年，星期三1.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetworks，ANN)：簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)。模擬人腦神經(jīng)細(xì)胞的工作特點(diǎn)：*單元間的廣泛連接；*并行分布式的信息存貯與處理；*自適應(yīng)的學(xué)習(xí)能力等。優(yōu)點(diǎn)：(1)較強(qiáng)的容錯(cuò)性;(2)很強(qiáng)的自適應(yīng)學(xué)習(xí)能力；(3)可將識(shí)別和若干預(yù)處理融為一體進(jìn)行；第二頁(yè)，共六十四頁(yè)，編輯于2023年，星期三(4)并行工作方式；(5)對(duì)信息采用分布式記憶，具有魯棒性。四個(gè)發(fā)展階段：第一階段：?jiǎn)⒚善冢加?943年。形式神經(jīng)元的數(shù)學(xué)模型提出。第二階段：低潮期，始于1969年?！陡兄鳌?Perceptions)一書(shū)出版，指出局限性。第三階段：復(fù)興期，從1982年到1986年。Hopfield的兩篇論文提出新的神經(jīng)網(wǎng)絡(luò)模型；《并行分布處理》出版，提出反向傳播算法。第四個(gè)階段：1987年至今，趨于平穩(wěn)。回顧性綜述文章“神經(jīng)網(wǎng)絡(luò)與人工智能”。第三頁(yè)，共六十四頁(yè)，編輯于2023年，星期三人工神經(jīng)網(wǎng)絡(luò)的基本特點(diǎn)

（1）可處理非線性（2）并行結(jié)構(gòu)．對(duì)神經(jīng)網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元來(lái)說(shuō)；其運(yùn)算都是同樣的．這樣的結(jié)構(gòu)最便于計(jì)算機(jī)并行處理．

（3）具有學(xué)習(xí)和記憶能力．一個(gè)神經(jīng)網(wǎng)絡(luò)可以通過(guò)訓(xùn)練學(xué)習(xí)判別事物；學(xué)習(xí)某一種規(guī)律或規(guī)則．神經(jīng)網(wǎng)絡(luò)可以用于聯(lián)想記憶．（4）對(duì)數(shù)據(jù)的可容性大．在神經(jīng)網(wǎng)絡(luò)中可以同時(shí)使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù)（如好、中、差、及格、不及格等）．（5）神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來(lái)實(shí)現(xiàn)．如美國(guó)用256個(gè)神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識(shí)別手寫(xiě)體的郵政編碼．第四頁(yè)，共六十四頁(yè)，編輯于2023年，星期三1.2神經(jīng)網(wǎng)絡(luò)基本概念1.2.1生物神經(jīng)元1．生物神經(jīng)元的結(jié)構(gòu)細(xì)胞體、樹(shù)突、軸突和突觸。第五頁(yè)，共六十四頁(yè)，編輯于2023年，星期三2．生物神經(jīng)元的工作機(jī)制興奮和抑制兩種狀態(tài)。抑制狀態(tài)的神經(jīng)元由樹(shù)突和細(xì)胞體接收傳來(lái)的興奮電位產(chǎn)生輸出脈沖輸入興奮總量超過(guò)閾值神經(jīng)元被激發(fā)進(jìn)入興奮狀態(tài)由突觸傳遞給其它神經(jīng)元第六頁(yè)，共六十四頁(yè)，編輯于2023年，星期三1.2.2人工神經(jīng)元及神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元：生物神經(jīng)元的簡(jiǎn)化模擬。人工神經(jīng)元間的互連：信息傳遞路徑軸突-突觸-樹(shù)突的簡(jiǎn)化；連接的權(quán)值：兩個(gè)互連的神經(jīng)元之間相互作用的強(qiáng)弱。圖8.2人工神經(jīng)元模型接收的信息(其它神經(jīng)元的輸出)

互連強(qiáng)度/權(quán)值

作比較的閾值n維輸入向量X

輸出輸出函數(shù)第七頁(yè)，共六十四頁(yè)，編輯于2023年，星期三神經(jīng)元的動(dòng)作：輸出函數(shù)f：也稱作用函數(shù)，非線性。閾值型S型偽線性型f為閾值型函數(shù)時(shí)：設(shè)，點(diǎn)積形式：式中，第八頁(yè)，共六十四頁(yè)，編輯于2023年，星期三1.2.3神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)學(xué)習(xí)：同一個(gè)訓(xùn)練集的樣本輸入輸出模式反復(fù)作用于網(wǎng)絡(luò)，網(wǎng)絡(luò)按照一定的訓(xùn)練規(guī)則自動(dòng)調(diào)節(jié)神經(jīng)元之間的連接強(qiáng)度或拓?fù)浣Y(jié)構(gòu)，使實(shí)際輸出滿足期望的要求或者趨于穩(wěn)定。實(shí)質(zhì)：1．Hebb學(xué)習(xí)規(guī)則典型的權(quán)值修正方法：Hebb學(xué)習(xí)規(guī)則、δ誤差修正學(xué)習(xí)如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時(shí)處于興奮狀態(tài)，那么這兩個(gè)神經(jīng)元之間的連接強(qiáng)度應(yīng)該加強(qiáng)。神經(jīng)網(wǎng)絡(luò)的最重要特征之一。第九頁(yè)，共六十四頁(yè)，編輯于2023年，星期三wij(t+1)：修正一次后的某一權(quán)值；η：學(xué)習(xí)因子，表示學(xué)習(xí)速率的比例常數(shù)；yj(t)，yi(t)：分別表示t時(shí)刻第j個(gè)和第i個(gè)神經(jīng)元的狀態(tài)（輸出）。由有：神經(jīng)元間的連接第十頁(yè)，共六十四頁(yè)，編輯于2023年，星期三2.δ學(xué)習(xí)規(guī)則（3）更新權(quán)值，閾值可視為輸入恒為（－1）的一個(gè)權(quán)值；（1）選擇一組初始權(quán)值wij(1)；（2）計(jì)算某一輸入模式對(duì)應(yīng)的實(shí)際輸出與期望輸出的誤差；式中，（4）返回(2)，直到對(duì)所有訓(xùn)練模式網(wǎng)絡(luò)輸出均能滿足要求。dj，yj(t)：第j個(gè)神經(jīng)元的期望輸出與實(shí)際輸出；xi(t)：第j個(gè)神經(jīng)元的第i個(gè)輸入。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)體現(xiàn)在：權(quán)值變化；網(wǎng)絡(luò)結(jié)構(gòu)變化。η：學(xué)習(xí)因子；第十一頁(yè)，共六十四頁(yè)，編輯于2023年，星期三1.3前饋神經(jīng)網(wǎng)絡(luò)1.3.1感知器感知器（Perceptron）：F．Rosenblatt于1957年提出。感知器結(jié)構(gòu)示意圖*雙層（輸入層、輸出層）；*兩層單元之間為全互連；*連接權(quán)值可調(diào)。結(jié)構(gòu)特點(diǎn)：*輸出層神經(jīng)元個(gè)數(shù)等于類別數(shù)（兩類問(wèn)題時(shí)輸出層為一個(gè)神經(jīng)元）。第十二頁(yè)，共六十四頁(yè)，編輯于2023年，星期三設(shè)輸入模式向量，，共M類。輸出層第j個(gè)神經(jīng)元對(duì)應(yīng)第j個(gè)模式類，θj：第j個(gè)神經(jīng)元的閾值；wij：輸入模式第i個(gè)分量與輸出層第j個(gè)神經(jīng)元間的連接權(quán)。令。取

有輸出為輸出單元對(duì)所有輸入數(shù)值加權(quán)求和，經(jīng)閾值型輸出函數(shù)產(chǎn)生一組輸出模式。第十三頁(yè)，共六十四頁(yè)，編輯于2023年，星期三M類問(wèn)題判決規(guī)則(神經(jīng)元的輸出函數(shù))為*正確判決的關(guān)鍵：輸出層每個(gè)神經(jīng)元必須有一組合適的權(quán)值。

*感知器采用監(jiān)督學(xué)習(xí)算法得到權(quán)值；*權(quán)值更新方法：δ學(xué)習(xí)規(guī)則。算法描述第一步：設(shè)置初始權(quán)值wij(1)，w(n+1)j(1)為第j個(gè)神經(jīng)元的閾值。第二步：輸入新的模式向量。第三步：計(jì)算神經(jīng)元的實(shí)際輸出。第十四頁(yè)，共六十四頁(yè)，編輯于2023年，星期三設(shè)第k次輸入的模式向量為Xk，與第j個(gè)神經(jīng)元相連的權(quán)向量為第j個(gè)神經(jīng)元的實(shí)際輸出為第四步：修正權(quán)值。dj：第j個(gè)神經(jīng)元的期望輸出。第五步：轉(zhuǎn)到第二步。當(dāng)全部學(xué)習(xí)樣本都能正確分類時(shí)，學(xué)習(xí)過(guò)程結(jié)束。經(jīng)驗(yàn)證明，當(dāng)η隨k的增加而減小時(shí)，算法一定收斂。第十五頁(yè)，共六十四頁(yè)，編輯于2023年，星期三1.3.2BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)主要用于1）函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近一個(gè)函數(shù)。2）模式識(shí)別：用一個(gè)特定的輸出向量將它與輸入向量聯(lián)系起來(lái)。3）分類：把輸入向量以所定義的合適方式進(jìn)行分類。4）數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便于傳輸或存儲(chǔ)。目前，在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，絕大部分的神經(jīng)網(wǎng)絡(luò)模型是采用BP網(wǎng)絡(luò)和它的變化形式，它也是前饋網(wǎng)絡(luò)的核心部分，并體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。第十六頁(yè)，共六十四頁(yè)，編輯于2023年，星期三BP網(wǎng)絡(luò)：采用BP算法（Back-PropagationTrainingAlgorithm）的多層感知器。誤差反向傳播算法認(rèn)識(shí)最清楚、應(yīng)用最廣泛。性能優(yōu)勢(shì)：識(shí)別、分類1．多層感知器針對(duì)感知器學(xué)習(xí)算法的局限性：模式類必須線性可分。輸入層第一隱層第二隱層輸出層中間層為一層或多層處理單元；前饋網(wǎng)絡(luò)；結(jié)構(gòu)：只允許一層連接權(quán)可調(diào)。第十七頁(yè)，共六十四頁(yè)，編輯于2023年，星期三2．BP算法兩個(gè)階段正向傳播階段：逐層狀態(tài)更新反向傳播階段：誤差BP算法的學(xué)習(xí)過(guò)程設(shè)：某層任一神經(jīng)元j的輸入為netj，輸出為yj；相鄰低一層中任一神經(jīng)元i的輸出為yi。jiwij：神經(jīng)元i與j之間的連接權(quán)；f(?)：神經(jīng)元的輸出函數(shù)。第十八頁(yè)，共六十四頁(yè)，編輯于2023年，星期三S型輸出函數(shù)：θj：神經(jīng)元閾值；h0：修改輸出函數(shù)形狀的參數(shù)。設(shè)：輸出層中第k個(gè)神經(jīng)元的實(shí)際輸出為yk，輸入為netk；與輸出層相鄰的隱層中任一神經(jīng)元j的輸出為yj。第十九頁(yè)，共六十四頁(yè)，編輯于2023年，星期三對(duì)輸入模式Xp，若輸出層中第k個(gè)神經(jīng)元的期望輸出為dpk，實(shí)際輸出為ypk。輸出層的輸出方差：若輸入N個(gè)模式，網(wǎng)絡(luò)的系統(tǒng)均方差為：當(dāng)輸入Xp時(shí)，wjk的修正增量：其中，由式得到：第二十頁(yè)，共六十四頁(yè)，編輯于2023年，星期三令，可得輸出單元的誤差：輸出單元的修正增量：對(duì)于與輸出層相鄰的隱層中的神經(jīng)元j和該隱層前低一層中的神經(jīng)元i：輸出層中神經(jīng)元輸出的誤差反向傳播到前面各層，對(duì)各層之間的權(quán)值進(jìn)行修正。第二十一頁(yè)，共六十四頁(yè)，編輯于2023年，星期三BP算法建模步驟：第一步：對(duì)權(quán)值和神經(jīng)元閾值初始化：(0，1)上分布的隨機(jī)數(shù)。第二步：輸入樣本，指定輸出層各神經(jīng)元的希望輸出值。第三步：依次計(jì)算每層神經(jīng)元的實(shí)際輸出，直到輸出層。第四步：從輸出層開(kāi)始修正每個(gè)權(quán)值，直到第一隱層。若j是輸出層神經(jīng)元，則：若j是隱層神經(jīng)元，則：第五步：轉(zhuǎn)到第二步，循環(huán)至權(quán)值穩(wěn)定為止。第二十二頁(yè)，共六十四頁(yè)，編輯于2023年，星期三改進(jìn)的權(quán)值修正：——收斂快、權(quán)值平滑變化α：平滑因子，0<α<1。BP算法存在問(wèn)題：*存在局部極小值問(wèn)題；*算法收斂速度慢；*隱層單元數(shù)目的選取無(wú)一般指導(dǎo)原則；*新加入的學(xué)習(xí)樣本影響已學(xué)完樣本的學(xué)習(xí)結(jié)果。第二十三頁(yè)，共六十四頁(yè)，編輯于2023年，星期三第二十四頁(yè)，共六十四頁(yè)，編輯于2023年，星期三第二十五頁(yè)，共六十四頁(yè)，編輯于2023年，星期三3．應(yīng)用之例：蚊子的分類已知的兩類蚊子的數(shù)據(jù)如表1：

翼長(zhǎng)觸角長(zhǎng)類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af目標(biāo)值0.90.90.90.10.90.90.90.1

翼長(zhǎng)觸角長(zhǎng)類別1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af目標(biāo)t0.10.10.10.10.10.10.1

第二十六頁(yè)，共六十四頁(yè)，編輯于2023年，星期三輸入數(shù)據(jù)有15個(gè)，即,p=1,…,15;j=1,2;對(duì)應(yīng)15個(gè)輸出。建模：（輸入層，中間層，輸出層，每層的元素應(yīng)取多少個(gè)？）建立神經(jīng)網(wǎng)絡(luò)第二十七頁(yè)，共六十四頁(yè)，編輯于2023年，星期三規(guī)定目標(biāo)為：當(dāng)t(1)=0.9時(shí)表示屬于Apf類，t(2)=0.1表示屬于Af類。設(shè)兩個(gè)權(quán)重系數(shù)矩陣為：為閾值

其中第二十八頁(yè)，共六十四頁(yè)，編輯于2023年，星期三分析如下：

為第一層的輸出，同時(shí)作為第二層的輸入。其中，為閾值，為激勵(lì)函數(shù)若令

（作為一固定輸入）（閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)）

第二十九頁(yè)，共六十四頁(yè)，編輯于2023年，星期三則有：取激勵(lì)函數(shù)為=則同樣，取

第三十頁(yè)，共六十四頁(yè)，編輯于2023年，星期三（1）隨機(jī)給出兩個(gè)權(quán)矩陣的初值；例如用MATLAB軟件時(shí)可以用以下語(yǔ)句：

令p=0具體算法如下：=rand(2,3);=rand(1,3);(2)根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出

=第三十一頁(yè)，共六十四頁(yè)，編輯于2023年，星期三取（3）計(jì)算因?yàn)樗?/p>

（4）取

（或其他正數(shù)，可調(diào)整大小）

第三十二頁(yè)，共六十四頁(yè)，編輯于2023年，星期三(5)計(jì)算

和

j=1,2,3,i=1,2,3,計(jì)算

j=1,2,3j=1,2,3第三十三頁(yè)，共六十四頁(yè)，編輯于2023年，星期三(6)p=p+1，轉(zhuǎn)（2）

注：僅計(jì)算一圈（p=1，2，…，15）是不夠的，直到當(dāng)各權(quán)重變化很小時(shí)停止，本例中，共計(jì)算了147圈，迭代了2205次。最后結(jié)果是：第三十四頁(yè)，共六十四頁(yè)，編輯于2023年，星期三即網(wǎng)絡(luò)模型的解為：

=第三十五頁(yè)，共六十四頁(yè)，編輯于2023年，星期三4.BP網(wǎng)絡(luò)建模特點(diǎn)：非線性映照能力：神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模過(guò)程中的許多問(wèn)題正是具有高度的非線性。并行分布處理方式：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲(chǔ)存和并行處理的，這使它具有很強(qiáng)的容錯(cuò)性和很快的處理速度。自學(xué)習(xí)和自適應(yīng)能力：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識(shí)，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力，即將這組權(quán)值應(yīng)用于一般情形的能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可以在線進(jìn)行。數(shù)據(jù)融合的能力：神經(jīng)網(wǎng)絡(luò)可以同時(shí)處理定量信息和定性信息，因此它可以利用傳統(tǒng)的工程技術(shù)（數(shù)值運(yùn)算）和人工智能技術(shù)（符號(hào)處理）。多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的，對(duì)單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式，不必考慮各子系統(tǒng)間的解耦問(wèn)題。第三十六頁(yè)，共六十四頁(yè)，編輯于2023年，星期三2023/6/12375.BP神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)分析1、產(chǎn)生數(shù)據(jù)樣本集包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇以及數(shù)據(jù)的預(yù)處理

首先要在大量的原始測(cè)量數(shù)據(jù)中確定出最主要的輸入模式。

在確定了最重要的輸入量后，需進(jìn)行尺度變換和預(yù)處理。尺度變換常常將它們變換到[-1,1]或[0,1]的范圍。在進(jìn)行尺度變換前必須先檢查是否存在異常點(diǎn)（或稱野點(diǎn)），這些點(diǎn)必須刪除。通過(guò)對(duì)數(shù)據(jù)的預(yù)處理分析還可以檢驗(yàn)其是否存在周期性、固定變換趨勢(shì)或其它關(guān)系。對(duì)數(shù)據(jù)的預(yù)處理就是要使得經(jīng)變換后的數(shù)據(jù)對(duì)于神經(jīng)網(wǎng)絡(luò)更容易學(xué)習(xí)和訓(xùn)練。

第三十七頁(yè)，共六十四頁(yè)，編輯于2023年，星期三2023/6/1238對(duì)于一個(gè)問(wèn)題應(yīng)該選擇多少數(shù)據(jù)，這也是一個(gè)很關(guān)鍵的問(wèn)題。系統(tǒng)的輸入輸出關(guān)系就包含在數(shù)據(jù)樣本中。一般來(lái)說(shuō)，取的數(shù)據(jù)越多，學(xué)習(xí)和訓(xùn)練的結(jié)果便越能正確反映輸入輸出關(guān)系。但選太多的數(shù)據(jù)將增加收集、分析數(shù)據(jù)以及網(wǎng)絡(luò)訓(xùn)練付出的代價(jià)選太少的數(shù)據(jù)則可能得不到正確的結(jié)果。事實(shí)上數(shù)據(jù)的多數(shù)取決于許多因素，如網(wǎng)絡(luò)的大小、網(wǎng)絡(luò)測(cè)試的需要以及輸入輸出的分布等。其中網(wǎng)絡(luò)的大小最關(guān)鍵。通常較大的網(wǎng)絡(luò)需要較多的訓(xùn)練數(shù)據(jù)。一個(gè)經(jīng)驗(yàn)規(guī)則是：訓(xùn)練模式應(yīng)是連接權(quán)總數(shù)的5至10倍。第三十八頁(yè)，共六十四頁(yè)，編輯于2023年，星期三2023/6/1239最簡(jiǎn)單的方法是：將收集到的可用數(shù)據(jù)隨機(jī)地分成兩部分，比如其中三分之二用于網(wǎng)絡(luò)的訓(xùn)練。另外三分之一用于將來(lái)的測(cè)試。隨機(jī)選取的目的是為了盡量減小這兩部分?jǐn)?shù)據(jù)的相關(guān)性。影響數(shù)據(jù)大小的另一個(gè)因素是輸入模式和輸出結(jié)果的分布，對(duì)數(shù)據(jù)預(yù)先加以分類可以減小所需的數(shù)據(jù)量。相反，數(shù)據(jù)稀薄不勻甚至覆蓋則勢(shì)必要增加數(shù)據(jù)量。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，需要有另外的測(cè)試數(shù)據(jù)來(lái)對(duì)網(wǎng)絡(luò)加以檢驗(yàn)，測(cè)試數(shù)據(jù)應(yīng)是獨(dú)立的數(shù)據(jù)集合。第三十九頁(yè)，共六十四頁(yè)，編輯于2023年，星期三2023/6/12402、確定網(wǎng)絡(luò)的類型和結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的類型很多，需根據(jù)問(wèn)題的性質(zhì)和任務(wù)的要求來(lái)合適地選擇網(wǎng)絡(luò)類型。一般從已有的網(wǎng)絡(luò)類型中選用一種比較簡(jiǎn)單而又能滿足要求的網(wǎng)絡(luò)，新設(shè)計(jì)一個(gè)網(wǎng)絡(luò)類型來(lái)滿足問(wèn)題的要求往往比較困難。若主要用于模式分類，尤其是線性可分的情況，則可采用較為簡(jiǎn)單的感知器網(wǎng)絡(luò)。若主要用于函數(shù)估計(jì)，則可應(yīng)用BP網(wǎng)絡(luò)在網(wǎng)絡(luò)的類型確定后，要是選擇網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)。以BP網(wǎng)絡(luò)為例，需選擇網(wǎng)絡(luò)的層數(shù)、每層的節(jié)點(diǎn)數(shù)、初始權(quán)值、閾值、學(xué)習(xí)算法、數(shù)值修改頻度、結(jié)點(diǎn)變換函數(shù)及參數(shù)、學(xué)習(xí)率等參數(shù)。第四十頁(yè)，共六十四頁(yè)，編輯于2023年，星期三2023/6/1241對(duì)于網(wǎng)絡(luò)層數(shù)的選?。豪碚撋显缫炎C明：具有偏差和至少一個(gè)S型隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。增加層數(shù)主要可以更進(jìn)一步降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。而誤差精度的提高實(shí)際上也可以通過(guò)增加隱含層中的神經(jīng)元數(shù)目來(lái)獲得，其訓(xùn)練效果也比增加層數(shù)更容易觀察和調(diào)整，所以，一般情況下，應(yīng)優(yōu)先考慮增加隱含層中的神經(jīng)元數(shù)。第四十一頁(yè)，共六十四頁(yè)，編輯于2023年，星期三2023/6/1242對(duì)于具體問(wèn)題若確定了輸入和輸出變量后，網(wǎng)絡(luò)輸入層和輸出層的節(jié)點(diǎn)個(gè)數(shù)也便隨之確定了。

具體選擇可采用如下方法：先設(shè)較少的節(jié)點(diǎn)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并測(cè)試網(wǎng)絡(luò)的逼近誤差，然后逐漸增加節(jié)點(diǎn)數(shù)，直到測(cè)試的誤差不再有明顯的減少為止。

隱層節(jié)點(diǎn)數(shù)對(duì)網(wǎng)絡(luò)的泛化能力有很大的影響。節(jié)點(diǎn)數(shù)太多，傾向于記住所有的訓(xùn)練數(shù)據(jù)，包括噪聲的影響，反而降低了泛化能力；節(jié)點(diǎn)數(shù)太少，不能擬和樣本數(shù)據(jù)，沒(méi)有較好的泛化能力。原則：選擇盡量少的節(jié)點(diǎn)數(shù)以實(shí)現(xiàn)盡量好的泛化能力。

對(duì)于每層節(jié)點(diǎn)數(shù)的選?。旱谒氖?yè)，共六十四頁(yè)，編輯于2023年，星期三2023/6/1243由于系統(tǒng)是非線性的，初始值對(duì)于學(xué)習(xí)是否達(dá)到局部最小、是否能夠收斂以及訓(xùn)練時(shí)間的長(zhǎng)短關(guān)系很大。初始權(quán)值的選?。喝绻跏贾堤螅沟眉訖?quán)后的輸入落到激活函數(shù)的飽和區(qū)，從而導(dǎo)致其導(dǎo)數(shù)非常小，而在計(jì)算權(quán)值的修正公式中，修正量正比與其導(dǎo)數(shù)，從而使調(diào)節(jié)過(guò)程幾乎停頓下來(lái)。一般總是希望經(jīng)過(guò)初始加權(quán)后的每個(gè)神經(jīng)元的輸出值都接近于零，這樣可以保證每個(gè)神經(jīng)元的權(quán)值都能夠在他們的S型激活函數(shù)變化最大之處進(jìn)行調(diào)節(jié)，所以，一般取初始權(quán)值在(-1,1)之間的隨機(jī)數(shù)。第四十三頁(yè)，共六十四頁(yè)，編輯于2023年，星期三2023/6/1244學(xué)習(xí)速率的選?。簩W(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定小的學(xué)習(xí)速率會(huì)導(dǎo)致訓(xùn)練較長(zhǎng)，收斂速度很慢。不過(guò)能保證網(wǎng)絡(luò)的誤差值不跳出表面的低谷而最終趨于最小誤差值。一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率一般的選取范圍為0.01－0.8。和初始權(quán)值的選取過(guò)程一樣，在一個(gè)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)中，網(wǎng)絡(luò)要經(jīng)過(guò)幾個(gè)不同的學(xué)習(xí)速率的訓(xùn)練。通過(guò)觀察每一次訓(xùn)練后的誤差平方和的下降速率來(lái)判斷選定的學(xué)習(xí)速率是否合適。如果下降很快，說(shuō)明學(xué)習(xí)速率合適。若出現(xiàn)振蕩，則說(shuō)明學(xué)習(xí)速率過(guò)大。對(duì)于較復(fù)雜的網(wǎng)絡(luò)，為了減小尋找學(xué)習(xí)速率的訓(xùn)練次數(shù)以及訓(xùn)練時(shí)間，比較合適的方法是采用自適應(yīng)學(xué)習(xí)速率。第四十四頁(yè)，共六十四頁(yè)，編輯于2023年，星期三2023/6/12453、訓(xùn)練和測(cè)試對(duì)所有樣本數(shù)據(jù)正向運(yùn)行一次并反向修改連接權(quán)一次稱為一次訓(xùn)練(或一次學(xué)習(xí))。通常訓(xùn)練一個(gè)網(wǎng)絡(luò)需要成百上千次。并非訓(xùn)練的次數(shù)越多，越能得到正確的輸入輸出的映射關(guān)系。由于所收集的數(shù)據(jù)都是包含噪聲的，訓(xùn)練的次數(shù)過(guò)多，網(wǎng)絡(luò)將包含噪聲的數(shù)據(jù)都記錄了下來(lái)，在極端情況下，訓(xùn)練后的網(wǎng)絡(luò)可以實(shí)現(xiàn)相當(dāng)于查表的功能。但是對(duì)于新的輸入數(shù)據(jù)卻不能給出合適的輸出，即并不具備很好的泛化能力。訓(xùn)練網(wǎng)絡(luò)的目的在于找出蘊(yùn)含在樣本數(shù)據(jù)中的輸入和輸出之間的本質(zhì)聯(lián)系，從而對(duì)于未經(jīng)訓(xùn)練的輸入也能給出合適的輸出，即局部泛化能力。網(wǎng)絡(luò)的性能主要是用它的泛化能力來(lái)衡量，它不是用對(duì)訓(xùn)練數(shù)據(jù)的擬和程度來(lái)衡量，而是用一組獨(dú)立的數(shù)據(jù)來(lái)加以測(cè)試和檢驗(yàn)。第四十五頁(yè)，共六十四頁(yè)，編輯于2023年，星期三2023/6/1246訓(xùn)練次數(shù)均方誤差訓(xùn)練數(shù)據(jù)測(cè)試數(shù)據(jù)實(shí)際操作時(shí)應(yīng)該訓(xùn)練和測(cè)試交替進(jìn)行，即每訓(xùn)練一次，同時(shí)用測(cè)試數(shù)據(jù)測(cè)試一遍，畫(huà)出均方誤差隨訓(xùn)練次數(shù)的變換曲線在用測(cè)試數(shù)據(jù)檢驗(yàn)時(shí)，均方誤差開(kāi)始逐漸減小，當(dāng)訓(xùn)練次數(shù)再增加時(shí)，測(cè)試檢驗(yàn)誤差反而增加，誤差曲線上極小點(diǎn)所對(duì)應(yīng)的即為恰當(dāng)?shù)挠?xùn)練次數(shù)，若再訓(xùn)練即為“過(guò)渡訓(xùn)練”了。第四十六頁(yè)，共六十四頁(yè)，編輯于2023年，星期三6.MATLAB神經(jīng)網(wǎng)絡(luò)工具箱的應(yīng)用在網(wǎng)絡(luò)訓(xùn)練過(guò)程中使用的是Matlab7.0forWindows軟件，對(duì)于BP神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練可以使用NeuralNetworksToolboxforMatlab。美國(guó)的Mathwork公司推出的MATLAB軟件包既是一種非常實(shí)用有效的科研編程軟件環(huán)境，又是一種進(jìn)行科學(xué)和工程計(jì)算的交互式程序。MATLAB本身帶有神經(jīng)網(wǎng)絡(luò)工具箱，可以大大方便權(quán)值訓(xùn)練，減少訓(xùn)練程序工作量，有效的提高工作效率.第四十七頁(yè)，共六十四頁(yè)，編輯于2023年，星期三7.BP網(wǎng)絡(luò)——應(yīng)用實(shí)例銀行數(shù)據(jù)如表1所示，要求根據(jù)存款金額、及時(shí)還貸情況、貸款次數(shù)，將這些記錄按信用分為“良好”和“差”兩類。步驟1：預(yù)處理在開(kāi)始訓(xùn)練之前，先將各樣本的每一屬性值都限定在[0,1]上，并將信用類別重新編碼，用0表示“良好”，用1表示“差”規(guī)范化后的數(shù)據(jù)如表2所示。48第四十八頁(yè)，共六十四頁(yè)，編輯于2023年，星期三步驟2：設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)根據(jù)分析，該例的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。步驟3：初始化該網(wǎng)絡(luò)的權(quán)值和偏差網(wǎng)絡(luò)的初始權(quán)值和偏差一般是用隨機(jī)函數(shù)生成的介于[-1,1]的小數(shù),該例的初始權(quán)值和偏差如表3所示49第四十九頁(yè)，共六十四頁(yè)，編輯于2023年，星期三步驟4：進(jìn)行訓(xùn)練將學(xué)習(xí)效率（學(xué)習(xí)因子）η設(shè)為0.7依次將表2中的樣本輸入網(wǎng)絡(luò)，計(jì)算出個(gè)神經(jīng)元的輸入、輸出和誤差計(jì)算反向傳播所得誤差，更新權(quán)值和偏差，所有樣本輸入完畢后，判斷是否滿足終止條件，不滿足則進(jìn)行下一輪迭代，滿足則迭代結(jié)束。第1次掃描迭代中,計(jì)算出各神經(jīng)元的凈輸入、輸出、誤差、權(quán)值和偏差更新值如表4所示。步驟5：實(shí)現(xiàn)分類通過(guò)上述訓(xùn)練后，該BP網(wǎng)絡(luò)可提取關(guān)于輸入(存款金額、貸款次數(shù)、及時(shí)還貸率)和輸出類(信用等級(jí))的關(guān)聯(lián)規(guī)則。利用這些規(guī)則即可實(shí)現(xiàn)對(duì)現(xiàn)有客戶信用等級(jí)的分類,并據(jù)此做出客戶貸款償付預(yù)測(cè),進(jìn)行客戶信用政策分析。50第五十頁(yè)，共六十四頁(yè)，編輯于2023年，星期三51第五十一頁(yè)，共六十四頁(yè)，編輯于2023年，星期三結(jié)束第五十二頁(yè)，共六十四頁(yè)，編輯于2023年，星期三例:BP神經(jīng)網(wǎng)絡(luò)水（處理）系統(tǒng)的模擬與預(yù)測(cè)等方面獲得了廣泛的應(yīng)用。光催化臭氧氧化處理自來(lái)水工藝神經(jīng)網(wǎng)絡(luò)模型應(yīng)用舉例第五十三頁(yè)，共六十四頁(yè)，編輯于2023年，星期三樣本實(shí)驗(yàn)號(hào)臭氧濃度(mg/L)入口UV254UV254去除率(%)11.160.11650.221.350.10459.531.720.07858.841.860.10766.251.970.13665.562.150.08264.572.230.12573.682.480.07676.492.790.12278.5102.850.09279.2113.070.08181.4123.450.06890.3133.590.07793.1143.800.10898.2153.930.12897.3164.140.06398.1174.460.13597.3184.550.07098.8194.840.12696.9205.030.08798.6第五十四頁(yè)，共六十四頁(yè)，編輯于2023年，星期三檢驗(yàn)樣本實(shí)驗(yàn)號(hào)臭氧濃度(mg/L)入口UV254UV254去除率(%)11.420.086?22.510.071?33.210.107?44.290.096?55.240.65?第五十五頁(yè)，共六十四頁(yè)，編輯于2023年，星期三隱層神經(jīng)元數(shù)的選擇隱層神經(jīng)元數(shù)的選擇是一個(gè)十分復(fù)雜的問(wèn)題。因?yàn)闆](méi)有很好的解析式表示，可以說(shuō)隱層神經(jīng)元數(shù)與問(wèn)題的要求、輸入層與輸出層神經(jīng)元的數(shù)量、訓(xùn)練樣本的數(shù)量等都有直接關(guān)系。事實(shí)上隱層神經(jīng)元太少不可能將網(wǎng)絡(luò)訓(xùn)練出來(lái)，但太多又使學(xué)習(xí)時(shí)間過(guò)長(zhǎng)，使網(wǎng)絡(luò)不“不強(qiáng)壯”，泛化能力下降，即不能識(shí)別以前沒(méi)有直接接收到的樣本，容錯(cuò)性差。當(dāng)隱層數(shù)為20×10和8×4時(shí)的訓(xùn)練結(jié)果:隱層數(shù)為2節(jié)點(diǎn)數(shù)8×4隱層數(shù)為2節(jié)點(diǎn)數(shù)20×10圖6-2相同隱層數(shù)不同節(jié)點(diǎn)數(shù)訓(xùn)練誤差曲線第五十六頁(yè)，共六十四頁(yè)，編輯于2023年，星期三神經(jīng)網(wǎng)絡(luò)模型的各層節(jié)點(diǎn)數(shù)分別為：輸入層2個(gè)；第一隱層12個(gè)；第二隱層6個(gè)；輸出層1個(gè)。綜合以上研究?jī)?nèi)容，建立光催化臭氧氧化處理自來(lái)水工藝神經(jīng)網(wǎng)絡(luò)模型如圖6-3所示。輸入層輸出層隱層圖6-3BP網(wǎng)絡(luò)模型臭氧濃度入口UV254UV254去除率第五十七頁(yè)，共六十四頁(yè)，編輯于2023年，星期三1．學(xué)習(xí)率η和動(dòng)量因子αBP算法本質(zhì)上是優(yōu)化計(jì)算中的梯度下降法，利用誤差對(duì)于權(quán)、閥值的一階導(dǎo)數(shù)信息來(lái)指導(dǎo)下一步的權(quán)值調(diào)整方向，以求最終得到誤差最小。為了保證算法的收斂性，學(xué)習(xí)率η必須小于某一上限，一般取0<η<1而且越接近極小值，由于梯度變化值逐漸趨于零，算法的收斂就越來(lái)越慢。在網(wǎng)絡(luò)參數(shù)中，學(xué)習(xí)率η和動(dòng)量因子α是很重要的，它們的取值直接影響到網(wǎng)絡(luò)的性能，主要是收斂速度。為提高學(xué)習(xí)速度，應(yīng)采用大的η。但η太大卻可能導(dǎo)致在穩(wěn)定點(diǎn)附近振蕩，乃至不收斂。針對(duì)具體的網(wǎng)絡(luò)結(jié)構(gòu)模型和學(xué)習(xí)樣本，都存在一個(gè)最佳的學(xué)習(xí)率門(mén)和動(dòng)量因子α，它們的取值范圍一般0～1之間，視實(shí)際情況而定。在上述范圍內(nèi)通過(guò)對(duì)不同的η和α的取值進(jìn)行了考察，確定本文神經(jīng)網(wǎng)絡(luò)模型的參數(shù)為：η＝0.7，α＝0.9。第五十八頁(yè)，共六十四頁(yè)，編輯于2023年，星期三2．初始權(quán)值的選擇在前饋多層神經(jīng)網(wǎng)絡(luò)的BP算法中，初始權(quán)、閾值一般是在一個(gè)固定范圍內(nèi)按均勻分布隨機(jī)產(chǎn)生的。一般文獻(xiàn)認(rèn)為初始權(quán)值范圍為-1～＋1之間，初始權(quán)值的選擇對(duì)于局部極小點(diǎn)的防止和網(wǎng)絡(luò)收斂速度的提高均有一定程度的影響，如果初始權(quán)值范圍選擇不當(dāng)，學(xué)習(xí)過(guò)程一開(kāi)始就可能進(jìn)入“假飽和”現(xiàn)象，甚至進(jìn)入局部極小點(diǎn)，網(wǎng)絡(luò)根本不收斂。初始權(quán)、閾值的選擇因具體的網(wǎng)絡(luò)結(jié)構(gòu)模式和訓(xùn)練樣本不同而有所差別，一般應(yīng)視實(shí)際情況