BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)

人工神經(jīng)網(wǎng)絡(luò)

(ArtificialNeuralNetwroks

-----ANN)

-----HZAU數(shù)?；?/p>

BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第1頁(yè)引言利用機(jī)器模仿人類智能是長(zhǎng)久以來(lái)人們認(rèn)識(shí)自然、改造自然和認(rèn)識(shí)本身理想。研究ANN目標(biāo)：（1）探索和模擬人感覺(jué)、思維和行為規(guī)律，設(shè)計(jì)含有些人類智能計(jì)算機(jī)系統(tǒng)。（2）探討人腦智能活動(dòng)，用物化了智能來(lái)考查和研究人腦智能物質(zhì)過(guò)程及其規(guī)律。BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第2頁(yè)ANN研究?jī)?nèi)容（1）理論研究：ANN模型及其學(xué)習(xí)算法，試圖從數(shù)學(xué)上描述ANN動(dòng)力學(xué)過(guò)程，建立對(duì)應(yīng)ANN模型，在該模型基礎(chǔ)上，對(duì)于給定學(xué)習(xí)樣本，找出一個(gè)能以較快速度和較高精度調(diào)整神經(jīng)元間互連權(quán)值，使系統(tǒng)到達(dá)穩(wěn)定狀態(tài)，滿足學(xué)習(xí)要求算法。（2）實(shí)現(xiàn)技術(shù)研究：探討利用電子、光學(xué)、生物等技術(shù)實(shí)現(xiàn)神經(jīng)計(jì)算機(jī)路徑。（3）應(yīng)用研究：探討怎樣應(yīng)用ANN處理實(shí)際問(wèn)題，如模式識(shí)別、故障檢測(cè)、智能機(jī)器人等。BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第3頁(yè)研究ANN方法（1）生理結(jié)構(gòu)模擬：用仿生學(xué)觀點(diǎn)，探索人腦生理結(jié)構(gòu)，把對(duì)人腦微觀結(jié)構(gòu)及其智能行為研究結(jié)合起來(lái)即人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwroks，簡(jiǎn)稱ANN）方法。（2）宏觀功效模擬：從人思維活動(dòng)和智能行為心理學(xué)特征出發(fā)，利用計(jì)算機(jī)系統(tǒng)來(lái)對(duì)人腦智能進(jìn)行宏觀功效模擬，即符號(hào)處理方法。BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第4頁(yè)ANN研究目標(biāo)和意義(1)經(jīng)過(guò)揭示物理平面與認(rèn)知平面之間映射，了解它們相互聯(lián)絡(luò)和相互作用機(jī)理，從而揭示思維本質(zhì)，探索智能根源。(2)爭(zhēng)取結(jié)構(gòu)出盡可能與人腦含有相同功效計(jì)算機(jī)，即ANN計(jì)算機(jī)。(3)研究仿照腦神經(jīng)系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)，將在模式識(shí)別、組合優(yōu)化和決議判斷等方面取得傳統(tǒng)計(jì)算機(jī)所難以到達(dá)效果。

BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第5頁(yè)神經(jīng)網(wǎng)絡(luò)研究發(fā)展(1)第一次熱潮(40-60年代未)1943年,美國(guó)心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitts在提出了一個(gè)簡(jiǎn)單神經(jīng)元模型，即MP模型。1958年，F(xiàn).Rosenblatt等研制出了感知機(jī)(Perceptron）。(2)低潮(70-80年代初):(3)第二次熱潮

1982年，美國(guó)物理學(xué)家J.J.Hopfield提出Hopfield模型，它是一個(gè)互聯(lián)非線性動(dòng)力學(xué)網(wǎng)絡(luò).他處理問(wèn)題方法是一個(gè)重復(fù)運(yùn)算動(dòng)態(tài)過(guò)程,這是符號(hào)邏輯處理方法所不具備性質(zhì).1987年首屆國(guó)際ANN大會(huì)在圣地亞哥召開(kāi)，國(guó)際ANN聯(lián)合會(huì)成立，創(chuàng)辦了各種ANN國(guó)際刊物。1990年12月，北京召開(kāi)首屆學(xué)術(shù)會(huì)議。BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第6頁(yè)人工神經(jīng)網(wǎng)絡(luò)研究不足（1）ANN研究受到腦科學(xué)研究結(jié)果限制。（2）ANN缺乏一個(gè)完整、成熟理論體系。（3）ANN研究帶有濃厚策略和經(jīng)驗(yàn)色彩。（4）ANN與傳統(tǒng)技術(shù)接口不成熟。

BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第7頁(yè)人工神經(jīng)網(wǎng)絡(luò)概述

什么是人工神經(jīng)網(wǎng)絡(luò)？T.Koholen定義：“人工神經(jīng)網(wǎng)絡(luò)是由含有適應(yīng)性簡(jiǎn)單單元組成廣泛并行互連網(wǎng)絡(luò)，它組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出交互反應(yīng)?！盉P神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第8頁(yè)二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò)

大腦可視作為1000多億神經(jīng)元組成神經(jīng)網(wǎng)絡(luò)

圖3神經(jīng)元解剖圖BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第9頁(yè)神經(jīng)元信息傳遞和處理是一個(gè)電化學(xué)活動(dòng)．樹(shù)突因?yàn)殡娀瘜W(xué)作用接收外界刺激；經(jīng)過(guò)胞體內(nèi)活動(dòng)表達(dá)為軸突電位，當(dāng)軸突電位到達(dá)一定值則形成神經(jīng)脈沖或動(dòng)作電位；再經(jīng)過(guò)軸突末梢傳遞給其它神經(jīng)元．從控制論觀點(diǎn)來(lái)看；這一過(guò)程能夠看作一個(gè)多輸入單輸出非線性系統(tǒng)動(dòng)態(tài)過(guò)程神經(jīng)網(wǎng)絡(luò)研究?jī)蓚€(gè)方面從生理上、解剖學(xué)上進(jìn)行研究從工程技術(shù)上、算法上進(jìn)行研究BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第10頁(yè)腦神經(jīng)信息活動(dòng)特征(1)巨量并行性。(2)信息處理和存放單元結(jié)合在一起。(3)自組織自學(xué)習(xí)功效。

BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第11頁(yè)神經(jīng)網(wǎng)絡(luò)基本模型BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第12頁(yè)神經(jīng)元數(shù)學(xué)模型

圖4神經(jīng)元數(shù)學(xué)模型BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第13頁(yè)其中x＝（x1，…xm）T

輸入向量，y為輸出，wi是權(quán)系數(shù)；輸入與輸出含有以下關(guān)系：θ為閾值，f（X）是激發(fā)函數(shù)；它能夠是線性函數(shù)，也能夠是非線性函數(shù)．BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第14頁(yè)比如，若記

取激發(fā)函數(shù)為符號(hào)函數(shù)

則

S型激發(fā)函數(shù)：

BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第15頁(yè)或

注：若將閾值看作是一個(gè)權(quán)系數(shù)，-1是一個(gè)固定輸入，另有m-1個(gè)正常輸入，則（1）式也可表示為：

（1）

參數(shù)識(shí)別：假設(shè)函數(shù)形式已知，則能夠從已經(jīng)有輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及閾值。

BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第16頁(yè)2、神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型

眾多神經(jīng)元之間組合形成神經(jīng)網(wǎng)絡(luò)，例以下列圖含有中間層（隱層）B-P網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第17頁(yè)基本BP網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)b1bia1c1cqcjahbpan………………Wp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnp輸出層LC隱含層LB輸入層LAWVBP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第18頁(yè)ANN類型與功效BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第19頁(yè)

普通而言,ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越,只有當(dāng)常規(guī)方法處理不了或效果不佳時(shí)ANN方法才能顯示出其優(yōu)越性。尤其對(duì)問(wèn)題機(jī)理不甚了解或不能用數(shù)學(xué)模型表示系統(tǒng),如故障診療、特征提取和預(yù)測(cè)等問(wèn)題,ANN往往是最有利工具。另首先,ANN對(duì)處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述問(wèn)題,表現(xiàn)出極大靈活性和自適應(yīng)性。BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第20頁(yè)人工神經(jīng)網(wǎng)絡(luò)

（ArtificialNeuronNets=ANN）

例

1981年生物學(xué)家格若根（W．Grogan）和維什（W．Wirth）發(fā)覺(jué)了兩類蚊子(或飛蠓midges)．他們測(cè)量了這兩類蚊子每個(gè)個(gè)體翼長(zhǎng)和觸角長(zhǎng)，數(shù)據(jù)以下：翼長(zhǎng)觸角長(zhǎng)類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼長(zhǎng)觸角長(zhǎng)類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36AfBP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第21頁(yè)問(wèn)：假如抓到三只新蚊子，它們觸角長(zhǎng)和翼長(zhǎng)分別為(l.24,1.80);

(l.28，1.84)；（1.40，2.04）．問(wèn)它們應(yīng)分別屬于哪一個(gè)種類？

解法一：把翼長(zhǎng)作縱坐標(biāo)，觸角長(zhǎng)作橫坐標(biāo)；那么每個(gè)蚊子翼長(zhǎng)和觸角決定了坐標(biāo)平面一個(gè)點(diǎn).其中6個(gè)蚊子屬于APf類；用黑點(diǎn)“·”表示；9個(gè)蚊子屬Af類；用小圓圈“?！北硎荆玫浇Y(jié)果見(jiàn)圖1圖1飛蠓觸角長(zhǎng)和翼長(zhǎng)BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第22頁(yè)思緒：作一直線將兩類飛蠓分開(kāi)

比如；取A＝（1.44，2.10）和B＝(1.10，1.16)，過(guò)AB兩點(diǎn)作一條直線：

y＝1.47x-0.017其中X表示觸角長(zhǎng)；y表示翼長(zhǎng)．

分類規(guī)則：設(shè)一個(gè)蚊子數(shù)據(jù)為（x,y）假如y≥1.47x-0.017，則判斷蚊子屬Apf類；

假如y＜1.47x-0.017；則判斷蚊子屬Af類．

BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第23頁(yè)分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于Apf類．圖2分類直線圖

BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第24頁(yè)?缺點(diǎn)：依據(jù)什么標(biāo)準(zhǔn)確定分類直線？

若取A=(1.46,2.10),B=(1.1,1.6)不變，則分類直線變?yōu)閥=1.39x+0.071分類結(jié)果變?yōu)椋?/p>

(1.24,1.80)，

(1.40,2.04)屬于Apf類；

(1.28,1.84)屬于Af類

哪一分類直線才是正確呢？

所以怎樣來(lái)確定這個(gè)判別直線是一個(gè)值得研究問(wèn)題．普通地講，應(yīng)該充分利用已知數(shù)據(jù)信息來(lái)確定判別直線．BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第25頁(yè)再如，以下情形已經(jīng)不能用分類直線方法：

新思緒：將問(wèn)題看作一個(gè)系統(tǒng)，飛蠓數(shù)據(jù)作為輸入，飛蠓類型作為輸出，研究輸入與輸出關(guān)系。BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第26頁(yè)基本BP網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)b1bia1c1cqcjahbpan………………Wp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnp輸出層LC隱含層LB輸入層LAWVBP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第27頁(yè)四、反向傳輸算法（B-P算法）

Backpropagationalgorithm1．簡(jiǎn)單網(wǎng)絡(luò)B-P算法

算法目標(biāo)：依據(jù)實(shí)際輸入與輸出數(shù)據(jù)，計(jì)算模型參數(shù)（權(quán)系數(shù)）圖6簡(jiǎn)單網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第28頁(yè)假設(shè)有P個(gè)訓(xùn)練樣本，即有P個(gè)輸入輸出對(duì)（Ip,Tp）,p=1,…,P,其中

輸入向量為

:目標(biāo)輸出向量為（實(shí)際上）:

網(wǎng)絡(luò)輸出向量為

（理論上）

BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第29頁(yè)（p=1,…,P）

（2）

記wij為從輸入向量第j(j=1,…,m)個(gè)分量到輸出向量第i(i=1,…,n)個(gè)分量權(quán)重。通常理論值與實(shí)際值有一誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不停地把與比較，并依據(jù)極小標(biāo)準(zhǔn)修改參數(shù)wij，使誤差平方和達(dá)最?。河汥elta學(xué)習(xí)規(guī)則:

（4）

（3）

表示遞推一次修改量，則有稱為學(xué)習(xí)速率

BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第30頁(yè)ipm=-1,wim=(第i個(gè)神經(jīng)元閾值)（5）注：由（1）式，第i個(gè)神經(jīng)元輸出可表示為尤其當(dāng)f是線性函數(shù)時(shí)

（6）BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第31頁(yè)圖7多層前饋網(wǎng)絡(luò)

2．多層前饋網(wǎng)絡(luò)

（l）輸入層不計(jì)在層數(shù)之內(nèi)，它有N0個(gè)神經(jīng)元．設(shè)網(wǎng)絡(luò)共有L層；輸出層為第L層；第k層有Nk個(gè)神經(jīng)元．假設(shè)：(2)設(shè)表示第k層第i神經(jīng)元所接收信息wk(i,j)表示從第k-1層第j個(gè)元到第k層第i個(gè)元權(quán)重，表第k層第i個(gè)元輸出BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第32頁(yè)（3）設(shè)層與層間神經(jīng)元都有信息交換（不然，可設(shè)它們之間權(quán)重為零）；但同一層神經(jīng)元之間無(wú)信息傳輸．(4)設(shè)信息傳輸方向是從輸入層到輸出層方向；所以稱為前向網(wǎng)絡(luò)．沒(méi)有反向傳輸信息．

（5）表示輸入第j個(gè)分量．假設(shè)：BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第33頁(yè)在上述假定下網(wǎng)絡(luò)輸入輸出關(guān)系能夠表示為：（7）

其中表示第k層第i個(gè)元閾值.BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第34頁(yè)定理2

對(duì)于含有多個(gè)隱層前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S函數(shù)；且指標(biāo)函數(shù)取

（8）（9）則每個(gè)訓(xùn)練循環(huán)中按梯度下降時(shí)；其權(quán)重迭代公式為（10）表示第-1層第個(gè)元對(duì)第層第個(gè)元輸入第次迭代時(shí)權(quán)重

其中（11）（12）BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第35頁(yè)BP算法

Step1

選定學(xué)習(xí)數(shù)據(jù),p=1,…,P,隨機(jī)確定初始權(quán)矩陣W（0）Step2

用（10）式反向修正,直到用完全部學(xué)習(xí)數(shù)據(jù).用學(xué)習(xí)數(shù)據(jù)計(jì)算網(wǎng)絡(luò)輸出Step3

BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第36頁(yè)五．應(yīng)用之例：蚊子分類已知兩類蚊子數(shù)據(jù)如表1：

翼長(zhǎng)觸角長(zhǎng)類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af目標(biāo)值0.90.90.90.10.90.90.90.1

翼長(zhǎng)觸角長(zhǎng)類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af目標(biāo)t0.10.10.10.10.10.10.1

BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第37頁(yè)輸入數(shù)據(jù)有15個(gè)，即,p=1,…,15;j=1,2;對(duì)應(yīng)15個(gè)輸出。建模：（輸入層，中間層，輸出層，每層元素應(yīng)取多少個(gè)？）建立神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第38頁(yè)要求目標(biāo)為：當(dāng)t(1)=0.9時(shí)表示屬于Apf類，t(2)=0.1表示屬于Af類。設(shè)兩個(gè)權(quán)重系數(shù)矩陣為：為閾值

其中BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第39頁(yè)分析以下：

為第一層輸出，同時(shí)作為第二層輸入。其中，為閾值，為激勵(lì)函數(shù)若令

（作為一固定輸入）（閾值作為固定輸入神經(jīng)元對(duì)應(yīng)權(quán)系數(shù)）

BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第40頁(yè)則有：取激勵(lì)函數(shù)為=則一樣，取

BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第41頁(yè)（1）隨機(jī)給出兩個(gè)權(quán)矩陣初值；比如用MATLAB軟件時(shí)能夠用以下語(yǔ)句：

令p=0詳細(xì)算法以下：=rand(2,3);=rand(1,3);(2)依據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)輸出

=BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第42頁(yè)?。?）計(jì)算因?yàn)樗?/p>

（4）取

（或其它正數(shù)，可調(diào)整大?。?/p>

BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第43頁(yè)(5)計(jì)算

和

j=1,2,3,i=1,2,3,計(jì)算

j=1,2,3j=1,2,3BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第44頁(yè)(6)p=p+1，轉(zhuǎn)（2）

注：僅計(jì)算一圈（p=1，2，…，15）是不夠，直到當(dāng)各權(quán)重改變很小時(shí)停頓，本例中，共計(jì)算了147圈，迭代了2205次。最終結(jié)果是：BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第45頁(yè)即網(wǎng)絡(luò)模型解為：

=BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第46頁(yè)BP網(wǎng)絡(luò)建模特點(diǎn)：非線性映照能力：神經(jīng)網(wǎng)絡(luò)能以任意精度迫近任何非線性連續(xù)函數(shù)。在建模過(guò)程中許多問(wèn)題正是含有高度非線性。并行分布處理方式：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲(chǔ)存和并行處理，這使它含有很強(qiáng)容錯(cuò)性和很快處理速度。自學(xué)習(xí)和自適應(yīng)能力：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，能從輸入、輸出數(shù)據(jù)中提取出規(guī)律性知識(shí)，記憶于網(wǎng)絡(luò)權(quán)值中，并含有泛化能力，即將這組權(quán)值應(yīng)用于普通情形能力。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)也能夠在線進(jìn)行。數(shù)據(jù)融合能力：神經(jīng)網(wǎng)絡(luò)能夠同時(shí)處理定量信息和定性信息，所以它能夠利用傳統(tǒng)工程技術(shù)（數(shù)值運(yùn)算）和人工智能技術(shù)（符號(hào)處理）。多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)輸入和輸出變量數(shù)目是任意，對(duì)單變量系統(tǒng)與多變量系統(tǒng)提供了一個(gè)通用描述方式，無(wú)須考慮各子系統(tǒng)間解耦問(wèn)題。BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第47頁(yè)神經(jīng)網(wǎng)絡(luò)應(yīng)用

人工神經(jīng)網(wǎng)絡(luò)以其含有自學(xué)習(xí)、自組織、很好容錯(cuò)性和優(yōu)良非線性迫近能力，受到眾多領(lǐng)域?qū)W者關(guān)注。在實(shí)際應(yīng)用中，80%～90%人工神經(jīng)網(wǎng)絡(luò)模型是采取誤差反傳算法或其改變形式網(wǎng)絡(luò)模型（簡(jiǎn)稱BP網(wǎng)絡(luò)），當(dāng)前主要應(yīng)用于函數(shù)迫近、模式識(shí)別、分類和數(shù)據(jù)壓縮或數(shù)據(jù)挖掘。BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第48頁(yè)基本BP網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)b1bia1c1cqcjahbpan………………Wp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnp輸出層LC隱含層LB輸入層LAWVBP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第49頁(yè)1.樣本數(shù)據(jù)1.1搜集和整理分組采取BP神經(jīng)網(wǎng)絡(luò)方法建模首要和前提條件是有足夠多經(jīng)典性好和精度高樣本。而且，為監(jiān)控訓(xùn)練（學(xué)習(xí)）過(guò)程使之不發(fā)生“過(guò)擬合”和評(píng)價(jià)建立網(wǎng)絡(luò)模型性能和泛化能力，必須將搜集到數(shù)據(jù)隨機(jī)分成訓(xùn)練樣本、檢驗(yàn)樣本（10%以上）和測(cè)試樣本（10%以上）3部分。另外，數(shù)據(jù)分組時(shí)還應(yīng)盡可能考慮樣本模式間平衡。BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第50頁(yè)2.神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)確實(shí)定2.1隱層數(shù)

普通認(rèn)為，增加隱層數(shù)能夠降低網(wǎng)絡(luò)誤差Hornik等早已證實(shí)：若輸入層和輸出層采取線性轉(zhuǎn)換函數(shù)，隱層采取Sigmoid轉(zhuǎn)換函數(shù)，則含一個(gè)隱層MLP網(wǎng)絡(luò)能夠以任意精度迫近任何有理函數(shù)。顯然，這是一個(gè)存在性結(jié)論。在設(shè)計(jì)BP網(wǎng)絡(luò)時(shí)可參考這一點(diǎn)，應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個(gè)隱層）。普通地，靠增加隱層節(jié)點(diǎn)數(shù)來(lái)取得較低誤差，其訓(xùn)練效果要比增加隱層數(shù)更輕易實(shí)現(xiàn)。。BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第51頁(yè)

在確定隱層節(jié)點(diǎn)數(shù)時(shí)必須滿足以下條件：隱層節(jié)點(diǎn)數(shù)必須小于N-1輸入層節(jié)點(diǎn)數(shù)（變量數(shù)）必須小于N-1。(2)訓(xùn)練樣本數(shù)必須多于網(wǎng)絡(luò)模型連接權(quán)數(shù)，普通為2~10倍，不然，樣本必須分成幾部分并采取“輪番訓(xùn)練”方法才可能得到可靠神經(jīng)網(wǎng)絡(luò)模型。2.2隱層節(jié)點(diǎn)數(shù)BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第52頁(yè)

學(xué)習(xí)率和沖量系數(shù)大學(xué)習(xí)率可能使網(wǎng)絡(luò)權(quán)值每一次修正量過(guò)大，甚至?xí)斐蓹?quán)值在修正過(guò)程中超出某個(gè)誤差極小值呈不規(guī)則跳躍而不收斂；但過(guò)小學(xué)習(xí)率造成學(xué)習(xí)時(shí)間過(guò)長(zhǎng)，不過(guò)能確保收斂于某個(gè)極小值。所以，普通傾向選取較小學(xué)習(xí)率以確保學(xué)習(xí)過(guò)程收斂性（穩(wěn)定性），通常在0.01~0.8之間。增加沖量項(xiàng)目標(biāo)是為了防止網(wǎng)絡(luò)訓(xùn)練陷于較淺局部極小點(diǎn)。理論上其值大小應(yīng)與權(quán)值修正量大小相關(guān)，但實(shí)際應(yīng)用中普通取常量。通常在0~1之間，而且普通比學(xué)習(xí)率要大。BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第53頁(yè)4網(wǎng)絡(luò)初始連接權(quán)值因?yàn)镾igmoid轉(zhuǎn)換函數(shù)特征，普通要求初始權(quán)值分布在-0.5~0.5之間比較有效。BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第54頁(yè)MATLAB神經(jīng)網(wǎng)絡(luò)工具箱應(yīng)用在網(wǎng)絡(luò)訓(xùn)練過(guò)程中使用是Matlab7.0forWindows軟件，對(duì)于BP神經(jīng)元網(wǎng)絡(luò)訓(xùn)練能夠使用NeuralNetworksToolboxforMatlab。美國(guó)Mathwork企業(yè)推出MATLAB軟件包既是一個(gè)非常實(shí)用有效科研編程軟件環(huán)境，又是一個(gè)進(jìn)行科學(xué)和工程計(jì)算交互式程序。MATLAB本身帶有神經(jīng)網(wǎng)絡(luò)工具箱，能夠大大方便權(quán)值訓(xùn)練，降低訓(xùn)練程序工作量，有效提升工作效率.BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第55頁(yè)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實(shí)現(xiàn)

MATLAB中BP神經(jīng)網(wǎng)絡(luò)主要函數(shù)和基本功效函數(shù)名功能newff()生成一個(gè)前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對(duì)數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù)BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第56頁(yè)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實(shí)現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)主要函數(shù)和基本功效newff()功效建立一個(gè)前向BP網(wǎng)絡(luò)格式net=newff(PR，[S1S2...SN1]，{TF1TF2...TFN1}，BTF，BLF，PF)說(shuō)明net為創(chuàng)建新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入取向量取值范圍矩陣；[S1S2…SNl]表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元個(gè)數(shù)；{TFlTF2…TFN1}表示網(wǎng)絡(luò)隱含層和輸出層傳輸函數(shù)，默認(rèn)為‘tansig’；BTF表示網(wǎng)絡(luò)訓(xùn)練函數(shù)，默認(rèn)為‘trainlm’；BLF表示網(wǎng)絡(luò)權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為‘learngdm’；PF表示性能數(shù)，默認(rèn)為‘mse’。BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第57頁(yè)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實(shí)現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)主要函數(shù)和基本功效tansig()功效正切sigmoid激活函數(shù)格式a=tansig(n)說(shuō)明雙曲正切Sigmoid函數(shù)把神經(jīng)元輸入范圍從(-∞，+∞)映射到(-1，1)。它是可導(dǎo)函數(shù)，適合用于BP訓(xùn)練神經(jīng)元。logsig()功效對(duì)數(shù)Sigmoid激活函數(shù)格式a=logsig(N)說(shuō)明對(duì)數(shù)Sigmoid函數(shù)把神經(jīng)元輸入范圍從(-∞，+∞)映射到(0，1)。它是可導(dǎo)函數(shù)，適合用于BP訓(xùn)練神經(jīng)元。BP神經(jīng)網(wǎng)絡(luò)詳解與實(shí)例專業(yè)知識(shí)第58頁(yè)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實(shí)現(xiàn)例2-3，下表為某藥品銷售情況，現(xiàn)構(gòu)建一個(gè)以下三層BP神經(jīng)網(wǎng)絡(luò)對(duì)藥品銷售進(jìn)行預(yù)測(cè)：輸入層有三個(gè)結(jié)點(diǎn)，隱含層結(jié)點(diǎn)數(shù)為5，隱含層激活函數(shù)為tansig；輸出層結(jié)點(diǎn)數(shù)為1個(gè)，輸出層激活函數(shù)為logsig，并利用此網(wǎng)絡(luò)對(duì)藥品銷售量進(jìn)行預(yù)測(cè)，預(yù)測(cè)方法采取滾動(dòng)預(yù)測(cè)方式，即用前三個(gè)月銷售量來(lái)預(yù)測(cè)第四個(gè)月銷售量，如用1、2、3月銷售量為輸入預(yù)測(cè)第4個(gè)月銷售量，用2、3、4月銷售量為輸入預(yù)測(cè)第5個(gè)月銷售量.