12.神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)

12、神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法

人工神經(jīng)網(wǎng)絡(luò)

ArtificialNeuralNetwroks

-----ANN

1.引言利用機(jī)器模仿人類的智能是長(zhǎng)期以來(lái)人們認(rèn)識(shí)自然、改造自然和認(rèn)識(shí)自身的理想。研究ANN目的：（1）探索和模擬人的感覺(jué)、思維和行為的規(guī)律，設(shè)計(jì)具有人類智能的計(jì)算機(jī)系統(tǒng)。（2）探討人腦的智能活動(dòng)，用物化了的智能來(lái)考察和研究人腦智能的物質(zhì)過(guò)程及其規(guī)律。2.人工神經(jīng)網(wǎng)絡(luò)概述

什么是人工神經(jīng)網(wǎng)絡(luò)？T.Koholen的定義：“人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)。”神經(jīng)網(wǎng)絡(luò)原理神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究表明，人腦極其復(fù)雜，由一千多億個(gè)神經(jīng)元交織在一起的網(wǎng)狀結(jié)構(gòu)構(gòu)成，其中大腦皮層約140億個(gè)神經(jīng)元，小腦皮層約1000億個(gè)神經(jīng)元。人腦能完成智能、思維等高級(jí)活動(dòng)，為了能利用數(shù)學(xué)模型來(lái)模擬人腦的活動(dòng)，導(dǎo)致了神經(jīng)網(wǎng)絡(luò)的研究。神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細(xì)胞)，它是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。

每個(gè)神經(jīng)元都由一個(gè)細(xì)胞體，一個(gè)連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支—樹突組成。圖1.單個(gè)神經(jīng)元的解剖圖

神經(jīng)元由四部分構(gòu)成：（1）細(xì)胞體（主體部分）：包括細(xì)胞質(zhì)、細(xì)胞膜和細(xì)胞核；（2）樹突：用于為細(xì)胞體傳入信息；（3）軸突：為細(xì)胞體傳出信息，其末端是軸突末梢，含傳遞信息的化學(xué)物質(zhì)；（4）突觸：是神經(jīng)元之間的接口（104~105個(gè)/每個(gè)神經(jīng)元）。通過(guò)樹突和軸突，神經(jīng)元之間實(shí)現(xiàn)了信息的傳遞。神經(jīng)元具有如下功能：(1)

興奮與抑制：如果傳入神經(jīng)元的沖動(dòng)經(jīng)整和后使細(xì)胞膜電位升高，超過(guò)動(dòng)作電位的閾值時(shí)即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突經(jīng)神經(jīng)末梢傳出。如果傳入神經(jīng)元的沖動(dòng)經(jīng)整和后使細(xì)胞膜電位降低，低于動(dòng)作電位的閾值時(shí)即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動(dòng)。(2)學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)和減弱，因此神經(jīng)元具有學(xué)習(xí)與遺忘的功能。決定神經(jīng)網(wǎng)絡(luò)模型性能三大要素為：(1)

神經(jīng)元（信息處理單元）的特性；(2)

神經(jīng)元之間相互連接的形式—拓?fù)浣Y(jié)構(gòu)；(3)

為適應(yīng)環(huán)境而改善性能的學(xué)習(xí)規(guī)則。神經(jīng)網(wǎng)絡(luò)的分類

目前神經(jīng)網(wǎng)絡(luò)模型的種類相當(dāng)豐富，已有近40余種神經(jīng)網(wǎng)絡(luò)模型。典型的神經(jīng)網(wǎng)絡(luò)有多層前向傳播網(wǎng)絡(luò)（BOP網(wǎng)絡(luò)）、Hopfield網(wǎng)絡(luò)、CMAC小腦模型、ART網(wǎng)絡(luò)、BAM雙向聯(lián)想記憶網(wǎng)絡(luò)、SOM自組織網(wǎng)絡(luò)、Blotzman機(jī)網(wǎng)絡(luò)和Madaline網(wǎng)絡(luò)等。

根據(jù)神經(jīng)網(wǎng)絡(luò)的連接方式，神經(jīng)網(wǎng)絡(luò)可分為三種形式：（1）前向網(wǎng)絡(luò)如圖所示，神經(jīng)元分層排列，組成輸入層、隱含層和輸出層。每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。輸入模式經(jīng)過(guò)各層的順次變換后，由輸出層輸出。在各神經(jīng)元之間不存在反饋。感知器和誤差反向傳播網(wǎng)絡(luò)采用前向網(wǎng)絡(luò)形式。（2）反饋網(wǎng)絡(luò)該網(wǎng)絡(luò)結(jié)構(gòu)在輸出層到輸入層存在反饋，即每一個(gè)輸入節(jié)點(diǎn)都有可能接受來(lái)自外部的輸入和來(lái)自輸出神經(jīng)元的反饋。這種神經(jīng)網(wǎng)絡(luò)是一種反饋動(dòng)力學(xué)系統(tǒng)，它需要工作一段時(shí)間才能達(dá)到穩(wěn)定。

Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡(jiǎn)單且應(yīng)用最廣泛的模型，它具有聯(lián)想記憶的功能，如果將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Hopfield神經(jīng)網(wǎng)絡(luò)還可以解決尋優(yōu)問(wèn)題。(3)自組織網(wǎng)絡(luò)

網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。Kohonen網(wǎng)絡(luò)是最典型的自組織網(wǎng)絡(luò)。Kohonen認(rèn)為，當(dāng)神經(jīng)網(wǎng)絡(luò)在接受外界輸入時(shí)，網(wǎng)絡(luò)將會(huì)分成不同的區(qū)域，不同區(qū)域具有不同的響應(yīng)特征，即不同的神經(jīng)元以最佳方式響應(yīng)不同性質(zhì)的信號(hào)激勵(lì)，從而形成一種拓?fù)湟饬x上的特征圖，該圖實(shí)際上是一種非線性映射。這種映射是通過(guò)無(wú)監(jiān)督的自適應(yīng)過(guò)程完成的，所以也稱為自組織特征圖。Kohonen網(wǎng)絡(luò)通過(guò)無(wú)導(dǎo)師的學(xué)習(xí)方式進(jìn)行權(quán)值的學(xué)習(xí)，穩(wěn)定后的網(wǎng)絡(luò)輸出就對(duì)輸入模式生成自然的特征映射，從而達(dá)到自動(dòng)聚類的目的圖

自組織神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法是神經(jīng)網(wǎng)絡(luò)智能特性的重要標(biāo)志，神經(jīng)網(wǎng)絡(luò)通過(guò)學(xué)習(xí)算法，實(shí)現(xiàn)了自適應(yīng)、自組織和自學(xué)習(xí)的能力。目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法有多種，按有無(wú)導(dǎo)師分類，可分為有導(dǎo)師學(xué)習(xí)（SupervisedLearning）、無(wú)導(dǎo)師學(xué)習(xí)（UnsupervisedLearning）和再勵(lì)學(xué)習(xí)（ReinforcementLearning）等幾大類。在有導(dǎo)師的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號(hào)）進(jìn)行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。在無(wú)導(dǎo)師的學(xué)習(xí)方式中，輸入模式進(jìn)入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照一預(yù)先設(shè)定的規(guī)則（如競(jìng)爭(zhēng)規(guī)則）自動(dòng)調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。再勵(lì)學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。圖有導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖無(wú)導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)特征神經(jīng)網(wǎng)絡(luò)具有以下幾個(gè)特征：（1）能逼近任意非線性函數(shù)；（2）信息的并行分布式處理與存儲(chǔ)；(3)可以多輸入、多輸出；（4）便于用超大規(guī)模集成電路（VISI）或光學(xué)集成電路系統(tǒng)實(shí)現(xiàn)，或用現(xiàn)有的計(jì)算機(jī)技術(shù)實(shí)現(xiàn)；（5）能進(jìn)行學(xué)習(xí)，以適應(yīng)環(huán)境的變化。神經(jīng)網(wǎng)絡(luò)控制的研究領(lǐng)域

1基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí)①將神經(jīng)網(wǎng)絡(luò)作為被辨識(shí)系統(tǒng)的模型，可在已知常規(guī)模型結(jié)構(gòu)的情況下，估計(jì)模型的參數(shù)。②利用神經(jīng)網(wǎng)絡(luò)的線性、非線性特性，可建立線性、非線性系統(tǒng)的靜態(tài)、動(dòng)態(tài)、逆動(dòng)態(tài)及預(yù)測(cè)模型，實(shí)現(xiàn)非線性系統(tǒng)的建模和辨識(shí)。2神經(jīng)網(wǎng)絡(luò)控制器神經(jīng)網(wǎng)絡(luò)作為實(shí)時(shí)控制系統(tǒng)的控制器，對(duì)不確定、不確知系統(tǒng)及擾動(dòng)進(jìn)行有效的控制，使控制系統(tǒng)達(dá)到所要求的動(dòng)態(tài)、靜態(tài)特性。

3神經(jīng)網(wǎng)絡(luò)與其他算法相結(jié)合

將神經(jīng)網(wǎng)絡(luò)與專家系統(tǒng)、模糊邏輯、遺傳算法等相結(jié)合，可設(shè)計(jì)新型智能控制系統(tǒng)。4優(yōu)化計(jì)算

在常規(guī)的控制系統(tǒng)中，常遇到求解約束優(yōu)化問(wèn)題，神經(jīng)網(wǎng)絡(luò)為這類問(wèn)題的解決提供了有效的途徑。

目前，神經(jīng)網(wǎng)絡(luò)控制已經(jīng)在多種控制結(jié)構(gòu)中得到應(yīng)用，如PID控制、模型參考自適應(yīng)控制、前饋反饋控制、內(nèi)模控制、預(yù)測(cè)控制、模糊控制等。神經(jīng)網(wǎng)絡(luò)研究的發(fā)展(1)第一次熱潮(40-60年代未)1943年,美國(guó)心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitts在提出了一個(gè)簡(jiǎn)單的神經(jīng)元模型，即MP模型。1958年，F(xiàn).Rosenblatt等研制出了感知機(jī)(Perceptron）。(2)低潮(70-80年代初):(3)第二次熱潮

1982年，美國(guó)物理學(xué)家J.J.Hopfield提出Hopfield模型，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò).他解決問(wèn)題的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過(guò)程,這是符號(hào)邏輯處理方法所不具備的性質(zhì).1987年首屆國(guó)際ANN大會(huì)在圣地亞哥召開，國(guó)際ANN聯(lián)合會(huì)成立，創(chuàng)辦了多種ANN國(guó)際刊物。1990年12月，北京召開首屆學(xué)術(shù)會(huì)議。人工神經(jīng)網(wǎng)絡(luò)研究的局限性（1）ANN研究受到腦科學(xué)研究成果的限制。（2）ANN缺少一個(gè)完整、成熟的理論體系。（3）ANN研究帶有濃厚的策略和經(jīng)驗(yàn)色彩。（4）ANN與傳統(tǒng)技術(shù)的接口不成熟。

一般而言,ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越,只有當(dāng)常規(guī)方法解決不了或效果不佳時(shí)ANN方法才能顯示出其優(yōu)越性。尤其對(duì)問(wèn)題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障診斷、特征提取和預(yù)測(cè)等問(wèn)題,ANN往往是最有利的工具。另一方面,ANN對(duì)處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問(wèn)題,表現(xiàn)出極大的靈活性和自適應(yīng)性。

目前，在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，絕大部分的神經(jīng)網(wǎng)絡(luò)模型是采用BP網(wǎng)絡(luò)和它的變化形式。BP網(wǎng)絡(luò)主要用于：

◆函數(shù)逼近

◆模式識(shí)別

◆

分類

◆數(shù)據(jù)壓縮3、BP神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型

學(xué)習(xí)過(guò)程由信號(hào)的正向傳播與反向傳播兩個(gè)過(guò)程組成。正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)各隱層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望輸出（教師信號(hào)）不符合時(shí)，則轉(zhuǎn)入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過(guò)隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)，此信號(hào)作為修正各單元權(quán)值的依據(jù)。3.1BP算法的基本思想：3.2BP算法基本步驟1．初始化網(wǎng)絡(luò)各層的權(quán)值及神經(jīng)元閾值。（一個(gè)小的隨機(jī)數(shù)）2.

向前傳播輸入：對(duì)每一樣本，計(jì)算隱藏層和輸出層每個(gè)單元的凈輸入和輸出。

BP算法基本步驟3.后向傳播誤差

通過(guò)更新權(quán)值和偏置以反映網(wǎng)絡(luò)的預(yù)測(cè)誤差。

BP算法基本步驟終止條件：更新權(quán)值較小正確分類的樣本百分比超過(guò)預(yù)先指定的訓(xùn)練周期（實(shí)踐中，權(quán)收斂可能需要數(shù)十萬(wàn)個(gè)周期）

3·3例：從蠓蟲分類說(shuō)起1981年生物學(xué)家格若根（W．Grogan）和維什（W．Wirth）發(fā)現(xiàn)了兩類蠓蟲(midges)．他們測(cè)量了這兩類蠓蟲每個(gè)個(gè)體的翼長(zhǎng)和觸角長(zhǎng)，數(shù)據(jù)如下：翼長(zhǎng)觸角長(zhǎng)類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼長(zhǎng)觸角長(zhǎng)類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af后來(lái)有人抓到三只新的蠓蟲，它們的觸角長(zhǎng)和翼長(zhǎng)分別為(l.24,1.80);

(l.28，1.84)；（1.40，2.04）．問(wèn)它們應(yīng)分別屬于哪一個(gè)種類？

解法一：把翼長(zhǎng)作縱坐標(biāo)，觸角長(zhǎng)作橫坐標(biāo)；那么每個(gè)蠓蟲的翼長(zhǎng)和觸角決定了坐標(biāo)平面的一個(gè)點(diǎn).其中6個(gè)蠓蟲屬于APf類；用黑點(diǎn)“·”表示；9個(gè)蠓蟲屬Af類；用小圓圈“?！北硎荆玫降慕Y(jié)果見圖1圖1蠓蟲的觸角長(zhǎng)和翼長(zhǎng)思路：作一直線將兩類蠓蟲分開

例如；取A＝（1.44，2.10）和B＝(1.10，1.16)，過(guò)AB兩點(diǎn)作一條直線：

y＝1.47x-0.017其中X表示觸角長(zhǎng)；y表示翼長(zhǎng)．

分類規(guī)則：設(shè)一個(gè)蠓蟲的數(shù)據(jù)為（x,y）如果y≥1.47x-0.017，則判斷蠓蟲屬Apf類；

如果y＜1.47x-0.017；則判斷蠓蟲屬Af類．

分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于Apf類．圖2分類直線圖

?缺陷：根據(jù)什么原則確定分類直線？

若取A=(1.46,2.10),B=(1.1,1.6)不變，則分類直線變?yōu)閥=1.39x+0.071分類結(jié)果變?yōu)椋?/p>

(1.24,1.80)，

(1.40,2.04)屬于Apf類；

(1.28,1.84)屬于Af類

哪一分類直線才是正確的呢？

因此如何來(lái)確定這個(gè)判別直線是一個(gè)值得研究的問(wèn)題．一般地講，應(yīng)該充分利用已知的數(shù)據(jù)信息來(lái)確定判別直線．再如，如下的情形已經(jīng)不能用分類直線的辦法：

新思路：將問(wèn)題看作一個(gè)系統(tǒng)，蠓蟲的數(shù)據(jù)作為輸入，蠓蟲的類型作為輸出，研究輸入與輸出的關(guān)系。神經(jīng)元的數(shù)學(xué)模型

圖4神經(jīng)元的數(shù)學(xué)模型3·4人工神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型其中x＝（x1，…xm）T

輸入向量，y為輸出，wi是權(quán)系數(shù)；輸入與輸出具有如下關(guān)系：θ為閾值，f（X）是激發(fā)函數(shù)；它可以是線性函數(shù)，也可以是非線性函數(shù)．例如，若記

取激發(fā)函數(shù)為符號(hào)函數(shù)

則

S型激發(fā)函數(shù)：

或

注：若將閾值看作是一個(gè)權(quán)系數(shù)，-1是一個(gè)固定的輸入，另有m-1個(gè)正常的輸入，則（1）式也可表示為：

（1）

參數(shù)識(shí)別：假設(shè)函數(shù)形式已知，則可以從已有的輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及閾值。

假設(shè)有P個(gè)訓(xùn)練樣本，即有P個(gè)輸入輸出對(duì)（Ip,Tp）,p=1,…,P,其中

輸入向量為

:目標(biāo)輸出向量為（實(shí)際上的）:

網(wǎng)絡(luò)輸出向量為

（理論上的）

（p=1,…,P）

（2）

記wij為從輸入向量的第j(j=1,…,m)個(gè)分量到輸出向量的第i(i=1,…,n)個(gè)分量的權(quán)重。通常理論值與實(shí)際值有一誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不斷地把與比較，并根據(jù)極小原則修改參數(shù)wij，使誤差平方和達(dá)最?。河汥elta學(xué)習(xí)規(guī)則:

（4）

（3）

表示遞推一次的修改量，則有稱為學(xué)習(xí)的速率

ipm=-1,wim=(第i個(gè)神經(jīng)元的閾值)（5）注：由（1）式，第i個(gè)神經(jīng)元的輸出可表示為特別當(dāng)f是線性函數(shù)時(shí)

（6）BP算法

Step1

選定學(xué)習(xí)的數(shù)據(jù),p=1,…,P,隨機(jī)確定初始權(quán)矩陣W（0）Step2

用（10）式反向修正,直到用完所有學(xué)習(xí)數(shù)據(jù).用學(xué)習(xí)數(shù)據(jù)計(jì)算網(wǎng)絡(luò)輸出Step3

3.5

BP網(wǎng)絡(luò)的MATLAB函數(shù)newff

創(chuàng)建前向BP網(wǎng)絡(luò)格式：net=newff(PR,[S1S2...SNl],{TF1TF2...TFNl},BTF,BLF,PF)

其中：PR——R維輸入元素的R×2階最大最小值矩陣；

Si——

第i層神經(jīng)元的個(gè)數(shù)，共N1層；

TFi——

第i層的轉(zhuǎn)移函數(shù)，默認(rèn)‘tansig’；

BTF——BP網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)‘trainlm’;BLF——BP權(quán)值/偏差學(xué)習(xí)函數(shù)，默認(rèn)’learngdm’PF——

性能函數(shù)，默認(rèn)‘mse’；（誤差）MATLAB中有關(guān)BP網(wǎng)絡(luò)的重要函數(shù)例如：net=newff([020;016;012;012;013],[51],{'logsig''purelin'},'traingdx');三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：中間層為5輸出層為1輸入層5維向量的取值范圍訓(xùn)練函數(shù)轉(zhuǎn)移函數(shù)（1）purelin——

線性傳遞函數(shù)；（2）tansig——

雙曲正切S型（sigmoid）傳遞函數(shù)；（3）logsig——

對(duì)數(shù)S型（sigmoid）傳遞函數(shù)；1、轉(zhuǎn)移函數(shù)：（1）（2）（3）2、訓(xùn)練函數(shù)：trainlm——Levenberg-Marquardt的BP算法訓(xùn)練函數(shù)；trainbfg——BFGS擬牛頓BP算法訓(xùn)練函數(shù)；trainrp

——

具有彈性的BP算法訓(xùn)練；traingd

——

梯度下降是BP算法訓(xùn)練;traingda

——

梯度下降自適應(yīng)lr的BP算法訓(xùn)練；traingdm——梯度下降動(dòng)量的BP算法訓(xùn)練；traingdx——梯度下降動(dòng)量和自適應(yīng)lr的BP算法訓(xùn)練；

如果對(duì)神經(jīng)網(wǎng)絡(luò)的輸入、輸出數(shù)據(jù)進(jìn)行一定的預(yù)處理，可以加快網(wǎng)絡(luò)的訓(xùn)練速度。有三種方法：

1）歸一化將每組數(shù)據(jù)都變?yōu)?1至1之間的數(shù)，matlab中有函數(shù)：premnmx,postmnmx,tramnmx算法：

pn=2*(p-minp)/(maxp-minp)-1;2）標(biāo)準(zhǔn)化將每組數(shù)據(jù)變換為均值為0，方差為1的數(shù)，所涉及的函數(shù)有：prestd,posttd,trastd3)正交化主成分分析也可以將數(shù)據(jù)進(jìn)行正交處理，減少輸入數(shù)據(jù)的處理，函數(shù)有：prepca,trapca.注意：數(shù)據(jù)預(yù)處理輸入向量P=[012345678910];期望輸出T=[01234321234];例：創(chuàng)建兩層的BP網(wǎng)絡(luò)：net=newff

(

[010],

[51],

{'tansig','purelin'}

);Y=sim(net,P);%仿真plot(P,T,P,Y,‘o’)%圖形輸出或net.trainParam.epochs=50;%訓(xùn)練次數(shù)設(shè)定net=train(net,P,T);%訓(xùn)練網(wǎng)絡(luò)Y=sim(net,P);plot(P,T,P,Y,'o')Y=-2.3431-2.7532-2.4510-1.2784-0.8590-0.29810.24950.48111.03751.22681.4232T=[01234321234];%期望輸出第一種情況的輸出結(jié)果：誤差很大！未訓(xùn)練，非線性映射能力差。Y=-0.00191.00451.98963.01573.96373.10211.81751.20561.83223.11623.9551T=[01234321234];%期望輸出第二種情況的輸出結(jié)果：思考：究竟誤差有多大？修改程序：P=[012345678910];T=[01234321234];net=newff([010],[51],{'tansig''purelin'});net.trainparam.show=50;%每次循環(huán)50次net.trainParam.epochs=500;%最大循環(huán)500次net.trainparam.goal=0.01;%期望目標(biāo)誤差最小值net=train(net,P,T);%對(duì)網(wǎng)絡(luò)進(jìn)行反復(fù)訓(xùn)練Y=sim(net,P)Figure%打開另外一個(gè)圖形窗口plot(P,T,P,Y,'o')Y=0.00051.00261.99473.01343.9429

3.12111.84821.17551.85683.11503.9595第二種情況的輸出結(jié)果：輸入數(shù)據(jù)有15個(gè)，即,p=1,…,15;j=1,2;對(duì)應(yīng)15個(gè)輸出。建模：（輸入層，中間層，輸出層，每層的元素應(yīng)取多少個(gè)？）建立神經(jīng)網(wǎng)絡(luò)3.6．應(yīng)用：蠓蟲的分類如下給出數(shù)值化的結(jié)果：mcfl1.mP=[1.24 1.361.381.381.381.41.481.541.561.141.181.21.261.281.3;1.721.741.641.821.91.71.821.822.081.781.961.862.02.01.96];%目標(biāo)向量T=[111111111000000];%建立一個(gè)BP網(wǎng)絡(luò)net=newff

(

[03],

[51],

{'tansig','purelin'}

);%網(wǎng)絡(luò)訓(xùn)練次數(shù)net.trainParam.epochs=50;net=train(net,P,T);plot(P,T,P,Y,'o'%輸出仿真結(jié)果Y=sim(net,P)%利用訓(xùn)練好的BP網(wǎng)絡(luò)進(jìn)行分類p=[1.24,1.28,1.4;1.8,1.84,2.04];a=sim(net,p)%利用訓(xùn)練好的BP網(wǎng)絡(luò)對(duì)未知類別樣本進(jìn)行分類p=[1.24,1.28,1.4;1.8,1.84,2.04];a=sim(net,p);plot(p,a);ThePoint=findobj(gca,'type','line');set(ThePoint,'Color','red');holdon;plot(P,T);plotpc(net.IW{1},net.b{1});holdoff;disp('Endofpercept')分類問(wèn)題的MATLAB軟件實(shí)現(xiàn)分類結(jié)果：AfApf3.6神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的確定1隱層數(shù)

一般認(rèn)為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差Hornik等早已證明：若輸入層和輸出層采用線性轉(zhuǎn)換函數(shù)，隱層采用Sigmoid轉(zhuǎn)換函數(shù)，則含一個(gè)隱層的MLP網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。顯然，這是一個(gè)存在性結(jié)論。在設(shè)計(jì)BP網(wǎng)絡(luò)時(shí)可參考這一點(diǎn)，應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個(gè)隱層）。一般地，靠增加隱層節(jié)點(diǎn)數(shù)來(lái)獲得較低的誤差，其訓(xùn)練效果要比增加隱層數(shù)更容易實(shí)現(xiàn)。。

在確定隱層節(jié)點(diǎn)數(shù)時(shí)必須滿足下列條件：隱層節(jié)點(diǎn)數(shù)必須小于N-1；輸入層的節(jié)點(diǎn)數(shù)（變量數(shù)）必須小于N-1。(2)訓(xùn)練樣本數(shù)必須多于網(wǎng)絡(luò)模型的連接權(quán)數(shù)，一般為2~10倍，否則，樣本必須分成幾部分并采用“輪流訓(xùn)練”的方法才可能得到可靠的神經(jīng)網(wǎng)絡(luò)模型。2.隱層節(jié)點(diǎn)數(shù)

學(xué)習(xí)率和沖量系數(shù)大的學(xué)習(xí)率可能使網(wǎng)絡(luò)權(quán)值每一次的修正量過(guò)大，甚至?xí)?dǎo)致權(quán)值在修正過(guò)程中超出某個(gè)誤差的極小值呈不規(guī)則跳躍而不收斂；但過(guò)小的學(xué)習(xí)率導(dǎo)致學(xué)習(xí)時(shí)間過(guò)長(zhǎng)，不過(guò)能保證收斂于某個(gè)極小值。所以，一般傾向選取較小的學(xué)習(xí)率以保證學(xué)習(xí)過(guò)程的收斂性（穩(wěn)定性），通常在0.01~0.8之間。增加沖量項(xiàng)的目的是為了避免網(wǎng)絡(luò)訓(xùn)練陷于較淺的局部極小點(diǎn)。理論上其值大小應(yīng)與權(quán)值修正量的大小有關(guān)，但實(shí)際應(yīng)用中一般取常量。通常在0~1之間，而且一般比學(xué)習(xí)率要大。例3，