系統(tǒng)辨識建模

1、上海大學(xué) 2015 2016學(xué)年 冬 季學(xué)期研究生課程考試小論文格式課程名稱： 系統(tǒng)建模與辨識 課程編號： 09SB59002 論文題目: 基于改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)流量預(yù)測 研究生姓名: 李金田 學(xué) 號: 15721524 論文評語:成 績: 任課教師: 張憲 評閱日期: 12 / 12基于改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)流量預(yù)測15721524，李金田2016/3/4摘 要：隨著無線通信技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)在人們的日常生活中占據(jù)了越來越重要的位置。網(wǎng)絡(luò)中流量監(jiān)控和預(yù)測對于研究網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)有著重要的意義。本文參考BP算法，通過分析算法的優(yōu)勢和存在的一些問題，針對這些缺陷進(jìn)行了改進(jìn)。通過建

2、立新的流量傳輸?shù)膫鬟f函數(shù)，對比了經(jīng)典的傳遞函數(shù)，并且在網(wǎng)絡(luò)中進(jìn)行了流量預(yù)測的實驗和驗證。新方法在試驗中表現(xiàn)出了良好的實驗性能，在網(wǎng)絡(luò)流量預(yù)測中有很好的應(yīng)用，可以作為網(wǎng)絡(luò)流量預(yù)測的一個新方法和新思路，并且對研究網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)有著重要的啟發(fā)作用。網(wǎng)絡(luò)流量預(yù)測在研究網(wǎng)絡(luò)行為方面有著重要的作用。ARMA時間序列模型是比較常見的用于網(wǎng)絡(luò)流量預(yù)測的模型。但是用在普通時間序列模型里面的一些參數(shù)很難估計，同時非固定的時間序列問題用ARMA模型很難解決。人工神經(jīng)網(wǎng)絡(luò)技術(shù)通過對歷史數(shù)據(jù)的學(xué)習(xí)可能對大量數(shù)據(jù)的特征進(jìn)行緩存記憶，對于解決大數(shù)據(jù)的復(fù)雜問題很合適。IP6 網(wǎng)絡(luò)流量預(yù)測是非線性的，可以使用合適的神經(jīng)網(wǎng)絡(luò)模型進(jìn)

3、行計算。A Novel BP Neural Network Model for Traffic Prediction of The Next Generation Network.Abstract: With the rapid development of wireless communication technology, the internet occupy an important position in peoples daily life. Monitoring and predicting the traffic of the network is of great signi

4、ficant to study the topology of the network. According to the BP algorithm, this paper proposed an improved BP algorithm based on the analysis of the drawback of the algorithm. By establishing a new transfer function of the traffic transmission, we compare it with the previous transmission function.

5、 Then, the function is used to do experiments, found to be the better than before. This method can be used as a new way to predict the network traffic, which has important implications for the study of the network topology. Network traffic prediction is an important research aspect of network behavi

6、or. Conventionally, ARMA time sequence model is usually adopted in network traffic prediction. However, the parameters used in normal time sequence models are difficult to be estimated and the nonstationary time sequence problem cannot be processed using ARMA time sequence problem model. The neural

7、network technique may memory large quantity of characteristics of data set by learning previous data, and is suitable for solving these problems with large complexity. IP6 network traffic prediction is just the problem with nonlinear feature and can be solved using appropriate neural network model.1

8、. 引言人工神經(jīng)網(wǎng)絡(luò)是近年來的熱點研究領(lǐng)域，涉及到電子科學(xué)與技術(shù)、信息與通信工程、計算機(jī)科學(xué)與技術(shù)、控制科學(xué)與技術(shù)等很多學(xué)科，其應(yīng)用領(lǐng)域包括：建模、時間序列分析、模式識別和控制等，并在不斷的拓展。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法一直是人工神經(jīng)網(wǎng)絡(luò)理論研究和應(yīng)用領(lǐng)域中一個重要的研究領(lǐng)域。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法一直是人工神經(jīng)網(wǎng)絡(luò)理論研究和應(yīng)用領(lǐng)域中的一個重要研究內(nèi)容，尤其是對前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的研究，至今沒有一個十分理想的解決辦法。其中BP神經(jīng)網(wǎng)絡(luò)在前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法中有著最廣、最具有代表性。通過對BP神經(jīng)網(wǎng)絡(luò)算法較為深入的研究，提出了改進(jìn)算法。隨著IPV614的廣泛應(yīng)用，地址空間擴(kuò)展到128位，網(wǎng)絡(luò)結(jié)構(gòu)變得越

9、來越復(fù)雜。這就導(dǎo)致網(wǎng)絡(luò)管理和運營出現(xiàn)了新的問題。網(wǎng)絡(luò)流量通過建立網(wǎng)絡(luò)流量模型，采用歷史的數(shù)據(jù)可以預(yù)測網(wǎng)絡(luò)中一段時間內(nèi)的未來流量變化。一個好的模型不僅能夠準(zhǔn)確地反映歷史數(shù)據(jù)的特性，并且能夠預(yù)測未來一段時間內(nèi)的網(wǎng)絡(luò)流量。因此根據(jù)不同的網(wǎng)絡(luò)特性，建立高效的網(wǎng)絡(luò)流量模型對于網(wǎng)絡(luò)流量的預(yù)測有著十分重要的意義。和IPV4相比，IPV6網(wǎng)絡(luò)有很多的新特性，比如說：多媒體流量和IPV6拓?fù)浣Y(jié)構(gòu)下的大量的有規(guī)律的數(shù)據(jù)流。因此，進(jìn)行IPV6結(jié)構(gòu)下的網(wǎng)絡(luò)流量預(yù)測需要建立新的模型，使流量預(yù)測更加準(zhǔn)確。人工神經(jīng)網(wǎng)絡(luò)技術(shù)廣泛的應(yīng)用到IPV4中進(jìn)行流量預(yù)測，但是這些傳統(tǒng)的網(wǎng)絡(luò)模型通常都是假設(shè)網(wǎng)絡(luò)中流量是線性的，使用數(shù)組和線

10、性遞歸技術(shù)描述系統(tǒng)。但是IPV6中的網(wǎng)絡(luò)流量沒有表現(xiàn)出明顯的規(guī)律性，因為網(wǎng)絡(luò)流量包含了很多的非線性因素。最近的研究研究表明，傳統(tǒng)的時間序列模型，線性預(yù)測模型不能夠解決復(fù)雜的非線性流量預(yù)測，在一定程度上影響了網(wǎng)絡(luò)流量預(yù)測的結(jié)果。2. 研究背景2.1神經(jīng)網(wǎng)絡(luò)簡介思維學(xué)普遍認(rèn)為，人類大腦的思維分為抽象邏輯、形象邏輯和靈感思維三種基本方式。神經(jīng)網(wǎng)絡(luò)的研究內(nèi)容相當(dāng)廣泛，反映了多學(xué)科交叉技術(shù)領(lǐng)域的特點。神經(jīng)網(wǎng)絡(luò)所能實現(xiàn)的行為很多，主要的研究工作集中在以下幾個方面：（1） 生物原型研究。從生理學(xué)、心理學(xué)、解剖學(xué)、腦科學(xué)、病理學(xué)等生物學(xué)科方面研究神經(jīng)細(xì)胞、神經(jīng)網(wǎng)絡(luò)、神經(jīng)系統(tǒng)的生物原型結(jié)構(gòu)機(jī)器功能機(jī)理。（2）

11、建立理論模型。根據(jù)生物原型的研究，建立神經(jīng)元，神經(jīng)網(wǎng)絡(luò)的理論模型。其中包括概念模型、知識模型、物理模型、數(shù)學(xué)模型等。（3） 網(wǎng)絡(luò)模型與算法研究。在理論模型研究的基礎(chǔ)上構(gòu)造相關(guān)的神經(jīng)網(wǎng)絡(luò)模型，以實現(xiàn)計算機(jī)模擬，也包括網(wǎng)絡(luò)學(xué)習(xí)算法的研究，這方面的工作也稱之為技術(shù)模型研究。（4） 人工神經(jīng)網(wǎng)絡(luò)應(yīng)用系統(tǒng)。在網(wǎng)絡(luò)模型與算法研究的基礎(chǔ)上，利用人工神經(jīng)網(wǎng)絡(luò)組成實際的應(yīng)用系統(tǒng)，例如，完成某種信號處理或模式識別的功能、構(gòu)造專家系統(tǒng)、制作機(jī)器人等等。人工神經(jīng)網(wǎng)絡(luò)（ANN）也稱為神經(jīng)網(wǎng)絡(luò)（NN），是由大量處理單元廣泛連接而成的網(wǎng)絡(luò)，是對人腦的抽象，簡化和模擬，反映出人腦的基本特性。與人腦的相似之處可概括為兩個方面：

12、（1）通過學(xué)習(xí)過程利用神經(jīng)網(wǎng)絡(luò)從外部環(huán)境中獲取知識；（2）內(nèi)部神經(jīng)元用來存儲獲取的知識信息。人工神經(jīng)網(wǎng)絡(luò)15的研究從20世紀(jì)40年代初開始，至今已有半個多世紀(jì)的歷史。它是由眾多的神經(jīng)元和可調(diào)節(jié)的連接權(quán)值連接而成，具有大規(guī)模并行處理，分布式信息存儲、良好的自組織學(xué)習(xí)能力等特點。BP（Back Propagation）算法又稱為誤差反向傳播算法，是人工神經(jīng)網(wǎng)絡(luò)中的一種監(jiān)督式學(xué)習(xí)算法。BP神經(jīng)網(wǎng)絡(luò)算法在理論上可以逼近任意函數(shù)，基本的結(jié)構(gòu)由非線性變化單元構(gòu)成，具有很強(qiáng)的非線性映射能力，而且網(wǎng)絡(luò)的中間層數(shù)，各層的處理單元數(shù)以及網(wǎng)絡(luò)的學(xué)習(xí)系數(shù)等參數(shù)可以根據(jù)具體的情況而定，靈活性很大。在優(yōu)化、信號處理、模式

13、識別16、智能控制、故障診斷等許多領(lǐng)域都有著廣泛的應(yīng)用前景。人工神經(jīng)網(wǎng)絡(luò)是由大量的簡單基本元件神經(jīng)元相互聯(lián)接而成的自適應(yīng)非線性動態(tài)系統(tǒng)。每個神經(jīng)元的結(jié)構(gòu)和功能比較簡單，但大量神經(jīng)元組合產(chǎn)生的系統(tǒng)行為卻非常復(fù)雜。前向人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如下：圖1. 人工神經(jīng)元的基本結(jié)構(gòu)模型人工神經(jīng)網(wǎng)絡(luò)反映了人腦功能的若干基本特性，但并非生物系統(tǒng)的逼真描述，只是某種模仿、簡化和抽象。與數(shù)字計算機(jī)比較，人工神經(jīng)網(wǎng)絡(luò)在構(gòu)成原理和功能特點等方面更加接近人腦，它不是按給定的程序一步一步地執(zhí)行運算，而是能夠自身適應(yīng)環(huán)境、總結(jié)規(guī)律、完成某種運算、識別或過程控制。人工神經(jīng)網(wǎng)絡(luò)的特點：（1）人類大腦有很強(qiáng)的自適應(yīng)與自組織特性，

14、后天的學(xué)習(xí)與訓(xùn)練可以開發(fā)許多各具特色的活動功能。如盲人的聽覺和觸覺非常靈敏；聾啞人善于運用手勢；訓(xùn)練有素的運動員可以表現(xiàn)出非凡的運動技巧等等。普通計算機(jī)的功能取決于程序中給出的知識和能力。顯然，對于智能活動要通過總結(jié)編制程序?qū)⑹掷щy。人工神經(jīng)網(wǎng)絡(luò)也具有初步的自適應(yīng)與自組織能力。在學(xué)習(xí)或訓(xùn)練過程中改變突觸權(quán)重值，以適應(yīng)周圍環(huán)境的要求。同一網(wǎng)絡(luò)因?qū)W習(xí)方式及內(nèi)容不同可具有不同的功能。人工神經(jīng)網(wǎng)絡(luò)是一個具有學(xué)習(xí)能力的系統(tǒng)，可以發(fā)展知識，以致超過設(shè)計者原有的知識水平。通常，它的學(xué)習(xí)訓(xùn)練方式可分為兩種，一種是有監(jiān)督或稱有導(dǎo)師的學(xué)習(xí)，這時利用給定的樣本標(biāo)準(zhǔn)進(jìn)行分類或模仿；另一種是無監(jiān)督學(xué)習(xí)或稱無為導(dǎo)師學(xué)習(xí)

15、，這時，只規(guī)定學(xué)習(xí)方式或某些規(guī)則，則具體的學(xué)習(xí)內(nèi)容隨系統(tǒng)所處環(huán)境 （即輸入信號情況）而異，系統(tǒng)可以自動發(fā)現(xiàn)環(huán)境特征和規(guī)律性，具有更近似人腦的功能。（2）泛化能力泛化能力指對沒有訓(xùn)練過的樣本，有很好的預(yù)測能力和控制能力。特別是，當(dāng)存在一些有噪聲的樣本，網(wǎng)絡(luò)具備很好的預(yù)測能力。(3)非線性映射能力當(dāng)對系統(tǒng)對于設(shè)計人員來說，很透徹或者很清楚時，則一般利用數(shù)值分析，偏微分方程等數(shù)學(xué)工具建立精確的數(shù)學(xué)模型，但當(dāng)對系統(tǒng)很復(fù)雜，或者系統(tǒng)未知，系統(tǒng)信息量很少時，建立精確的數(shù)學(xué)模型很困難時，神經(jīng)網(wǎng)絡(luò)的非線性映射能力則表現(xiàn)出優(yōu)勢，因為它不需要對系統(tǒng)進(jìn)行透徹的了解，但是同時能達(dá)到輸入與輸出的映射關(guān)系，這就大大簡化設(shè)

16、計的難度。(4)高度并行性并行性具有一定的爭議性。承認(rèn)具有并行性理由：神經(jīng)網(wǎng)絡(luò)是根據(jù)人的大腦而抽象出來的數(shù)學(xué)模型，由于人可以同時做一些事，所以從功能的模擬角度上看，神經(jīng)網(wǎng)絡(luò)也應(yīng)具備很強(qiáng)的并行性。多少年以來，人們從醫(yī)學(xué)、生物學(xué)、生理學(xué)、哲學(xué)、信息學(xué)、計算機(jī)科學(xué)、認(rèn)知學(xué)、組織協(xié)同學(xué)等各個角度企圖認(rèn)識并解答上述問題。在尋找上述問題答案的研究過程中，這些年來逐漸形成了一個新興的多學(xué)科交叉技術(shù)領(lǐng)域，稱之為“神經(jīng)網(wǎng)絡(luò)”。神經(jīng)網(wǎng)絡(luò)的研究涉及眾多學(xué)科領(lǐng)域，這些領(lǐng)域互相結(jié)合、相互滲透并相互推動。不同領(lǐng)域的科學(xué)家又從各自學(xué)科的興趣與特色出發(fā)，提出不同的問題，從不同的角度進(jìn)行研究。在神經(jīng)元特征的基礎(chǔ)上，我們能夠得到

17、經(jīng)典的神經(jīng)元模型：圖2. 神經(jīng)元基本機(jī)構(gòu)模型人工神經(jīng)網(wǎng)絡(luò)的發(fā)展過程并不是一帆風(fēng)順的，大致可分為以下幾個階段：1）1943年，MP模型被提出，從而給出了神經(jīng)元的最基本模型及相應(yīng)的工作方式。然后，神經(jīng)生物學(xué)家D.Hebb發(fā)現(xiàn)，腦細(xì)胞之間的連通在參與某種活動時將被加強(qiáng)，從而給出了生理學(xué)與心理學(xué)之間的聯(lián)系，被稱之為Hebb學(xué)習(xí)規(guī)則。該規(guī)則至今仍然被許多神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法使用。在接下來F.Rosenblat提出了感知機(jī)模型，這是一個由線性閾值神經(jīng)元組成的前饋神經(jīng)網(wǎng)絡(luò)模型。2）低潮時期；1969年，人工智能的創(chuàng)始人M.Minsky和S.Paper指出：單層Perceptron只能作線性化分，多層的Perc

18、eptron還沒有可用的算法，因此認(rèn)為Perception無實用價值。由于Minsky和Papert在人工智能領(lǐng)域的地位，在人工神經(jīng)網(wǎng)絡(luò)研究人員之間產(chǎn)生了極大的反響，神經(jīng)網(wǎng)絡(luò)研究由此陷入低潮。但是在這個時期，仍然也有一些新的網(wǎng)絡(luò)模型被提出，比如說Hopfield神經(jīng)網(wǎng)絡(luò)。用運算放大器搭成的反饋神經(jīng)網(wǎng)絡(luò)中，借用Lyapunov能量函數(shù)的原理，給出了網(wǎng)絡(luò)的穩(wěn)定性判據(jù)，并為注明的組合優(yōu)化問題旅行商問題提供了一個新的解決方案，該網(wǎng)絡(luò)可用于聯(lián)想存儲、優(yōu)化計算等領(lǐng)域。3）高潮時期；1985年，Rumehart等人提出了多層感知器的權(quán)值訓(xùn)練的誤差反向傳播學(xué)習(xí)算法（BP算法），從而解決了多層感知器的學(xué)習(xí)問題，

19、自此引導(dǎo)了神經(jīng)網(wǎng)絡(luò)的復(fù)興，神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了一個嶄新的階段。2.2 BP神經(jīng)網(wǎng)絡(luò)的研究現(xiàn)狀及應(yīng)用檢測大米中重金屬的含量是農(nóng)業(yè)生產(chǎn)管理部門和食物安全管理的重要工作。遠(yuǎn)程傳感器能夠提供一個高效，無損害的方法來檢測農(nóng)田中和土壤中的重金屬含量。1提出了一個改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法，來預(yù)測大米中鎘（Cd）的含量。該算法是在遺傳算法和模擬退火算法的基礎(chǔ)上提出來的。通過將提出的SA-GA-BP和BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行對比，發(fā)現(xiàn)改進(jìn)的算法更好。針對BP神經(jīng)網(wǎng)絡(luò)和改進(jìn)的BP算法中學(xué)習(xí)效率低下，穩(wěn)定性差，最優(yōu)解容易陷入局部最優(yōu)問題，2提出了一個改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法，用來設(shè)計學(xué)習(xí)效率和學(xué)習(xí)算法。通過使用擬牛頓算法代

20、替梯度下降或者其他的學(xué)習(xí)算法，不僅能夠避免局部最優(yōu)問題，同時能夠改善算法的學(xué)習(xí)速度。另一方面，學(xué)習(xí)因素的選擇包括了兩個重要的方面：專家意見和神經(jīng)網(wǎng)絡(luò)的最終輸出。3詳細(xì)介紹了BP神經(jīng)網(wǎng)絡(luò)模型和算法，指出了BP神經(jīng)網(wǎng)絡(luò)中局部最優(yōu)和收斂速度慢等問題。通過對BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行改進(jìn)，解決了傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)中出現(xiàn)的問題。4依據(jù)IPV6中每天的數(shù)據(jù)流的特征，提出了一個新的改進(jìn)的傳輸函數(shù)，有更快的收斂速度和更高的峰值，同時峰值的區(qū)間也很大，從而對IPV6中的網(wǎng)絡(luò)流量進(jìn)行了有效的實驗和驗證，和IPV4中傳統(tǒng)的傳遞函數(shù)仿真結(jié)果對比，發(fā)現(xiàn)新提出的傳遞函數(shù)有明顯的優(yōu)勢。當(dāng)今，全球的環(huán)境問題引起了越來越多的人們的關(guān)注

21、。我們不僅要知道環(huán)境健康的重要性，同時也要知道人類活動對我們周圍環(huán)境的影響。5把網(wǎng)絡(luò)模型應(yīng)用到這個問題上，這些模型能夠很好的幫助人們，在已知數(shù)據(jù)的基礎(chǔ)上，分析出哪些因素對地球環(huán)境有著重要的影響。為了預(yù)測未來的地球環(huán)境，我們首先引用了經(jīng)典的BP神經(jīng)網(wǎng)絡(luò)算法，然后我們將算法進(jìn)行了改進(jìn)，獲得了良好的性能。6在改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法的基礎(chǔ)上，引進(jìn)了多感知機(jī)制進(jìn)行在線糧食中水分含量的檢測。改進(jìn)的算法能夠幫助建立起多輸入多輸出模型，應(yīng)用包含遺忘因子的梯度下降法，結(jié)合非線性映射能力和迭代學(xué)習(xí)能力，用更精確的取樣進(jìn)行神經(jīng)網(wǎng)絡(luò)算法的學(xué)習(xí)。最終水分檢測系統(tǒng)模型在BP神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上建立起來。在BP神經(jīng)網(wǎng)絡(luò)的有力的

22、函數(shù)映射性能的幫助下，7 通過聯(lián)合使用室內(nèi)溫度，室外活動和室內(nèi)活動因素，出了一個BP神經(jīng)網(wǎng)絡(luò)實時檢測系統(tǒng)，在家庭環(huán)境的預(yù)測上得到良好的應(yīng)用。模型采用關(guān)聯(lián)系數(shù)的大小來確定相對因素的權(quán)重。上面三種因素的關(guān)系才能夠更加準(zhǔn)確的確定下來，并且和傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)的算法進(jìn)行了對比。時間序列預(yù)測是動態(tài)數(shù)據(jù)分析和處理，科學(xué)領(lǐng)域，經(jīng)濟(jì)領(lǐng)域，工程和其他應(yīng)用方面有著重要的應(yīng)用。8把人工神經(jīng)網(wǎng)絡(luò)和時間序列預(yù)測理論相互結(jié)合，在BP神經(jīng)網(wǎng)絡(luò)的模型上預(yù)測了特殊的時間需求，然后測試了BP神經(jīng)網(wǎng)絡(luò)時間序列預(yù)測模型以及其高效性和普遍性。為了解決短期能量負(fù)載預(yù)測的問題，9提出了一個自適應(yīng)的粒子群算法來優(yōu)化反向傳播的神經(jīng)網(wǎng)絡(luò)模型（B

23、P神經(jīng)網(wǎng)絡(luò)），成為PSO-BP模型，將粒子群算法和BP神經(jīng)網(wǎng)絡(luò)算法結(jié)合17，并且彌補(bǔ)了BP算法的不足，最終，從實驗的結(jié)果來看，新算法具有良好的性能。建立一個準(zhǔn)確的數(shù)學(xué)模型來描述交通事故是很重要的，但是由于不可控因素（比如：人類，車輛和環(huán)境）的影響，使得模型的建立很困難。為了獲得一個更好的交通事故的評估，10提出了一個組合的灰色神經(jīng)網(wǎng)絡(luò)模型。通過不同的算法，使得交通事故的預(yù)測的準(zhǔn)確性有了很好的提升。在應(yīng)用神經(jīng)網(wǎng)絡(luò)進(jìn)行識別的時候，BP算法往往容易陷入局部最優(yōu)，并且收斂速度慢，同時粒子群算法擁有很好的全局搜索能力。11提出了一個新的算法，結(jié)合了保證瘦臉的粒子群算法和BP神經(jīng)網(wǎng)絡(luò)算法，對經(jīng)典BP神經(jīng)網(wǎng)

24、絡(luò)算法中收斂速度問題進(jìn)行了優(yōu)化，并且和BP算法和粒子群算法進(jìn)行了對比。結(jié)果顯示，新提出的算法是很好的。3. 經(jīng)典的BP算法 3.1 經(jīng)典的神經(jīng)元模型根據(jù)上述的神經(jīng)元的經(jīng)典模型，我們可以得到神經(jīng)元模型的數(shù)學(xué)表示形式：(1)(2)其中，X是輸入集合，行向量是神經(jīng)元j的鏈接權(quán)重，代表了神經(jīng)元的輸出。如果閾值代表的是第0個神經(jīng)元的輸入，那么，那么可以簡寫為：(3)3.2 經(jīng)典BP神經(jīng)網(wǎng)絡(luò)模型及其算法如圖1所示，BP神經(jīng)網(wǎng)絡(luò)模型有三個層次：輸入層，隱含層，輸出層。層與層之間相互緊密聯(lián)系?？紤]到P組的樣本輸入，那么輸出層的誤差定義為：(4)第j個輸入表示為：(5) 那么輸出的定義為：(6)誤差信號的表示形

25、式為：(7)我們假設(shè)函數(shù)是可微的，可以推出來：(8)其中，為第j個神經(jīng)元的傳輸函數(shù)。(9)BP算法的步驟如下（假設(shè)有P個樣本）：1） 初始化權(quán)重矩陣V,W；2） 輸入，計算；3） 計算累積誤差：(10)；4） 計算誤差信號；5） 調(diào)整輸出層和中間層的權(quán)重; 6） 返回到第2步，加入下一個輸入樣本，迭代知道P個樣本都得到計算，然后到下一步；7） 如果累積誤差小于事先確定的誤差就停止，否則設(shè)定,返回到第2步；通常我們所用的函數(shù)是標(biāo)準(zhǔn)的S型函數(shù)，比如：(11)3.3 改進(jìn)策略傳統(tǒng)的BP算法存在以下的限制，由于實際問題很多是非線性的，局部最優(yōu)的問題仍然存在，同時該算法的收斂速度慢。中間層的神經(jīng)元的選擇

26、數(shù)目基本上都沒有明確的理論依據(jù)，通常都是根據(jù)日常實驗的經(jīng)驗。還有就是在對新樣本就行學(xué)習(xí)操作的時候，算法就會很快忘掉過去使用的樣本，同時每一個樣本的特點被要求是相同的類似的才能夠進(jìn)行統(tǒng)一的處理。針對加快收斂速度這個策略，有以下集中算法：1） 改變學(xué)習(xí)速度；2） 動量法：依據(jù)誤差估計把上次的調(diào)整權(quán)值計入到當(dāng)前的權(quán)值調(diào)整計算中去；3） 尋找合適的傳遞函數(shù)其中，本文采取的是第3中方法，尋找合適的傳遞函數(shù)，加快收斂速度。在選擇傳輸函數(shù)的時候，需要考慮到取值范圍的變化，導(dǎo)數(shù)的變化范圍。本文中函數(shù)的敏感范圍是坐標(biāo)原點附近的坐標(biāo)。我們同事希望傳遞函數(shù)導(dǎo)數(shù)的曲線盡可能高，同時峰值區(qū)間盡可能廣。標(biāo)準(zhǔn)的BP問題的輸

27、出范圍是0到1，函數(shù)的導(dǎo)數(shù)是，變化范圍是0到0.25。標(biāo)準(zhǔn)的S型函數(shù)的收斂速度很慢。為了加快收斂速度，我們選取的函數(shù)，倒數(shù)峰值盡可能大，變化范圍大，比如：(12)通過對該函數(shù)進(jìn)行單調(diào)性分析，我們可以看出該函數(shù)是單極的，獨立變量的值是有界的。因此，我們引入了擴(kuò)大了獨立變量的范圍。得到如下的公式：(13)對函數(shù)求一次和兩次導(dǎo)數(shù)，得到：(14)(15)4. 單調(diào)性仿真及分析單調(diào)性分析可知，是一個單調(diào)遞增函數(shù)，并且當(dāng)?shù)臅r候，當(dāng)時，傳遞函數(shù)是一個凸函數(shù)，相反是一個凹函數(shù)。我們發(fā)現(xiàn)是函數(shù)的唯一拐點，根據(jù)BP算法的需求，該函數(shù)可以用來解決BP神經(jīng)網(wǎng)絡(luò)的非線性問題。函數(shù)的兩端值分別是-1和+1。通過在matl

28、ab中進(jìn)行仿真，我們將兩個函數(shù)的響應(yīng)曲線進(jìn)行了對比圖3. 標(biāo)準(zhǔn)的S型傳遞函數(shù)圖4. 新提出的傳遞函數(shù)圖5. 標(biāo)準(zhǔn)傳遞函數(shù)的導(dǎo)數(shù)圖6. 改進(jìn)的傳遞函數(shù)的導(dǎo)數(shù)曲線通過對比，我們發(fā)現(xiàn)新提出的函數(shù)增長速度更快，同時我們應(yīng)該注意到新函數(shù)在拐點處有更快的變化率。雖然形狀看起來是一樣的，但是圖形上的范圍是不同的。本文通過對一個多輸入單輸出BP神經(jīng)網(wǎng)絡(luò)的仿真以及結(jié)果分析，得出來結(jié)論：新提出的傳遞函數(shù)在學(xué)習(xí)誤差和預(yù)測結(jié)果上具有明顯的優(yōu)勢。算法的具體情況如下：中間層4個節(jié)點，中間層5個節(jié)點，輸出層一個節(jié)點。權(quán)值是隨機(jī)選取的，通過不斷的反向修正誤差，不斷學(xué)習(xí)，從而對層與層之間的權(quán)值進(jìn)行不斷修正，在學(xué)習(xí)結(jié)束的時候取得

29、最優(yōu)解。算法的實例見12.5. 總結(jié)5.1 工作總結(jié)本文旨在通過建立一個特殊的神經(jīng)網(wǎng)絡(luò)模型來對網(wǎng)絡(luò)流量進(jìn)行預(yù)測，和經(jīng)典的BP算法進(jìn)行比較之后發(fā)現(xiàn)，改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法具有明顯的性能。對于經(jīng)典的BP神經(jīng)網(wǎng)絡(luò)算法來說，大多數(shù)都不具備系統(tǒng)的學(xué)習(xí)能力，而且收斂速度慢。在分析了經(jīng)典的BP算法存在的問題之后，我們針對這些問題提出了一個改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法，建立新的傳遞函數(shù)，新的傳遞函數(shù)是一個雙極的函數(shù)。通過仿真，和經(jīng)典的傳遞函數(shù)相比，新的算法具有更快的收斂速度，在拐點處有更加陡峭的峰值。在IPV6中進(jìn)行網(wǎng)絡(luò)流量預(yù)測的時候，和傳統(tǒng)的算法想必，新算法有更好的收斂速度和更加準(zhǔn)確的精密度。但是，由于數(shù)據(jù)樣本空

30、間不足，可能我們提出的新的改進(jìn)算法不一定是最優(yōu)的，需要更多的數(shù)據(jù)樣本進(jìn)行測試。同時隱含層的節(jié)點數(shù)目的選擇同樣沒有理論依據(jù)，這仍然是一個經(jīng)驗性的選擇。5.2 未來展望神經(jīng)網(wǎng)絡(luò)在國民經(jīng)濟(jì)和國防科技現(xiàn)代化建設(shè)中具有廣闊的應(yīng)用領(lǐng)域和應(yīng)用前景13。主要領(lǐng)域有：語音識別、圖像識別與理解、計算機(jī)視覺、智能機(jī)器人、鼓掌機(jī)器人、故障檢測、實時語言翻譯、企業(yè)管理、市場分析、決策優(yōu)化、物資調(diào)運自適應(yīng)控制、專家系統(tǒng)、智能接口、神經(jīng)生理學(xué)、心理學(xué)和認(rèn)知科學(xué)研究等等。隨著神經(jīng)網(wǎng)絡(luò)理論研究的深入以及網(wǎng)絡(luò)計算能力的不斷拓展，神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域?qū)粩嗤卣?，?yīng)用水平將會不斷提高，最終達(dá)到神經(jīng)網(wǎng)絡(luò)系統(tǒng)可用來幫助人們做事的目的，這

31、也是神經(jīng)網(wǎng)絡(luò)最終的研究目標(biāo)。神經(jīng)網(wǎng)絡(luò)研究在近十幾年取得了引人注目的進(jìn)展，從而機(jī)器了不同學(xué)科與領(lǐng)域的科學(xué)家的巨大熱情和濃厚的興趣。神經(jīng)網(wǎng)絡(luò)將使電子科學(xué)和信息科學(xué)產(chǎn)生革命性的變革。參考文獻(xiàn)1 Jiale Jiang, et al., An improved BP neural network model for estimating Cd stress in rice using remote sensing data, IEEE Fuzzy Systems and Knowledge Discovery, Zhangjiajie, China, Aug. 2015: 859-863.2 N. H

32、uang, et al., An improved BP Neural Network Model Based on Quasic-Newton Algorithm, IEEE Natural Computation, Tianjin, China, Aug. 2009: 352-356.3 T. Lian, et al., Modified BP neural network model is used for oddeven discrimination of integer number, IEEE Optoelectronics and Microelectronics, Harbin

33、, China, Sept. 2013: 67-70.4 Z. Li, et al., A Novel BP Neural Network Model for Traffic Prediction of Next Generation Network, IEEE Natural Computation, Tianjin, China, Aug. 2009: 32-38.5 L. Xi-zhe, Based on BP neutal network model and system dynamics of the earths ecological system network modeling

34、, IEEE Management Science and Engineering, Harbin, China, July 2013: 369-378.6 J. Jiang, et al., Model of Online Grain Moisture Test System Based on Improved BP Neural Network, IEEE Intelligent Computation Technology and Automation, Changsha, China, vol. (1) Oct. 2009: 79-82.7 Yong Cao, et al., The application of BP neural net real-time data forecasting model used in home environ