梯度神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)及其應(yīng)用

1、; 本科生畢業(yè)設(shè)計(jì)題 目：梯度神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)及其應(yīng)用作 者：學(xué) 號：所屬學(xué)院： 信息科學(xué)與工程學(xué)院專業(yè)年級： 指導(dǎo)教師：職 稱：完成時(shí)間：2015年5月23日吉首大學(xué)教務(wù)處制目 錄摘 要IAbstractII第1章 緒 論11.1 梯度神經(jīng)網(wǎng)絡(luò)研究的背景和目的11.2 國內(nèi)外研究現(xiàn)狀11.3本文的研究內(nèi)容和設(shè)計(jì)結(jié)構(gòu)2第2章 梯度神經(jīng)的設(shè)計(jì)過程32.1 MATLAB技術(shù)背景32.1.1 基本介紹32.2 梯度神經(jīng)設(shè)計(jì)和基本模型4第3章 梯度神經(jīng)網(wǎng)絡(luò)的應(yīng)用63.1 梯度神經(jīng)的網(wǎng)絡(luò)應(yīng)用6第4章 梯度神經(jīng)網(wǎng)絡(luò)的仿真驗(yàn)證74.1 仿真設(shè)計(jì)74.2舉例仿真7結(jié) 語22參考文獻(xiàn)23附 錄24致 謝28梯度神

2、經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)及其應(yīng)用摘 要神經(jīng)網(wǎng)絡(luò)是一種模擬生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型，在圖像恢復(fù)，信號處理，機(jī)器人逆運(yùn)動學(xué)等領(lǐng)域有廣泛應(yīng)用。近年來，隨著對神經(jīng)動力學(xué)方法的大力研究，已開發(fā)了基于梯度方法的各種神經(jīng)動力學(xué)模型。在線求解次方根是非線性方程求解的一種重要的特殊情況,廣泛應(yīng)用在科學(xué)和工程領(lǐng)域當(dāng)中。在本文中,首先設(shè)計(jì)針對一般問題求解的梯度神經(jīng)網(wǎng)絡(luò)模型;其次,為了求解次方根,定義一個(gè)基于平方的標(biāo)量取值的能量函數(shù)，再根據(jù)梯度下降法,進(jìn)一步推導(dǎo)出求解次方根的梯度神經(jīng)網(wǎng)絡(luò)模型。最后使用MATLAB仿真軟件進(jìn)行建模、仿真和驗(yàn)證:計(jì)算機(jī)仿真實(shí)例以及它們的仿真結(jié)果，證明了梯度神經(jīng)網(wǎng)絡(luò)求解求解次方根的有效性

3、。關(guān)鍵詞：梯度神經(jīng)網(wǎng)絡(luò)；次方根 ；MATLABDesign of gradient neural network its and applicationAbstractNeural network is a kind of simulation mathematical model for information processing of biological neural network structure, and has a wide range of applications in the image restoration, signal processing, the inver

4、se kinematics, and other fields have. In recent years, with the neural dynamics method to study, various neural dynamics model based on gradient method have been developed. Online solution of the pth root is a kind of important special case of nonlinear equation solving, which is widely used in the

5、field of science and engineering. In this paper, a general gradient neural network is first designed for solving the common problem. In addition, in order to find thepth root, a scalar-valued square-based energy function is first defined. Then, according to the gradient descent method, a gradient-ne

6、ural-network model is further derived for finding thepth root. Finally, the MATLAB software is used for modeling, simulation, and verification. Computer-simulation examples and their simulative results. substantiate the effectiveness of the gradient neural network for finding thepth root Key words:

7、Gradient Neural Network; pth Root; MATLAB Simulation27第1章 緒 論1.1 梯度神經(jīng)網(wǎng)絡(luò)研究的背景和目的11.1神經(jīng)網(wǎng)絡(luò)簡介神經(jīng)網(wǎng)絡(luò)1-10有著廣泛的前景，分布在系統(tǒng)辨識、模式識別、智能控制等領(lǐng)域。在智能控制中，人們把對神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)功能這一特點(diǎn)，認(rèn)為是是解決自動控制中控制器適應(yīng)能力的關(guān)鍵之一。通過模擬人類實(shí)際神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)方法，我們把這種通過模擬人類實(shí)際神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)方法稱為神經(jīng)網(wǎng)絡(luò)。目前廣泛應(yīng)用的神經(jīng)網(wǎng)絡(luò)是由大量的簡單元件連接而成的，用來模擬人腦復(fù)雜行為的一種網(wǎng)絡(luò)信息處理系統(tǒng)。通過模擬大腦反映人腦的許多基本特性，如良好的容錯性與聯(lián)想記憶

8、功能、自組織性和很強(qiáng)的學(xué)習(xí)能力，表現(xiàn)出良好的智能特性，隨著對生物腦的深入了解，人工神經(jīng)網(wǎng)絡(luò)汲取了生物神經(jīng)網(wǎng)絡(luò)的許多優(yōu)點(diǎn)特性，獲得了長久的發(fā)展，具有了高度的非線性，能夠進(jìn)行復(fù)雜的邏輯操作和非線性關(guān)系實(shí)現(xiàn)，涉及很多工程領(lǐng)域。神經(jīng)網(wǎng)絡(luò)是由許多的、簡單的處理單元廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，它反映了人腦功能的許多基本特征。梯度神經(jīng)網(wǎng)絡(luò)是由若干個(gè)非線性神經(jīng)元構(gòu)成的全連接型的人工神經(jīng)網(wǎng)絡(luò)，其中，任何一個(gè)神經(jīng)元既接受來自于其他神經(jīng)元的輸入，同時(shí)也對其他神經(jīng)元輸出信號。梯度神經(jīng)網(wǎng)絡(luò)構(gòu)成的是具有反饋的系統(tǒng)，輸出可以返回來調(diào)節(jié)輸入，從而建立動態(tài)關(guān)系。因此，也可將的神經(jīng)網(wǎng)絡(luò)看作是以權(quán)值和外部輸入為參數(shù)的，關(guān)于

9、內(nèi)部狀態(tài)的一個(gè)動力學(xué)系統(tǒng)。我們將提出一類梯度神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)求解靜態(tài)次方根方程問題，為了方便理解，我們把建立梯度神經(jīng)網(wǎng)絡(luò)模型的過程定義為神經(jīng)動力學(xué)設(shè)計(jì)方法。梯度算法是一種簡單又常用的常用的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法。在本章中，介紹了此次研究課題背景和意義，然后敘述了國內(nèi)外發(fā)展現(xiàn)狀及趨勢，最后闡述了研究設(shè)計(jì)方法。1.2 國內(nèi)外研究現(xiàn)狀求解次方根是求解靜態(tài)問題中的一個(gè)重要的情況，應(yīng)用在各種科學(xué)與工程領(lǐng)域中。通過求解次方根，一幅圖可以在Torelli群中被描述出來；再如Harris圖像可以從其原圖像的次方根中提煉到得到。因此，很多的數(shù)值算法被提出來求解這樣一類次方根問題。由于對神經(jīng)網(wǎng)絡(luò)的深入研究，許多基于神經(jīng)動

10、力學(xué)的模擬求解器也被廣泛提出來?？紤]到潛在的大規(guī)模電路實(shí)現(xiàn)和高性能并行處理能力，神經(jīng)動力學(xué)方法已經(jīng)被認(rèn)為是一種強(qiáng)有力的實(shí)時(shí)問題求解方法。目前，許多已經(jīng)報(bào)導(dǎo)非常受歡迎的計(jì)算方案都是基于梯度設(shè)計(jì)方法。而我們知道，這些數(shù)值算法和梯度神經(jīng)網(wǎng)絡(luò)理論上都是用來求解靜態(tài)次方根，即。1.3 本文的研究內(nèi)容和設(shè)計(jì)結(jié)構(gòu)1.3.1研究內(nèi)容 在求解次方根問題被認(rèn)為是非線性方程求解的一種重要的情況，并應(yīng)用于科學(xué)與工程領(lǐng)域中。如通過求解次方根，一幅圖可以在Torelli中被描述出來；再如Harris圖像可以從其原版圖像的次方根當(dāng)中得知。因此，許多相關(guān)的數(shù)值算法被提出來求解這樣一類次方根問題。而且，對于神經(jīng)網(wǎng)絡(luò)的深入研究，

11、許多相關(guān)的數(shù)值算法被提出來求解這一類的次方根問題。而且，對于神經(jīng)網(wǎng)絡(luò)的深入研究，許多基于神經(jīng)動力學(xué)的模擬求解器也被廣泛提出。1.3.2設(shè)計(jì)方法梯度神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)通過使用MATLAB軟件，結(jié)合神經(jīng)網(wǎng)絡(luò)工具箱，在介紹神經(jīng)網(wǎng)絡(luò)中的各種類型以及訓(xùn)練過程的基礎(chǔ)上，利用MATLAB工具箱進(jìn)行梯度神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)及其應(yīng)用。各種梯度神經(jīng)網(wǎng)絡(luò)在不同應(yīng)用時(shí)的網(wǎng)絡(luò)性能分析與直觀的圖形結(jié)果，能更加透徹地分析各種神經(jīng)網(wǎng)絡(luò)的性能和優(yōu)缺點(diǎn)，從而可以正確、合理和充分應(yīng)用神經(jīng)網(wǎng)絡(luò)。在實(shí)際應(yīng)用中，面對一個(gè)具體的應(yīng)用問題，首先要分析用神經(jīng)網(wǎng)絡(luò)方法求解問題，根據(jù)問題特點(diǎn)，確立網(wǎng)絡(luò)模型。最后通過網(wǎng)絡(luò)仿真分析，確定網(wǎng)絡(luò)是否適合。是否需要

12、修改，來設(shè)計(jì)研究出功能更好，更有效的神經(jīng)網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)應(yīng)用的成果11-20。 作者首先進(jìn)行梯度神經(jīng)網(wǎng)絡(luò)的開發(fā)背景概述，并大概介紹國內(nèi)外現(xiàn)狀，然后進(jìn)行梯度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，最后論述設(shè)計(jì)的仿真驗(yàn)證，根據(jù)文章管理模塊的功能需要， 本文共分為四章，組織結(jié)構(gòu)如下:1)第1章介紹了梯度神經(jīng)網(wǎng)絡(luò)的開發(fā)背景；介紹了梯度神經(jīng)網(wǎng)絡(luò)的國內(nèi)外研究的現(xiàn)狀和未來的深入發(fā)展。簡述作者在梯度神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)工作內(nèi)容，給出論文的層次結(jié)構(gòu)。2)第2章分析了梯度神經(jīng)網(wǎng)絡(luò)的的技術(shù)背景和基本模型。3)第3章介紹了MATLAB的技術(shù)可行性分析以及應(yīng)用方程。4)第4章對梯度神經(jīng)網(wǎng)絡(luò)所應(yīng)用的方程進(jìn)行仿真驗(yàn)證。第2章 梯度神經(jīng)的設(shè)計(jì)過程2.1 MA

13、TLAB技術(shù)背景2.1.1 基本介紹  MATLAB（矩陣實(shí)驗(yàn)室）是MATrix LABoratory的縮寫，是一款由美國The MathWorks公司出品的商業(yè)數(shù)學(xué)軟件。MATLAB是一種用于算法開發(fā)、數(shù)據(jù)可視化、數(shù)據(jù)分析以及數(shù)值計(jì)算的高級技術(shù)計(jì)算語言和交互式環(huán)境。除了矩陣運(yùn)算、繪制函數(shù)/數(shù)據(jù)圖像等常用功能外，MATLAB還可以用來創(chuàng)建用戶界面及與調(diào)用其它語言（包括C，C+和FORTRAN）編寫的程序。盡管MATLAB主要用于數(shù)值運(yùn)算，但利用為數(shù)眾多的附加工具箱（Toolbox）它也適合不同領(lǐng)域的應(yīng)用，例如控制系統(tǒng)設(shè)計(jì)與分析、圖像處理、信號處理與通訊、金融建模和分析等。另外還有一個(gè)

14、配套軟件包Simulink，提供了一個(gè)可視化開發(fā)環(huán)境，常用于系統(tǒng)模擬、動態(tài)/嵌入式系統(tǒng)開發(fā)等方面。  MATLAB和Mathematica、Maple并稱為三大數(shù)學(xué)軟件。它在數(shù)學(xué)類科技應(yīng)用軟件中在數(shù)值計(jì)算方面首屈一指。MATLAB可以進(jìn)行矩陣運(yùn)算、繪制函數(shù)和數(shù)據(jù)、實(shí)現(xiàn)算法、創(chuàng)建用戶界面、連接其他編程語言的程序等，主要應(yīng)用于工程計(jì)算、控制設(shè)計(jì)、信號處理與通訊、圖像處理、信號檢測、金融建模設(shè)計(jì)與分析等領(lǐng)域。MATLAB的基本數(shù)據(jù)單位是矩陣，它的指令表達(dá)式與數(shù)學(xué)、工程中常用的形式十分相似，故用MATLAB來解算問題要比用C，F(xiàn)ORTRAN等語言完成相同的事情簡捷得多，并且MATLAB也吸收

15、了像Maple等軟件的優(yōu)點(diǎn)，使MATLAB成為一個(gè)強(qiáng)大的數(shù)學(xué)軟件。在新的版本中也加入了對C，F(xiàn)ORTRAN，C+，JAVA的支持?？梢灾苯诱{(diào)用,用戶也可以將自己編寫的實(shí)用程序?qū)氲組ATLAB函數(shù)庫中方便自己以后調(diào)用，此外許多的MATLAB愛好者都編寫了一些經(jīng)典的程序，用戶可以直接進(jìn)行下載就可以用。2.1.2 發(fā)展歷程20世紀(jì)70年代，美國新墨西哥大學(xué)計(jì)算機(jī)科學(xué)系主任Cleve Moler為了減輕學(xué)生編程的負(fù)擔(dān)，用FORTRAN編寫了最早的MATLAB。1984年由Little、Moler、Steve Bangert合作成立了的MathWorks公司正式把MATLAB推向市場。到20世紀(jì)90年

16、代，MATLAB已成為國際控制界的標(biāo)準(zhǔn)計(jì)算軟件。2.1.3 軟件特點(diǎn)1) 高效的數(shù)值計(jì)算及符號計(jì)算功能，能使用戶從繁雜的數(shù)學(xué)運(yùn)算分析中解脫出來；2) 具有完備的圖形處理功能,實(shí)現(xiàn)計(jì)算結(jié)果和編程的可視化；3) 友好的用戶界面及接近數(shù)學(xué)表達(dá)式的自然化語言，使學(xué)者易于學(xué)習(xí)和掌握；4) 功能豐富的應(yīng)用工具箱(如信號處理工具箱、通信工具箱等) ,為用戶提供了大量方便實(shí)用的處理工具。2.1.4編程環(huán)境MATLAB由一系列工具組成。這些工具方便用戶使用MATLAB的函數(shù)和文件，其中許多工具采用的是圖形用戶界面。包括MATLAB桌面和命令窗口、歷史命令窗口、編輯器和調(diào)試器、路徑搜索和用于用戶瀏覽幫助、工作空間

17、、文件的瀏覽器。隨著MATLAB的商業(yè)化以及軟件本身的不斷升級，MATLAB的用戶界面也越來越精致，更加接近Windows的標(biāo)準(zhǔn)界面，人機(jī)交互性更強(qiáng)，操作更簡單。而且新版本的MATLAB提供了完整的聯(lián)機(jī)查詢、幫助系統(tǒng)，極大的方便了用戶的使用。簡單的編程環(huán)境提供了比較完備的調(diào)試系統(tǒng)，程序不必經(jīng)過編譯就可以直接運(yùn)行，而且能夠及時(shí)地報(bào)告出現(xiàn)的錯誤及進(jìn)行出錯原因分析。2.2 梯度神經(jīng)設(shè)計(jì)和基本模型作為進(jìn)一步討論的基礎(chǔ)，我們將針對標(biāo)量取值的一般等式問題，設(shè)計(jì)一個(gè)可以普遍應(yīng)用的梯度神經(jīng)網(wǎng)絡(luò)。 2.2.1 問題描述首先我們考慮如下標(biāo)量取值的一般等式問題： (2.1.1)其中代表一個(gè)映射函數(shù)，它既可以為線性函

18、數(shù)，也可以為非線性函數(shù). 在這一節(jié),我們將就這樣一個(gè)等式問題(2.1.1), 設(shè)計(jì)一個(gè)梯度神經(jīng)網(wǎng)絡(luò): 該梯度神經(jīng)網(wǎng)絡(luò)可以實(shí)時(shí)求解一個(gè),它可以滿足以上一般方程(2.1.1)的要求。2.2.2 梯度神經(jīng)網(wǎng)絡(luò)模型 在這一節(jié), 我們將根據(jù)梯度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)方法，開發(fā)一般的梯度神經(jīng)網(wǎng)絡(luò)模型來實(shí)時(shí)求解一般等式問題(2.1.1). 梯度神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)過程如下。首先,為了監(jiān)控等式(2.1.1)的求解過程, 通過利用梯度設(shè)計(jì)方法, 我們可以定義一個(gè)基于平方的標(biāo)準(zhǔn)取值的能量函數(shù): (2.2.2)顯然, 當(dāng)該能量函數(shù)等于零時(shí), 所對應(yīng)的解x可以滿足一般等式問題(1)的要求. 其次, 為了使該能量函數(shù)(2.2.2)能夠

19、收斂到零, 我們可以使該能量函數(shù)沿著它的負(fù)梯度方向下降, 所以能量函數(shù)(2.2.)的負(fù)梯度可以求得如下: , (2.2.3)最后, 基于一個(gè)典型的負(fù)梯度信息的連續(xù)時(shí)間自適應(yīng)法則，我們可以推到出如下普遍適應(yīng)的梯度神經(jīng)網(wǎng)絡(luò)模型: , (2.2.4)其中, 神經(jīng)狀態(tài)從隨機(jī)產(chǎn)生的初始值出發(fā),對應(yīng)于一般等式方程(2.1.1)的解,設(shè)計(jì)參數(shù)用來調(diào)節(jié)一般梯度神經(jīng)網(wǎng)絡(luò)模型(2.2.4)的收斂速度。第3章 梯度神經(jīng)網(wǎng)絡(luò)的應(yīng)用3.1 梯度神經(jīng)的網(wǎng)絡(luò)應(yīng)用如上面所提到的,求解次方根是求解等式問題中的一個(gè)重要情況，如通過求解次方根，一幅圖可以在Torelli群中被描述出來; 再如Harris圖像可以從其原圖像的次方根中

20、提煉到得到。所以, 根據(jù)上一節(jié)一般梯度神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)過程，我們將把該設(shè)計(jì)方法具體應(yīng)用到次方根求解。 首先, 我們考慮如下標(biāo)量取值的次方根問題: （3.1.1）其中表示一個(gè)標(biāo)量取值的實(shí)數(shù). 我們本章主要工作就是設(shè)計(jì)一個(gè)梯度神經(jīng)網(wǎng)絡(luò)來實(shí)時(shí)求解一個(gè) ,從而可以滿足以上次方根(3.3.1)的要求。為了表示方便，我們令表示的次方根的理論解。 根據(jù)以上一般梯度神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)過程，為了監(jiān)控靜態(tài)次方根的求解過程，我們首先可以定義了如下的一個(gè)基于平方的標(biāo)準(zhǔn)取值的能量函數(shù): （3.1.2）然后, 基于該能量函數(shù)(3.1.2)的負(fù)梯度: , (3.1.3)我們就可以得到如下的求解p次方根的梯度神經(jīng)網(wǎng)絡(luò)模型: , (

21、3.1.4)其中, 神經(jīng)狀態(tài)從隨機(jī)產(chǎn)生的初始值出發(fā),對應(yīng)于次方根(5)的解,設(shè)計(jì)參數(shù)用來調(diào)節(jié)一般梯度神經(jīng)網(wǎng)絡(luò)模型(3.1.4)的收斂速度。第4章 梯度神經(jīng)網(wǎng)絡(luò)的仿真驗(yàn)證4.1 仿真設(shè)計(jì)在之前的章節(jié)里面， 我們首先設(shè)計(jì)了一個(gè)普遍適應(yīng)的梯度神經(jīng)網(wǎng)絡(luò), 其次由于次方根求解的重要性, 我們又設(shè)計(jì)了一個(gè)專門針對次方根求解的梯度神經(jīng)網(wǎng)絡(luò). 在這一節(jié)當(dāng)中, 為了驗(yàn)證梯度神經(jīng)網(wǎng)絡(luò)模型(3.1.4)的有效性, 我們將挑選了幾個(gè)富有代表性的次方根進(jìn)行求解。在這章中，我們將用計(jì)算機(jī)實(shí)例仿真和它們的仿真結(jié)果。我們使用MATLAB軟件來仿真函數(shù)，如圖a.圖a4.2舉例仿真下面我們通過GD模型去求解，的收斂情況。例1:

22、首先讓我們考慮如下的次方根求解(具體來講): ， （4.2.1）很顯然, 在實(shí)數(shù)域里面, 方程（4.2.1）有理論解:是。下面我們將運(yùn)用梯度神經(jīng)網(wǎng)絡(luò)模型()去實(shí)時(shí)求解次方根（4.2.1）. 不失一般性, 我們令設(shè)計(jì)參數(shù) , 初始狀態(tài)(0) x 在 5,5 - 區(qū)域內(nèi)隨機(jī)產(chǎn)生, 仿真結(jié)果如圖1和圖2所示. 從圖1可以看出, 從 5,5 - 區(qū)域內(nèi)隨機(jī)產(chǎn)生的初始狀態(tài)出發(fā), 神經(jīng)狀態(tài)解在0.2秒內(nèi)都收斂到次方根的理論解。 這充分說明了我們梯度神經(jīng)網(wǎng)絡(luò)的有效性。另外, 我們也展示了神經(jīng)狀態(tài)解對應(yīng)的誤差函數(shù)收斂情況, 具體如圖2所示。從圖2我們同樣可以得到, 隨著時(shí)間的推移, 神經(jīng)狀態(tài)解對應(yīng)的誤差函數(shù)也

23、在0.2秒內(nèi)收斂到零, 這更加直觀的證明了我們梯度神經(jīng)網(wǎng)絡(luò)的有效性。圖1梯度神經(jīng)網(wǎng)絡(luò)仿真的狀態(tài)解 圖2梯度神經(jīng)網(wǎng)絡(luò)仿真的誤差函數(shù)此外, 為了說明設(shè)計(jì)參數(shù)的重要性, 在其他條件不變的情況下, 我們把設(shè)計(jì)參數(shù)調(diào)大為1。當(dāng) =1時(shí)， 如圖3圖4所示：圖3 梯度神經(jīng)網(wǎng)絡(luò)仿真的狀態(tài)解圖4 梯度神經(jīng)網(wǎng)絡(luò)仿真的誤差函數(shù)可以看出, 當(dāng) , 誤差函數(shù)在2毫秒內(nèi)就能收斂到零。圖5 梯度神經(jīng)網(wǎng)絡(luò)仿真的狀態(tài)解圖6 梯度神經(jīng)網(wǎng)絡(luò)仿真的誤差函數(shù)當(dāng) =100時(shí)，如圖5圖6所示，誤差函數(shù)的收斂時(shí)間只需要不到20微妙。仿真結(jié)果說明設(shè)計(jì)參數(shù)l對我們梯度神經(jīng)網(wǎng)絡(luò)的收斂速度有至關(guān)重要的作用。 因此, 在實(shí)際的應(yīng)用中, 我們應(yīng)根據(jù)具體

24、需求, 選擇一個(gè)合適的設(shè)計(jì)參數(shù)去設(shè)計(jì)梯度神經(jīng)網(wǎng)絡(luò)。通過的不同可以看出，值越大，收斂的時(shí)間就越短。這一仿真例子說明了我們梯度神經(jīng)網(wǎng)絡(luò)的有效性。例2: 首先讓我們考慮如下的次方根求解(具體來講): ， （4.2.2）很顯然, 在實(shí)數(shù)域里面, 方程（4.2.2）有兩個(gè)理論解: 一個(gè)是, 另一個(gè)是。下面我們將運(yùn)用梯度神經(jīng)網(wǎng)絡(luò)模型（4.2.2）去實(shí)時(shí)求解次方根（4.2.2）。 不失一般性, 我們令設(shè)計(jì)參數(shù)= ,初始狀態(tài)(0) x 在 1,5 - 區(qū)域內(nèi)隨機(jī)產(chǎn)生, 仿真結(jié)果如圖7和圖8所示。從圖1可以看出, 從 1,5 - 區(qū)域內(nèi)隨機(jī)產(chǎn)生的初始狀態(tài)出發(fā), 神經(jīng)狀態(tài)解在0.02秒內(nèi)都收斂到次方根的理論解或者

25、。這充分說明了我們梯度神經(jīng)網(wǎng)絡(luò)的有效性。另外,我們也展示了神經(jīng)狀態(tài)解對應(yīng)的誤差函數(shù)收斂情況, 具體如圖2所示。從圖2我們同樣可以得到, 隨著時(shí)間的推移,神經(jīng)狀態(tài)解對應(yīng)的誤差函數(shù)也在0.02秒收斂到零, 這更加直觀的證明了我們梯度神經(jīng)網(wǎng)絡(luò)的有效性。 圖7 梯度神經(jīng)網(wǎng)絡(luò)仿真的狀態(tài)解圖8 梯度神經(jīng)網(wǎng)絡(luò)仿真的誤差函數(shù)此外, 為了說明設(shè)計(jì)參數(shù)的重要性, 在其他條件不變的情況下, 我們把設(shè)計(jì)參數(shù)調(diào)大為1。當(dāng) =1時(shí)，如圖9圖10所示圖9 梯度神經(jīng)網(wǎng)絡(luò)仿真的狀態(tài)解圖10梯度神經(jīng)網(wǎng)絡(luò)仿真的誤差函數(shù)由圖9圖10可以看出，誤差函數(shù)在0.005秒內(nèi)就能收斂到零.當(dāng) =100時(shí)，如圖11圖12所示圖11 梯度神經(jīng)網(wǎng)絡(luò)

26、仿真的狀態(tài)解圖12梯度神經(jīng)網(wǎng)絡(luò)仿真的誤差函數(shù)把l調(diào)大為100, 如圖11圖12所示, 誤差函數(shù)的收斂時(shí)間只需要不到20微秒。仿真結(jié)果說明設(shè)計(jì)參數(shù)對我們梯度神經(jīng)網(wǎng)絡(luò)的收斂速度有至關(guān)重要的作用. 因此, 在實(shí)際的應(yīng)用中, 我們應(yīng)根據(jù)具體需求, 選擇一個(gè)合適的設(shè)計(jì)參數(shù)去設(shè)計(jì)梯度神經(jīng)網(wǎng)絡(luò)。通過的不同可以看出，值越大，收斂的時(shí)間就越短。這一仿真例子再次說明了我們梯度神經(jīng)網(wǎng)絡(luò)的有效性。例2: 首先讓我們考慮如下的次方根求解(具體來講): ， （4.2.3）很顯然, 在實(shí)數(shù)域里面, 方程（4.2.3）有兩個(gè)理論解:是。下面我們將運(yùn)用梯度神經(jīng)網(wǎng)絡(luò)模型（4.2.3）去實(shí)時(shí)求解次方根（4.2.3）。 不失一般性,

27、 我們令設(shè)計(jì)參數(shù)= , 初始狀態(tài)(0) x 在 1,5 - 區(qū)域內(nèi)隨機(jī)產(chǎn)生, 仿真結(jié)果如圖7和圖8所示。從圖1可以看出, 從 1,5 - 區(qū)域內(nèi)隨機(jī)產(chǎn)生的初始狀態(tài)出發(fā), 神經(jīng)狀態(tài)解在0.15秒內(nèi)都收斂到次方根的理論解。這充分說明了我們梯度神經(jīng)網(wǎng)絡(luò)的有效性。另外, 我們也展示了神經(jīng)狀態(tài)解對應(yīng)的誤差函數(shù)收斂情況,具體如圖2所示。從圖2我們同樣可以得到, 隨著時(shí)間的推移,神經(jīng)狀態(tài)解對應(yīng)的誤差函數(shù)也在0.03秒收斂到零, 這更加直觀的證明了我們梯度神經(jīng)網(wǎng)絡(luò)的有效性。 圖13梯度神經(jīng)網(wǎng)絡(luò)仿真的狀態(tài)解 圖14梯度神經(jīng)網(wǎng)絡(luò)仿真的誤差函數(shù)此外, 為了說明設(shè)計(jì)參數(shù)的重要性, 在其他條件不變的情況下, 我們把設(shè)計(jì)

28、參數(shù)調(diào)大為1。從圖16可以看出, 當(dāng) , 狀態(tài)解誤差函數(shù)在0.003秒內(nèi)就能收斂到零. 如果再繼續(xù)把l調(diào)大為100, 如圖12所示, 誤差函數(shù)的收斂時(shí)間只需要不到30微妙. 仿真結(jié)果說明設(shè)計(jì)參數(shù)對我們梯度神經(jīng)網(wǎng)絡(luò)的收斂速度有至關(guān)重要的作用. 因此, 在實(shí)際的應(yīng)用中, 我們應(yīng)根據(jù)具體需求, 選擇一個(gè)合適的設(shè)計(jì)參數(shù)去設(shè)計(jì)梯度神經(jīng)網(wǎng)絡(luò)。 =1時(shí)，如圖15圖16所示圖15梯度神經(jīng)網(wǎng)絡(luò)仿真的狀態(tài)解圖16梯度神經(jīng)網(wǎng)絡(luò)仿真的誤差函數(shù)從圖15圖16可以看出, 當(dāng) , 狀態(tài)解誤差函數(shù)在0.003秒內(nèi)就能收斂到零.（3）當(dāng) =100時(shí)，如圖17圖18所示圖17梯度神經(jīng)網(wǎng)絡(luò)仿真的狀態(tài)解圖18梯度神經(jīng)網(wǎng)絡(luò)仿真的誤差函

29、數(shù)把l調(diào)大為100, 如圖12所示, 誤差函數(shù)的收斂時(shí)間只需要不到30微妙.分析，通過的不同可以看出，值越大，收斂的時(shí)間就越短。經(jīng)MATLAB軟件核對, 神經(jīng)狀態(tài)解都收斂到該次方根方程(4.2.3)的理論解。這一仿真例子再次說明了我們梯度神經(jīng)網(wǎng)絡(luò)的有效性。仿真結(jié)果說明設(shè)計(jì)參數(shù)對我們梯度神經(jīng)網(wǎng)絡(luò)的收斂速度有至關(guān)重要的作用. 因此, 在實(shí)際的應(yīng)用中, 我們應(yīng)根據(jù)具體需求, 選擇一個(gè)合適的設(shè)計(jì)參數(shù)去設(shè)計(jì)梯度神經(jīng)網(wǎng)絡(luò)。4.3 小結(jié)我們提出一類特殊的GD模型去求解次方根問題，是和GD模型有關(guān)的基于平方的能量函數(shù)，并把這一類設(shè)計(jì)推廣到求解一般的靜態(tài)次方根方程。最后，我們做了大量的計(jì)算機(jī)仿真，通過前面三個(gè)例

30、子，我們證實(shí)了通過GD模型去求解次方根問題的有效性，我們可以成功的把此類方法推廣到求解一般的靜態(tài)方程。結(jié) 語經(jīng)過一學(xué)期的知識準(zhǔn)備和接近半個(gè)月的論文撰寫，自己終于完成了此次畢業(yè)設(shè)計(jì)，這是我學(xué)生生涯中的最后一次設(shè)計(jì)。通過此次畢業(yè)設(shè)計(jì)，使我感受頗多，第一，深深感到自己的所學(xué)知識的膚淺，應(yīng)用程序并非是通過考試獲取的，而在于平時(shí)的積累和不斷的操練，這一點(diǎn)我并沒有做的好。第二，在系統(tǒng)的仿真驗(yàn)證階段，自己不能從專業(yè)的角度分析用戶的描述內(nèi)容，這些問題導(dǎo)致我在進(jìn)行總體設(shè)計(jì)出現(xiàn)了種種狀況，我時(shí)常在想我要是能再來一次我會認(rèn)真的學(xué)習(xí)。雖然受到了挫折，但我并沒有退縮，通過上網(wǎng)查找資料，圖書館搜集書籍，和老師交流，在老師

31、指導(dǎo)下，而這些問題都在從中找到了答案。本次畢業(yè)設(shè)計(jì)已經(jīng)結(jié)束，我不僅收獲了知識而且也鍛煉了自己的學(xué)習(xí)能力，通過這次畢業(yè)設(shè)計(jì)，我對待事情的態(tài)度更加的嚴(yán)謹(jǐn)和細(xì)心，并且把我要的結(jié)果都變完美了。畢業(yè)設(shè)計(jì)的完成給本科階段的學(xué)習(xí)畫上了完美的句號，但學(xué)習(xí)是終身的，在以后的時(shí)間里，我會本著對技術(shù)的追求，繼續(xù)鉆研。本次畢業(yè)設(shè)計(jì)，從選題，設(shè)計(jì)任務(wù)書，論文撰寫，每一過程都得到我的指導(dǎo)老師的悉心指導(dǎo)，在我論文設(shè)計(jì)過程中排憂解難，在此衷心感謝我的指導(dǎo)老師xx老師和各位朋友的幫助。畢業(yè)設(shè)計(jì)不僅是在對大學(xué)四年所學(xué)知識的一種檢測，更是對自己專業(yè)能力的一種提高和升華。我發(fā)現(xiàn)在專業(yè)上的不足，在今后的學(xué)習(xí)和工作中應(yīng)不斷的去學(xué)習(xí)。參考

32、文獻(xiàn)1 張雨濃,張禹珩,陳軻,蔡炳煌,馬偉木.線性矩陣方程的梯度法神經(jīng)網(wǎng)絡(luò)求解及其仿真驗(yàn)證J.中山大學(xué)學(xué)報(bào)(自然科學(xué)版).2008,(03):4028- 4031.2 趙鳳遙,馬震岳.基于遞歸小波神經(jīng)網(wǎng)絡(luò)的非線性動態(tài)系統(tǒng)仿真J.系統(tǒng)仿真學(xué)報(bào),2007,19(7):1453-1455.3 湯京永,時(shí)貞軍.一類全局收斂的記憶梯度法及其線性收斂性J.數(shù)學(xué)進(jìn)展, 2007,36(1):67-75.4 熊焱.Pi-Sigma神經(jīng)網(wǎng)絡(luò)的幾種梯度學(xué)習(xí)算法D.大連理工大學(xué).2007 5 張鈸,張鈴.人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)方法J.清華大學(xué)學(xué)報(bào)(自然科學(xué)版).1998(S1) 6 朱文莉.一類具有時(shí)滯的神經(jīng)網(wǎng)絡(luò)的穩(wěn)定

33、性分析J.電子科技大學(xué)學(xué)報(bào). 2000(05) 7 曹青松,周繼惠.MATLAB在神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中的應(yīng)用J.華東交通大學(xué)學(xué)報(bào). 2004(04) 8 姜波.基于神經(jīng)網(wǎng)絡(luò)的人民幣識別系統(tǒng)研究D.西安理工大學(xué).20049 姜春福.基于神經(jīng)網(wǎng)絡(luò)的機(jī)器人模型辨識與控制研究D.北京工業(yè)大學(xué).200310曾喆昭.神經(jīng)網(wǎng)絡(luò)優(yōu)化方法及其在信息處理中的應(yīng)用研究D.湖南大學(xué).200811 包芳.基于智能算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化及其應(yīng)用D.江南大學(xué) 200812 張銳.幾類遞歸神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性及其應(yīng)用研究D.東北大學(xué).201013 張德豐.MATLAB神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)M.計(jì)機(jī)械工業(yè)出版社.200914 王學(xué)武,譚得健.神經(jīng)

34、網(wǎng)絡(luò)的應(yīng)用與發(fā)展趨勢J.計(jì)算機(jī)工程與應(yīng)用. 2003(03)15 陳軻.兩種神經(jīng)動力學(xué)方法的探討與對比：梯度法和新方法D中山大學(xué).200916 劉春平.神經(jīng)網(wǎng)絡(luò)的應(yīng)用與發(fā)展J.電子工藝技術(shù).2005(06) 17 田大新,劉衍珩,李賓,吳靜.基于Hebb規(guī)則的分布神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法J.計(jì)算機(jī)學(xué)報(bào).2007(08) 18基于Matlab的LCC評估系統(tǒng)研究與設(shè)計(jì)D陳瑩.廈門大學(xué).201119 王學(xué)寧,徐昕,吳濤,賀漢根.策略梯度強(qiáng)化學(xué)習(xí)中的最優(yōu)回報(bào)基線J.計(jì)算機(jī)學(xué)報(bào).2005(06) 20 黃國宏,熊志化,邵惠鶴.一種新的基于構(gòu)造型神經(jīng)網(wǎng)絡(luò)分類算法J.計(jì)算機(jī)學(xué)報(bào).2005(09) 附 錄例1：我們

35、采用GD模型,求解的靜態(tài)次方根問題和誤差的收斂情況。（1）當(dāng) =0.1時(shí)，如圖1圖2所示：程序如下:format long; clear,clc; gamma=0.001;options=odeset();for i=1:10 x0=16*(rand(1,1)-0.5);t1,xz=ode15s(gnnright,tspan,x0,gamma); figure (3);plot(t1,xz,'b-');hold onfor j=1:length(t1) TT=t1(j); errz(:,j)=xz(j,:)3-16;nerrz(j)=norm(errz(:,j); end fi

36、gure(2); plot(t1,nerrz); ylim(0,5) hold on nerrz=0; plot(t1,0,'r-');hold on; ylim(-1,5)end例2：我們采用GD模型,求解的靜態(tài)次方根問題和誤差的收斂情況。（1）當(dāng) =0.001時(shí)，如圖7圖8所示程序如下;format long; clear,clc; gamma=0.001; tspan=0 10;options=odeset();for i=1:10 x0=16*(rand(1,1)-0.5); t1,xz=ode15s(gnnright,tspan,x0,gamma); figure (3);plot(t1,xz,'b-');hold on for j=1:length(t1) TT=t1(j); errz(:,j)=xz(j,:)4-10; nerrz(j)=norm(errz(:,j); end figure(2); plot(t1,nerrz); ylim(0,5) hol