bp神經(jīng)網(wǎng)絡算法 嚴選參考

BP神經(jīng)網(wǎng)絡算法摘 要人工神經(jīng)網(wǎng)絡，是由大量處理單元（神經(jīng)元）組成的非線性大規(guī)模自適應動力系統(tǒng)。它具有自組織，自適應和自學習能力，以及具有非線性、非局域性，非定常性和非凸性等特點。它是在現(xiàn)代神經(jīng)科學研究成果的基礎上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡處理，記憶信息的方式設計一種新的機器使之具有人腦那樣的信息處理能力。作為人工智能的重要組成部分，人工神經(jīng)網(wǎng)絡有較大的應用潛力。本文闡述了神經(jīng)網(wǎng)絡的發(fā)展、現(xiàn)狀及其原理，介紹了神經(jīng)網(wǎng)絡在航空航天業(yè)、國防工業(yè)、制造業(yè)等諸多方面的應用。BP神經(jīng)網(wǎng)絡是目前應用較多的一種神經(jīng)網(wǎng)絡結(jié)構(gòu)。它能以任意精度逼近任意非線性函數(shù)，而且具有良好的逼近性能，并且結(jié)構(gòu)簡單，是一種性能優(yōu)良的神經(jīng)網(wǎng)絡。本文闡述了BP神經(jīng)網(wǎng)絡的基本原理，詳細分析了標準BP算法、動量BP算法以及學習率可變的BP算法等幾種流行的BP神經(jīng)網(wǎng)絡學習算法,詳細的介紹了這幾種算法的優(yōu)缺點，并給出了各種算法的仿真程序，通過仿真結(jié)果對各種算法進行比較后有針對性的提出了BP算法的一種改進變梯度BP算法。對于改進的BP算法，本文不僅從理論方面對其進行了深入的分析，還介紹了該算法的詳細思路和具體過程，將算法訓練后的BP神經(jīng)網(wǎng)絡運用到函數(shù)逼近中去。仿真結(jié)果表明，這種改進方案確實能夠改善算法在訓練過程中的收斂特性，而且提高收斂速度，取得令人滿意的逼近效果。關鍵詞: 人工智能；BP神經(jīng)網(wǎng)絡；變梯度法；改進Abstract Artificial neural network, by the large number of processing units (neurons) composed of large-scale adaptive nonlinear dynamic systems. It is self-organization, adaptive and self-learning ability, as well as non-linear, non-local, non-steady and non-convex and so on. It is in modern neuroscience research on the basis of the results, trying to simulate the brain network processing, memory about the means to design a new machine so that it is the human brain, as the information processing capability.As an important component of artificial intelligence, artificial neural networks have greater potential applications. This paper describes the development of a neural network, the status quo and its principles, introduced a neural network in the aerospace industry, defense industry, manufacturing and many other aspects of the application. BP neural network is more of a neural network structure. Approaching it with any precision arbitrary nonlinear function, but also has a good approximation performance, and simple structure, is a good performance of neural networks.In this paper, BP neural network the basic principles, detailed analysis of the standard BP algorithm, momentum BP algorithm and the variable rate of learning, such as BP algorithm several popular BP neural network learning algorithm, described in detail the advantages and disadvantages of these different algorithms And gives a variety of algorithm simulation program, through the simulation results of the various algorithms to compare targeted after BP made an improved algorithm - BP change gradient algorithm. BP to improve the algorithm, the paper not only from the theoretical aspects of their in-depth analysis, also described the algorithm is detailed ideas and specific process, method of training to use BP neural network to function approximation. The simulation results show that this improvement programme is to improve the training algorithm in the process of convergence characteristics, and improve the convergence rate, a satisfactory approximation.Keywords: Artificial intelligence; BP neural network; change gradient method; improve目 錄第一章 緒論11.1人工神經(jīng)網(wǎng)絡的發(fā)展史11.2人工神經(jīng)網(wǎng)絡的應用3第二章 人工神經(jīng)網(wǎng)絡的基本原理及模型72.1神經(jīng)網(wǎng)絡構(gòu)成的基本原理72.1.1人工神經(jīng)元模式72.1.2連接權值72.1.3神經(jīng)網(wǎng)絡狀態(tài)82.1.4神經(jīng)網(wǎng)絡的輸出82.2神經(jīng)網(wǎng)絡的結(jié)構(gòu)82.3神經(jīng)網(wǎng)絡的特點102.4神經(jīng)網(wǎng)絡的學習方式112.5幾種典型的神經(jīng)網(wǎng)絡11第三章 BP神經(jīng)網(wǎng)絡算法的改進及其仿真研究153.1 BP算法的數(shù)學描述153.2 BP網(wǎng)絡學習算法183.2.1標準BP算法183.2.2動量BP算法203.2.3學習率可變的BP算法213.3 BP算法的缺陷223.4 BP算法的一種改進變梯度BP算法233.4.1共軛梯度法233.4.2改進共軛梯度法243.5 BP網(wǎng)絡應用實例263.5.1一般BP算法及其改進算法訓練過程的不同263.5.2 BP神經(jīng)網(wǎng)絡的函數(shù)逼近27結(jié)束語28參考文獻29致 謝30附 錄318參考8第一章 緒論1.1人工神經(jīng)網(wǎng)絡的發(fā)展史 早在20世紀初，人們就已經(jīng)發(fā)現(xiàn)人腦的工作方式與現(xiàn)在的計算機是不同的。人腦是由極大量基本單元（稱之為神經(jīng)元）經(jīng)過復雜的相互連接而成的一種高度復雜的、非線性的、并行處理的信息處理系統(tǒng)。 人工神經(jīng)網(wǎng)絡（artificial neural network,ANN），是借鑒人腦的結(jié)構(gòu)和特點，通過大量簡單處理單元（神經(jīng)元或節(jié)點）互連組成的大規(guī)模并行分布式信息處理和非線性動力學系統(tǒng)。它具有巨量并行性、結(jié)構(gòu)可變性、高度非線性、自學習性和自組織性等特點。因此，它能解決常規(guī)信息處理方法難以解決或無法解決的問題，尤其是那些屬于思維（形象思維）、推理及意識方面的問題。 從人腦的生理結(jié)構(gòu)出發(fā)來研究人的智能行為，模擬人腦信息處理的過程，即人工神經(jīng)網(wǎng)絡的研究，自20世紀40年代以來，它的發(fā)展經(jīng)歷了一條由興起、蕭條和興盛三個階段構(gòu)成的曲折道路123。 早在1943年精神病學家和神經(jīng)解剖學家McCulloch與數(shù)學家Pitts在數(shù)學生物物理學會刊Bulletin of Mathematical Biophysics上發(fā)表文章，總結(jié)了生物神經(jīng)元的一些基本生理特征，提出了形式神經(jīng)元的數(shù)學描述與結(jié)構(gòu)，即MP模型。他們的神經(jīng)元模型假定遵循一種所謂“有或無”（all-or-none）規(guī)則。如果如此簡單的神經(jīng)元數(shù)目足夠多和適當設置突觸連接并且同步操作，McCulloch和Pitts證明這樣構(gòu)成的網(wǎng)絡原則上可以計算任何可計算函數(shù)。這是一個有重大意義的結(jié)果，有了它就標志著神經(jīng)網(wǎng)絡和人工智能學科的誕生。 1949年生理學家D.O.Hebb出版了The Organization of Behavior(行為組織學)一書。該書第一次鮮明提出了神經(jīng)元連接強度的Hebb規(guī)則。他認為學習過程是在突觸上發(fā)生的，突觸的聯(lián)系強度隨其前后神經(jīng)元的活動而變化。根據(jù)這一假設提出的學習規(guī)則為神經(jīng)網(wǎng)絡的學習算法奠定了基礎，使神經(jīng)網(wǎng)絡的研究進入了一個重要的發(fā)展階段。 1954年Minsky在Princeton大學撰寫了“神經(jīng)網(wǎng)絡”的博士論文，題目是Theory of Neural-Analog Reinforcement Systems and Its Application tothe Brain-Model Problem。1961年Minsky發(fā)表了早期關于人工智能（AI）的優(yōu)秀論文“Steps Toward Artificial Intelligence”，論文的后半部包含了當今神經(jīng)網(wǎng)絡的大部分內(nèi)容。1967年Minsky出版了Computation：Finite andInfinite Machines一書，它是第一本以書的形式擴展了McCulloch和Pitts1943年的結(jié)果，并把他們置于自動機理論和計算理論的背景中。 1958年，計算機科學家Rosenblatt提出感知機（Perceptron），首次把神經(jīng)網(wǎng)絡理論付諸工程實現(xiàn)。這是一種學習和自組織的心理學模型，它基本上符合神經(jīng)生物學的知識，模型的學習環(huán)境是有噪聲的，網(wǎng)絡構(gòu)造中存在隨機連接，這是符合動物學習的自然環(huán)境。當時，人們對神經(jīng)網(wǎng)絡的研究過于樂觀，認為只要將這種神經(jīng)元互連成一個網(wǎng)絡，就可以解決人腦思維的模型問題。但是，隨之而來的Minsky和Papert（1969）所著的Perceptron一書，利用數(shù)學證明單層感知器所能計算的根本局限，提出感知器的處理能力有限，甚至連XOR這樣的問題也不能解決，并在多層感知器的總結(jié)章中，論述了單層感知器的所有局限性在多層感知器中是不可能被全部克服的。當時人工智能的以功能模擬為目標的另一分支出現(xiàn)了轉(zhuǎn)機，產(chǎn)生了以知識信息處理為基礎的知識工程（Knowledge Engineering），給人工智能從實驗室走向?qū)嵱脦砹讼Ｍ?。同時，微電子技術的發(fā)展，使傳統(tǒng)的計算機的處理能力有很大提高，數(shù)字計算機的發(fā)展使當時科學界普遍認為它能解決一切問題，包括模式識別、機器人控制等。因而不必去尋找新的計算理論與實現(xiàn)方法。而且，當時的工藝水平還未能達到制作實用的具有足夠規(guī)模的神經(jīng)網(wǎng)絡，用分離的電子管即使是晶體管所制作的神經(jīng)網(wǎng)絡也只能作示教星的表演。這些因素的共同作用，促使人們降低了對神經(jīng)網(wǎng)絡研究的熱情，從而使神經(jīng)網(wǎng)絡進入蕭條時期。但在其間，一些人工神經(jīng)網(wǎng)絡的先驅(qū)仍然致力于這一研究，美國波士頓大學的Grossberg提出了自適應共諧振理論（ART網(wǎng)），芬蘭的Kohonen提出了自組織映射（SOM），Amari致力于神經(jīng)網(wǎng)絡數(shù)學理論的研究，這些都為神經(jīng)網(wǎng)絡的進一步研究與發(fā)展奠定了基礎。 1982年，美國加州工學院Hopfield提出Hopfield神經(jīng)網(wǎng)絡模型，開創(chuàng)了神經(jīng)網(wǎng)絡用于聯(lián)想記憶和優(yōu)化計算的新途徑，有力地推動了神經(jīng)網(wǎng)絡的發(fā)展。1985年，Hinton和Sejnowsky等人提出了Boltzmann模型，首次采用了多層網(wǎng)絡的學習算法，在學習中采用統(tǒng)計熱力學模擬退火技術，保證整個系統(tǒng)趨于全局穩(wěn)定點。1986年Remelhart和McClelland等人提出了并行分布處理的理論，同時，Werbos和Parker獨立發(fā)展了多層網(wǎng)絡的BP算法，這是目前最普遍的網(wǎng)絡，廣泛用于實際問題求解。 神經(jīng)網(wǎng)絡的發(fā)展已到了一個新時期，它涉及的范圍正在不斷擴大，其應用滲透到各個領域。在連接主義模式下，進化與學習結(jié)合的思想正在迅速發(fā)展，神經(jīng)計算、進化計算正成為其發(fā)展的一個重要方向。1994年廖曉昕對細胞神經(jīng)網(wǎng)絡建立了新的數(shù)學理論與基礎，得出了一系列結(jié)果，如平衡態(tài)的全局穩(wěn)定性、區(qū)域穩(wěn)定性、周期解的存在性和吸引性等，使該領域取得了新的進展。P.Werbos通過混沌、獨立子系統(tǒng)的數(shù)學技術來理解人的認知過程，建立新的神經(jīng)信息處理模型和框架。日本學者Amari.S將微分流形和信息集合應用于人工神經(jīng)網(wǎng)絡的研究，探索系統(tǒng)化的新的神經(jīng)信息處理理論基礎，為人工神經(jīng)網(wǎng)絡的理論研究開辟了條嶄新的途徑。神經(jīng)網(wǎng)絡理論有極強的數(shù)學性質(zhì)和生物學特征，尤其是在神經(jīng)科學、心理學和認識科學等方面提出了一些重大問題，是向神經(jīng)網(wǎng)絡理論研究的新挑戰(zhàn)，也是它發(fā)展的機會。21世紀神經(jīng)網(wǎng)絡理論日益變得更加外向，不斷產(chǎn)生具有重要意義的概念和方法，推進神經(jīng)網(wǎng)絡向更高階段發(fā)展。 如今，神經(jīng)網(wǎng)絡的應用，已滲透到模式識別、圖像處理、非線性優(yōu)化、語音處理、自然語言理解、自動目標識別、機器人、專家系統(tǒng)等各個領域，并取得了令人矚目的成果。神經(jīng)網(wǎng)絡理論也已成為涉及神經(jīng)生理科學、認識科學、數(shù)理科學、心理學、信息科學、計算機科學、微電子學、光學、生物電子學等多學科的新興的、綜合性的前沿學科。 從眾多應用研究領域取得的豐碩成果來看，人工神經(jīng)網(wǎng)絡的發(fā)展具有強大的生命力。當前存在的問題是智能水平還不高，許多應用方面的要求還不能得到很好的滿足；網(wǎng)絡分析與綜合的一些理論性問題（如穩(wěn)定性、收斂性的分析，網(wǎng)絡的結(jié)構(gòu)綜合等）還未得到很好的解決。隨著人們對大腦信息處理機理認知的深化，以及人工神經(jīng)網(wǎng)絡智能水平的提高，人工神經(jīng)網(wǎng)絡必將在科學技術領域發(fā)揮更大的作用。1.2人工神經(jīng)網(wǎng)絡的應用人工神經(jīng)網(wǎng)絡的應用領域極其廣泛，1988年DARPA神經(jīng)網(wǎng)絡研究報告列舉了不同領域神經(jīng)網(wǎng)絡的應用實例，見表11。從表中可以看出，神經(jīng)網(wǎng)絡在人工智能、自動控制、計算機科學、信息處理、機器人、模式識別等方面都有重要的應用實例。隨著人工神經(jīng)網(wǎng)絡技術的發(fā)展，其用途日益廣泛，應用領域也在不斷拓展，已在各工程領域中得到廣泛的應用4。表11 神經(jīng)網(wǎng)絡應用實例應用領域應用實例航空航天業(yè)高性能飛機自動駕駛儀、飛行航線模擬、飛行器控制系統(tǒng)、自動駕駛儀增強器、飛機構(gòu)件模擬、飛機構(gòu)件故障檢測等汽車業(yè)汽車自動駕駛系統(tǒng)、保單行為分析銀行業(yè)支票和其他文檔讀取、信用卡申請書評估信用卡行為檢查用于辨認與遺失的信用卡相關的不尋常的信用卡行為國防工業(yè)武器制導、目標跟蹤與識別、臉部識別、新型傳感器、聲納、雷達、圖像處理與數(shù)據(jù)壓縮、特征提取與噪聲抑制、信號/圖像識別電子業(yè)編碼序列預測、集成電路芯片版圖設計、過程控制芯片故障檢測、機器人視覺、語音合成非線性建模娛樂業(yè)動畫、特效、市場預測金融業(yè)房地產(chǎn)估價、貸款指導、抵押審查、集團債務評估、信用曲線分析、有價證券交易程序、集團財政分析、貨幣價格預測工業(yè)預測熔爐產(chǎn)生的氣體和其他工業(yè)過程，以取代復雜而昂貴的儀器設備保險業(yè)政策應用評估，產(chǎn)出最優(yōu)化制造業(yè)制造業(yè)過程控制、產(chǎn)品設計與分析、過程與機器診斷、實時微粒識別、可視化質(zhì)量檢測系統(tǒng)、焊接質(zhì)量分析、紙質(zhì)預測、計算機芯片質(zhì)量分析、化學產(chǎn)品設計分析、機器保養(yǎng)分析、工程投標、經(jīng)營與管理、化學處理系統(tǒng)的動態(tài)建模等醫(yī)藥乳腺癌細胞分析，EEG和ECG分析，假體設計，移植時間最優(yōu)化，降低醫(yī)療費用支出，提高醫(yī)療質(zhì)量石油天然氣勘探機器人技術行走路線控制、鏟車機器人、操縱控制器、視覺系統(tǒng)等語音語音識別、語音壓縮、元音分類、文本-語音合成等有價證券市場分析、自動債券評級、股票交易咨詢系統(tǒng)等電信業(yè)圖像與數(shù)據(jù)壓縮、自動信息服務、實時語言翻譯、用戶付費處理系統(tǒng)等交通卡車剎車診斷系統(tǒng)、車輛調(diào)度、行程安排系統(tǒng)等神經(jīng)網(wǎng)絡比較擅長的應用領域如下：（1） 模式識別神經(jīng)網(wǎng)絡經(jīng)過訓練可有效的提取信號、語言、圖像、雷達、聲納等感知模式的特征，并能解決現(xiàn)有啟發(fā)模式識別系統(tǒng)不能很好解決的不變量測量、自適應、抽象或概括等問題。這方面的主要應用有：圖形、符號、手寫體及語音識別，雷達及聲納等目標識別，藥物構(gòu)效關系等化學模式信息辨認，機器人視覺、聽覺，各種最近相鄰模式聚類及識別分類，遙感、醫(yī)學圖像分析，計算機視覺、計算機輸入裝置等。神經(jīng)網(wǎng)絡可應用于模式識別的各個環(huán)節(jié)：特征提聚、聚類分析、邊緣檢測、信號增強、噪音抑制、數(shù)據(jù)壓縮以及各種變換、分類判決等。模式識別是人工神經(jīng)網(wǎng)絡特別適宜求解的一類問題，神經(jīng)網(wǎng)絡模式識別技術在各領域中的廣泛應用是神經(jīng)網(wǎng)絡技術發(fā)展的一個重要側(cè)面。（2） 人工智能專家系統(tǒng)是人工智能領域研究時間最長，應用最成功的技術，但人們在應用專家系統(tǒng)解決諸如語音識別、圖像處理和機器人控制等這類似于人腦的形象思維的問題時，卻遇到很大的困難。神經(jīng)網(wǎng)絡的問世為人工智能開辟了一條嶄新的途徑，成為人工智能研究領域中的后起之秀，它具有的自學習能力是傳統(tǒng)專家系統(tǒng)望塵莫及的。神經(jīng)網(wǎng)絡技術能對不完整信息進行補全，根據(jù)已學會的知識和處理問題的經(jīng)驗對復雜問題作出合理的判斷決策，給出較滿意的解答，或?qū)ξ磥磉^程作出有效的預測和估計，從而使之在人工智能領域獲得廣泛的應用。這個方面的主要應用有：自然語言處理、市場分析、預測估值、系統(tǒng)診斷、事故檢查、密碼破譯、語言翻譯、邏輯推理、知識表達、智能機器人、模糊評判等。（3） 控制工程神經(jīng)網(wǎng)絡在諸如機器人運動控制、工業(yè)生產(chǎn)中的過程控制等復雜控制問題方面有獨到之處。較之基于傳統(tǒng)數(shù)學計算機的離散控制方式，神經(jīng)網(wǎng)絡更適宜于組成快速實施自適應控制系統(tǒng)。這方面的主要應用有：多變量自適應控制、變結(jié)構(gòu)優(yōu)化控制、并行分布控制、智能及魯棒控制等。（4） 優(yōu)化計算和聯(lián)想控制由于并行、分布式的計算結(jié)構(gòu)，神經(jīng)網(wǎng)絡在求解諸如組合優(yōu)化（NP完備問題）、費心性優(yōu)化等一系列問題上表現(xiàn)出高速的集體計算能力。在VLSI自動排版、高速通信開關控制、航班分配、貨物調(diào)度、路徑選擇、組合編碼、排序、系統(tǒng)規(guī)劃、交通管理以及圖論中各類問題的計算等方面得到了成功應用。聯(lián)想記憶的作用是用一個不完整的模糊的信息聯(lián)想出儲存在記憶中的某個完整、清晰的模式來。如何提高模式儲存量和聯(lián)想質(zhì)量仍是神經(jīng)網(wǎng)絡的熱點之一。目前在這方面的應用又內(nèi)容尋址器、人臉識別器、知識數(shù)據(jù)庫等。（5） 信號處理神經(jīng)網(wǎng)絡的自學習和自適應能力使其成為對各類信號進行多用途加工處理的一種天然工具，主要用于解決信號處理中的自適應和非線性問題。包括自適應均衡、自適應濾波、回撥抵消、自適應波束形成、自適應編碼等自適應問題和各種非線性問題，如非線性區(qū)域的模式分類、系統(tǒng)辨識和高維非線性系統(tǒng)的檢測、估計等問題，還可對病態(tài)問題進行求解。神經(jīng)網(wǎng)絡在弱信號檢測、通信、自適應濾波等方面的應用尤其引人注目，并已在許多行業(yè)得到應用。雖然神經(jīng)網(wǎng)絡在許多領域內(nèi)都有成功的應用實例，但神經(jīng)網(wǎng)絡也不是盡善盡美的。目前，神經(jīng)網(wǎng)絡的理論研究和實際用途都在進一步探索之中，相信隨著人工神經(jīng)網(wǎng)絡研究的進一步深入，其應用領域會更廣，用途會更大。第二章 人工神經(jīng)網(wǎng)絡的基本原理及模型2.1神經(jīng)網(wǎng)絡構(gòu)成的基本原理3562.1.1人工神經(jīng)元模式神經(jīng)網(wǎng)絡是由大量簡單處理單元組成，通過可變權值連接而成的并行分布式圖21神經(jīng)元的一般描述系統(tǒng)。神經(jīng)元是人工神經(jīng)網(wǎng)絡的基本處理單元，它是一個多輸入-單輸出的非線性器件，其結(jié)構(gòu)如圖21所示。圖中，xi為輸入信號，wij表示從第i個神經(jīng)元到第j個神經(jīng)元的連接權值，j為第j個神經(jīng)元的閾值。設sj為外部輸入信號，yj為輸出信號，在上述模型中第j個神經(jīng)元的變換可描述為 （21）這里采用的非線性函數(shù)f(x)可以是階躍函數(shù)、分段函數(shù)及Sigmoid型函數(shù)。2.1.2連接權值人工神經(jīng)網(wǎng)絡的處理單元間相互連接，所有的連接構(gòu)成一有向圖。每一連接對應于一個實數(shù)，稱為連接權值，或稱為權重。權值的集合可看作是長期記憶。我們可以用權矩陣W來表示網(wǎng)絡中的連接模式，W中的元素是wij。連接權值的類型一般分為激發(fā)和抑制形式，正的權值表示激發(fā)連接，相反，負的權值表示抑制連接。連接權值的連接方式是人工神經(jīng)網(wǎng)絡的特征描述。2.1.3神經(jīng)網(wǎng)絡狀態(tài)在時刻t，每一個神經(jīng)元都有一個實數(shù)值，稱之為神經(jīng)元狀態(tài)，也叫做神經(jīng)元的激勵值，用xi表示神經(jīng)元uj的狀態(tài)，用X(t)表示神經(jīng)網(wǎng)絡的狀態(tài)空間。在各種不同的神經(jīng)網(wǎng)絡類型中，狀態(tài)空間可以作各種不同的假設。狀態(tài)空間可能是續(xù)的，也可能是離散的；可能是有界的，也可能是無界的；可能在一個實數(shù)區(qū)間上取值，也可能取有限值；最常見的情形是取二值，即0和1兩種狀態(tài)，或-1和1兩種狀態(tài)，亦或是取連續(xù)實數(shù)值。2.1.4神經(jīng)網(wǎng)絡的輸出對于每一個神經(jīng)元，都有一個輸出，并通過連接權值將輸出傳送給其相連的處理單元，輸出信號直接依賴于處理單元的狀態(tài)或激勵值。這種依賴性通過輸出變換函數(shù)fj對于處理單元uj的作用來表示。假如我們用zj(t)來定義t時刻神經(jīng)元的ui輸出那么zj(t)=fj(xj(t) （22）或?qū)懗上蛄康男问?Z(t)=f(X(t) （23）這里，Z(t)是神經(jīng)網(wǎng)絡的輸出向量，f定義為狀態(tài)向量與每一個分量的對應函數(shù)。一般是在區(qū)間（0，1）上的有界函數(shù)。人工神經(jīng)網(wǎng)絡模型，按它的網(wǎng)絡性能分類，可以分成確定性的、隨機性的、連續(xù)型的和離散型的網(wǎng)絡。Hopfield網(wǎng)絡模型就存在離散和連續(xù)兩類。確定性是相對于隨機性而言，當網(wǎng)絡狀態(tài)按概率分布變化就呈現(xiàn)了隨機性。Boltzmann機就是這種類型的人工神經(jīng)網(wǎng)絡模型，該神經(jīng)元取0和1兩種狀態(tài)，每個神經(jīng)元狀態(tài)的轉(zhuǎn)換是一隨機函數(shù)。2.2神經(jīng)網(wǎng)絡的結(jié)構(gòu)除單元特性外，網(wǎng)絡的拓撲結(jié)構(gòu)也是NN的一個重要特性，按網(wǎng)絡的拓撲結(jié)構(gòu)分類，人工神經(jīng)網(wǎng)絡可分成3類26： （1）相互連接的網(wǎng)絡相互連接的網(wǎng)絡中任意神經(jīng)元之間都可能有連接，信息在神經(jīng)元之間可以反復傳遞，造成網(wǎng)絡狀態(tài)的不斷變化。系統(tǒng)整體從某一初始狀態(tài)開始，經(jīng)過不斷的變化過程，最后進入某一平衡狀態(tài)、周期振蕩或其他狀態(tài)。（2）分層前饋型網(wǎng)絡分層前饋網(wǎng)絡的神經(jīng)元分層排列，并將其分為輸入層、隱含層和輸出層。各神經(jīng)元接受前一層的輸入，并輸出給下一層，沒有反饋（如圖221所示）。節(jié)點分為兩類，即輸入單元和計算單元，每一計算單元可有任意多個輸入，但只有一個輸出（它可以耦合到任意多個其他節(jié)點作為其輸入）。前饋型網(wǎng)絡可分為不同的層，每一層的神經(jīng)元只接收前一層神經(jīng)元的輸入，輸入層接收外界的輸入模式。輸入模式經(jīng)過各層神經(jīng)元的響應處理變?yōu)檩敵鰧拥妮敵?。最常用的前饋神?jīng)網(wǎng)絡就是BP神經(jīng)網(wǎng)絡（Backpropagation Neural Network）和RBF徑向基函數(shù)網(wǎng)絡(Radial Basis Function Neural Network)。 圖221具有一個隱層的前饋型網(wǎng)絡（3）反饋分層網(wǎng)絡如圖222所示，該網(wǎng)絡是在分層前饋網(wǎng)絡基礎上，將網(wǎng)絡的輸出反饋到網(wǎng)絡的輸入，反饋可以將全部輸出反饋，也可以將部分輸出反饋。所有節(jié)點都是計算單元，同時也可接受輸入，并向外界輸出。最典型的反饋神經(jīng)網(wǎng)絡就是Hopfield神經(jīng)網(wǎng)絡。ANN的工作過程主要分為兩個階段，一個階段是學習期，此時各計算單元狀態(tài)不變，各連線上的權值通過學習來修改。第二階段是工作期，此時連接權值固定，計算單元狀態(tài)變化，以達到某種穩(wěn)定狀態(tài)。圖222單層全連接反饋型網(wǎng)絡從作用效果來看，前饋型網(wǎng)絡主要是函數(shù)映射，可用于模式識別和函數(shù)逼近。按對能量函數(shù)的所有極小點的利用情況，可將反饋型網(wǎng)絡分為兩類：一類是能量函數(shù)的所有極小點都起作用，主要用作各種聯(lián)想存儲器；另一類只利用全局極小點，它主要用于求解優(yōu)化問題。2.3神經(jīng)網(wǎng)絡的特點神經(jīng)網(wǎng)絡的主要特點是：（1） 分布式儲存信息。其信息的儲存分布在不同的位置，神經(jīng)網(wǎng)絡是用大量神經(jīng)元之間的連接及對各連接權值的分布來表示特定的信息，從而使網(wǎng)絡在局部網(wǎng)絡受損或輸入信號因各種原因發(fā)生部分畸變時，仍然能夠保證網(wǎng)絡的正確輸出，提高網(wǎng)絡的容錯性和魯棒性。（2） 并行協(xié)同處理信息。神經(jīng)網(wǎng)絡中的每個神經(jīng)元都可根據(jù)接收到的信息進行獨立的運算和處理，并輸出結(jié)果，同一層中的各個神經(jīng)元的輸出結(jié)果可被同時計算出來，然后傳輸給下一層做進一步處理，這體現(xiàn)了神經(jīng)網(wǎng)絡并行運算的特點，這一特點使網(wǎng)絡具有非常強的實時性。雖然單個神經(jīng)元的結(jié)構(gòu)極其簡單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡系統(tǒng)所能實現(xiàn)的行為是極其豐富多彩的。（3） 信息處理與儲存合二為一。神經(jīng)網(wǎng)絡的每個神經(jīng)元都兼有信息處理和儲存功能，神經(jīng)元之間連接強度的變化，既反應了對信息的記憶，同時又與神經(jīng)元對激勵的響應以其反映了對信息的處理。（4） 對信息的處理具有自組織、自學習的特點，便于聯(lián)想、綜合和推廣。神經(jīng)網(wǎng)絡的神經(jīng)元之間的連接強度用權值大小來表示，這些神經(jīng)元之間的連接強度會不斷增加，從而提高神經(jīng)元對這些樣本特征的反應靈敏度。2.4神經(jīng)網(wǎng)絡的學習方式 一個神經(jīng)網(wǎng)絡僅僅具有拓撲結(jié)構(gòu)還不能具有任何智能特性。必須有一套完整的學習、工作規(guī)則與之配合。人工神經(jīng)網(wǎng)絡的工作過程可分為以下兩個階段：第一個階段是學習期，此時各計算單元狀態(tài)不變，各連線上的權值通過學習來修改；第二階段是工作期，此時各連接權固定，計算單元狀態(tài)變化，以達到某種穩(wěn)定狀態(tài)。神經(jīng)網(wǎng)絡中信息處理、傳遞是由網(wǎng)絡結(jié)構(gòu)的連接權實現(xiàn)的，而連接權值的大小則是通過在一定拓撲結(jié)構(gòu)固定的條件下，遵循一定的原則，按照一定的方式，應用一定的學習算法訓練得到的。通過向環(huán)境學習獲取知識并改進自身性能是神經(jīng)網(wǎng)絡的一個重要特點。在一般情況下，性能的改善是按某種預定的度量通過調(diào)節(jié)自身參數(shù)（如權值）隨時間逐步達到的。對神經(jīng)網(wǎng)絡學習算法的研究是神經(jīng)網(wǎng)絡研究中最核心的部分。對于不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡，人們都研究出許多的學習算法和它們相對應。神經(jīng)網(wǎng)絡的學習過程一般來說就是對神經(jīng)網(wǎng)絡權值調(diào)整的過程，數(shù)據(jù)網(wǎng)絡能夠根據(jù)樣本模式逐漸調(diào)整權值，使得神經(jīng)網(wǎng)絡具有卓越的學習、記憶和處理信息的能力。神經(jīng)網(wǎng)絡的學習方法有兩大類567：有導師學習和無導師學習。對于有導師學習，神經(jīng)網(wǎng)絡的輸出和希望的輸出進行比較，然后根據(jù)兩者之間的差的函數(shù)（如差的平方和）來調(diào)整網(wǎng)絡的權值，最終使其函數(shù)達到最小。對于無導師學習，當輸入的樣本模式進入神經(jīng)網(wǎng)絡后，網(wǎng)絡按照預先設定的規(guī)則（如競爭規(guī)則）自動調(diào)整權值，使網(wǎng)絡最終具有模式分類等功能。神經(jīng)網(wǎng)絡學習算法中最著名的是針對BP網(wǎng)絡的誤差反向傳播學習算法，也就是梯度算法。它屬于有導師學習，其原理就是從誤差平方和對網(wǎng)絡權值的梯度方向來修改網(wǎng)絡的權值，從而使BP網(wǎng)絡較快達到所希望的學習效果。當然，BP網(wǎng)絡的梯度算法還存在一些問題，如易陷入局部極小點和收斂速度慢等。因此，人們對梯度算法的改進方案研究也成為熱點問題。2.5幾種典型的神經(jīng)網(wǎng)絡神經(jīng)元的激活函數(shù)不同、拓撲結(jié)構(gòu)不同、網(wǎng)絡的學習算法、構(gòu)成神經(jīng)網(wǎng)絡的方式不同，則神經(jīng)網(wǎng)絡對信息處理的方法和能力亦不同。下面介紹幾種典型的神經(jīng)網(wǎng)絡。（1）多層前向神經(jīng)網(wǎng)絡（Multilayer Feedforward NN or MFNN）多層前向神經(jīng)網(wǎng)絡是目前應用較多的一種神經(jīng)網(wǎng)絡結(jié)構(gòu)。它是由輸入層、若干隱含層、輸出層構(gòu)成。各層神經(jīng)元之間無連接。神經(jīng)元以不同的非減函數(shù)，如Sigmoid函數(shù)、反正切函數(shù)、雙曲函數(shù)等為激活函數(shù)。多層前向神經(jīng)網(wǎng)絡結(jié)構(gòu)如圖25所示。多層前向神經(jīng)網(wǎng)絡本質(zhì)上是一種多輸入、多輸出的非線性映射。Cybenko(1988,1989),Funahashi(1989),HechetNiesen(1989),Carroll&Dickinson(1989)等學者均對MFNN具有對人以連續(xù)函數(shù)的逼近能力予以系統(tǒng)的證明。其結(jié)論是，在一個相當寬的范圍內(nèi)，MFNN具有以任意精度逼近任意非線性連續(xù)函數(shù)的能力。在Funahashi(1989)的證明中，隱節(jié)點函數(shù)限定為有界單調(diào)遞增連續(xù)函數(shù)。Hornik等人(1989)和陳天平發(fā)現(xiàn)，有界性是必要的，單調(diào)遞增的限制條件并非必要。對網(wǎng)絡的泛化機制和改進措施進行了系統(tǒng)的分析，指出最簡單拓撲結(jié)構(gòu)不僅有利于硬件的實現(xiàn)，也有利于網(wǎng)絡泛化功能的改善，證明了MFNN僅用一個隱含層就可以逼近任意連續(xù)的非線性函數(shù)。MFNN這一特點使其在信號處理、非線性油畫及系統(tǒng)辨識、非線性控制等領域具有廣泛的應用前景。輸出層輸入層隱含層圖25前向神經(jīng)網(wǎng)絡結(jié)構(gòu)圖（2）徑向基函數(shù)網(wǎng)絡（Radial Basis Function Neural Network,RBFNN）徑向基函數(shù)網(wǎng)絡RBFNN是一種特殊的神經(jīng)網(wǎng)絡，它是由Moody和Darken（1988，1989）基于大腦皮層中存在局部、重疊的感受域這一特性提出的。RBFNN網(wǎng)絡與MFNN網(wǎng)絡結(jié)構(gòu)上十分相似。RBFNN實際上可以看作只有一個隱層的MFNN，其主要區(qū)別是RBFNN的激活函數(shù)為徑向基函數(shù)。但輸出的RBFNN網(wǎng)絡模型為 （24） 其中，wi為第i個隱節(jié)點與輸出節(jié)點之間的連接權，ci為第i個隱節(jié)點的中心，為感受域（敏感域）。同MFNN一樣，理論上RBF網(wǎng)絡也具有廣泛的非線性適應能力。（3）Hopfield神經(jīng)網(wǎng)絡（Hopfield Neural Network,HNN）Hopfield神經(jīng)網(wǎng)絡是美國物理學家J.J.Hopfield于1982年首先提出的。它主要用于模擬生物神經(jīng)網(wǎng)絡的記憶機理。Hopfield神經(jīng)網(wǎng)絡是一種全連接型的神經(jīng)網(wǎng)絡。對于每一個神經(jīng)元來說，自己的輸出信號通過其它神經(jīng)元又反饋到自己，所以Hopfield神經(jīng)網(wǎng)絡是一種反饋型神經(jīng)網(wǎng)絡。Hopfield神經(jīng)網(wǎng)絡有離散型（DHNN）和連續(xù)型（CHNN）兩種。Hopfield神經(jīng)網(wǎng)絡狀態(tài)的演變過程是一個非線性動力學系統(tǒng)，可以用一組非線性差分方程（對于DHNN）或微分方程（對于CHNN）來描述。系統(tǒng)的穩(wěn)定性可用所謂的“能量函數(shù)”（即李雅普諾夫獲哈密頓函數(shù)）進行分析。在滿足一定條件下，某種“能量函數(shù)”的能量在網(wǎng)絡運行過程中不斷減小，最后趨于穩(wěn)定的平衡狀態(tài)。目前，人工神經(jīng)網(wǎng)絡常利用漸進穩(wěn)定點來解決某些問題。例如，如果把系統(tǒng)的穩(wěn)定點視為一個記憶的話，那么從初態(tài)朝這個穩(wěn)定點的演變過程就是尋找該記憶的過程。初態(tài)可以認為是給定的有關該記憶的部分信息。這就是聯(lián)想記憶的過程。如果把系統(tǒng)的穩(wěn)定點視為一個能量函數(shù)的極小點，而把能量函數(shù)視為一個求解該優(yōu)化問題的過程。由此可見，Hopfield網(wǎng)絡的演變過程是一種計算聯(lián)想記憶或求解優(yōu)化問題的過程。實際上它的解并不需要真的去計算，而只要構(gòu)成這種反饋神經(jīng)網(wǎng)絡，適當?shù)卦O計其連接權和輸入就可以達到這個目的。（4）小波網(wǎng)絡（Wavelet Neural Network）由Zhang等人最先提出的小波網(wǎng)絡（Wavelet Neural Network），是以近年來出現(xiàn)的小波分析為理論依據(jù)，是小波變換的一種實現(xiàn)方式。小波網(wǎng)絡實際上是一種局部基函數(shù)網(wǎng)絡，結(jié)構(gòu)與RBF網(wǎng)絡相類似，所不同的是它的基函數(shù)是由小波函數(shù)按分辨尺度伸縮與空間位置平移構(gòu)成。所謂小波函數(shù)，就是由基函數(shù)經(jīng)平移、伸縮形成的一簇函數(shù)，表示為 （25）其中，a,b分別表示伸縮、平移系數(shù)。其輸出 （26）其中，X=x1,.xi,.為輸入向量，ai，bi為第i輸入所對應的伸縮、平移參數(shù)。第三章 BP神經(jīng)網(wǎng)絡算法的改進及其仿真研究隨著控制領域中不斷出現(xiàn)新的控制思路和手段，人工神經(jīng)網(wǎng)絡作為一種新型的信息獲取、描述和處理方式，正在引起過程控制屆的注意。神經(jīng)網(wǎng)絡具有能夠逼近任意非線性函數(shù)關系的能力和比較方便的學習手段，因此，它可以用來作為一種復雜工業(yè)過程建模的新型方法7。本文針對常用BP算法收斂速度慢，易陷入局部極小等缺點，對以往BP算法的各種改進進行了深入的分析和探討。同時，借鑒Fletcher-Reeves線性搜索方法8，探討了基于Fletcher-Reeves方法的改進共軛梯度法。并對各種算法進行仿真和比較，實驗結(jié)果表明，本文提出的改進共軛梯度方法可以有效提高網(wǎng)絡的收斂速度，同時避免網(wǎng)絡陷入局部極小點，達到全局最優(yōu)。3.1 BP算法的數(shù)學描述1986年Rumelhart，Hinton和Williams完整而簡明地提出一種ANN的誤差反向傳播訓練算法（簡稱BP算法），系統(tǒng)地解決了多層網(wǎng)絡中隱含單元連接權的學習問題，由此算法構(gòu)成的網(wǎng)絡我們稱為BP網(wǎng)絡。BP網(wǎng)絡是前向反饋網(wǎng)絡的一種，也是當前應用最為廣泛的一種網(wǎng)絡。誤差反傳算法的主要思想是把學習過程分為兩個階段：第一階段（正向傳播過程），給出輸入信息通過輸入層經(jīng)隱含層處理并計算每個單元的實際輸出值；第二階段（反向過程），若在輸出層未能得到期望的輸出值，則逐層遞歸地計算實際輸出與期望輸出之差值（即誤差），以便根據(jù)此差值調(diào)節(jié)權值，具體來說，就是可對每一權重計算出接收單元的誤差值與發(fā)送單元的激活值的積?；贐P算法的多層前饋型網(wǎng)絡的結(jié)構(gòu)如圖31所示。這種網(wǎng)絡不僅有輸入層節(jié)點，輸出層節(jié)點，而且有一層或多層隱含節(jié)點。對于輸入信息，首先向前傳播到隱含層的節(jié)點上，經(jīng)過各單元的激活函數(shù)（又稱作用函數(shù)、轉(zhuǎn)換函數(shù)）運算后，把隱含節(jié)點的輸出信息傳播到輸出節(jié)點，最后給出輸出結(jié)果。網(wǎng)絡的學習過程由正向和反向傳播兩部分組成。在正向傳播過程中，每一層的神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元網(wǎng)絡。如果輸出層不能得到期望輸出，就是實際輸出值與期望輸出值之間有誤差，那么轉(zhuǎn)向反向傳播過程，將誤差信號沿原來的連接通路返回，通過修改各層神經(jīng)元的權值，逐次地向輸入層傳播去進行計算，再經(jīng)過正向傳播過程，這兩個過程的反復運用，使得誤差信號最小。實際上，誤差達到人們所希望的要求時，網(wǎng)絡的學習過程就結(jié)束。誤差反傳（學習算法）期望輸出向量（導師信號）+隱 藏 層信 號 流圖31基于BP算法的多層前饋型網(wǎng)絡的結(jié)構(gòu)BP算法是在導師指導下，適合于多層神經(jīng)元網(wǎng)絡的一種學習，它是建立在梯度下降法的基礎上的。理論證明，含有一個隱含層的BP網(wǎng)絡可以實現(xiàn)以任意精度近似任何連續(xù)非線性函數(shù)9。設含有共L層和n個節(jié)點的一個任意網(wǎng)絡，每層單元只接受前一層的輸出信息并輸出給下一層各單元，各節(jié)點（有時稱為單元）的特性為Sigmoid型（它是連續(xù)可微的，不同于感知器中的線性閾值函數(shù)，因為它是不連續(xù)的）。為簡單起見，認為網(wǎng)絡只有一個輸出y。設給定N個樣本(xk,yk)(k=1,2,.,N)，任一節(jié)點i的輸出為i，對某一個輸入為xk，網(wǎng)絡的輸出為yk，節(jié)點i的輸出為ik，現(xiàn)在研究第l層的第j個單元，當輸入第k 個樣本時，節(jié)點j的輸入為 （31） （32）其中表示l-1層，輸入第k個樣本時，第j個單元節(jié)點的輸出。 采用的誤差函數(shù)為 （33）其中為單元j的實際輸出?？傉`差為 （34） 定義 于是 （35）下面分兩種情況來討論： （1）若節(jié)點j為輸出單元，則 （36） （2）若節(jié)點j不是輸出單元，則 （37）式中是送到下一層(l+1)層的輸入，計算要從(l+1)層算回來。在(l+1)層第m個單元時 （38）將式（38）代入式（37）中，則得 （39） 總結(jié)上述結(jié)果，有 （310） 因此，反向傳播算法的步驟可概括如下：（1）選定權系數(shù)初值；（2）重復下述過程，直到誤差指標滿足精度要求，即： ：精度 對k=1到N 正向過程計算：計算每層單元的，和,k=2，.，N。 反向過程：對各層（l=L-1到2），對每層各單元，計算。 修正權值 （311） （3）結(jié)束。這里，訓練樣本的呈現(xiàn)順序從一個回合到另一個回合必須是隨機的。動量和學習率參數(shù)隨著訓練迭代次數(shù)的增加而調(diào)整（通常是減少的）。3.2 BP網(wǎng)絡學習算法標準的BP算法是基于梯度下降法，通過計算目標函數(shù)對網(wǎng)絡權值和閾值進行修正的。改進算法大多是在標準梯度下降法的基礎上發(fā)展起來的，它們只用到目標函數(shù)對權值和閾值的一階導數(shù)（梯度）信息。3.2.1標準BP算法在標準BP算法中，設k為迭代次數(shù)，則每一層權值和閾值的修正按下式進行 （312）式中：x(k)為第k次迭代各層次之間的連接權向量或閾值向量。 為第k 次迭代的神經(jīng)網(wǎng)絡輸出誤差對各權值或閾值的梯度向量。負號表示梯度的反方向，即梯度的速度下降方向。 為學習速率，在訓練時是一個常數(shù)。在MATLAB神經(jīng)網(wǎng)絡工具箱中，其默認值是0.01，可以通過改變訓練參數(shù)進行設置。 Ek為第k次迭代的網(wǎng)絡輸出的總誤差性能函數(shù)，在MATLAB神經(jīng)網(wǎng)絡工具箱中，BP網(wǎng)絡誤差性能函數(shù)的默認值為均方誤差MSE（mean square error），以二層BP網(wǎng)絡為例，只有一個輸入樣本時，有 (313) (314)下面我們用一個具體實例來說明例31已知某系統(tǒng)輸出y與輸入x的部分對應關系如表31所示。設計一BP神經(jīng)網(wǎng)絡，完成y=f(x)的曲線擬合。表31 函數(shù)y=f(x)的部分對應關系x -1 -0.9 -0.8 -0.7 -0.6 -0.5 -0.4 -0.3 -0.2 -0.1y -0.832-0.423 -0.024 0.344 1.282 3.456 4.02 3.232 2.102 1.504x 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9y 0.248 1.242 2.344 3.262 2.052 3.456 4.02 3.232 2.102 1.504以隱層節(jié)點數(shù)為15的單輸入和單輸出兩層BP網(wǎng)絡來實現(xiàn)其曲線擬和，其仿真圖如下圖321 標準BP算法的誤差性能曲線仿真結(jié)果從仿真結(jié)果可以看出，權值和閾值的修正是在所有樣本輸入后，計算總的誤差后進行的，這樣標準BP算法的收斂速度比較慢。3.2.2動量BP算法 它的實質(zhì)就是改變學習率來提高網(wǎng)絡性能，其網(wǎng)絡連接權的迭代關系式由傳統(tǒng)BP算法 變?yōu)?（315） 其中，動量項。為動量因子，。動量項的作用在于記憶上一時刻的連接權的變化方向（即變化量的值），這樣就可以用較大的學習速率系數(shù)以提高學習速度。附加動量項利用其“慣性效應”來抑制網(wǎng)絡訓練中可能出現(xiàn)的振蕩，起到了緩沖平滑的作用。此外，附加動量項還有利于脫離平坦區(qū)。如果網(wǎng)絡的訓練已進入了誤差曲面的平坦區(qū)域，那么誤差將變化很小，于是近似于，而平均的將變?yōu)?（316）為了便于比較我們就以例31為例，用動量BP算法進行仿真，其結(jié)果如圖322所示：由仿真結(jié)果可知，與傳統(tǒng)BP算法的連接權修正量關系式（314）比較，可見添加附加動量項后，式中的系數(shù)增大為，從而有利于加快脫離飽和區(qū)。 圖322 動量BP算法的誤差性能曲線仿真結(jié)果3.2.3學習率可變的BP算法910該方法被認為是一種最簡單最有效的方法。在BP算法中，連接權的調(diào)整決定于學習速率和梯度，但是，在基本BP算法中，學習速率是不變的。實際上學習速率對收斂速度的影響也很大，通過對它的在線調(diào)整，可以大大提高收斂速度。 學習速率的調(diào)整原則上是使它在每一步保持盡可能大的值，而又不致使學習過程失去穩(wěn)定性。學習速率可以根據(jù)誤差變化的信息和誤差函數(shù)對連接權梯度變化的信息進行啟發(fā)式調(diào)整，也可以根據(jù)誤差函數(shù)對學習速率的梯度直接進行調(diào)整。對于批處理可以根據(jù)總誤差變化的信息進行啟發(fā)式調(diào)整，其規(guī)則是：（1）若總誤差E減小，則學習率增加。