神經網絡BP課件

神經網絡與BP神經網絡控制1.什么是神經網絡概述1.1發(fā)展歷史1.2基本概念1.2.1人工神經元模型1.2.2人工神經網絡的體系結構1.2.3人工神經網絡的學習過程2.BP神經網絡控制的基本思想與原理

概述2.1BP神經網絡2.1.1BP神經網絡模型2.1.2BP學習算法2.1.3BP網絡存在的問題及改進方法2.1.4基于MATLAB的BP網絡仿真3.最新研究進展4.評價5.主要參考文獻1.什么是神經網絡神經網絡（NeuralNetworks,NN）是由大量的、簡單的處理單元（稱為神經元）廣泛地互相連接而形成的復雜網絡系統(tǒng)，它反映了人腦功能的許多基本特征，是一個高度復雜的非線性動力學習系統(tǒng)。神經網絡具有大規(guī)模并行、分布式存儲和處理、自組織、自適應和自學能力，特別適合處理需要同時考慮許多因素和條件的、不精確和模糊的信息處理問題。神經網絡的發(fā)展與神經科學、數理科學、認知科學、計算機科學、人工智能、信息科學、控制論、機器人學、微電子學、心理學、光計算、分子生物學等有關，是一門新興的邊緣交叉學科。神經網絡的基礎在于神經元。神經元是以生物神經系統(tǒng)的神經細胞為基礎的生物模型。在人們對生物神經系統(tǒng)進行研究，以探討人工智能的機制時，把神經元數學化，從而產生了神經元數學模型。大量的形式相同的神經元連結在一起就組成了神經網絡。神經網絡是一個高度非線性動力學系統(tǒng)。雖然，每個神經元的結構和功能都不復雜，但是神經網絡的動態(tài)行為則是十分復雜的；因此，用神經網絡可以表達實際物理世界的各種現(xiàn)象。人工神經網絡是一種模擬人腦腦神經傳遞信息的方式而建立起來的一種人工智能的方法，它是一種分布式的并行處理系統(tǒng)，其處理結果以權值形式分布存儲在矩陣中。通過這種網絡能夠實現(xiàn)任意的非線性輸入輸出映射關系，具體的映射關系體現(xiàn)在構成網絡的神經元之間的分布連接權上.由于網絡具有很強的自適應和學習能力以及魯棒性和容錯能力，它不僅可以替代許多復雜耗時的傳統(tǒng)算法，并且由于它對信息的處理更加接近于人的思維活動習慣，為解決非線性系統(tǒng)模擬和未知模型的預測提供了新途徑。細胞體

細胞體是由很多分子形成的綜合體，內部含有一個細胞核、核糖體、原生質網狀結構等，它是神經元活動的能量供應地，在這里進行新陳代謝等各種生化過程。神經元也即是整個細胞，整個細胞的最外層稱為細胞膜。樹突

細胞體的伸延部分產生的分枝稱為樹突，樹突是作為引入輸入信號的突起。軸突

細胞體突起的最長的外伸管狀纖維稱為軸突。軸突是作為輸出端的突起，它只有一個。突觸是一個神經元與另一個神經元之間相聯(lián)系并進行信息傳送的結構。它由突觸前膜，突觸間隙和突觸后膜組成。突觸前膜是一個神經元的軸突末梢。突觸間隙是突觸前成分與后成分之間的距離空間。突觸后膜可以是細胞體，樹突或軸突。突觸的存在說明：兩個神經元的細胞質并不直接連通，兩者彼此聯(lián)系是通過突觸這種結構接口的。有時，也把突觸看作是神經元之間的連接。人工神經網絡的特點和優(yōu)越性：1.自學習和自適應性。2.非線性性。3.魯棒性和容錯性。4.計算的并行性與存儲的分布性。5.分布式存儲。

自適應是指一個系統(tǒng)能夠改變自身的性能以適應環(huán)境變化的能力。

因此，神經網絡比主要使用固定推理方式的專家系統(tǒng)具有更強的適應性，更接近人腦的運行規(guī)律

神經網絡具有信息存儲的分布性，故局部的損害會使人工神經網絡的運行適度減弱，但不會產生災難性的錯誤。

神經網絡的并行性，是由其結構決定的。每個神經元都可以根據接受到的信息進行獨立運算和處理，并輸出結構。同一層的不同神經元可以同時進行運算，然后傳輸到下一層進行處理。因此，神經網絡往往能發(fā)揮并行計算的優(yōu)勢，大大提升運算速度。

由于神經元之間的相對獨立性，神經網絡學習的“知識”不是集中存儲在網絡的某一處，而是分布在網絡的所有連接權值中。在控制領域的研究課題中，不確定性系統(tǒng)的控制問題長期以來都是控制理論研究的中心主題之一，但是這個問題一直沒有得到有效的解決。利用神經網絡的學習能力，使它在對不確定性系統(tǒng)的控制過程中自動學習系統(tǒng)的特性，從而自動適應系統(tǒng)隨時間的特性變異，以求達到對系統(tǒng)的最優(yōu)控制；顯然這是一種十分振奮人心的意向和方法。人工神經網絡的模型現(xiàn)在有數十種之多，應用較多的典型的神經網絡模型包括BP網絡、霍普菲爾德（Hopfield）網絡、ART網絡和Kohonen網絡。1.1發(fā)展歷史

神經網絡經歷了從高潮到低谷，再到高潮的階段，充滿曲折的過程。①初期階段美國心理學家williamJames(1890)發(fā)表了《心理學原理》一書,論述了相關學習、聯(lián)想記憶的基本原理,對人腦功能作了創(chuàng)見性地工作。美國心理學家W.S.Mcculloch與數學家W.A.Pitts(1943)合作,從數理邏輯的角度，提出了神經元和神經網絡最早的數學模型（MP模型），標志著神經網絡研究的開端。心里學家DD.Hebb(1949)出版《行為構成》一書,首先建立了被稱為Hebb算法的連接權訓練規(guī)則。他認為學習過程就發(fā)生在兩個神經細胞相互連接的突觸處,并首先提出了神經元權值的修改方案,Hebb學習規(guī)則至今仍產生深刻影響。計算機學家F.Rosenblatt(1958)提出了一種具有三層網絡特性的神經網絡結構,稱為“感知器”。第一次從理論研究轉入工程現(xiàn)實階段。電機工程師BernardWidrow和MarcianHoff(1962)提出了一種連續(xù)取值的線性加權求和閥值網絡,即自適應線性元件網絡，它成功地應用于自適應信號處理和雷達天線控制等連續(xù)可調過程。他們在人工神經網絡理論上創(chuàng)造了一種被人們熟知的Widrow一Hoff學習訓練算法,井用硬件電路實現(xiàn)人工神經網絡方面的工作,為今天用大規(guī)模集成電路實現(xiàn)神經網絡計算機奠定了基礎。③復蘇階段進入20世紀80年代后，經過十幾年迅速發(fā)展起來的以邏輯符號處理為主的人工智能理論和馮·諾依曼型計算機在視覺、聽覺、形象思維、聯(lián)想記憶等智能信息處理問題上受到了挫折。1982年，美國加州工學院物理學家J.J.Hopfield提出了Hopfield神經網絡模型，引入了“計算能量”概念，給出了網絡穩(wěn)定性判斷。1984年，他又提出了連續(xù)時間Hopfield神經網絡模型，為神經計算機的研究做了開拓性的工作，開創(chuàng)了神經網絡用于聯(lián)想記憶和優(yōu)化計算的新途徑，有力地推動了神經網絡的研究在1986年，在Rumelhart和McClelland等出版《并行分布式處理》一書，提出了一種著名的多層神經網絡模型，即BP網絡，該網絡是迄今為止應用最普遍的神經網絡。④新高潮階段1987年6月在美國勝地亞哥召開了第一屆國際神經網絡學術會議,宣告了國際神經網絡學會（INNS）正式成立。這標志者世界范圍內掀起了神經網絡開發(fā)研究的熱潮。美國波十頓大學的S.Grossberg教授、芬蘭赫爾辛基技術大學的T.Kohonen教授及日本東京大學的甘利俊教授,首次創(chuàng)辦了世界第一份神經網絡雜志《NeuralNetwork》。接著國際電氣工程師與電子工程師學會相繼也成立了神經網絡協(xié)會,于1990年3月出版神經網絡會刊。從此以后涌現(xiàn)出各種神經網絡的期刊,將神經網絡的研究與開發(fā)推向新的熱潮。神經網絡的應用進展：

①模式分類：將一個n維的特征向量映射為一個標量或向量的分類標簽。分類問題的關鍵在于尋找恰當的分類面，將不同類別的樣本區(qū)分開。現(xiàn)實中的分類問題一般比較復雜，樣本空間中相距較近的樣本也可能分屬不同的類別。神經網絡良好的非線性性能可能很好地刻畫非線性分類畫面，帶來更好的模式識別能力。

②聚類:聚類不需要提供已知樣本，而是完全根據給定的樣本工作。只需給定聚類的類別數n，網絡自動按樣本間的相似性將輸入樣本分為n類。③回歸和擬合：相似的樣本在神經網絡的映射下，往往能得到相近的輸出。因此，神經網絡對于函數擬合問題具有不錯的解決能力。

④優(yōu)化計算:已知約束條件，尋找一組參數組合，使由該組合確定的目標函數達到最小值。BP網絡和其他部分網絡的訓練過程就是調整權值是輸出誤差最小化的過程。

⑤數據壓縮：神經網絡將特定只是存儲于網絡權值中，相當于將原有的樣本用更小的數據量進行表示，這實際上是一個壓縮的過程。1.2基本概念1.2.1人工神經元模型人工神經元模型是由大量處理單元廣泛互連而成的網絡,是人腦的抽象、簡化、模擬,反映人腦的基本特性。一般來說，人工神經元模型應具備三個要素:①突觸或連接權,每個由其權值或強度作為特征。常用wij表示神經元i和神經元j之間的連接強度。與人腦神經元不同,人工神經元權值的取值可在負值和正值之間。②加法器，用于求輸入信號被神經元的相應突觸加權的和，這個操作構成一個線性組合器。③激勵函數，具有一個激勵函數用于限制神經元輸出振幅。激勵函數將輸出信號限制在一個允許范圍內,使其成為有限值,通常神經元輸出的擴充范圍在[0,1]或[-1,1]之間。典型的人工神經元模型如下圖所示：其中xj(j=1,2……n)為神經元i的輸入信號，wij為連接權，ui是由輸入信號線性組合后的輸出，是神經元i的凈輸入。θi

為神經元的閥值，vi為經偏差調整過的值，為稱為神經元的局部感應區(qū)。f(.)是激勵函數,yi是神經元i的輸出。常見的激勵函數有一下三種：

①閾值函數在模型中，如果神經元的誘導局部域非負，輸出為1，否則為0。此時神經元的輸出取1或0,反映了神經元的興奮或抑制。

②分段線性函數

③sigmoid函數，此函數的圖形是S型的，在構造人工神經網絡中最常用的激勵函數。其中a是sigmoid函數的斜率參數，改變a可獲得不同斜率的sigmoid函數。例如，實際在原點處的斜率等于a/4,在極限情況下，斜率參數趨于無窮，sigmoid函數就變成閾值函數，取0或1，而sigmoid的值域是0到1的連續(xù)區(qū)間。還要注意sigmoid函數是可微分的，而閾值函數不可以。神經網絡中神經元的構造方式是和訓練網絡的學習算法緊密相連的。一般來說，我們可以區(qū)分三種不同的網絡結構。1.2.2人工神經網絡的體系結構①單層前饋網絡在分層網絡中，神經元以層的形式組織。在最簡單的分層網絡中，源節(jié)點構成輸入層，直接投射到神經元的輸出層，也就是說，這個網絡是嚴格的無圈的或前饋的。

如圖所示，輸出輸入層各有4個節(jié)點，這樣的一個網絡稱為單層網。③遞歸網絡遞歸網絡和前饋網絡的區(qū)別在于它至少有一個反饋環(huán)。如右圖所示，遞歸網絡可以這樣，單層網絡的每一個神經元的輸出都反饋到所有其他神經元的輸入中去。圖中的結構沒有自反饋環(huán)，自反饋環(huán)表示神經元的輸出反饋到它自身的輸入上去。對于神經網絡具有首要意義的性質是網絡能從環(huán)境中學習的能力，并通過學習改善其行為。神經網絡通過施加于它的突觸權值和偏置水平的調節(jié)的交互來學習它的環(huán)境。理想情況下，神經網絡在每一層重復學習過程后對它的環(huán)境便有了更多了解。

我們對神經網絡中這樣定義學習：學習是一個過程，通過這個過程神經網絡的自由參數在其嵌入的環(huán)境的激勵過程之下得到調節(jié)。學習的類型由參數改變的方式決定。

學習過程中：

①神經網絡被一個環(huán)境所激勵。

②作為這個激勵的結構，神經網絡在它的自由參數上發(fā)生變化。

③由于神經網絡內部結構的改變而以新的方式響應環(huán)境。

1.2.3人工神經網絡的學習過程有監(jiān)督學習。在有監(jiān)督學習中的每一個訓練樣本都對應一個教師信號，教師信號代表了環(huán)境信息。網絡將該教師作為期望輸出，訓練時計算實際輸出與期望輸出之間的誤差，再根據誤差的大小和方向對網絡權值進行更新。這樣的調整反復進行，直到誤差達到預期的精度為止，整個網絡形成了一個封閉的閉環(huán)系統(tǒng)。神經網絡的學習主要分為有監(jiān)督學習和無監(jiān)督學習。無監(jiān)督學習。網絡只能接受一系列的輸入樣本，而對該樣本應有的輸出值一無所知。因此，網絡只能憑借各輸入樣本之間的關系進行權值的更新。例如，在自組織競爭系統(tǒng)網絡中，相似的輸入樣本將會激活同一個輸出神經元，從而實現(xiàn)樣本聚類或聯(lián)想記憶。由于無監(jiān)督學習沒有期望輸出，因此無法用來逼近函數。Hebb規(guī)則是神經網絡中最古老的學習規(guī)則，由神經心理學家Hebb最先提出。其思想可以概括為：如果權值兩端連接的兩個神經元同時被激活，則該權值的能量將被選擇性地增加；如果權值兩端連接的兩個神經元被異步激活，則該權值的能量將被選擇性地減小。數學上表現(xiàn)為，權值的調整量與輸入前一神經元輸出值和后一神經元輸出值的乘積成正比。假設前一神經元的輸出為a，后一神經元的輸出為b,學習因子為η，則權值調整量為：①Hebb學習規(guī)則以上兩種學習方式對應了下面多種具體的學習規(guī)則：Widrow-Hoff學習規(guī)則

又稱為Delta學習規(guī)則或糾錯學習規(guī)則。假設期望輸出為d，實際輸出為y,則誤差為e=d-y，訓練的目標是使得誤差最小，因此權值的調整量與誤差大小成正比：隨機學習規(guī)則又稱為Boltzmann學習規(guī)則，其思想源于統(tǒng)計學，由此設計的神經網絡稱為Boltzmann機，Boltzmann機實際上是模擬退火算法。競爭學習規(guī)則網絡的輸出神經元之間相互競爭，在典型的競爭網絡中，只有一個獲勝神經元可以進行權值調整，其他神經元的權值維持不變，體現(xiàn)了神經元之間的側向抑制，這與生物神經元的運行機制相符合。2.BP神經網絡的基本思想與原理BP算法的出現(xiàn)非循環(huán)多級網絡的訓練算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法概述BP網絡主要用于：1、函數逼近：用輸入向量和相應的輸出向量訓練一個網絡逼近一個函數。2、模式識別：用一個特定的輸出向量將它與輸入向量聯(lián)系起來。3、分類：把輸入向量以所定義的合適方式進行分類。4、數據壓縮：減少輸出向量維數以便于傳輸或存儲。2.1BP神經網絡BP(BackPropagation)神經網絡，即誤差反向傳播算法的學習過程，由信息的正向傳播和誤差的反向傳播兩個過程組成。輸入層各神經元負責接收來自外界的輸入信息，并傳遞給中間層各神經元；中間層是內部信息處理層，負責信息變換，根據信息變化能力的需求，中間層可以設計為單隱層或者多隱層結構；最后一個隱層傳遞到輸出層各神經元的信息，經進一步處理后，完成一次學習的正向傳播處理過程，由輸出層向外界輸出信息處理結果。當實際輸出與期望輸出不符時，進入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權值，向隱層、輸入層逐層反傳。周而復始的信息正向傳播和誤差反向傳播過程，是各層權值不斷調整的過程，也是神經網絡學習訓練的過程，此過程一直進行到網絡輸出的誤差減少到可以接受的程度，或者預先設定的學習次數為止。2.1.1BP神經網絡模型BP網絡結構，如圖：x1o1輸出層隱藏層輸入層x2o2omxn…………………1、網絡的構成

神經元的網絡輸入：

neti=x1w1i+x2w2i+…+xnwni神經元的輸出：2、輸出函數分析：

1（0,0.5）

net（0,0）o

0.5f′(net)0.25o01因此應該將net的值盡量控制在收斂比較快的范圍內可以用其它的函數作為激活函數，只要該函數是處處可導的2.1.2BP學習算法基本思想：學習過程由信號的正向傳播與誤差的反向傳播連個過程組成。正向傳播時，輸入樣本從輸入層傳入，經各隱含層處理后，傳向輸出層。若輸出層的實際輸出與期望的輸出（教師信號）不服，則轉入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過隱層向輸入層逐層反傳，并將誤差分攤給各層的所有單元，從而獲得各層單元的誤差信號，此誤差信號作為修正各單元權值的依據。

這種信號正向傳播與誤差反向傳播的各層權值調整過程，是周而復始地進行的。權值不斷調整的過程，也就是網絡學習訓練過程。此過程一直進行到網絡輸出的誤差減少到可接受的程度，或進行到預先設定的學習次數為止。BP網絡模型中如圖1所示的單隱層網絡(三層前饋網)的應用最為普遍。主要包括輸入層、隱層和輸出層。學習的過程：神經網絡在外界輸入樣本的刺激下不斷改變網絡的連接權值,以使網絡的輸出不斷地接近期望的輸出。學習的本質：對各連接權值的動態(tài)調整學習規(guī)則：權值調整規(guī)則，即在學習過程中網絡中各神經元的連接權變化所依據的一定的調整規(guī)則。學習類型：有導師學習BP網絡的學習分兩個階段：（1）由前向后正向計算各隱層和輸出層的輸出（2）由后向前誤差反向傳播以用于權值修正若一個網絡的學習過程采用BP算法，則該網絡稱為BP網絡。標準的BP網絡由三層神經元組成。最下層為輸入層，中間為隱含層，最上面為輸出層。網絡中相鄰層采取完全連接方式。

設輸入層、隱含層及輸出層神經元的個數分別為L,M,N.可以證明：在隱含層節(jié)點可以根據需要自由設置的情況下，那么用三層前向神經網絡可以實現(xiàn)任意精度逼近任意連續(xù)函數。

下面推導前向多層網絡的BP學習算法。

設從第l層神經元j到第l-1層神經元i的連接權值為wji(l),p為當前學習樣本，opi(l)為在p樣本下第l層第i個神經元的輸出，變換函數f[.]取為Sigmoid函數，即對于第p個樣本，網絡的輸出誤差Ep為：其中，tpi為輸入第p個樣本時第j個神經元的理想輸出，opj(2)是它的實際輸出。

考慮多層神經網絡中的l層（隱含層或輸出層，即l=1,2）,假設第l層有J個神經元，第l-1層有I個神經元，具有如下通用結構：為了使系統(tǒng)的實際輸出與理想輸出相接近，即使Ep下降，根據梯度算法，我們可以對l層按下式進行調整：對于非輸出層的神經元具有下面的操作特性：如果將-θj(l)看作是第l-1層的一個虛擬神經元的輸出，即設則可改寫為：又由可以得到：定義：則可得到：可見，為求出調整值，必須先求出δpj(l)由可得：現(xiàn)在，我們分兩種情況來討論：①如果所討論的神經元為輸出神經元，則由

可得：代入中，可得：②如果所討論的神經元為隱含層神經元，則有：將此結果代入得到：從上式可以看出，為求出隱含層的輸出誤差系數δpk(l),必須用到輸出層的δpj(2),所以這個過程稱為誤差方向傳播過程。

現(xiàn)在來討論δpj(l)項中的fj’(netpj(l)),由于f[.]采用Sigmoid函數，即由此我們可以得到：將代入

得到將上面兩式代入得到：當l=2(輸出層)時當l=1（隱含層）時BP算法的各步驟：（1）權值初始化：，sq為ij,jk或kl（2）依次輸入P個學習樣本。設當前輸入第P個樣本（3）依次計算各層的輸出：x’j,x’’kyl,j=0,1,…,n1,k=0,1,…n2,l=0,1,…m-1（4）求各層的反傳誤差：（5）記錄已學過的樣本個數p.如果p<P,轉步驟（2）繼續(xù)計算；如果p=P,轉步驟（6）。（6）按權值修正公式修正各層的權值和閾值（7）按新的權值再計算x’j,x’’k,yl和EA,若對每個p和l都滿足，或達到最大學習次數，則終止學習。否則轉步驟（2）繼續(xù)新一輪的學習。2.1.3BP網絡存在的問題及改進方法將BP算法用于具有非線性轉移函數的三層前饋網絡，可以以任意精度逼近任何非線性函數，這一非凡優(yōu)勢使三層前饋網絡得到越來越廣泛的應用。然而標準的BP算法在應用中暴露出不少內在的缺陷。存在問題：①易形成局部極小而得不到全局最優(yōu)

②訓練次數多使得學習效率低，收斂速度慢

③隱含節(jié)點的選取缺乏理論指導

④訓練時學習新樣本有遺忘舊樣本的趨勢目前有效改進方法：①增加動量項一些學者指出，標準BP算法在調整權值時，只按t時刻誤差的梯度降方向調整，而沒有考慮t時刻前的梯度方向，從而常使訓練過程發(fā)生震蕩，收斂緩慢。為了提高網絡的訓練速度，可以在權值調整公式中增加一動量項。②自適應調節(jié)學習率學習率也稱為步長，在標準的BP算法定為常數，然而在實際應用中，很難確定一個從始至終都合適的最佳學習率。從誤差曲面可以看出，在平坦區(qū)域內學習率太小會使訓練次數增加，因而希望增大學習率；而在誤差變化劇烈的區(qū)域，學習率太大會因調整量過大而跨過較窄的“坑凹”處，使訓練出現(xiàn)震蕩，反而使迭代次數增加。為了加速收斂過程，一個較好的思想是自適應改變學習率，使其該大時增大，該小時減小。③引入陡度因子誤差曲面上存在著平坦區(qū)域。權值調整進入平坦區(qū)的原因是神經元輸出進入了轉移函數的飽和區(qū)。如果在調整進入平坦區(qū)域后，設法壓縮神經元的凈輸入，使其輸出退出轉移函數的飽和區(qū)，就可以改變誤差函數的形狀，從而使調整脫離平坦區(qū)。實現(xiàn)這一思路的具體作法是在原轉移函數中引入一個陡度因子。2.1.4基于MATLAB的BP網絡仿真①建立一個B