人工神經網絡課件

EstelleWang^^人工神經網絡PART

ONE人工神經網絡概述及基本理論利用機器模仿人類的智能是長期以來人們認識自然、改造自然和認識自身的理想。智能是人類思維活動中表現出來的一種能力。人類的智能：感知與理解思維與推理學習與記憶自適應能力什么是智能PART

ONE人工神經網絡概述及基本理論智能是人類在客觀世界中解決實際問題的能力。需要以下知識：關于客觀世界的有關背景知識，包括歷史資料和現實狀況。問題本身所包含的專門知識。能對所掌握的知識進行分析、選擇、歸納和總結的知識。解決問題所需策略、決策和預測的知識。什么是智能PART

ONE人工神經網絡概述及基本理論機器感知機器思維機器推理機器學習機器理解機器行為人工智能的主要研究內容PART

ONE人工神經網絡概述及基本理論模式識別問題求解自動定理證明自然語言理解自動程序設計機器學習人工智能主要研究領域機器視覺機器人專家系統(tǒng)人工神經網絡智能決策支持系統(tǒng)…PART

ONE人工神經網絡概述及基本理論人工神經網絡（ArtificialNeuralNetwork，簡稱ANN）是當代人工智能領域最富有挑戰(zhàn)性的研究熱點之一。由于它能夠模擬任意的非線性函數，并具有大規(guī)模并行處理、分布式信息存儲、自適應與自組織功能、學習功能、聯想功能與容錯功能強等優(yōu)點，在圖像處理、模式識別、語音綜合及智能機器人控制等領域得到了廣泛的應用。CONTENTSPART01人工神經網絡概述及基本理論人工神經網絡基本模型人工神經網絡的MATLAB實現人工神經網絡的應用實例PART02PART03PART04PART

ONE人工神經網絡是在人類對其大腦神經網絡認識的基礎上，人工構造的能夠實現非線性數學建模的網絡系統(tǒng)。它是理論化的人腦神經網絡的數學模型，是模仿大腦神經網絡結構和功能而建立的一種信息處理系統(tǒng)。人工神經網絡實際上是由大量簡單元件相互連接而成的復雜網絡，具有高度的非線性，能夠進行復雜的邏輯操作和非線性關系實現。目前，人工神經網絡已成為人工智能領域中最富有魅力的研究課題之一，它突破了傳統(tǒng)的以線性處理為基礎的電子計算機的局限，標志著人類模擬人腦智能行為進行信息智能處理的能力有了質的飛躍。人工神經網絡概述及基本理論PART

ONE研究ANN目的：（1）探索和模擬人的感覺、思維和行為的規(guī)律，設計具有人類智能的計算機系統(tǒng)。（2）探討人腦的智能活動，用物化了的智能來考察和研究人腦智能的物質過程及其規(guī)律。人工神經網絡概述及基本理論ANN研究的目的PART

ONE人工神經網絡的研究與發(fā)展反思期60年代末第二次高潮80年代再認識和應用研究期90年代第一次高潮50年代末萌芽期40年代初人工神經網絡的研究與發(fā)展人工神經網絡概述及基本理論PART

ONE萌芽期40年代初，美國McCulloch和Pitts從信息處理的角度，研究神經細胞行為的數學模型表達，提出了閾值加權和模型——MP模型。1949年，心理學家Hebb提出著名的Hebb學習規(guī)則，即由神經元之間結合強度的改變來實現神經學習的方法。Hebb學習規(guī)則的基本思想至今在神經網絡的研究中仍發(fā)揮著重要作用。

人工神經網絡概述及基本理論人工神經網絡的研究與發(fā)展PART

ONE第一次高潮50年代末期，Rosenblatt提出感知機模型。感知機雖然比較簡單，卻已具有神經網絡的一些基本性質，如分布式存貯、并行處理、可學習性、連續(xù)計算等。這些神經網絡的特性與當時流行串行的、離散的、符號處理的電子計算機及其相應的人工智能技術有本質上的不同，由此引起許多研究者的興趣。在60年代掀起了神經網絡研究的第一次高潮。但是，當時人們對神經網絡研究過于樂觀，認為只要將這種神經元互連成一個網絡，就可以解決人腦思維的模擬問題，然而，后來的研究結果卻又使人們走到另一個極端上。人工神經網絡概述及基本理論人工神經網絡的研究與發(fā)展PART

ONE反思期60年代末，美國著名人工智能專家Minsky對Rosenblatt的工作進行了深入研究，出版了有較大影響的《Perceptron》一書，指出感知機的功能和處理能力的局限性，同時也指出如果在感知器中引入隱含神經元，增加神經網絡的層次，可以提高神經網絡的處理能力，但是卻無法給出相應的網絡學習算法。另一方面，由于60年代以來微電子技術日新月異的發(fā)展，電子計算機的計算速度飛速提高，加上那時以功能模擬為目標、以知識信息處理為基礎的知識工程等研究成果，給人工智能從實驗室走向實用帶來了希望，這些技術進步給人們造成這樣的認知：以為串行信息處理及以它為基礎的傳統(tǒng)人工智能技術的潛力是無窮的，這就暫時掩蓋了發(fā)展新型計算機和尋找新的人工智能途徑的必要性和迫切性。再者，當時對大腦的計算原理、對神經網絡計算的優(yōu)點、缺點、可能性及其局限性等還很不清楚，使對神經網絡的研究進入了低潮。人工神經網絡概述及基本理論人工神經網絡的研究與發(fā)展PART

ONE第二次高潮進入80年代，首先是基于知識庫的專家系統(tǒng)的研究和運用，在許多方面取得了較大成功。但在一段時間以后，實際情況表明專家系統(tǒng)并不像人們所希望的那樣高明，特別是在處理視覺、聽覺、形象思維、聯想記憶以及運用控制等方面，傳統(tǒng)的計算機和人工智能技術面臨著重重困難。模擬人腦的智能信息處理過程，如果僅靠串行邏輯和符號處理等傳統(tǒng)的方法來解決復雜的問題，會產生計算量的組合爆炸。因此，具有并行分布處理模式的神經網絡理論又重新受到人們的重視。對神經網絡的研究又開始復興，掀起了第二次研究高潮。人工神經網絡概述及基本理論人工神經網絡的研究與發(fā)展PART

ONE第二次高潮1982年，美國加州理工學院物理學家J.Hopfield提出了一種新的神經網絡——循環(huán)神經網絡。他引入了“能量函數”的概念，使得網絡穩(wěn)定性研究有了明確的判據。1984年，J.Hopfield研制了后來被人們稱為“Hopfield網”的電路，物理實現為神經計算機的研究奠定了基礎，解決了著名的TSP問題。1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理小組的研究者在Hopfield網中引入隨機機制，提出了Boltzmann機。1986年，Rumelhart等人在多層神經網絡模型的基礎上，提出了多層神經網絡模型的反向傳播學習算法——BP算法，解決了多層前向神經網絡的學習問題，證明了多層神經網絡具有很強的學習能力，它可以完成許多學習任務，解決許多實際問題。人工神經網絡概述及基本理論人工神經網絡的研究與發(fā)展PART

ONE再認識和應用研究期（1991~）九十幾年來，許多具備不同信息處理能力的神經網絡已被提出來并應用于許多信息處理領域，如模式識別、自動控制、信息處理、決策輔助、人工智能等方面。神經計算機的研究也為神經網絡的理論研究提供了許多有利條件，各種神經網絡模擬軟件包、神經網絡芯片以及電子神經計算機的出現，體現了神經網絡領域的各項研究均取得了長足進展。同時，相應的神經網絡學術會議和神經網絡學術刊物大量出現，給神經網絡的研究者們提供了許多討論交流的機會。人工神經網絡概述及基本理論人工神經網絡的研究與發(fā)展PART

ONE雖然人們已對神經網絡在人工智能領域的研究達成了共識，對其巨大潛力也毋庸置疑，但是須知，人類對自身大腦的研究，尤其是對其中智能信息處理機制的了解還十分膚淺。因而現有的研究成果僅僅處于起步階段，還需長期艱苦努力。當前又處于神經網絡理論的研究高潮，不僅給新一代智能計算機的研究帶來巨大影響，而且將推動整個人工智能領域的發(fā)展。但另一方面，由于問題本身的復雜性，不論是神經網絡原理自身，還是正在努力進行探索和研究的神經計算機，目前，都還處于起步發(fā)展階段。人工神經網絡概述及基本理論PART

ONE例：1981年生物學家格若根（W．Grogan）和維什（W．Wirth）發(fā)現了兩類蚊子(或飛蠓midges)．他們測量了這兩類蚊子每個個體的翼長和觸角長，數據如下：人工神經網絡概述及基本理論為什么引入人工神經網絡翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af翼長觸角長類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56AfPART

ONE

問：如果抓到三只新的蚊子，它們的觸角長和翼長分別為(l.24,1.80);(l.28，1.84)；（1.40，2.04）．問它們應分別屬于哪一個種類？人工神經網絡概述及基本理論把翼長作縱坐標，觸角長作橫坐標；那么每個蚊子的翼長和觸角決定了坐標平面的一個點.其中6個蚊子屬于APf類；用黑點“·”表示；9個蚊子屬Af類；用小圓圈“?！北硎?。得到的結果見右圖。為什么引入人工神經網絡PART

ONE人工神經網絡概述及基本理論思路：作一直線將兩類飛蠓分開。例如；取A＝（1.44，2.10）和B＝(1.10，1.16)，過AB兩點作一條直線：

y＝1.47x-0.017其中X表示觸角長；y表示翼長。

分類規(guī)則：設一個蚊子的數據為（x,y）如果y≥1.47x-0.017，則判斷蚊子屬Apf類；如果y＜1.47x-0.017；則判斷蚊子屬Af類．分類結果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于Apf類．為什么引入人工神經網絡PART

ONE人工神經網絡概述及基本理論缺陷：根據什么原則確定分類直線？若取A=(1.46,2.10),B=(1.1,1.6)不變，則分類直線變?yōu)閥=1.39x+0.071分類結果變?yōu)椋?1.24,1.80)，(1.40,2.04)屬于Apf類；(1.28,1.84)屬于Af類哪一分類直線才是正確的呢？因此如何來確定這個判別直線是一個值得研究的問題．一般地講，應該充分利用已知的數據信息來確定判別直線．為什么引入人工神經網絡PART

ONE人工神經網絡概述及基本理論再如，如下的情形已經不能用分類直線的辦法：新思路：將問題看作一個系統(tǒng)，飛蠓的數據作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關系。為什么引入人工神經網絡PART

ONET.Koholen的定義：“人工神經網絡是由具有適應性的簡單單元組成的廣泛并行互連的網絡，它的組織能夠模擬生物神經系統(tǒng)對真實世界物體所作出的交互反應?！笔裁词侨斯ど窠浘W絡人工神經網絡概述及基本理論PART

ONE生物神經系統(tǒng)是一個有高度組織和相互作用的數量巨大的細胞組織群體。人類大腦的神經細胞大約在1011-1013個左右。神經細胞也稱神經元，是神經系統(tǒng)的基本單元，它們按不同的結合方式構成了復雜的神經網絡。通過神經元及其聯接的可塑性，使得大腦具有學習、記憶和認知等各種智能。人工神經網絡概述及基本理論生物神經元PART

ONE神經元由細胞體（Soma）和延伸部分組成。延伸部分按功能分有兩類，一種稱為樹突（Dendrite），用來接受來自其他神經元的信息；另一種用來傳遞和輸出信息，稱為軸突（Axon）。神經元之間的相互連接從而讓信息傳遞的部位稱為突觸（Synapse），突觸的聯接是可塑的，也就是說突觸特性的變化是受到外界信息的影響或自身生長過程的影響。人工神經網絡概述及基本理論生物神經元PART

ONE神經元的信息傳遞和處理是一種電化學活動．樹突由于電化學作用接受外界的刺激；通過胞體內的活動體現為軸突電位，當軸突電位達到一定的值則形成神經脈沖或動作電位；再通過軸突末梢傳遞給其它的神經元．從控制論的觀點來看；這一過程可以看作一個多輸入單輸出非線性系統(tǒng)的動態(tài)過程。人工神經網絡概述及基本理論生物神經元PART

ONE腦神經信息活動的特征（1）并行分布處理（2）神經系統(tǒng)的可塑性和自組織性（3）信息處理與信息存貯合二為一（4）信息處理的系統(tǒng)性（5）能接受和處理模糊的、模擬的、隨機的信息人工神經網絡概述及基本理論生物神經元PART

ONE神經網絡基本模型人工神經網絡概述及基本理論生物神經元PART

ONE人工神經網絡（ArtificialNeuralNetwork，ANN）是對人類大腦特性的一種描述。它是一個數學模型，可以用電子線路實現，也可以用計算機程序來模擬，是人工智能研究的一種方法。人工神經網絡概述及基本理論人工神經網絡PART

ONEANN結構生物神經元中的神經體與人工神經元中的節(jié)點相對應：樹突（神經末梢）與輸入相對應，軸突與輸出相對應，突觸與權值相對應。人工神經網絡概述及基本理論人工神經網絡PART

ONE人工神經網絡的優(yōu)點（1）不需要任何數值算法來建立模型，它僅僅通過對樣本數據的學習就能建立輸入和輸出的映射關系，不需要像數學模型那樣描述現實系統(tǒng)的數量關系和空間分布形式；（2）人工神經網絡方法快捷方便，只要訓練數據齊備，即使復雜的網絡也能很快建立，并根據初始條件的變化動態(tài)地輸出結果；人工神經網絡概述及基本理論人工神經網絡PART

ONE人工神經網絡的優(yōu)點（3）人工神經網絡固有的非線性數據結構和計算過程使得它非常適于處理非線性映射關系；（4）人工神經網絡信息分布存儲，存儲和處理合二為一，在這種數據存貯結構下，錯誤輸入的影響可以被剔除或減小，因此容錯性好。人工神經網絡概述及基本理論人工神經網絡PART

ONE人工神經網絡的特點（1）分布式存儲信息。（2）并行協同處理信息。（3）信息處理與存儲合二為一。（4）信息處理具有自組織、自學習的特點。人工神經網絡概述及基本理論人工神經網絡PART

ONEANN的研究內容（1）理論研究：ANN模型及其學習算法，試圖從數學上描述ANN的動力學過程，建立相應的ANN模型，在該模型的基礎上，對于給定的學習樣本，找出一種能以較快的速度和較高的精度調整神經元間互連權值，使系統(tǒng)達到穩(wěn)定狀態(tài)，滿足學習要求的算法。（2）實現技術的研究：探討利用電子、光學、生物等技術實現神經計算機的途徑。（3）應用的研究：探討如何應用ANN解決實際問題。人工神經網絡概述及基本理論人工神經網絡PART

ONEANN的研究內容（3）應用的研究：

認知與人工智能，包括模式識別、特征提取、語音識別語言翻譯、聯想記憶、邏輯推理、知識工程、專家系統(tǒng)、故障診斷、智能機器人等。

優(yōu)化與控制，包括決策與管理、系統(tǒng)辨識、魯棒性控制、自適應控制、并行及分布控制等。

信號處理，包括自適應濾波、時間序列預測、消噪、非線性預測等。人工神經網絡概述及基本理論人工神經網絡PART

TWO人工神經網絡基本模型人工神經元基本模型模擬人腦神經網絡，人工神經網絡是由多個人工神經元連接而成的網絡結構。人工神經元是人工神經網絡的基本單元，它是一個多輸入、單輸出的非線性元件，下圖給出了一種簡化的人工神經元結構，其輸入與輸出的關系可描述如下：人工神經元基本模型PART

TWO人工神經網絡基本模型人工神經元基本模型其中，xi（i=1,2,…,n）是從其它神經元傳來的輸入信號，或者是來自外部的信息；ωi表示從神經元i到本神經元的連接權值，也稱加權系數，它表示神經元之間的連接強度，取值通常動態(tài)變化，由神經網絡的學習過程確定；θ為神經元的內部閾值(門限值)；f(·）為激勵函數，又稱為激活函數、作用函數或變換函數等，它決定了神經元節(jié)點的輸出，一般為非線性函數，因此使人工神經網絡具有非線性特點。人工神經元基本模型PART

TWO人工神經網絡基本模型人工神經元基本模型激勵函數一般為非線性函數，因此使人工神經網絡具有非線性特點。具體形式如下：（1）閾值型函數（2）飽和型函數人工神經元基本模型PART

TWO人工神經網絡基本模型人工神經元基本模型（3）雙曲正切函數激勵函數（4）S型函數神經元的輸出狀態(tài)與輸入作用之間的關系是在(0,1)內連續(xù)取值的單調可微函數，稱為Sigmoid函數，簡稱S型函數。當趨于無窮時，S型曲線趨于階躍函數，通常情況下，取值為1。人工神經元基本模型PART

TWO人工神經網絡基本模型人工神經元基本模型激勵函數（5）高斯函數在徑向基函數構成的神經網絡中，神經元的結構可用高斯函數描述如下：人工神經元基本模型PART

TWO人工神經網絡基本模型人工神經元基本模型激勵函數人工神經元基本模型PART

TWO人工神經網絡基本模型描述人工神經元的信息處理過程（1）對所有輸入進行加權，連接權值的大小決定了每個輸入信號對人工神經元作用的強度；（2）將所有輸入信號的權重之和與神經元內部的門限值θ進行比較，并經過一個非線性函數變換，得到抑制（通常為0）或興奮（通常為1）兩種輸出結果，從而簡單地模仿了人腦細胞的生物特性。PART

TWO人工神經網絡基本模型人工神經網絡結構作為對人腦神經系統(tǒng)的模擬，單一的人工神經元只能處理簡單的非線性問題。目前就人工神經網絡的連接形式而言，已有數十種不同的連接方式，其中前饋型網絡和反饋型網絡是兩種典型的網絡結構。PART

TWO人工神經網絡基本模型1反饋型神經網絡2前饋性神經網絡感知器模型BP網絡模型RBF網絡模型Hopfield網絡PART

TWO人工神經網絡基本模型人工神經網絡結構（1）前饋型神經網絡前饋型神經網絡（FeedforwardNN），神經元分多層排列，有輸入層、隱含層(亦稱中間層，可有若干層)和輸出層，由于信號是向前傳遞的，每個神經元能且只能從前一層接受多個輸入，并且只有一個輸出送給下一層的各神經元，因此這種網絡結構的信息傳遞是正向傳遞方式。從學習的觀點來看，由于前饋網絡一般事先已知一組或多組輸入與輸出的對應關系，因此它是一種有教師學習的學習系統(tǒng)，其結構簡單且易于編程，主要解決有訓練樣本的實際問題；從系統(tǒng)的觀點看，前饋網絡是一種靜態(tài)非線性映射，通過簡單非線性處理單元的復合映射，可獲得復雜的非線性處理能力。大部分前饋網絡都是學習網絡，它們的分類能力和模式識別能力一般都強于反饋網絡。PART

TWO人工神經網絡基本模型人工神經網絡結構（2）反饋型神經網絡反饋型神經網絡（FeedbackNN），簡稱反饋網絡，其網絡結構如下圖所示。若總節(jié)點(神經元)數為N，則每個節(jié)點有N個輸入和一個輸出，也就是說，所有節(jié)點都是一樣的，它們之間都可相互連接。反饋型神經網絡的輸出信號通過與輸入連接而返回到輸入端，從而形成一個回路。由于具有這種輸出反饋到輸入的結構特點，每一時刻的網絡輸出不僅取決于當前的輸入，而且還取決于上一時刻的輸出。其輸出的初始狀態(tài)由輸入矢量設定后，隨著網絡的不斷運行，從輸出反饋到輸入的信號不斷改變，也使輸出不斷變化，從而使網絡表現出暫態(tài)特性，這使得反饋網絡表現出前饋網絡所不具備的震蕩或收斂特性。PART

TWO人工神經網絡基本模型人工神經網絡結構（2）反饋型神經網絡反饋型神經網絡（FeedbackNN），簡稱反饋網絡，其網絡結構如下圖所示。若總節(jié)點(神經元)數為N，則每個節(jié)點有N個輸入和一個輸出，也就是說，所有節(jié)點都是一樣的，它們之間都可相互連接。從學習的觀點來看，反饋型神經網絡是一種無教師學習的學習系統(tǒng)，由于事先沒有一組或多組輸入與輸出的對應關系，需要靠多次內部調整實現所需要的輸出，因此其結構復雜且計算時間長，主要解決沒有訓練樣本的實際問題；從系統(tǒng)的觀點看，反饋型神經網絡是一種動力學系統(tǒng)，它需要工作一段時間才能達到穩(wěn)定。典型的反饋型神經網絡有Hopfield神經網絡、自組織特征映射神經網絡等。PART

TWO人工神經網絡基本模型人工神經網絡的學習人工神經網絡能夠模擬任意的非線性函數，其實現過程就是確定具體的網絡結構，給出從輸入到輸出加權系數的調整規(guī)則和輸出誤差判斷規(guī)則，并通過學習將網絡中的各個加權系數求解出來。因此實現基于人工神經網絡的非線性數學建模的關鍵就是加權系數的求解，這個過程叫做網絡的學習，加權系數的調整規(guī)則和輸出誤差判斷規(guī)則統(tǒng)稱為學習規(guī)則。學習的目的在于修改網絡中的加權系數，使得網絡對所輸入的模式樣本在輸出有正確反映。PART

TWO人工神經網絡基本模型人工神經網絡的學習（1）學習方法通常采用誤差逼近法求解加權系數，通過給定調整加權系數方法逐漸調整加權系數，直到期望輸出值與實際輸出值在誤差允許范圍內，因此人工神經網絡所求解的加權系數是近似值而不是精確值。根據學習環(huán)境不同人工神經網絡的學習方法可分為有教師學習（或稱監(jiān)督學習、有指導學習）和無教師學習（或稱無監(jiān)督學習、無指導學習）。教師就是先驗數據，也稱為訓練數據，不但包括輸入數據，還包括與輸入數據相對應的輸出數據，即期望輸出。PART

TWO人工神經網絡基本模型人工神經網絡的學習（2）學習規(guī)則學習規(guī)則是修正神經元之間連接強度或加權系數的算法，使獲得的網絡結構能夠適應實際需要的變化。PART

TWO人工神經網絡基本模型前饋型神經網絡主要算法前饋型神經網絡主要特點前饋型神經網絡的結構特點是每一層神經元只接受前一層神經元的輸入，它屬于有教師學習，需要用已知的輸入輸出數據訓練網絡之后，網絡才能正常工作。（1）有大量的實例或能產生適合的實例；（2）這種任務涉及某一集合目標到另一集合目標間的映射；（3）該問題的算法和規(guī)律不確定或難于表達；（4）關于該問題的數據量和數據種類很多。典型的前饋網絡有感知器、BP網絡和RBF網絡。前饋性神經網絡主要算法PART

TWO人工神經網絡基本模型前饋型神經網絡主要算法感知器模型感知器（Perceptron）是1957年美國計算機科學家羅森布拉特（F.Rosenblatt）提出的，可謂最早的前饋型神經網絡模型。感知器分單層感知器和多層感知器。單層感知器具有單層神經元的網絡結構，如果包括輸入層在內應為兩層，并由線性閾值元件組成，因此是最簡單的前饋網絡結構。它通過對網絡權值的訓練，可以使感知器對一組輸入矢量的響應達到元素為0或1的目標輸出，從而實現對輸入矢量的分類。前饋性神經網絡主要算法PART

TWO人工神經網絡基本模型前饋型神經網絡主要算法感知器模型單層感知器學習的基本思想是：逐步地將樣本輸入到網絡中，根據輸出結果和期望輸出之間的差別來調整網絡中的加權系數。前饋性神經網絡主要算法PART

TWO人工神經網絡基本模型前饋型神經網絡主要算法感知器模型單層感知器訓練學習的步驟可歸納如下：（1）對于所要解決的實際問題，確定輸入樣本xp及其對應的期望輸出，其中p=1,2,…,P,P為輸入樣本集中的樣本總數；（2）參數初始化：（a）對初始權值賦予較小的非零隨機數；（b）給出最大訓練循環(huán)次數。（3）計算實際輸出：根據輸入樣本以及目前加權系數，計算網絡實際輸出。（4）檢查：檢查實際與期望輸出是否相同，如果相同或已達最大循環(huán)次數，則算法結束，否則轉入（5）。（5）學習：調整加權系數，返回（3）輸入下一樣本及對應期望輸出。前饋性神經網絡主要算法PART

TWO人工神經網絡基本模型前饋型神經網絡主要算法感知器模型在單層感知器上增加一層或多層神經元就構成多層感知器。除輸入層以外，每一層的輸入是前一層神經元輸出的加權和。前饋性神經網絡主要算法PART

TWO人工神經網絡基本模型前饋型神經網絡主要算法BP網絡模型誤差反向傳播網絡（ErrorBack-PropagationNetwork，簡稱BP網絡）是Rumelhant等人于1985年提出的前饋型網絡模型，目前已成為應用最為廣泛的一種人工神經網絡模型。BP網絡本質上是一種由輸入到輸出的映射，它不需要任何輸入和輸出之間的精確數學表達式，只要用已知的輸入輸出數據對BP網絡加以訓練，網絡就具有輸入與輸出之間的映射能力。BP算法的關鍵在于隱含層的學習規(guī)則，而隱含層就相當于對輸入信息的一個特征抽取器。前饋性神經網絡主要算法PART

TWO人工神經網絡基本模型前饋型神經網絡主要算法BP網絡模型BP網絡是單向傳播的多層前饋網絡結構，采用一種有教師指導的學習過程。網絡除了輸入輸出節(jié)點外，還有一層或多層的隱含層節(jié)點，同層節(jié)點中沒有任何耦合。前饋性神經網絡主要算法PART

TWO人工神經網絡基本模型前饋型神經網絡主要算法BP網絡模型BP算法的學習規(guī)則是網絡的輸出誤差判定采用最小二乘法，各層加權系數的調整基于梯度下降法。前饋性神經網絡主要算法PART

TWO人工神經網絡基本模型前饋型神經網絡主要算法BP算法的學習過程主要分為兩個階段：第一階段為信號的正向傳播過程。給定輸入信息通過輸入層經隱含層逐層計算，最后計算出每個單元的實際輸出值；第二階段為誤差的反向傳播過程。若在輸出層未能得到期望的輸出值，則逐層遞歸地計算實際輸出與期望輸出之間的誤差均方值，用于調節(jié)各層的加權系數。具體地說，就是從輸出層開始往前逐層采用梯度下降法修改加權系數，以期使輸出的誤差信號最小。前饋性神經網絡主要算法PART

TWO人工神經網絡基本模型前饋型神經網絡主要算法BP網絡模型下面給出BP網絡具體的數學描述和公式推導過程，下圖為算法推導過程中參數示意圖。前饋性神經網絡主要算法PART

TWO人工神經網絡基本模型前饋型神經網絡主要算法BP網絡模型各節(jié)點的激勵函數采用S型函數，其中，θj表示神經元的閾值；θ0的作用是調節(jié)激勵函數的形狀，較小的θ0使激勵函數逼近階躍函數，較大的θ0使激勵函數變得較為平坦。BP網絡對加權系數的調整采用梯度下降法，其中涉及導數的問題。BP網絡采用S型函數作為激勵函數的一個主要原因就是S型函數f(x),關于它的導數有一個重要的特性：前饋性神經網絡主要算法PART

TWO人工神經網絡基本模型前饋型神經網絡主要算法BP網絡模型這里設net表示每一個神經元節(jié)點的輸入和，O表示每一個神經元節(jié)點的輸出，根據人工神經元輸入輸出關系公式，每一層節(jié)點的輸出為：前饋性神經網絡主要算法PART

TWO人工神經網絡基本模型前饋型神經網絡主要算法BP網絡模型BP網絡的學習規(guī)則為：1．BP網絡輸出誤差判定規(guī)則（最小二乘算法）：2．BP網絡加權系數的調整規(guī)則（梯度下降法）：前饋性神經網絡主要算法PART

TWO人工神經網絡基本模型前饋型神經網絡主要算法BP網絡模型將輸入樣本標記p記入推導公式中，得到對于所有輸入樣本通用的調整加權系數公式：由此可以進行加權系數的調整，并反復進行正向傳播過程和反向傳播過程，直到實際輸出值逼近期望輸出值。前饋性神經網絡主要算法PART

TWO人工神經網絡基本模型前饋型神經網絡主要算法BP網絡算法的計算步驟可概括如下：（1）首先確定前饋型網絡結構，給出所有參數定義；（2）置網絡所有的加權系數初始值為較小的分布在0~1之間的隨機數；（3）給定一組輸入向量和期望的目標輸