神經(jīng)網(wǎng)絡(luò)基本原理ppt課件

第一講神經(jīng)網(wǎng)絡(luò)基本原理姓名：肖婷學(xué)號(hào)：Email：,主要內(nèi)容,人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的研究發(fā)展人工神經(jīng)網(wǎng)絡(luò)基本要素神經(jīng)元介紹神經(jīng)元作用函數(shù)神經(jīng)元之間的連接形式網(wǎng)絡(luò)的學(xué)習(xí)(訓(xùn)練)感知器神經(jīng)網(wǎng)絡(luò),人工神經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)，NeuralNetwork）是模擬人腦思維方式的數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代生物學(xué)研究人腦組織成果的基礎(chǔ)上提出的，用來(lái)模擬人類大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。神經(jīng)網(wǎng)絡(luò)反映了人腦功能的基本特征，如并行信息處理、學(xué)習(xí)、聯(lián)想、模式分類、記憶等。20世紀(jì)80年代以來(lái)，人工神經(jīng)網(wǎng)絡(luò)（ANN，ArtificialNeuralNetwork）研究取得了突破性進(jìn)展。神經(jīng)網(wǎng)絡(luò)控制是將神經(jīng)網(wǎng)絡(luò)與控制理論相結(jié)合而發(fā)展起來(lái)的智能控制方法。它已成為智能控制的一個(gè)新的分支，為解決復(fù)雜的非線性、不確定、未知系統(tǒng)的控制問(wèn)題開辟了新途徑。,人工神經(jīng)網(wǎng)絡(luò)的提出,目前，關(guān)于神經(jīng)網(wǎng)絡(luò)的定義尚不統(tǒng)一，按美國(guó)神經(jīng)網(wǎng)絡(luò)學(xué)家HechtNielsen的觀點(diǎn)，神經(jīng)網(wǎng)絡(luò)的定義是：“神經(jīng)網(wǎng)絡(luò)是由多個(gè)非常簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的計(jì)算機(jī)系統(tǒng)，該系統(tǒng)靠其狀態(tài)對(duì)外部輸入信息的動(dòng)態(tài)響應(yīng)來(lái)處理信息”。綜合神經(jīng)網(wǎng)絡(luò)的來(lái)源特點(diǎn)和各種解釋，它可簡(jiǎn)單地表述為：人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。作為一門活躍的邊緣性交叉學(xué)科，神經(jīng)網(wǎng)絡(luò)的研究與應(yīng)用正成為人工智能、認(rèn)識(shí)科學(xué)、神經(jīng)生理學(xué)、非線性動(dòng)力學(xué)等相關(guān)專業(yè)的熱點(diǎn)。近十幾年來(lái)，針對(duì)神經(jīng)網(wǎng)絡(luò)的學(xué)術(shù)研究大量涌現(xiàn)，它們當(dāng)中提出上百種的神經(jīng)網(wǎng)絡(luò)模型，其應(yīng)用涉及模式識(shí)別聯(lián)想記憶、信號(hào)處理、自動(dòng)控制組合優(yōu)化故障診斷及計(jì)算機(jī)視覺(jué)等眾多方面，取得了引人注目的進(jìn)展。,人工神經(jīng)網(wǎng)絡(luò)的提出,(1)第一次熱潮(40-60年代未)1943年,美國(guó)心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitts在提出了一個(gè)簡(jiǎn)單的神經(jīng)元模型，即MP模型。1958年，F(xiàn).Rosenblatt等研制出了感知機(jī)。(2)低潮(70-80年代初)：人工智能的創(chuàng)始人之一Minsky和Papert對(duì)以感知器為代表的網(wǎng)絡(luò)系統(tǒng)的功能及局限性從數(shù)學(xué)上做了深入研究，于1969年發(fā)表了轟動(dòng)一時(shí)Perceptrons一書，指出簡(jiǎn)單的線性感知器的功能是有限的，它無(wú)法解決線性不可分的兩類樣本的分類問(wèn)題。開始了神經(jīng)網(wǎng)絡(luò)發(fā)展史上長(zhǎng)達(dá)10年的低潮期。(3)第二次熱潮：1982年，美國(guó)物理學(xué)家J.J.Hopfield提出Hopfield模型，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò).他解決問(wèn)題的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過(guò)程,這是符號(hào)邏輯處理方法所不具備的性質(zhì).1987年首屆國(guó)際ANN大會(huì)在圣地亞哥召開，國(guó)際ANN聯(lián)合會(huì)成立，創(chuàng)辦了多種ANN國(guó)際刊物。,神經(jīng)網(wǎng)絡(luò)研究的發(fā)展,人工神經(jīng)網(wǎng)絡(luò)基本要素,人工神經(jīng)網(wǎng)絡(luò)(簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò))是由人工神經(jīng)元(簡(jiǎn)稱神經(jīng)元)互連組成的網(wǎng)絡(luò)，它是從微觀結(jié)構(gòu)和功能上對(duì)人腦的抽象、簡(jiǎn)化，是模擬人類智能的一條重要途徑，反映了人腦功能的若干基本特征，如并行信息處理、學(xué)習(xí)、聯(lián)想、模式分類、記憶等。人工神經(jīng)網(wǎng)絡(luò)（ANN）可看成是以人工神經(jīng)元為節(jié)點(diǎn)，用有向加權(quán)弧連接起來(lái)的有向圖。在此有向圖中，人工神經(jīng)元就是對(duì)生物神經(jīng)元的模擬，而有向弧則是軸突突觸樹突對(duì)的模擬。有向弧的權(quán)值表示相互連接的兩個(gè)人工神經(jīng)元間相互作用的強(qiáng)弱。,每個(gè)小圓圈表示一個(gè)神經(jīng)元。各個(gè)神經(jīng)元之間的連接并不只是一個(gè)單純的傳送信號(hào)的通道，而是在每對(duì)神經(jīng)元之間的連接上有一個(gè)加權(quán)系數(shù)，這個(gè)加權(quán)系數(shù)起著生物神經(jīng)系統(tǒng)中神經(jīng)元的突觸強(qiáng)度的作用，它可以加強(qiáng)或減弱上一個(gè)神經(jīng)元的輸出對(duì)下一個(gè)神經(jīng)元的刺激。這個(gè)加權(quán)系數(shù)通常稱為權(quán)值。,在神經(jīng)網(wǎng)絡(luò)中，連接權(quán)值并非固定不變，而是按照一定的規(guī)則和學(xué)習(xí)算法進(jìn)行自動(dòng)修改。這也體現(xiàn)出神經(jīng)網(wǎng)絡(luò)的“進(jìn)化”行為。,人工神經(jīng)網(wǎng)絡(luò)基本要素,神經(jīng)元模型、數(shù)量及互連模式確定了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，而神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)算法又決定了其信息處理的能力。最初的神經(jīng)網(wǎng)絡(luò)只由輸入層和輸出層組成。這種結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)信息處理能力極為有限，不能進(jìn)行復(fù)雜的計(jì)算。后來(lái)在這種結(jié)構(gòu)的基礎(chǔ)上引入了隱含層，大大地提高了神經(jīng)網(wǎng)絡(luò)的計(jì)算能力。研究表明由具有Sigmoid型作用函數(shù)的隱含層和具有線性作用函數(shù)的輸出層構(gòu)成的三層神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)訓(xùn)練后，可以以任意精度逼近絕大多數(shù)的函數(shù)。在人工神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)及應(yīng)用研究中，通常需要考慮三個(gè)方面的內(nèi)容，即神經(jīng)元作用函數(shù)、神經(jīng)元之間的連接形式和網(wǎng)絡(luò)的學(xué)習(xí)(訓(xùn)練)。,人工神經(jīng)網(wǎng)絡(luò)基本要素,人工神經(jīng)網(wǎng)絡(luò)基本要素神經(jīng)元,1、生物神經(jīng)元的結(jié)構(gòu)神經(jīng)細(xì)胞是構(gòu)成神經(jīng)系統(tǒng)的基本單元，稱之為生物神經(jīng)元，簡(jiǎn)稱神經(jīng)元。神經(jīng)元由細(xì)胞體及其發(fā)出的許多突起構(gòu)成。細(xì)胞體內(nèi)有細(xì)胞核，突起的作用是傳遞信息。作為引入輸入信號(hào)的若干個(gè)突起稱為“樹突”或“晶枝”，而作為輸出端的突起只有一個(gè)稱為“軸突”。一個(gè)神經(jīng)元的軸突末梢經(jīng)過(guò)多次分支，最后每一小支的末端膨大呈杯狀或球狀，叫做突觸小體。這些突觸小體可以與多個(gè)神經(jīng)元的細(xì)胞體或樹突相接觸，形成突觸。每個(gè)神經(jīng)元的突觸數(shù)目有所不同，而且各神經(jīng)元之間的連接強(qiáng)度和極性有所不同，并且都可調(diào)整，基于這一特性，人腦具有存儲(chǔ)信息的功能。圖1.1生物神經(jīng)元的結(jié)構(gòu),大腦Brain,圖1.1生物神經(jīng)元結(jié)構(gòu),神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，神經(jīng)元是腦組織的基本單元，是神經(jīng)系統(tǒng)結(jié)構(gòu)與功能的單位。,人工神經(jīng)網(wǎng)絡(luò)基本要素神經(jīng)元,2、人工神經(jīng)元結(jié)構(gòu)神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的六個(gè)基本特性。1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱；3）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的；4）信號(hào)可以是起刺激作用的，也可以是起抑制作用的；5）一個(gè)神經(jīng)元接受的信號(hào)的累積效果決定該神經(jīng)元的狀態(tài)；6)每個(gè)神經(jīng)元可以有一個(gè)“閾值”。,人工神經(jīng)網(wǎng)絡(luò)基本要素神經(jīng)元,10/65,單輸入神經(jīng)元,對(duì)照生物神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)，可以得到一個(gè)單輸入神經(jīng)元如圖所示。其權(quán)值w對(duì)應(yīng)于突觸的連接強(qiáng)度，細(xì)胞體對(duì)應(yīng)于累加器和作用函數(shù)，神經(jīng)元輸出y即軸突的信號(hào)。,神經(jīng)元的輸出y=f(w*u+),人工神經(jīng)網(wǎng)絡(luò)基本要素神經(jīng)元,可見，神經(jīng)元的實(shí)際輸出還取決于所選擇的作用函數(shù)f(x)。神經(jīng)元的閾值可以看作為一個(gè)輸入值是常數(shù)1對(duì)應(yīng)的連接權(quán)值。根據(jù)實(shí)際情況，也可以在神經(jīng)元模型中忽略它。關(guān)于作用函數(shù)的選擇將在后面詳細(xì)討論。在上述模型中，w和是神經(jīng)元可調(diào)節(jié)的標(biāo)量參數(shù)。設(shè)計(jì)者可以依據(jù)一定的學(xué)習(xí)規(guī)則來(lái)調(diào)整它。,多輸入神經(jīng)元生物學(xué)研究結(jié)果表明一個(gè)神經(jīng)元不止一個(gè)輸入，每個(gè)神經(jīng)元約與104105個(gè)神經(jīng)元通過(guò)突觸連接?？梢?，神經(jīng)元具有多輸入特性。一般結(jié)構(gòu)如右圖1.2所示：,人工神經(jīng)網(wǎng)絡(luò)基本要素神經(jīng)元,圖1.2多輸入神經(jīng)元,3、人工神經(jīng)網(wǎng)絡(luò)模型1943年由美國(guó)心理學(xué)家WarrenMcCulloch和數(shù)理邏輯學(xué)家WalterPitts首先提出了一個(gè)簡(jiǎn)單的多輸入人工神經(jīng)元模型，被稱為MP的人工神經(jīng)元模型。神經(jīng)網(wǎng)絡(luò)拉開了研究的序幕。1958年Rosenblatt在原有MP模型的基礎(chǔ)上增加了學(xué)習(xí)機(jī)制。他提出的感知器模型，它把神經(jīng)網(wǎng)絡(luò)的研究從純理論探討引向了從工程上的實(shí)現(xiàn)。,人工神經(jīng)網(wǎng)絡(luò)基本要素神經(jīng)元,MP神經(jīng)元的結(jié)構(gòu)模型,與第i個(gè)神經(jīng)元連接的其它神經(jīng)元的輸出；,是非線性函數(shù)，又稱為作用函數(shù)。,圖中：yi是第i個(gè)神經(jīng)元的輸出，它可與其它多個(gè)神經(jīng)元連接；,分別是指其它神經(jīng)元與第i個(gè)神經(jīng)元,連接權(quán)值：,是第i個(gè)神經(jīng)元的閾值；,是第i個(gè)神經(jīng)元的凈輸入；,分別是指,這是一個(gè)多輸入單輸出的非線性信息處理單元。其主要特點(diǎn)是把神經(jīng)元輸入信號(hào)的加權(quán)和與其閾值相比較，以確定神經(jīng)元的輸出。如果加權(quán)和小于閾值，則神經(jīng)元輸出為零；如果加權(quán)和大于閾值，則神經(jīng)元輸出為1。,人工神經(jīng)網(wǎng)絡(luò)基本要素神經(jīng)元,第i個(gè)神經(jīng)元的輸出為：,設(shè),則,f(x)是作用函數(shù)，也稱激發(fā)函數(shù)。,MP神經(jīng)元模型中作用函數(shù)為單位階躍函數(shù)，見圖1.2所示。,圖1.2,人工神經(jīng)網(wǎng)絡(luò)基本要素神經(jīng)元,人工神經(jīng)元在輸入信號(hào)作用下產(chǎn)生輸出信號(hào)的規(guī)律由神經(jīng)元功能函數(shù)f給出(也稱激活函數(shù)或轉(zhuǎn)移函數(shù)或作用函數(shù))，這是神經(jīng)元模型的外特性。它包含了從輸入信號(hào)到凈輸入、再到激活值、最終產(chǎn)生輸出信號(hào)的過(guò)程。綜合了凈輸入、f函數(shù)的作用。f函數(shù)形式多樣，利用它們的不同特性可以構(gòu)成功能各異的神經(jīng)網(wǎng)絡(luò)。在神經(jīng)元模型中，作用函數(shù)除了單位階躍函數(shù)之外，還有其它形式。常見的神經(jīng)元功能函數(shù)有：,非對(duì)稱型Sigmoid函數(shù),非對(duì)稱型Sigmoid函數(shù)如圖1.3(a)所示，可以用下式表示,神經(jīng)元功能函數(shù)非對(duì)稱型Sigmoid函數(shù),Sigmoid函數(shù)也稱為S型作用函數(shù)，是可微分的。有時(shí)為了需要，也可表達(dá)為如下的形式：，見圖1.3(b)。,式中，。,圖1.3(b),圖1.3(a),神經(jīng)元功能函數(shù)非對(duì)稱型Sigmoid函數(shù),對(duì)稱型Sigmoid函數(shù),對(duì)稱型Sigmoid函數(shù)如圖1.4，可以用式表示見圖1.4(a),式中，=2。見圖1.4(b),一般形式：,圖1.4(a),圖1.4(b),神經(jīng)元功能函數(shù)對(duì)稱型Sigmoid函數(shù),對(duì)稱型階躍函數(shù),圖所示的作用函數(shù)，為對(duì)稱型階躍函數(shù)，也稱之為符號(hào)函數(shù)。如右圖1.5可以表示為：,采用階躍作用函數(shù)的神經(jīng)元，稱為閾值邏輯單元。,如右圖1.5,圖1.5,神經(jīng)元功能函數(shù)對(duì)稱型階躍函數(shù),線性函數(shù),線性作用函數(shù)的輸出等于輸入，即：,飽和線性作用函數(shù)：,對(duì)稱飽和線性作用函數(shù)：,各函數(shù)圖見圖1.6,神經(jīng)元功能函數(shù)線性函數(shù),線性作用函數(shù)如圖所示,線性飽和線性對(duì)稱飽和線性,圖1.6,神經(jīng)元功能函數(shù)線性函數(shù),高斯函數(shù),圖所示的作用函數(shù)是高斯函數(shù)，可以表示為：,式中的反映出高斯函數(shù)的寬度。,神經(jīng)元功能函數(shù)高斯函數(shù),神經(jīng)網(wǎng)絡(luò)強(qiáng)大的計(jì)算功能是通過(guò)神經(jīng)元的互連而達(dá)到的。它一個(gè)復(fù)雜的互連系統(tǒng)，單元之間的互連模式將對(duì)網(wǎng)絡(luò)的性質(zhì)和功能產(chǎn)生重要影響。互連模式也稱為拓?fù)浣Y(jié)構(gòu)，它種類繁多，這里介紹一些典型的神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。,根據(jù)神經(jīng)元的拓?fù)浣Y(jié)構(gòu)形式不同，神經(jīng)網(wǎng)絡(luò)可分成以下兩大類：,前向網(wǎng)絡(luò)(前饋網(wǎng)絡(luò)),人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),網(wǎng)絡(luò)可以分為若干“層”，各層按信號(hào)傳輸先后順序依次排列，第i層的神經(jīng)元只接受第(i-1)層神經(jīng)元給出的信號(hào)，各神經(jīng)元之間沒(méi)有反饋。前饋型網(wǎng)絡(luò)可用一有向無(wú)環(huán)路圖表示，如圖1.7所示：,圖1.7,可以看出，輸入節(jié)點(diǎn)并無(wú)計(jì)算功能，只是為了表征輸入矢量各元素值。各層節(jié)點(diǎn)表示具有計(jì)算功能的神經(jīng)元，稱為計(jì)算單元。每個(gè)計(jì)算單元可以有任意個(gè)輸入，但只有一個(gè)輸出，它可送到多個(gè)節(jié)點(diǎn)作輸入。稱輸入節(jié)點(diǎn)層為第零層。計(jì)算單元的各節(jié)點(diǎn)層從下至上依次稱為第1至第N層，由此構(gòu)成N層前向網(wǎng)絡(luò)。第一節(jié)點(diǎn)層與輸出節(jié)點(diǎn)統(tǒng)稱為“可見層”，而其他中間層則稱為隱含層，這些神經(jīng)元稱為隱節(jié)點(diǎn)。BP網(wǎng)絡(luò)就是典型的前向網(wǎng)絡(luò)。,互連型神經(jīng)網(wǎng)絡(luò),圖1.8(b),反饋網(wǎng)絡(luò)典型的反饋型神經(jīng)網(wǎng)絡(luò)如圖1.8(a)，每個(gè)節(jié)點(diǎn)都表示一個(gè)計(jì)算單元，同時(shí)接受外加輸入和其它各節(jié)點(diǎn)的反饋輸入，每個(gè)節(jié)點(diǎn)也都直接向外部輸出。Hopfield網(wǎng)絡(luò)即屬此種類型。在某些反饋網(wǎng)絡(luò)中，各神經(jīng)元除接受外加輸入與其它各節(jié)點(diǎn)反饋輸入之外，還包括自身反饋。有時(shí)，反饋型神經(jīng)網(wǎng)絡(luò)也可表示為一張完全的無(wú)向圖，如圖1.8(b)。圖中，每一個(gè)連接都是雙向的。這里，第i個(gè)神經(jīng)元對(duì)于第j個(gè)神經(jīng)元的反饋與第j至i神經(jīng)元反饋之突觸權(quán)重相等，也即wij=wji。,圖1.8(a),在無(wú)反饋的前向網(wǎng)絡(luò)中，信號(hào)一旦通過(guò)某個(gè)神經(jīng)元，過(guò)程就結(jié)束了。而在反饋網(wǎng)絡(luò)中，信號(hào)要在神經(jīng)元之間反復(fù)往返傳遞，神經(jīng)網(wǎng)絡(luò)處在一種不斷改變狀態(tài)的動(dòng)態(tài)過(guò)程中。它將從某個(gè)初始狀態(tài)開始，經(jīng)過(guò)若干次的變化，才會(huì)到達(dá)某種平衡狀態(tài)，根據(jù)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和神經(jīng)元的特性，還有可能進(jìn)入周期振蕩或其它如渾沌等平衡狀態(tài)。以上介紹了兩種最基本的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)際上，人工神經(jīng)網(wǎng)絡(luò)還有許多種連接形式，例如，從輸出層到輸入層有反饋的前向網(wǎng)絡(luò)，同層內(nèi)或異層間有相互反饋的多層網(wǎng)絡(luò)等等，如下圖。,互連型神經(jīng)網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)的工作過(guò)程主要分為學(xué)習(xí)期和工作期兩個(gè)階段：在學(xué)習(xí)期，神經(jīng)元之間的連接權(quán)值按照一定的學(xué)習(xí)規(guī)則進(jìn)行自動(dòng)調(diào)整，調(diào)整的目標(biāo)是使性能函數(shù)達(dá)到最小。當(dāng)性能指標(biāo)滿足要求時(shí)，學(xué)習(xí)過(guò)程結(jié)束；在工作期，神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值固定，由網(wǎng)絡(luò)輸入信號(hào)計(jì)算出網(wǎng)絡(luò)的輸出結(jié)果。由于人工神經(jīng)網(wǎng)絡(luò)的“知識(shí)”主要存儲(chǔ)在網(wǎng)絡(luò)中各神經(jīng)元之間的連接權(quán)系數(shù)上，因此根據(jù)神經(jīng)元的輸入狀態(tài)、連接權(quán)值及網(wǎng)絡(luò)學(xué)習(xí)的評(píng)價(jià)標(biāo)準(zhǔn)來(lái)調(diào)整連接權(quán)系數(shù)，即可完成學(xué)習(xí)過(guò)程。需要說(shuō)明的是神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是按照一定的學(xué)習(xí)規(guī)則和學(xué)習(xí)方式進(jìn)行的。各種學(xué)習(xí)算法的研究，在人工神經(jīng)網(wǎng)絡(luò)理論與實(shí)踐發(fā)展過(guò)程中起著重要作用。當(dāng)前，人工神經(jīng)網(wǎng)絡(luò)研究的許多課題都致力于學(xué)習(xí)算法的改進(jìn)、更新和應(yīng)用。,人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)（訓(xùn)練）,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)理,學(xué)習(xí)規(guī)則是修正神經(jīng)元之間連接強(qiáng)度或加權(quán)系數(shù)的算法，使獲得知識(shí)結(jié)構(gòu)適用周圍環(huán)境的變換。目前，神經(jīng)網(wǎng)絡(luò)常用的學(xué)習(xí)規(guī)則，主要有Hebb學(xué)習(xí)規(guī)則、學(xué)習(xí)規(guī)則及概率式學(xué)習(xí)規(guī)則等。,聯(lián)想式學(xué)習(xí)Hebb規(guī)則,由Hebb提出來(lái)的，是最早，最著名的訓(xùn)練算法，至今仍在各種神經(jīng)網(wǎng)絡(luò)模型中起著重要作用。Hebb規(guī)則假定:當(dāng)兩個(gè)細(xì)胞同時(shí)興奮時(shí)，他們之間的連接強(qiáng)度應(yīng)該增強(qiáng)，這條規(guī)則與“條件反射”學(xué)說(shuō)一致，后來(lái)得到了神經(jīng)細(xì)胞學(xué)說(shuō)的證實(shí)。Hebb學(xué)習(xí)是一類相關(guān)學(xué)習(xí)，算法的基本思想是：如果有兩個(gè)神經(jīng)元同時(shí)興奮，則它們之間的連接強(qiáng)度的增強(qiáng)與它們的激勵(lì)的乘積成正比。,學(xué)習(xí)規(guī)則Hebb規(guī)則,在Hebb學(xué)習(xí)規(guī)則中，學(xué)習(xí)信號(hào)簡(jiǎn)單地等于神經(jīng)元的輸出：即用yi(k)表示單元i在k時(shí)刻的激活值（輸出），yj(k)表示單元j在k時(shí)刻的激活值，wij(k)表示單元i到單元j的連接權(quán)值，則Hebb學(xué)習(xí)規(guī)則可表示如下：Wij(k)=Wij(k+1)-Wij(k)=*yi(k)*yj(k+1),式中為學(xué)習(xí)速率上式表明，權(quán)值調(diào)整量與輸入輸出的乘積成正比。顯然，經(jīng)常出現(xiàn)的輸入模式將對(duì)權(quán)向量有較大的影響。在這種情況下，Hebb學(xué)習(xí)規(guī)則需預(yù)先設(shè)置權(quán)飽和值，以防止輸入和輸出正負(fù)始終一致時(shí)出現(xiàn)權(quán)值無(wú)約束增長(zhǎng)。,糾正誤差式學(xué)習(xí)Delta()學(xué)習(xí)規(guī)則,如圖給出的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),其中是輸入時(shí)第i個(gè)神經(jīng)元在k時(shí)刻的實(shí)際輸出，表示相應(yīng)的期望輸出，則誤差信號(hào)為,Delta()學(xué)習(xí)規(guī)則,糾正誤差學(xué)習(xí)的最終目的是使基于ei(k)的目標(biāo)函數(shù)達(dá)到最小，以使神經(jīng)網(wǎng)絡(luò)中的每一個(gè)輸出單元的實(shí)際輸出逼近于期望輸出。,可見，目標(biāo)函數(shù)一旦確定，糾正誤差學(xué)習(xí)過(guò)程實(shí)質(zhì)上就是一個(gè)典型的函數(shù)最優(yōu)化過(guò)程。這樣就可以用函數(shù)最優(yōu)化求解方法來(lái)糾正誤差。通常目標(biāo)函數(shù)可以定義為下列誤差準(zhǔn)則函數(shù)：,其中，是神經(jīng)網(wǎng)絡(luò)中第i個(gè)神經(jīng)元的期望輸出(教師信號(hào))；,為神經(jīng)網(wǎng)絡(luò)中第i個(gè)神經(jīng)元的實(shí)際輸出；,是神經(jīng)網(wǎng)絡(luò)中第i個(gè)神經(jīng)元的作用函數(shù)；,w(k)是與第i個(gè)神經(jīng)元的權(quán)值向量，即,u(k)為輸入向量，即,Delta學(xué)習(xí)規(guī)則,現(xiàn)在的問(wèn)題是如何調(diào)整權(quán)值，使準(zhǔn)則函數(shù)最小。由多變量函數(shù)求極值問(wèn)題可知，若沿著準(zhǔn)則函數(shù)的負(fù)梯度方向不斷調(diào)正值，可以使達(dá)到最小。即,實(shí)際就是第i個(gè)神經(jīng)元的凈輸入，那么,定義誤差傳播系數(shù)為,于是可以得到wij(k)的修正量為,學(xué)習(xí)規(guī)則又稱誤差修正規(guī)則。規(guī)則是根據(jù)的負(fù)梯度方向調(diào)整神經(jīng)元間的連接權(quán)值，因此能夠使誤差函數(shù)E達(dá)到最小值。,Delta學(xué)習(xí)規(guī)則,其中是功能函數(shù)f的導(dǎo)數(shù)要求功能函數(shù)可導(dǎo)，因此它只適用于有導(dǎo)師學(xué)習(xí)中，定義功能函數(shù)為連續(xù)函數(shù)的情況。,利用大量神經(jīng)元相互連接組成的人工神經(jīng)網(wǎng)絡(luò)，將顯示出人腦的若干特征，人工神經(jīng)網(wǎng)絡(luò)也具有初步的自適應(yīng)與自組織能力。在學(xué)習(xí)或訓(xùn)練過(guò)程中改變突觸權(quán)重wij值，以適應(yīng)周圍環(huán)境的要求。同一網(wǎng)絡(luò)因?qū)W習(xí)方式及內(nèi)容不同可具有不同的功能。人工神經(jīng)網(wǎng)絡(luò)是一個(gè)具有學(xué)習(xí)能力的系統(tǒng)，可以發(fā)展知識(shí)，以至超過(guò)設(shè)計(jì)者原有的知識(shí)水平。通常，它的學(xué)習(xí)(或訓(xùn)練)方式可分為兩種，一種是有監(jiān)督(supervised)或稱有導(dǎo)師的學(xué)習(xí)，這時(shí)利用給定的樣本標(biāo)準(zhǔn)進(jìn)行分類或模仿；另一種是無(wú)監(jiān)督(unsupervised)學(xué)習(xí)或稱無(wú)導(dǎo)師學(xué)習(xí)，這時(shí)，只規(guī)定學(xué)習(xí)方式或某些規(guī)則，而具體的學(xué)習(xí)內(nèi)容隨系統(tǒng)所處環(huán)境(即輸入信號(hào)情況)而異，系統(tǒng)可以自動(dòng)發(fā)現(xiàn)環(huán)境特征和規(guī)律性，具有更近似于人腦的功能。,人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式,人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式,有監(jiān)督學(xué)習(xí)(SL-SupervisedLearning),網(wǎng)絡(luò)的輸出有一個(gè)評(píng)價(jià)的標(biāo)準(zhǔn)，網(wǎng)絡(luò)將實(shí)際輸出和評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行比較，由其誤差信號(hào)決定連接權(quán)值的調(diào)整。,評(píng)價(jià)標(biāo)準(zhǔn)是由外界提示給網(wǎng)絡(luò)的，相當(dāng)于由有一位知道正確結(jié)果的教師示教給網(wǎng)絡(luò)，稱為有導(dǎo)師學(xué)習(xí),無(wú)監(jiān)督的學(xué)習(xí)(ULS-UnsupervisedLearning),自我調(diào)整，不存在外部環(huán)境的示教，也不存在來(lái)自外部環(huán)境的反饋來(lái)指示網(wǎng)絡(luò)期望輸出什么或者當(dāng)前輸出是否正確，又稱為無(wú)導(dǎo)師學(xué)習(xí),人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式,感知器神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)單層感知器模型,1958年，美國(guó)學(xué)者FrankRosenblatt首次定義了一個(gè)具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，取名為感知器。如果包括輸入層在內(nèi)，應(yīng)為兩層。單計(jì)算節(jié)點(diǎn)感知器結(jié)構(gòu)如圖1.10。單神經(jīng)元感知器結(jié)構(gòu)與McCulloch和Pitts提出的M-P神經(jīng)元模型十分相似，它們之間的區(qū)別在于神經(jīng)元間連接權(quán)的變化。感知器的連接權(quán)定義為可變的，這樣感知器就被賦予了學(xué)習(xí)的特性。,圖1.10,感知器神經(jīng)網(wǎng)絡(luò),對(duì)于圖1.10給出的感知器神經(jīng)元，其凈輸入及輸出為,若令，則,其中：和是感知器神經(jīng)元的輸出和閾值；,是輸入與神經(jīng)元之間的權(quán)值向量；,是感知器的輸入向量；,是感知器神經(jīng)元的作用函數(shù)，這里取階躍函數(shù)。即,感知器神經(jīng)網(wǎng)絡(luò),為了便于分析，以二輸入單神經(jīng)元感知器為例說(shuō)明感知器的分類性能。此時(shí)，類別界限為：,由于單神經(jīng)元感知器作用函數(shù)是階躍函數(shù)，其輸出只能是0或1。感知器主要用作模式分類。當(dāng)神經(jīng)元凈輸入x0時(shí)f(x)=0，當(dāng)凈輸入x0時(shí)f(x)=1。可見，單神經(jīng)元感知器可以將輸入向量分為兩類，類別界限為,若將w1、w2和看作為確定的參數(shù)，那么上式實(shí)質(zhì)上在輸入向量空間(u1,u2)中定義了一條直線。該直線一側(cè)的輸入向量對(duì)應(yīng)的網(wǎng)絡(luò)輸出為0，而直線另一側(cè)的輸入向量對(duì)應(yīng)的網(wǎng)絡(luò)輸出則為1。兩點(diǎn)決定一條直線，為了獲得這條直線，只要找出該直線與空間坐標(biāo)軸的交點(diǎn)即可。,感知器神經(jīng)網(wǎng)絡(luò)感知器模型,若令u1=0，則可求出該直線在u2軸上的截距：,同樣，若令u2=0，則可求出該直線在u1軸上的截距：,(當(dāng)時(shí)),(當(dāng)時(shí)),由上式可得單神經(jīng)元感知器的類別界限如圖1.11。當(dāng)，時(shí)或當(dāng)，時(shí)，感知器輸出；反之，感知器輸出。,圖1.11,感知器神經(jīng)網(wǎng)絡(luò)感知器模型,對(duì)于三輸入單神經(jīng)元感知器，其類別界限為：,若將、和看作為確定的參數(shù)，那么上式相當(dāng)在三空間(u1,u2,u3)中定義了一個(gè)平面，該平面將輸入模式分為兩類。三點(diǎn)決定一個(gè)平面，為了獲得這個(gè)平面，同樣需要找出該平面與空間坐標(biāo)軸的交點(diǎn)。,若令，由上式可求出該平面在軸上的截距：,(當(dāng)時(shí)),令，由上式可求出該平面在軸上的截距：,(當(dāng)時(shí)),令，由上式可求出該平面在軸上的截距：,(當(dāng)時(shí)),以上三點(diǎn)確定的平面即感知器的類別界限，該平面一側(cè)的輸入向量對(duì)應(yīng)的輸出為0，而另一側(cè)的輸入向量對(duì)應(yīng)的輸出則為1。,感知器神經(jīng)網(wǎng)絡(luò)感知器模型,多神經(jīng)元感知器模型,由于單神經(jīng)元感知器的輸出只有0或1兩種狀態(tài)，所以只能將輸入模式分為兩類。而事實(shí)上輸入向量模式的種類可能有許多種，為了將它們有效地分開，需要建立由多個(gè)神經(jīng)元組成的感知器，其結(jié)構(gòu)如右圖。,當(dāng)單神經(jīng)元感知器的輸入為n()時(shí)，其類別界限為對(duì)于在n維向量空間上的線性可分模式，通過(guò)一個(gè)n輸入的單神經(jīng)元感知器一定可以找到一個(gè)超平面，將該模式分為兩類。,感知器神經(jīng)網(wǎng)絡(luò)感知器模型,圖所示的神經(jīng)網(wǎng)絡(luò)輸出為,其中：是感知器網(wǎng)絡(luò)的輸出向量；,是各神經(jīng)元間的連接權(quán)系數(shù)矩陣；,是感知器網(wǎng)絡(luò)的輸入向量；,是感知器網(wǎng)絡(luò)的閾值向量；,是感知器神經(jīng)網(wǎng)絡(luò)中的作用函數(shù),感知器神經(jīng)網(wǎng)絡(luò)感知器模型,對(duì)于多神經(jīng)元感知器而言，每個(gè)神經(jīng)元都有一個(gè)類別界限。那么第i個(gè)神經(jīng)元的類別界限為：,其中：是輸入向量ui與第i個(gè)神經(jīng)元的連接權(quán)值；,是第i個(gè)神經(jīng)元的閾值；,多神經(jīng)元感知器可以將輸入向量分為許多類，每一類由不同的向量表示。由于輸出向量的每個(gè)元素可以取0或1兩個(gè)值，所以一個(gè)由m個(gè)神經(jīng)元構(gòu)成的感知器網(wǎng)絡(luò)最多可以區(qū)分出種輸入模式。,感知器神經(jīng)網(wǎng)絡(luò)感知器模型,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),感知器的學(xué)習(xí)實(shí)質(zhì)是通過(guò)改變輸入向量與神經(jīng)元的連接權(quán)值或神經(jīng)元的閾值，使感知器具有能夠正確區(qū)分目標(biāo)數(shù)據(jù)的能力。可以看出，感知器的學(xué)習(xí)屬于有監(jiān)督學(xué)習(xí)。設(shè)有P組樣本數(shù)據(jù)為：,其中是第i組樣本輸入向量；是該輸入相應(yīng)的目標(biāo)輸出(i=1,2,P),當(dāng)輸入向量作用到感知器網(wǎng)絡(luò)時(shí)，其實(shí)際輸出為。在感知器網(wǎng)絡(luò)尚未訓(xùn)練的情況下，可能與相差甚遠(yuǎn)。感知器學(xué)習(xí)就是通過(guò)調(diào)整權(quán)系數(shù)和閾值，使其實(shí)際輸出逐步逼近目標(biāo)輸出。,FrankRosenblatt的主要貢獻(xiàn)在于提出了訓(xùn)練神經(jīng)網(wǎng)絡(luò)用于解決模式識(shí)別問(wèn)題的學(xué)習(xí)規(guī)則。他證明了只要求解問(wèn)題的權(quán)值存在，那么其學(xué)習(xí)規(guī)則通常會(huì)收斂到正確的網(wǎng)絡(luò)權(quán)值上。整個(gè)學(xué)習(xí)過(guò)程較為簡(jiǎn)單，而且是自動(dòng)的。只要把反映網(wǎng)絡(luò)行為的樣本數(shù)據(jù)對(duì)提交給網(wǎng)絡(luò)，網(wǎng)絡(luò)就能夠根據(jù)樣本數(shù)據(jù)從隨機(jī)初始化的權(quán)值和偏置值開始自動(dòng)地進(jìn)行學(xué)習(xí)。,下面根據(jù)樣本數(shù)據(jù)，討論感知器的學(xué)習(xí)過(guò)程。設(shè)有樣本數(shù)據(jù)為：,單神經(jīng)元感知器的學(xué)習(xí)過(guò)程,，,，,上面的樣本數(shù)據(jù)對(duì)可以在平面坐標(biāo)上表示出來(lái)。圖中目標(biāo)輸出為0的兩個(gè)輸入向量用空心圓表示，目標(biāo)輸出為1的輸入向量用實(shí)心圓表示。,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),根據(jù)感知器性能分析結(jié)果可知，欲對(duì)樣本數(shù)據(jù)實(shí)現(xiàn)有效分類，感知器網(wǎng)絡(luò)應(yīng)該有兩個(gè)輸入和一個(gè)輸出。為了簡(jiǎn)化學(xué)習(xí)過(guò)程，取感知器的神經(jīng)元沒(méi)有閾值。這樣，需要調(diào)整的參數(shù)只有w1和w2兩個(gè)，見圖1.12。,由前面討論可知，當(dāng)=0時(shí)，類別界限為,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),由上式可知，感知器的類別界限一定穿過(guò)坐標(biāo)軸的原點(diǎn)，而且權(quán)值向量w和輸入向量u是正交的。為了保證感知器能夠有效將和，區(qū)分開，必須找到一條合適的類別界限。由圖可以看出，實(shí)際上有無(wú)數(shù)條類別界限可供選擇。,對(duì)于圖1.13中的單神經(jīng)元感知器，在開始訓(xùn)練時(shí)需要為其賦初始權(quán)值。這里將的兩個(gè)元素設(shè)置為如下的兩個(gè)隨機(jī)數(shù)：,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),現(xiàn)在將樣本數(shù)據(jù)中的輸入向量提供給感知器。首先將送入：,即感知器的實(shí)際輸出，而樣本輸入向量的目標(biāo)值，說(shuō)明感知器沒(méi)有給出正確的值。這是因?yàn)楫?dāng)時(shí)，根據(jù)式得到的類別界限直線為：,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),類別界限及權(quán)值向量在平面坐標(biāo)系上位置見圖,使其逐漸指向，這樣就可以保證被正確地劃分。,可見類別界限和相應(yīng)的權(quán)值向量w是垂直的。由式子確定了類別界限與權(quán)值向量正交，說(shuō)明類別界限取決于權(quán)值向量。對(duì)于圖1.14給出的感知器，由于其初始權(quán)值向量是隨機(jī)選取的，導(dǎo)致了感知器對(duì)輸入向量錯(cuò)誤劃分。為了讓感知器能夠?qū)φ_分類，那么就應(yīng)該調(diào)整權(quán)值,圖1.14,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),一種簡(jiǎn)捷的調(diào)整方法是令，那么一定等于1。是因?yàn)?那么,而，故。說(shuō)明這種權(quán)值調(diào)整方法可以對(duì)進(jìn)行正確的分類。,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),但是，對(duì)于其它一些線性可分的問(wèn)題，這種權(quán)值調(diào)整方法則無(wú)能為力。圖1.15所示的輸入向量模式就屬于這種情況。如果令權(quán)值向量w,直接取輸入向量或，那么將不是問(wèn)題的正確解。因?yàn)椴还?，還是，兩個(gè)輸入向量中總有一個(gè)被錯(cuò)誤地劃分。這樣，感知器權(quán)值的求解將處于一個(gè)振蕩過(guò)程中，永遠(yuǎn)得不到正確的權(quán)值。,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),另一種調(diào)整方法是將加到上，使得更加偏向于。重復(fù)這一操作，將使逐步指向并達(dá)到。這個(gè)過(guò)程可以描述為：,如果t=1，且y=0，則：,調(diào)整：,調(diào)整后感知器輸出為：,單神經(jīng)元感知器的學(xué)習(xí),，是學(xué)習(xí)速率，取=1,說(shuō)明輸入向量得到正確的劃分。權(quán)值向量w的操作過(guò)程如圖6.1.9所示。,現(xiàn)在將輸入向量送入感知器網(wǎng)絡(luò)時(shí)，其輸出為：,單神經(jīng)元感知器的學(xué)習(xí),由樣本數(shù)據(jù)知，的目標(biāo)向量，而感知器實(shí)際輸出顯然，屬于0類的輸入向量被錯(cuò)誤地劃分到1類了?，F(xiàn)在要做的工作是讓遠(yuǎn)離，使得重新回到0類。具體操作過(guò)程為：,如果t=0，且y=1，則：,調(diào)整w：,調(diào)整后感知器輸出為：,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),輸入向量得到正確劃分。權(quán)值向量w操作過(guò)程見圖6.1.10。,現(xiàn)在將輸入向量送入感知器網(wǎng)絡(luò)時(shí)，有：,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),而對(duì)應(yīng)的目標(biāo)輸出，說(shuō)明感知器對(duì)的分類是錯(cuò)誤的。調(diào)整，即：,權(quán)值調(diào)整后，感知器網(wǎng)絡(luò)的輸出為：,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),輸入向量得到正確劃分。權(quán)值向量操作過(guò)程見圖1.16。,由圖1.16可知，權(quán)值向量經(jīng)過(guò)三次調(diào)整后，感知器能夠?qū)ι鲜鋈齻€(gè)