人工智能神經(jīng)網(wǎng)絡(luò)

1人工智能

ArtificialIntelligence主講：鮑軍鵬博士西安交通大學(xué)電信學(xué)院計(jì)算機(jī)系電子郵箱：版本：年1月第一頁，共67頁。第七章 人工神經(jīng)網(wǎng)絡(luò)7.1概述7.2感知器7.3前饋神經(jīng)網(wǎng)絡(luò)7.4反響神經(jīng)網(wǎng)絡(luò)7.5隨機(jī)神經(jīng)網(wǎng)絡(luò)7.6自組織神經(jīng)網(wǎng)絡(luò)2第二頁，共67頁。7.1概述在廣義上，神經(jīng)網(wǎng)絡(luò)可以泛指生物神經(jīng)網(wǎng)絡(luò)也可以指人工神經(jīng)網(wǎng)絡(luò)。所謂人工神經(jīng)網(wǎng)絡(luò)〔ArtificialNeuralNetwork〕是指模擬人腦神經(jīng)系統(tǒng)的構(gòu)造和功能，運(yùn)用大量的處理部件，由人工方式建立起來的網(wǎng)絡(luò)系統(tǒng)。人腦是ANN的原型，ANN是對(duì)人腦神經(jīng)系統(tǒng)的模擬。在人工智能領(lǐng)域中，在不引起混淆的情況下，神經(jīng)網(wǎng)絡(luò)一般都指的是ANN。3第三頁，共67頁。7.1.1人腦神經(jīng)系統(tǒng)

1875年意大利解剖學(xué)家C.Golgi用銀浸透法最先識(shí)別出單個(gè)神經(jīng)細(xì)胞。1889年Cajal創(chuàng)立神經(jīng)元學(xué)說，認(rèn)為整個(gè)神經(jīng)系統(tǒng)都是由構(gòu)造上相對(duì)獨(dú)立的神經(jīng)細(xì)胞構(gòu)成。神經(jīng)細(xì)胞即神經(jīng)元是神經(jīng)系統(tǒng)中獨(dú)立的營養(yǎng)和功能單元。生物神經(jīng)系統(tǒng)，包括中樞神經(jīng)系統(tǒng)和大腦，均是由各類神經(jīng)元組成。其獨(dú)立性是指每一個(gè)神經(jīng)元均有自己的核和自己的分界限或原生質(zhì)膜。生物神經(jīng)系統(tǒng)是一個(gè)有高度組織和互相作用的數(shù)量宏大的細(xì)胞組織群體。據(jù)估計(jì)，人腦神經(jīng)系統(tǒng)的神經(jīng)細(xì)胞約為1011－1013個(gè)。它們按不同的結(jié)合方式構(gòu)成了復(fù)雜的神經(jīng)網(wǎng)絡(luò)。通過神經(jīng)元及其聯(lián)接的可塑性，使得大腦具有學(xué)習(xí)、記憶和認(rèn)知等各種智能。4第四頁，共67頁。生物神經(jīng)元神經(jīng)細(xì)胞是構(gòu)成神經(jīng)系統(tǒng)的根本單元，稱之為生物神經(jīng)元，或者簡稱為神經(jīng)元。神經(jīng)元主要由三個(gè)部分組成：細(xì)胞體、軸突、樹突。5神經(jīng)元解剖構(gòu)造第五頁，共67頁。生物神經(jīng)元細(xì)胞體(CellBody或者Soma)：由細(xì)胞核、細(xì)胞質(zhì)、細(xì)胞膜等組成。細(xì)胞膜內(nèi)外有電位差，稱為膜電位，大小約為幾十微伏。膜電壓承受其它神經(jīng)元的輸入后，電位上升或者下降。假設(shè)輸入沖動(dòng)的時(shí)空整合結(jié)果使膜電位上升，并超過動(dòng)作電位閾值時(shí)，神經(jīng)元進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突輸出。假設(shè)整合結(jié)果使膜電位下降并低于動(dòng)作電壓閾值時(shí)，神經(jīng)元進(jìn)入抑制狀態(tài)，無神經(jīng)沖動(dòng)輸出。軸突(Axon)：細(xì)胞體向外伸出的最長的一條分枝，即神經(jīng)纖維，相當(dāng)于神經(jīng)元的輸出端。一般一個(gè)神經(jīng)元只有一個(gè)軸突，有個(gè)別神經(jīng)元沒有。樹突(Dendrite)：細(xì)胞體向外伸出的觸軸突之外其它分枝。一般較短，但分枝很多，相當(dāng)于神經(jīng)元的輸入端。6第六頁，共67頁。生物神經(jīng)元興奮脈沖神經(jīng)元的興奮過程電位變化7第七頁，共67頁。生物神經(jīng)元突觸構(gòu)造突觸構(gòu)造8第八頁，共67頁。突觸傳遞過程9第九頁，共67頁。生物神經(jīng)元生理學(xué)的研究說明，突觸可以有以下幾個(gè)方面的變化：(1)突觸傳遞效率的變化。首先是突觸的膨脹以及由此產(chǎn)生的突觸后膜外表積擴(kuò)大，從而突觸所釋放出的傳遞物質(zhì)增多，使得突觸的傳遞效率進(jìn)步。其次是突觸傳遞物質(zhì)質(zhì)量的變化，包括比例成分的變化所引起傳遞效率的變化。(2)突觸接觸間隙的變化。在突觸外表有許多形狀各異的小凸芽，調(diào)節(jié)其形狀變化可以改變接觸間隙，并影響傳遞效率。(3)突觸的發(fā)芽。當(dāng)某些神經(jīng)纖維被破壞后，可能又會(huì)長出新芽，并重新產(chǎn)生附著于神經(jīng)元上的突觸．形成新的回路。由于新的回路的形成，使得結(jié)合形式發(fā)生變化，也會(huì)引起傳遞效率的變化。(4)突觸數(shù)目的增減。由于種種復(fù)雜環(huán)境條件的刺激等原因，或者由于動(dòng)物本身的生長或衰老，神經(jīng)系統(tǒng)的突觸數(shù)目會(huì)發(fā)生變化，并影響神經(jīng)元之間的傳遞效率。10第十頁，共67頁。神經(jīng)元的整合功能神經(jīng)元對(duì)信息的承受和傳遞都是通過突觸來進(jìn)展的。單個(gè)神經(jīng)元可以從別的細(xì)胞承受多個(gè)輸入。由于輸入分布于不同的部位，對(duì)神經(jīng)元影響的比例(權(quán)重)是不一樣的。另外，各突觸輸入抵達(dá)神經(jīng)元的先后時(shí)間也不一祥。因此，一個(gè)神經(jīng)元承受的信息，在時(shí)間和空間上常呈現(xiàn)出一種復(fù)雜多變的形式，需要神經(jīng)元對(duì)它們進(jìn)展積累和整合加工，從而決定其輸出的時(shí)機(jī)和強(qiáng)度。正是神經(jīng)元這種整合作用，才使得億萬個(gè)神經(jīng)元在神經(jīng)系統(tǒng)中有條不紊、夜以繼日地處理各種復(fù)雜的信息，執(zhí)行著生物中樞神經(jīng)系統(tǒng)的各種信息處理功能。多個(gè)神經(jīng)元以突觸聯(lián)接形成了一個(gè)神經(jīng)網(wǎng)絡(luò)。研究說明，生物神經(jīng)網(wǎng)絡(luò)的功能決不是單個(gè)神經(jīng)元生理和信息處理功能的簡單疊加，而是一個(gè)有層次的、多單元的動(dòng)態(tài)信息處理系統(tǒng)。它們有其獨(dú)特的運(yùn)行方式和控制機(jī)制，以承受生物內(nèi)外環(huán)境的輸入信息，加以綜合分折處理，然后調(diào)節(jié)控制機(jī)體對(duì)環(huán)境作出適當(dāng)?shù)姆错憽?1第十一頁，共67頁。人腦神經(jīng)系統(tǒng)的特征〔1〕從信息系統(tǒng)研究的觀點(diǎn)出發(fā)，對(duì)于人腦這個(gè)智能信息處理系統(tǒng)，有如下一些固有特征：(1)并行分布處理的工作形式。實(shí)際上大腦中單個(gè)神經(jīng)元的信息處理速度是很慢的，每次約1毫秒(ms)。但是人腦對(duì)某一復(fù)雜過程的處理和反響卻很快，一般只需幾百毫秒。可見，大腦信息處理的并行速度已到達(dá)了極高的程度。(2)神經(jīng)系統(tǒng)的可塑性和自組織性。神經(jīng)系統(tǒng)的可塑性和自組織性與人腦的生長發(fā)育過程有關(guān)。這種可塑性反映出大腦功能既有先天的制約因素，也有可能通過后天的訓(xùn)練和學(xué)習(xí)而得到加強(qiáng)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)制就是基于這種可塑性現(xiàn)象，并通過修正突觸的結(jié)合強(qiáng)度來實(shí)現(xiàn)的。(3)信息處理與信息存貯合二為一。大腦中的信息處理與信息存貯是有機(jī)結(jié)合在一起的，而不像現(xiàn)行計(jì)算機(jī)那樣．存貯地址和存貯內(nèi)容是彼此分開的。由于大腦神經(jīng)元兼有信息處理和存貯功能，所以在進(jìn)展回億時(shí)，不但不存在先找存貯地址而后再調(diào)出所存內(nèi)容的問題，而且還可以由一部分內(nèi)容恢復(fù)全部內(nèi)容。12第十二頁，共67頁。人腦神經(jīng)系統(tǒng)的特征〔2〕(4)信息處理的系統(tǒng)性大腦是一個(gè)復(fù)雜的大規(guī)模信息處理系統(tǒng)，單個(gè)的元件“神經(jīng)元〞不能表達(dá)全體宏觀系統(tǒng)的功能。實(shí)際上，可以將大腦的各個(gè)部位看成是一個(gè)大系統(tǒng)中的許多子系統(tǒng)。各個(gè)子系統(tǒng)之間具有很強(qiáng)的互相聯(lián)絡(luò)，一些子系統(tǒng)可以調(diào)節(jié)另一些子系統(tǒng)的行為。例如，視覺系統(tǒng)和運(yùn)動(dòng)系統(tǒng)就存在很強(qiáng)的系統(tǒng)聯(lián)絡(luò)，可以互相協(xié)調(diào)各種信息處理功能。(5)能承受和處理模糊的、模擬的、隨機(jī)的信息。(6)求滿意解而不是準(zhǔn)確解。人類處理日常行為時(shí)，往往都不是一定要按最優(yōu)或最準(zhǔn)確的方式去求解，而是以能解決問題為原那么，即求得滿意解就行了。(7)系統(tǒng)的恰當(dāng)退化和冗余備份(魯棒性和容錯(cuò)性)。13第十三頁，共67頁。7.1.2人工神經(jīng)網(wǎng)絡(luò)研究內(nèi)容與特點(diǎn)

人工神經(jīng)網(wǎng)絡(luò)的研究方興末艾，很難準(zhǔn)確地預(yù)測(cè)其開展方向。但就目前來看，人工神經(jīng)網(wǎng)絡(luò)的研究首先須解決全局穩(wěn)定性、構(gòu)造穩(wěn)定性、可編程性等問題。14第十四頁，共67頁。根本研究內(nèi)容〔1〕(1)人工神經(jīng)網(wǎng)絡(luò)模型的研究。神經(jīng)網(wǎng)絡(luò)原型研究，即大腦神經(jīng)網(wǎng)絡(luò)的生理構(gòu)造、思維機(jī)制；神經(jīng)元的生物特性如時(shí)空特性、不應(yīng)期、電化學(xué)性質(zhì)等的人工模擬；易于實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)計(jì)算模型；利用物理學(xué)的方法進(jìn)展單元間互相作用理論的研究，如：聯(lián)想記憶模型；神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法與學(xué)習(xí)系統(tǒng)。(2)神經(jīng)網(wǎng)絡(luò)根本理論研究。神經(jīng)網(wǎng)絡(luò)的非線性特性，包括自組織、自適應(yīng)等作用；神經(jīng)網(wǎng)絡(luò)的根本性能，包括穩(wěn)定性、收斂性、容錯(cuò)性、魯棒性、動(dòng)力學(xué)復(fù)雜性；神經(jīng)網(wǎng)絡(luò)的計(jì)算才能與信息存貯容量；結(jié)合認(rèn)知科學(xué)的研究，探究包括感知、考慮、記憶和語言等的腦信息處理模型。15第十五頁，共67頁。根本研究內(nèi)容〔2〕(3)神經(jīng)網(wǎng)絡(luò)的軟件模擬和硬件實(shí)現(xiàn)。在通用計(jì)算機(jī)、專用計(jì)算機(jī)或者并行計(jì)算機(jī)上進(jìn)展軟件模擬，或由專用數(shù)字信號(hào)處理芯片構(gòu)成神經(jīng)網(wǎng)絡(luò)仿真器。由模擬集成電路、數(shù)字集成電路或者光器件在硬件上實(shí)現(xiàn)神經(jīng)芯片。軟件模擬的優(yōu)點(diǎn)是網(wǎng)絡(luò)的規(guī)?？梢暂^大，合適于用來驗(yàn)證新的模型和復(fù)雜的網(wǎng)絡(luò)特性。硬件實(shí)現(xiàn)的優(yōu)點(diǎn)是處理速度快，但由于受器件物理因素的限制，根據(jù)目前的工藝條件，網(wǎng)絡(luò)規(guī)模不可能做得太大。僅幾千個(gè)神經(jīng)元。但代表了將來的開展方向，因此特別受到人們的重視。(4)神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的實(shí)現(xiàn)。計(jì)算機(jī)仿真系統(tǒng)；專用神經(jīng)網(wǎng)絡(luò)并行計(jì)算機(jī)系統(tǒng)，例如數(shù)字、模擬、數(shù)—模混合、光電互連等。光學(xué)實(shí)現(xiàn)；生物實(shí)現(xiàn)；16第十六頁，共67頁。重要應(yīng)用神經(jīng)網(wǎng)絡(luò)智能信息處理系統(tǒng)的一些重要應(yīng)用：認(rèn)知與人工智能：包括形式識(shí)別、計(jì)算機(jī)視覺與聽覺、特征提取、語音識(shí)別語言翻譯、聯(lián)想記憶、邏輯推理、知識(shí)工程、專家系統(tǒng)、故障診斷、智能機(jī)器人等。優(yōu)化與控制：包括優(yōu)化求解、決策與管理、系統(tǒng)辨識(shí)、魯棒性控制、自適應(yīng)控制、并行控制、分布控制、智能控制等。信號(hào)處理：自適應(yīng)信號(hào)處理(自適應(yīng)濾波、時(shí)間序列預(yù)測(cè)、譜估計(jì)、消噪、檢測(cè)、陣列處理)和非線性信號(hào)處理(非線性濾波、非線性預(yù)測(cè)、非線性譜估計(jì)、非線性編碼、中值處理)。傳感器信息處理：形式預(yù)處理變換、信息集成、多傳感器數(shù)據(jù)交融。ANN擅長于兩個(gè)方面：–對(duì)大量的數(shù)據(jù)進(jìn)展分類，并且只有較少的幾種情況；–必須學(xué)習(xí)一個(gè)復(fù)雜的非線性映射。17第十七頁，共67頁。人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)

具有大規(guī)模并行協(xié)同處理才能。每一個(gè)神經(jīng)元的功能和構(gòu)造都很簡單，但是由大量神經(jīng)元構(gòu)成的整體卻具有很強(qiáng)的處理才能。具有較強(qiáng)的容錯(cuò)才能和聯(lián)想才能。單個(gè)神經(jīng)元或者連接對(duì)網(wǎng)絡(luò)整體功能的影響都比較微小。在神經(jīng)網(wǎng)絡(luò)中，信息的存儲(chǔ)與處理是合二為一的。信息的分布存提供容錯(cuò)功能–由于信息被分布存放在幾乎整個(gè)網(wǎng)絡(luò)中。所以當(dāng)其中的某一個(gè)點(diǎn)或者某幾個(gè)點(diǎn)被破壞時(shí)信息仍然可以被存取。系統(tǒng)在受到部分損傷時(shí)還可以正常工作。并不是說可以任意地對(duì)完成學(xué)習(xí)的網(wǎng)絡(luò)進(jìn)展修改。也正是由于信息的分布存放，對(duì)一類網(wǎng)來說，當(dāng)它完成學(xué)習(xí)后，假如再讓它學(xué)習(xí)新的東西，這時(shí)就會(huì)破壞原來已學(xué)會(huì)的東西。具有較強(qiáng)的學(xué)習(xí)才能。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)可分為有老師學(xué)習(xí)與無老師學(xué)習(xí)兩類。由于其運(yùn)算的不準(zhǔn)確性，表現(xiàn)成“去噪音、容殘缺〞的才能，利用這種不準(zhǔn)確性，比較自然地實(shí)現(xiàn)形式的自動(dòng)分類。具有很強(qiáng)的普化〔Generalization〕才能與抽象才能。是大規(guī)模自組織、自適應(yīng)的非線性動(dòng)力系統(tǒng)。具有一般非線性動(dòng)力系統(tǒng)的共性，即不可預(yù)測(cè)性、耗散性、高維性、不可逆性、廣泛連接性和自適應(yīng)性等等。18第十八頁，共67頁。物理符號(hào)系統(tǒng)和人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的差異項(xiàng)目物理符號(hào)系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)處理方式邏輯運(yùn)算模擬運(yùn)算執(zhí)行方式串行并行存儲(chǔ)方式局部集中全局分布處理數(shù)據(jù)離散為主連續(xù)為主基本開發(fā)方法設(shè)計(jì)規(guī)則、框架、程序，用樣本數(shù)據(jù)進(jìn)行調(diào)試定義結(jié)構(gòu)原型，通過樣本完成學(xué)習(xí)自適應(yīng)性由人根據(jù)已知環(huán)境構(gòu)造模型，依賴于人為適應(yīng)環(huán)境自動(dòng)從樣本中抽取內(nèi)涵，自動(dòng)適應(yīng)應(yīng)用環(huán)境適應(yīng)領(lǐng)域精確計(jì)算：符號(hào)處理、數(shù)值計(jì)算非精確計(jì)算：模擬處理、感覺、大規(guī)模數(shù)據(jù)并行處理模擬對(duì)象左腦（邏輯思維）右腦（形象思維）19第十九頁，共67頁。7.1.3人工神經(jīng)網(wǎng)絡(luò)根本形態(tài)MP模型MP模型是由美國McCulloch和Pitts提出的最早神經(jīng)元模型之一。MP模型是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的根底。它屬于一種非線性閾值元件模型。20第二十頁，共67頁。MP模型21wij——代表神經(jīng)元i與神經(jīng)元j之間的連接強(qiáng)度(模擬生物神經(jīng)元之間突觸連接強(qiáng)度)，稱之為連接權(quán)；ui——代表神經(jīng)元i的活潑值，即神經(jīng)元狀態(tài)；yj——代表神經(jīng)元j的輸出。對(duì)于多層網(wǎng)絡(luò)而言，也是另外一個(gè)神經(jīng)元的一個(gè)輸入；θi——代表神經(jīng)元i的閾值。第二十一頁，共67頁。MP模型函數(shù)f表達(dá)了神經(jīng)元的輸入輸出特性。在MP模型中，f定義為階躍函數(shù)：假如把閾值θi看作為一個(gè)特殊的權(quán)值，那么可改寫為:其中，w0i＝-θi，v0＝122第二十二頁，共67頁。MP模型為用連續(xù)型的函數(shù)表達(dá)神經(jīng)元的非線性變換才能，常采用s型函數(shù):

MP模型在發(fā)表時(shí)并沒有給出一個(gè)學(xué)習(xí)算法來調(diào)整神經(jīng)元之間的連接權(quán)。但是，我們可以根據(jù)需要，采用一些常見的算法來調(diào)整神經(jīng)元連接權(quán)，以到達(dá)學(xué)習(xí)目的。23第二十三頁，共67頁。PDP模型Rumellhart，McClelland，Hinton提出的并行分布處理(ParallelDistributedProcessing)模型是一個(gè)通用的神經(jīng)網(wǎng)絡(luò)模型。1〕一組處理單元；2〕處理單元的激活狀態(tài)〔ai〕；3〕每個(gè)處理單元的輸出函數(shù)〔fi〕；4〕處理單元之間的聯(lián)接形式；5〕傳遞規(guī)那么〔∑wijoi〕；6〕把處理單元的輸入及當(dāng)前狀態(tài)結(jié)合起來產(chǎn)生激活值的激活規(guī)那么〔Fi〕；7〕通過經(jīng)歷修改聯(lián)接強(qiáng)度的學(xué)習(xí)規(guī)那么；8〕系統(tǒng)運(yùn)行的環(huán)境〔樣本集合〕。24第二十四頁，共67頁。人工神經(jīng)網(wǎng)絡(luò)拓?fù)淝跋蚓W(wǎng)絡(luò) 神經(jīng)元分層排列，分別組成輸入層、中間層〔隱層〕和輸出層。每一層神經(jīng)元只接收來自前一層神經(jīng)元的輸出。25第二十五頁，共67頁。從輸出層到輸入層有反響的網(wǎng)絡(luò)26第二十六頁，共67頁。層內(nèi)有互連的網(wǎng)絡(luò)同層神經(jīng)元之間有橫向聯(lián)絡(luò)。所以同層神經(jīng)元之間有互相作用，可以形成競(jìng)爭(zhēng)。27第二十七頁，共67頁。全互連網(wǎng)絡(luò)任意兩個(gè)神經(jīng)元之間都有可能互相連接。這種拓?fù)涞娜斯ど窠?jīng)網(wǎng)絡(luò)很少見。因?yàn)檫@種系統(tǒng)太復(fù)雜了，是一個(gè)極度非線性的動(dòng)力學(xué)系統(tǒng)?，F(xiàn)有理論還缺乏對(duì)其穩(wěn)定性的認(rèn)識(shí)28第二十八頁，共67頁。人工神經(jīng)網(wǎng)絡(luò)中的學(xué)習(xí)規(guī)那么學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)最重要的特征之一。神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練〔學(xué)習(xí)〕，改變其內(nèi)部表示，使輸入、輸出變換向好的方向開展，這個(gè)過程稱之為學(xué)習(xí)過程。神經(jīng)網(wǎng)絡(luò)按照一定的規(guī)那么〔學(xué)習(xí)/訓(xùn)練規(guī)那么〕自動(dòng)調(diào)節(jié)神經(jīng)元之間的連接權(quán)值或者拓?fù)錁?gòu)造，一直到網(wǎng)絡(luò)實(shí)際輸出滿足期望的要求，或者趨于穩(wěn)定為止。29第二十九頁，共67頁。學(xué)習(xí)技術(shù)的分類按照神經(jīng)網(wǎng)絡(luò)構(gòu)造的變化來分，學(xué)習(xí)技術(shù)分為三種：權(quán)值修正、拓?fù)渥兓?、?quán)值與拓?fù)湫拚Ｆ渲袘?yīng)用權(quán)值修正學(xué)習(xí)技術(shù)的神經(jīng)網(wǎng)絡(luò)比較多,即。wij(t+1)=wij(t)+Δwij按照確定性，學(xué)習(xí)可分為：確定性學(xué)習(xí)和隨機(jī)性學(xué)習(xí)。例如梯度最快下降法是一種確定性權(quán)值修正方法。波爾茲曼機(jī)所用的模擬退火算法是一種隨機(jī)性權(quán)值修正方法。典型的權(quán)值修正方法有兩類：相關(guān)學(xué)習(xí)和誤差修正學(xué)習(xí)。相關(guān)學(xué)習(xí)方法中常用的方法為Hebb學(xué)習(xí)規(guī)那么。其思想最早在1949年由心理學(xué)家Hebb作為假設(shè)提出，并已經(jīng)得到神經(jīng)細(xì)胞學(xué)說的證實(shí)，所以人們稱之為Hebb學(xué)習(xí)規(guī)那么。誤差修正學(xué)習(xí)方法是另一類很重要的學(xué)習(xí)方法。最根本的誤差修正學(xué)習(xí)方法被稱為δ學(xué)習(xí)規(guī)那么。30第三十頁，共67頁。Hebb規(guī)那么31Hebb學(xué)習(xí)規(guī)那么調(diào)整神經(jīng)元間連接權(quán)值(wij)的原那么為：假設(shè)第i和第j個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài)，那么它們之間的連接應(yīng)當(dāng)加強(qiáng)。 即：Δwij＝ηui(t)uj(t)這一規(guī)那么與“條件反射〞學(xué)說一致，并已得到神經(jīng)細(xì)胞學(xué)說的證實(shí)。η是一個(gè)正常量，表示學(xué)習(xí)速率的比例常數(shù),又稱為學(xué)習(xí)因子。第三十一頁，共67頁。δ規(guī)那么δ學(xué)習(xí)規(guī)那么調(diào)整神經(jīng)元間連接權(quán)值(wij)的原那么為：假設(shè)某神經(jīng)元的輸出值與期望值不符，那么根據(jù)期望值與實(shí)際值之間的差值來調(diào)整該神經(jīng)元的權(quán)重。 即：Δwij＝η[dj-yj(t)]xij(t)這是一種梯度下降學(xué)習(xí)方法。32第三十二頁，共67頁。Widrow-Hoff規(guī)那么這是δ學(xué)習(xí)規(guī)那么的一個(gè)特例，也稱為最小均方誤差(LeastMeanSquare)學(xué)習(xí)規(guī)那么。其原那么是使神經(jīng)元的輸出與期望輸出之間的均方誤差最小。即，Δwij＝[η/(|xij(t)|2)]εi(t)xij(t)εi(t)=dj-yj(t)33第三十三頁，共67頁。競(jìng)爭(zhēng)學(xué)習(xí)規(guī)那么這種學(xué)習(xí)規(guī)那么的原那么就是“勝者全盈〞。假如在一層神經(jīng)元中有一個(gè)對(duì)輸入產(chǎn)生的相應(yīng)最大，那么該神經(jīng)元即為勝者。然后只對(duì)連接到勝者的權(quán)值進(jìn)展調(diào)整，使其更接近于對(duì)輸入樣本形式的估值。 即，Δwij＝η[g(xj)-wij(t)]34第三十四頁，共67頁。7.2感知器感知器是一種早期的神經(jīng)網(wǎng)絡(luò)模型，由美國學(xué)者于1957年提出。感知器中第一次引入了學(xué)習(xí)的概念，使人腦所具備的學(xué)習(xí)功能在基于符號(hào)處理的數(shù)學(xué)到了一定程度的模擬，所以引起了廣泛的關(guān)注。35第三十五頁，共67頁。7.2.1簡單感知器簡單感知器模型實(shí)際上仍然是MP模型的構(gòu)造，但是它通過采用監(jiān)視學(xué)習(xí)來逐步增強(qiáng)形式劃分的才能，到達(dá)所謂學(xué)習(xí)的目的。其構(gòu)造如以下圖所示感知器處理單元對(duì)n個(gè)輸入進(jìn)展加權(quán)和操作y即：其中，wi為第i個(gè)輸入到處理單元的連接權(quán)值,θ為閾值,f取階躍函數(shù)36第三十六頁，共67頁。感知器的運(yùn)算才能感知器在形式上與MP模型差不多，它們之間的區(qū)別在于神經(jīng)元間連接權(quán)的變化。感知器的連接權(quán)定義為可變的，這樣感知器就被賦予了學(xué)習(xí)的特性。利用簡單感知器可以實(shí)現(xiàn)邏輯代數(shù)中的一些運(yùn)算。Y=f(w1x1+w2x2-θ)(1)“與〞運(yùn)算 當(dāng)取w1＝w2＝1，θ＝時(shí)，上式完成邏輯“與〞的運(yùn)算。(2)“或〞運(yùn)算， 當(dāng)取wl＝w2＝1，θ＝時(shí)，上式完成邏輯“或〞的運(yùn)算。(3)“非〞運(yùn)算， 當(dāng)取wl=-1，w2＝0，θ＝-1時(shí),完成邏輯“非〞的運(yùn)算。37第三十七頁，共67頁。感知器的幾何意義與許多代數(shù)方程一樣，上式中不等式(階躍函數(shù))具有一定的幾何意義。對(duì)于一個(gè)兩輸入的簡單感知器，每個(gè)輸入取值為0和1，如上面結(jié)出的邏輯運(yùn)算，所有輸入樣本有四個(gè)，記為(x1，x2)：(0，0)，(0，1)，(1，0)，(1，1)，構(gòu)成了樣本輸入空間。例如，在二維平面上，對(duì)于“或〞運(yùn)算，各個(gè)樣本的分布如以下圖所示。直線1*x1+1*x2＝0將二維平面分為兩部分，上部為激發(fā)區(qū)(y=1，用★表示)，下部為抑制區(qū)(y＝0，用☆表示)。38第三十八頁，共67頁。感知器的學(xué)習(xí)簡單感知器中的學(xué)習(xí)算法是δ學(xué)習(xí)規(guī)那么。其詳細(xì)過程如下：(1)選擇一組初始權(quán)值wi(0)。(2)計(jì)算某一輸入形式對(duì)應(yīng)的實(shí)際輸出與期望輸出的誤差δ(3)假如δ小于給定值，完畢，否那么繼續(xù)。(4)更新權(quán)值(閾值可視為輸入恒為1的一個(gè)權(quán)值)：Δwi(t+1)＝wi(t+1)-wi(t)=η[d-y(t)]xi(t) 式中η為在區(qū)間(0，1)上的一個(gè)常數(shù)，稱為學(xué)習(xí)步長，它的取值與訓(xùn)練速度和w收斂的穩(wěn)定性有關(guān)；d、y為神經(jīng)元的期望輸出和實(shí)際輸出；xi為神經(jīng)元的第i個(gè)輸入。 (5)返回(2)，重復(fù)，直到對(duì)所有訓(xùn)練樣本形式，網(wǎng)絡(luò)輸出均能滿足要求。39第三十九頁，共67頁。感知器的學(xué)習(xí)過程40第四十頁，共67頁。簡單感知器的致命缺陷不能解決線性不可分問題。線性不可分問題就是無法用一個(gè)平面〔直線〕把超空間〔二維平面〕中的點(diǎn)正確劃分為兩部分的問題。感知器對(duì)線性不可分問題的局限性決定了它只有較差的歸納性，而且通常需要較長的離線學(xué)習(xí)才能到達(dá)收效。41第四十一頁，共67頁。7.2.2多層感知器線性不可分問題的抑制用多個(gè)單級(jí)網(wǎng)組合在一起，并用其中的一個(gè)去綜合其它單級(jí)網(wǎng)的結(jié)果，我們就可以構(gòu)成一個(gè)兩級(jí)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以被用來在平面上劃分出一個(gè)封閉或者開放的凸域來。一個(gè)非凸域可以拆分成多個(gè)凸域。按照這一思路，三級(jí)網(wǎng)將會(huì)更一般一些，我們可以用它去識(shí)別出一些非凸域來42第四十二頁，共67頁。多層感知器在輸入和輸出層間加上一層或多層的神經(jīng)元(隱層神經(jīng)元)，就可構(gòu)成多層前向網(wǎng)絡(luò)，這里稱為多層感知器。這里需指出的是：多層感知器只允許調(diào)節(jié)一層的連接權(quán)。這是因?yàn)榘锤兄鞯母拍睿瑹o法給出一個(gè)有效的多層感知器學(xué)習(xí)算法。上述三層感知器中，有兩層連接權(quán)，輸入層與隱層單元間的權(quán)值是隨機(jī)設(shè)置的固定值，不被調(diào)節(jié)；輸出層與隱層間的連接權(quán)是可調(diào)節(jié)的。43第四十三頁，共67頁。用多層感知器解決異或問題對(duì)于上面述及的異或問題，用一個(gè)簡單的二層感知器就可得到解決

44第四十四頁，共67頁。多層感知器的才能可以證明，只要隱層和隱層單元數(shù)足夠多，多層感知器網(wǎng)絡(luò)可實(shí)現(xiàn)任何形式分類。1962年，Rosenblatt宣布：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它能表示的任何東西感知器收斂定理對(duì)于一個(gè)N個(gè)輸入的感知器，假如樣本輸入函數(shù)是線性可分的，那么對(duì)任意給定的一個(gè)輸入樣本x，要么屬于某一區(qū)域F+，要么不屬于這一區(qū)域，記為F-。F+，F(xiàn)-兩類樣本構(gòu)成了整個(gè)線性可分樣本空間。[定理]假如樣本輸入函數(shù)是線性可分的，那么感知器學(xué)習(xí)算法經(jīng)過有限次迭代后，可收斂到正確的權(quán)值或權(quán)向量。[定理]假定隱含層單元可以根據(jù)需要自由設(shè)置，那么用雙隱層的感知器可以實(shí)現(xiàn)任意的二值邏輯函數(shù)。45第四十五頁，共67頁。感知器構(gòu)造與決策區(qū)域類型46可在數(shù)據(jù)空間中劃分出任意形狀〔復(fù)雜度由隱層單元數(shù)目決定〕可在數(shù)據(jù)空間中劃分出開凸區(qū)域或者閉凸域區(qū)有一個(gè)超平面把數(shù)據(jù)空間劃分成兩部分區(qū)域形狀決策區(qū)域類型網(wǎng)絡(luò)構(gòu)造第四十六頁，共67頁。多層感知器的問題多層網(wǎng)絡(luò)的權(quán)值如何確定，即網(wǎng)絡(luò)如何進(jìn)展學(xué)習(xí)，在感知器上沒有得到解決。當(dāng)年Minsky等人就是因?yàn)閷?duì)于非線性空間的多層感知器學(xué)習(xí)算法未能得到解決，使其對(duì)神經(jīng)網(wǎng)絡(luò)的研究作出悲觀的結(jié)論。47第四十七頁，共67頁。7.3前饋神經(jīng)網(wǎng)絡(luò)7.3.1反向傳播算法BP算法的提出：UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨(dú)立地給出了BP算法清楚而簡單的描繪1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法優(yōu)點(diǎn)：廣泛的適應(yīng)性和有效性。弱點(diǎn)：訓(xùn)練速度非常慢、部分極小點(diǎn)的逃離問題、算法不一定收斂到全局最小點(diǎn)。48第四十八頁，共67頁。根本BP算法網(wǎng)絡(luò)拓?fù)渑c多層感知器一樣。一般為3層。神經(jīng)元的網(wǎng)絡(luò)輸入：

netj=x1jw1j+x2jw2j+…+xnjwnj神經(jīng)元的輸出：

o=f(net)=1/(1+exp(-net))f`(net)=exp(-net)/(1+exp(-net))2 =o-o2=o(1-o)49第四十九頁，共67頁。BP算法中的激活函數(shù)50可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導(dǎo)的。第五十頁，共67頁。BP算法根本思想樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}逐一地根據(jù)樣本集中的樣本(Xk,Yk)計(jì)算出實(shí)際輸出Ok及其誤差E1，然后對(duì)各層神經(jīng)元的權(quán)值W(1)，W(2)，…，W(L)各做一次調(diào)整，重復(fù)這個(gè)循環(huán)，直到∑Ep<ε〔所有樣本的誤差之和〕。用輸出層的誤差調(diào)整輸出層權(quán)矩陣，并用此誤差估計(jì)輸出層的直接前導(dǎo)層的誤差，再用輸出層前導(dǎo)層誤差估計(jì)更前一層的誤差。如此獲得所有其它各層的誤差估計(jì)，并用這些估計(jì)實(shí)現(xiàn)對(duì)權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號(hào)相反的方向逐級(jí)向輸入端傳遞的過程。51第五十一頁，共67頁。BP算法根本過程樣本：(輸入向量，理想輸出向量)1、權(quán)初始化：“小隨機(jī)數(shù)〞與飽和狀態(tài)；“不同〞的權(quán)值保證網(wǎng)絡(luò)可以學(xué)。2、向前傳播階段：〔1〕從樣本集中取一個(gè)樣本(Xp，Yp)，將Xp輸入網(wǎng)絡(luò)；〔2〕計(jì)算相應(yīng)的實(shí)際輸出Op：Op=FL(…(F2(F1(XpW(1))W(2))…)W(L))3、向后傳播階段——誤差傳播階段：〔1〕計(jì)算實(shí)際輸出Op與相應(yīng)的理想輸出Yp的差。〔2〕按極小化誤差的方式調(diào)整權(quán)矩陣?！?〕累計(jì)網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差。4、假如網(wǎng)絡(luò)誤差足夠小，那么停頓訓(xùn)練。否那么重復(fù)第2、3步。52第五十二頁，共67頁。根本BP算法的偽碼1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo 4.1E=0; 4.2對(duì)S中的每一個(gè)樣本〔Xp,Yp〕： 4.2.1計(jì)算出Xp對(duì)應(yīng)的實(shí)際輸出Op； 4.2.2計(jì)算出Ep； 4.2.3E=E+Ep； 4.2.4根據(jù)相應(yīng)式子調(diào)整W(L)； 4.2.5k=L-1； 4.2.6whilek≠0do 4.2.6.1根據(jù)相應(yīng)式子調(diào)整W(k)； 4.2.6.2k=k-153第五十三頁，共67頁。輸出層權(quán)值的調(diào)整BP算法應(yīng)用的不是根本的δ學(xué)習(xí)，而是一種擴(kuò)展的δ學(xué)習(xí)規(guī)那么。但是對(duì)于所有的δ學(xué)習(xí)規(guī)那么而言，某神經(jīng)元的權(quán)值修正量都正比于該神經(jīng)元的輸出誤差和輸入。BP算法輸出層對(duì)誤差調(diào)整為f’(net)(y-o)。

54第五十四頁，共67頁。隱藏層權(quán)的調(diào)整δpk-1的值和δ1k，δ2k，…，δmk有關(guān)。不妨認(rèn)為第k-1層產(chǎn)生的誤差通過連接權(quán)傳遞到了第k層神經(jīng)元上。即，認(rèn)為δpk-1 通過權(quán)wp1對(duì)δ1k做出奉獻(xiàn)， 通過權(quán)wp2對(duì)δ2k做出奉獻(xiàn)， …… 通過權(quán)wpm對(duì)δmk做出奉獻(xiàn)。

55第五十五頁，共67頁。BP算法的理論解釋該算法中δ學(xué)習(xí)規(guī)那么的本質(zhì)是利用梯度最速下降法，使權(quán)值沿誤差函數(shù)的負(fù)梯度方向改變。誤差測(cè)度方法：用理想輸出與實(shí)際輸出的方差作為相應(yīng)的誤差測(cè)度：E=∑Ep56第五十六頁，共67頁。最速下降法最速下降法，要求E的極小點(diǎn)57第五十七頁，共67頁。58

第五十八頁，共67頁。輸出層權(quán)值調(diào)整量59第五十九頁，共67頁。隱層〔第K-1層〕權(quán)值調(diào)整量60第六十頁，共67頁。隱層〔第K-1層〕權(quán)值調(diào)整量61第六十一頁，共67頁。7.3.2BP算法中的問題收斂速