第四章計(jì)算智能(1)-神經(jīng)網(wǎng)絡(luò)

第四章計(jì)算智能(1)神經(jīng)計(jì)算2信息科學(xué)與生命科學(xué)的相互交叉、相互滲透和相互促進(jìn)是現(xiàn)代科學(xué)技術(shù)發(fā)展的一個(gè)顯著特點(diǎn)。計(jì)算智能涉及神經(jīng)網(wǎng)絡(luò)、模糊邏輯、進(jìn)化計(jì)算和人工生命等領(lǐng)域，它的研究和發(fā)展正反映了當(dāng)代科學(xué)技術(shù)多學(xué)科交叉與集成的重要發(fā)展趨勢(shì)。4.1 概述3什么是計(jì)算智能把神經(jīng)網(wǎng)絡(luò)（NN）歸類于人工智能（AI）可能不大合適，而歸類于計(jì)算智能（CI）更能說(shuō)明問(wèn)題實(shí)質(zhì)。進(jìn)化計(jì)算、人工生命和模糊邏輯系統(tǒng)的某些課題，也都?xì)w類于計(jì)算智能。計(jì)算智能取決于制造者（manufacturers）提供的數(shù)值數(shù)據(jù)，不依賴于知識(shí)；另一方面，人工智能應(yīng)用知識(shí)精品（knowledgetidbits）。人工神經(jīng)網(wǎng)絡(luò)應(yīng)當(dāng)稱為計(jì)算神經(jīng)網(wǎng)絡(luò)。4.1概述4計(jì)算智能與人工智能的區(qū)別和關(guān)系輸入人類知識(shí)(＋)傳感輸入知識(shí)(＋)傳感數(shù)據(jù)計(jì)算(＋)傳感器C－數(shù)值的A－符號(hào)的B－生物的輸入復(fù)雜性復(fù)雜性BNNBPRBIANNAPRAICNNCPRCI4.1概述5A－Artificial，表示人工的（非生物的）；B－Biological，表示物理的＋化學(xué)的＋（？）＝生物的；

C－Computational，表示數(shù)學(xué)＋計(jì)算機(jī)計(jì)算智能是一種智力方式的低層認(rèn)知，它與人工智能的區(qū)別只是認(rèn)知層次從中層下降至低層而已。中層系統(tǒng)含有知識(shí)（精品），低層系統(tǒng)則沒(méi)有。4.1概述6當(dāng)一個(gè)系統(tǒng)只涉及數(shù)值（低層）數(shù)據(jù)，含有模式識(shí)別部分，不應(yīng)用人工智能意義上的知識(shí)，而且能夠呈現(xiàn)出：（1）計(jì)算適應(yīng)性；（2）計(jì)算容錯(cuò)性；（3）接近人的速度；（4）誤差率與人相近，則該系統(tǒng)就是計(jì)算智能系統(tǒng)。當(dāng)一個(gè)智能計(jì)算系統(tǒng)以非數(shù)值方式加上知識(shí)（精品）值，即成為人工智能系統(tǒng)。4.1概述7生理神經(jīng)元的結(jié)構(gòu)大多數(shù)神經(jīng)元由一個(gè)細(xì)胞體(cellbody或soma)和突(process)兩部分組成。突分兩類，即軸突(axon)和樹(shù)突(dendrite)。軸突是個(gè)突出部分，長(zhǎng)度可達(dá)1m，把本神經(jīng)元的輸出發(fā)送至其它相連接的神經(jīng)元。樹(shù)突也是突出部分，但一般較短，且分枝很多，與其它神經(jīng)元的軸突相連，以接收來(lái)自其它神經(jīng)元的生物信號(hào)。84.2神經(jīng)計(jì)算

4.2.1人工神經(jīng)網(wǎng)絡(luò)研究的進(jìn)展1960年威德羅和霍夫率先把神經(jīng)網(wǎng)絡(luò)用于自動(dòng)控制研究。60年代末期至80年代中期，神經(jīng)網(wǎng)絡(luò)控制與整個(gè)神經(jīng)網(wǎng)絡(luò)研究一樣，處于低潮。80年代后期以來(lái)，隨著人工神經(jīng)網(wǎng)絡(luò)研究的復(fù)蘇和發(fā)展，對(duì)神經(jīng)網(wǎng)絡(luò)控制的研究也十分活躍。這方面的研究進(jìn)展主要在神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制和模糊神經(jīng)網(wǎng)絡(luò)控制及其在機(jī)器人控制中的應(yīng)用上。9并行分布處理非線性映射通過(guò)訓(xùn)練進(jìn)行學(xué)習(xí)適應(yīng)與集成硬件實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)的特性4.2神經(jīng)計(jì)算104.2.2人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)4.2神經(jīng)計(jì)算-1

Wj1X1X2Wj2XnWjn···Σ

()Yi圖4.2神經(jīng)元模型11

圖4.2中的神經(jīng)元單元由多個(gè)輸入xi，i=1,2,...,n和一個(gè)輸出y組成。中間狀態(tài)由輸入信號(hào)的權(quán)和表示，而輸出為 （4.1）式中，

j為神經(jīng)元單元的偏置，wji為連接權(quán)系數(shù)。n為輸入信號(hào)數(shù)目，yj為神經(jīng)元輸出，t為時(shí)間，f()為輸出變換函數(shù)，如圖4.3。

4.2神經(jīng)計(jì)算12(a)xf(x)1x00圖4.3神經(jīng)元中的某些變換（激發(fā)）函數(shù)(a)二值函數(shù) (b)S形函數(shù)(c)雙曲正切函數(shù)4.2神經(jīng)計(jì)算(c)xf(x)1-1

(b)f(x)x1

013人工神經(jīng)網(wǎng)絡(luò)是具有下列特性的有向圖：對(duì)于每個(gè)節(jié)點(diǎn)i存在一個(gè)狀態(tài)變量xi

；從節(jié)點(diǎn)j至節(jié)點(diǎn)i，存在一個(gè)連接權(quán)系統(tǒng)數(shù)wij；對(duì)于每個(gè)節(jié)點(diǎn)i，存在一個(gè)閾值

i；對(duì)于每個(gè)節(jié)點(diǎn)i，定義一個(gè)變換函數(shù)fi；對(duì)于最一般的情況，此函數(shù)取形式。人工神經(jīng)網(wǎng)絡(luò)的基本特性和結(jié)構(gòu)4.2神經(jīng)計(jì)算14神經(jīng)網(wǎng)絡(luò)模型的基本組成

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

連接矩陣連接模式多層、單層反饋、前饋15遞歸（反饋）網(wǎng)絡(luò):在遞歸網(wǎng)絡(luò)中，多個(gè)神經(jīng)元互連以組織一個(gè)互連神經(jīng)網(wǎng)絡(luò)，如圖4.4。圖4.4反饋網(wǎng)絡(luò)x1x2xnV1V2Vn輸入輸出x1’x2’xn’4.2神經(jīng)計(jì)算16前饋網(wǎng)絡(luò):前饋網(wǎng)絡(luò)具有遞階分層結(jié)構(gòu)，由同層神經(jīng)元間不存在互連的層級(jí)組成，如圖4.5。4.2神經(jīng)計(jì)算x1x2輸入層輸出層隱層y1ynw11w1m圖4.5前饋網(wǎng)絡(luò)反向傳播17有師學(xué)習(xí)算法：能夠根據(jù)期望的和實(shí)際的網(wǎng)絡(luò)輸出（對(duì)應(yīng)于給定輸入）間的差來(lái)調(diào)整神經(jīng)元間連接的強(qiáng)度或權(quán)。無(wú)師學(xué)習(xí)算法：不需要知道期望輸出。強(qiáng)化學(xué)習(xí)算法：采用一個(gè)“評(píng)論員”來(lái)評(píng)價(jià)與給定輸入相對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)輸出的優(yōu)度（質(zhì)量因數(shù)）。強(qiáng)化學(xué)習(xí)算法的一個(gè)例子是遺傳算法（GA）。人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法4.2神經(jīng)計(jì)算18人工神經(jīng)網(wǎng)絡(luò)的典型模型4.2神經(jīng)計(jì)算19續(xù)前表：4.2神經(jīng)計(jì)算20基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示在這里，知識(shí)并不像在產(chǎn)生式系統(tǒng)中那樣獨(dú)立地表示為每一條規(guī)則，而是將某一問(wèn)題的若干知識(shí)在同一網(wǎng)絡(luò)中表示。例如，在有些神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，知識(shí)是用神經(jīng)網(wǎng)絡(luò)所對(duì)應(yīng)的有向權(quán)圖的鄰接矩陣及閾值向量表示的。4.2.4基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理4.2神經(jīng)計(jì)算21基于神經(jīng)網(wǎng)絡(luò)的推理是通過(guò)網(wǎng)絡(luò)計(jì)算實(shí)現(xiàn)的。把用戶提供的初始證據(jù)用作網(wǎng)絡(luò)的輸入，通過(guò)網(wǎng)絡(luò)計(jì)算最終得到輸出結(jié)果。一般來(lái)說(shuō)，正向網(wǎng)絡(luò)推理的步驟如下：把已知數(shù)據(jù)輸入網(wǎng)絡(luò)輸入層的各個(gè)節(jié)點(diǎn)。利用特性函數(shù)分別計(jì)算網(wǎng)絡(luò)中各層的輸出。用閾值函數(shù)對(duì)輸出層的輸出進(jìn)行判定，從而得到輸出結(jié)果?；谏窠?jīng)網(wǎng)絡(luò)的推理4.2神經(jīng)計(jì)算22幾種神經(jīng)網(wǎng)絡(luò)模型舉例

自適應(yīng)線性元模型感知機(jī)23自適應(yīng)線性元模型結(jié)構(gòu)24自適應(yīng)線性元模型數(shù)學(xué)描述

輸入該模型實(shí)際上是一自適應(yīng)閾值邏輯單元。圖中x0，x1k，x2k，…，xnk為該自適應(yīng)線性元在t時(shí)刻的外部輸入，用向量表示為:Xk＝（x0，x1k，x2k，…，xnk）T

這個(gè)向量稱為自適應(yīng)線性元的輸入信號(hào)向量或輸入模式向量。25自適應(yīng)線性元模型數(shù)學(xué)描述

連接權(quán)值與輸入向量Xk相對(duì)應(yīng)有一權(quán)向量:Wk=(w0k，w1k，w2k，…，wnk)T

其中每一元素與輸入向量Xk中的每一元素相對(duì)應(yīng)。

w0k為基權(quán)，稱為門限權(quán)，用來(lái)調(diào)整自適應(yīng)線性元的閾值。26自適應(yīng)線性元模型數(shù)學(xué)描述

輸出

模擬輸出

二值輸出27自適應(yīng)線性元模型數(shù)學(xué)描述

理想輸入在圖中的自適應(yīng)線性元中有一特殊的輸入dk，即理想輸入。該輸入是用來(lái)將理想響應(yīng)信號(hào)送入自適應(yīng)線性元中，在自適應(yīng)線性元中通過(guò)比較yk和理想響應(yīng)dk，并將差值送入最小均方差(LMS)學(xué)習(xí)算法機(jī)制中來(lái)調(diào)整權(quán)向量Wk，使得yk和所期望的輸出dk相一致。28LMS學(xué)習(xí)過(guò)程（圖述）29LMS學(xué)習(xí)過(guò)程（文字說(shuō)明）1、提交學(xué)習(xí)樣本；2、計(jì)算神經(jīng)網(wǎng)絡(luò)的輸出；3、計(jì)算實(shí)際輸出和理想輸出的誤差；4、按照權(quán)值修改規(guī)則修改神經(jīng)網(wǎng)絡(luò)權(quán)值；5、計(jì)算學(xué)習(xí)結(jié)束判據(jù)；6、學(xué)習(xí)結(jié)束否？7、達(dá)到要求學(xué)習(xí)結(jié)束，否則轉(zhuǎn)1。30LMS學(xué)習(xí)算法權(quán)值修改規(guī)則

其中：為當(dāng)前的誤差（即理想輸出與模擬實(shí)際輸出之間的差值）；稱為學(xué)習(xí)速度(LearningRate)。31ADALINE學(xué)習(xí)算法實(shí)質(zhì)分析32

的取值

的選擇決定了收斂的穩(wěn)定性和收斂的速度。穩(wěn)定性要求：0<<2。但是過(guò)大可能會(huì)修正過(guò)度，一個(gè)比較好的選擇范圍是0.1<<1。33LMS算法的幾何解釋34ADALINE模型計(jì)算能力分析

若ADALINE輸入為二值，它可以完成一定的邏輯功能。若有n個(gè)輸入，即則有2n個(gè)可能的輸入模式。在一般的邏輯實(shí)現(xiàn)中，依照所期望的輸出響應(yīng)，可以將個(gè)輸入模式劃分成＋和－兩類。每一個(gè)自適應(yīng)線性元模型可以完成某一種邏輯功能，因而我們也可以把自適應(yīng)線性元看成是一邏輯部件。35ADALINE模型計(jì)算能力分析

每個(gè)自適應(yīng)線性元的功能也主要由各個(gè)權(quán)值所確定。每個(gè)自適應(yīng)線性元只能實(shí)現(xiàn)邏輯空間上的線性劃分，36ADALINE模型學(xué)習(xí)過(guò)程舉例網(wǎng)絡(luò)模型x1=1.2x2=2.7x0=1w1=-0.045w2=1.1w0=1y=?d=2.3E=?y=4.57E=-2.27w0=0.546w1=0.5w2=-0.126y=0.153E=2.1537ADALINE模型的學(xué)習(xí)曲線38感知機(jī)模型結(jié)構(gòu)

感知機(jī)(Perceptron)結(jié)構(gòu)如下圖所示。它是一個(gè)簡(jiǎn)單的單層神經(jīng)網(wǎng)絡(luò)模型。輸入層是含有n個(gè)處理單元的神經(jīng)元組，輸出層只有一個(gè)處理單元，所有處理單元都是線性閾值單元。xiwiy

39感知機(jī)的計(jì)算40感知機(jī)的幾何意義

感知機(jī)的幾何意義在于它在多維空間上利用一超平面將兩類模式A和B分開(kāi)。這時(shí)超平面方程為：41感知機(jī)權(quán)值調(diào)整算法（文字）1、初始化：賦予和一個(gè)較小的隨機(jī)非零值。2、將一模式送入輸入神經(jīng)元，并給出理想輸出值。3、計(jì)算神經(jīng)網(wǎng)絡(luò)模型的實(shí)際輸出：4、調(diào)節(jié)權(quán)值:5、轉(zhuǎn)2，直到學(xué)完所給定的所有輸入樣本。42感知機(jī)權(quán)值調(diào)整算法（圖示）樣本E=0.85E=0.45E=0.25E=0.0543感知機(jī)的缺陷Rosenblatt已經(jīng)證明，如果兩類模式在分布空間中可以找到一個(gè)超平面將它們分開(kāi)，那么感知機(jī)的學(xué)習(xí)過(guò)程就一定會(huì)收斂。否則判定邊界就會(huì)振蕩不休，永遠(yuǎn)不會(huì)穩(wěn)定，這也正是單層感知機(jī)所無(wú)法克服的缺陷，所以它連最簡(jiǎn)單的異或（XOR）問(wèn)題也解決不了。XOR問(wèn)題44

BP神經(jīng)網(wǎng)絡(luò)45

BP算法是用于前饋多層網(wǎng)絡(luò)的學(xué)習(xí)算法，它含有輸人層、輸出層以及處于輸入輸出層之間的中間層。中間層有單層或多層，由于它們和外界沒(méi)有直接的聯(lián)系，故也稱為隱層。在隱層中的神經(jīng)元也稱隱單元。隱層雖然和外界不連接．但是，它們的狀態(tài)則影響輸入輸出之間的關(guān)系。這也是說(shuō)，改變隱層的權(quán)系數(shù)，可以改變整個(gè)多層神經(jīng)網(wǎng)絡(luò)的性能。

反向傳播算法分二步進(jìn)行，即正向傳播和反向傳播。這兩個(gè)過(guò)程的工作簡(jiǎn)述如下。1．正向傳播輸入的樣本從輸入層經(jīng)過(guò)隱單元一層一層進(jìn)行處理，通過(guò)所有的隱層之后，則傳向輸出層；在逐層處理的過(guò)程中，每一層神經(jīng)元的狀態(tài)只對(duì)下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過(guò)程。

2．反向傳播反向傳播時(shí)，把誤差信號(hào)按原來(lái)正向傳播的通路反向傳回，并對(duì)每個(gè)隱層的各個(gè)神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號(hào)趨向最小。BP算法的原理46BP網(wǎng)絡(luò)建模特點(diǎn)：非線性映照能力：神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模過(guò)程中的許多問(wèn)題正是具有高度的非線性。并行分