AI6章計算智能課件

第5章計算智能計算智能是信息科學(xué)、生命科學(xué)、認(rèn)知科學(xué)等不同學(xué)科相互交叉的產(chǎn)物。它主要借鑒仿生學(xué)的思想，基于人們對生物體智能機(jī)理的認(rèn)識，采用數(shù)值計算的方法去模擬和實現(xiàn)人類的智能。計算智能的主要研究領(lǐng)域包括：神經(jīng)計算、進(jìn)化計算、模糊計算、免疫計算、DNA計算和人工生命等。本章主要討論神經(jīng)計算、進(jìn)化計算和模糊計算問題。

5.1概述5.2神經(jīng)計算5.3進(jìn)化計算5.4模糊計算1第5章計算智能5.1概述15.1概述

5.1.1什么是計算智能5.1.2計算智能的產(chǎn)生與發(fā)展5.1.3計算智能與人工智能的關(guān)系25.1概述5.1.1什么是計算智能25.1.1什么是計算智能計算智能（ComputationalIntelligence，CI）目前還沒有一個統(tǒng)一的的定義，使用較多的是美國科學(xué)家貝慈德克（J.C.Bezdek）從計算智能系統(tǒng)角度所給出的定義:如果一個系統(tǒng)僅處理低層的數(shù)值數(shù)據(jù)，含有模式識別部件，沒有使用人工智能意義上的知識，且具有計算適應(yīng)性、計算容錯力、接近人的計算速度和近似于人的誤差率這4個特性，則它是計算智能的。從學(xué)科范疇看，計算智能是在神經(jīng)網(wǎng)絡(luò)（NeuralNetworks,NN）、進(jìn)化計算（EvolutionaryComputation,EC）及模糊系統(tǒng)（FuzzySystem,FS）這3個領(lǐng)域發(fā)展相對成熟的基礎(chǔ)上形成的一個統(tǒng)一的學(xué)科概念。

35.1.1什么是計算智能計算智能（Computat

神經(jīng)網(wǎng)絡(luò)是一種對人類智能的結(jié)構(gòu)模擬方法，它是通過對大量人工神經(jīng)元的廣泛并行互聯(lián)，構(gòu)造人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)去模擬生物神經(jīng)系統(tǒng)的智能機(jī)理的。進(jìn)化計算是一種對人類智能的演化模擬方法，它是通過對生物遺傳和演化過程的認(rèn)識，用進(jìn)化算法去模擬人類智能的進(jìn)化規(guī)律的。模糊計算是一種對人類智能的邏輯模擬方法，它是通過對人類處理模糊現(xiàn)象的認(rèn)知能力的認(rèn)識，用模糊邏輯去模擬人類的智能行為的。從貝慈德克對計算智能的定義和上述計算智能學(xué)科范疇的分析，可以看出以下2點：第一，計算智能是借鑒仿生學(xué)的思想，基于生物神經(jīng)系統(tǒng)的結(jié)構(gòu)、進(jìn)化和認(rèn)知對自然智能進(jìn)行模擬的。第二，計算智能是一種以模型（計算模型、數(shù)學(xué)模型）為基礎(chǔ)，以分布、并行計算為特征的自然智能模擬方法。

4神經(jīng)網(wǎng)絡(luò)是一種對人類智能的結(jié)構(gòu)模擬方法，它是通過對大5.1.2計算智能的產(chǎn)生與發(fā)展

1992年，貝慈德克在《ApproximateReasoning》學(xué)報上首次提出了“計算智能”的概念。1994年6月底到7月初，IEEE在美國佛羅里達(dá)州的奧蘭多市召開了首屆國際計算智能大會(簡稱WCCI’94)。會議第一次將神經(jīng)網(wǎng)絡(luò)、進(jìn)化計算和模糊系統(tǒng)這三個領(lǐng)域合并在一起，形成了“計算智能”這個統(tǒng)一的學(xué)科范疇。在此之后，WCCI大會就成了IEEE的一個系列性學(xué)術(shù)會議，每4年舉辦一次。1998年5月，在美國阿拉斯加州的安克雷奇市又召開了第2屆計算智能國際會議WCCI’98。2002年5月，I在美國州夏威夷州首府火奴魯魯市又召開了第3屆計算智能國際會議WCCI’02。此外，IEEE還出版了一些與計算智能有關(guān)的刊物。目前，計算智能的發(fā)展得到了國內(nèi)外眾多的學(xué)術(shù)組織和研究機(jī)構(gòu)的高度重視，并已成為智能科學(xué)技術(shù)一個重要的研究領(lǐng)域。55.1.2計算智能的產(chǎn)生與發(fā)展1992年，貝慈德5.1.3計算智能與人工智能的關(guān)系目前，對計算智能與人工智能的關(guān)系有2種不同觀點，一種點認(rèn)為計算智能是人工智能的一個子集，另一種觀點認(rèn)為計算智能和人工智能是不同的范疇。第一種觀點的代表人物是貝慈德克。他把智能（Intelligence，I）和神經(jīng)網(wǎng)絡(luò)（NeuralNetwork，NN）都分為計算的（Computational，C）、人工的（Artificial，A）和生物的（Biological,B）3個層次，并以模式識別（PR）為例，給出了下圖所示的智能的層次結(jié)構(gòu)。在該圖中，底層是計算智能（CI），它通過數(shù)值計算來實現(xiàn)，其基礎(chǔ)是CNN；中間層是人工智能（AI），它通過人造的符號系統(tǒng)實現(xiàn)，其基礎(chǔ)是ANN；頂層是生物智能（BI），它通過生物神經(jīng)系統(tǒng)來實現(xiàn)，其基礎(chǔ)是BNN。按照貝慈德克的觀點，CNN是指按生物激勵模型構(gòu)造的NN，ANN是指CNN+知識，BNN是指人腦，即ANN包含了CNN，BNN又包含了ANN。對智能也一樣，貝慈德克認(rèn)為AI包含了CI，BI又包含了AI，即計算智能是人工智能的一個子集。65.1.3計算智能與人工智能的關(guān)系目前，對計算智能CNNCPRCIANNAPRAIBNNBPRBI人類知識(+)傳感輸入知識(+)傳感數(shù)據(jù)計算(+)傳感器B~生物的A~符號的C~數(shù)值的復(fù)雜性復(fù)雜性輸入層次貝慈德克的智能的3個層次7CNNCPRCIANNAPRAIBNNBPRBI人類知識知識第二種觀點是大多數(shù)學(xué)者所持有的觀點，其代表人物是艾伯哈特（R.C.Eberhart）。他們認(rèn)為：雖然人工智能與計算智能之間有重合，但計算智能是一個全新的學(xué)科領(lǐng)域，無論是生物智能還是機(jī)器智能，計算智能都是其最核心的部分，而人工智能則是外層。事實上，CI和傳統(tǒng)的AI只是智能的兩個不同層次，各自都有自身的優(yōu)勢和局限性，相互之間只應(yīng)該互補(bǔ)，而不能取代。大量實踐證明，只有把AI和CI很好地結(jié)合起來，才能更好地模擬人類智能，才是智能科學(xué)技術(shù)發(fā)展的正確方向。8第二種觀點是大多數(shù)學(xué)者所持有的觀點，其代表人物是艾5.2神經(jīng)計算神經(jīng)計算或叫神經(jīng)網(wǎng)絡(luò)，是計算智能的重要基礎(chǔ)和核心，也是計算智能乃至智能科學(xué)技術(shù)的一個重要研究領(lǐng)域。本節(jié)的主要內(nèi)容包括：5.1.1神經(jīng)計算基礎(chǔ)5.1.2人工神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)5.1.3人工神經(jīng)網(wǎng)絡(luò)的典型模型至于基于神經(jīng)網(wǎng)絡(luò)的連接學(xué)習(xí)機(jī)制放到第7章學(xué)習(xí)部分討論。95.2神經(jīng)計算神經(jīng)計算或叫神經(jīng)網(wǎng)絡(luò)，是計算智能5.2.1神經(jīng)計算基礎(chǔ)1.生物神經(jīng)系統(tǒng)簡介生物神經(jīng)系統(tǒng)是人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。人工神經(jīng)網(wǎng)絡(luò)是對人腦神經(jīng)系統(tǒng)的簡化、抽象和模擬，具有人腦功能的許多基本特征。為方便對神經(jīng)網(wǎng)絡(luò)的進(jìn)一步討論，下面先介紹：(1)生物神經(jīng)元的結(jié)構(gòu)(2)生物神經(jīng)元的功能(3)人腦神經(jīng)系統(tǒng)的聯(lián)結(jié)機(jī)制105.2.1神經(jīng)計算基礎(chǔ)生物神經(jīng)系統(tǒng)是人工神經(jīng)網(wǎng)絡(luò)的(1)生物神經(jīng)元的結(jié)構(gòu)神經(jīng)末梢突觸軸突樹突細(xì)胞核細(xì)胞體它由細(xì)胞體(Soma)、軸突(Axon)和樹突(Dendrite)三個主要部分組成

細(xì)胞體由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜等組成，其直徑大約為0.5-100μm大小不等。細(xì)胞體是神經(jīng)元的主體，用于處理由樹突接受的其它神經(jīng)元傳來的信號,其內(nèi)部是細(xì)胞核，外部是細(xì)胞膜，細(xì)胞膜的外面是許多向外延伸出的纖維。

11(1)生物神經(jīng)元的結(jié)構(gòu)神經(jīng)末梢突觸軸突樹突細(xì)胞核細(xì)胞體它由軸突是由細(xì)胞體向外延伸出的所有纖維中最長的一條分枝，用來向外傳遞神經(jīng)元產(chǎn)生的輸出電信號。每個神經(jīng)元都有一條軸突，其最大長度可達(dá)1m以上。在軸突的末端形成了許多很細(xì)的分枝，這些分支叫神經(jīng)末梢。每一條神經(jīng)末梢可以與其它神經(jīng)元形成功能性接觸，該接觸部位稱為突觸。所謂功能性接觸，是指非永久性的接觸，這正是神經(jīng)元之間傳遞信息的奧秘之處樹突是指由細(xì)胞體向外延伸的除軸突以外的其它所有分支。樹突的長度一般較短，但數(shù)量很多，它是神經(jīng)元的輸入端，用于接受從其它神經(jīng)元的突觸傳來的信號。12軸突是由細(xì)胞體向外延伸出的所有纖維中最長的一條分枝，(2)生物神經(jīng)元的功能

根據(jù)神經(jīng)生理學(xué)的研究，生物神經(jīng)元的2個主要功能是:神經(jīng)元的興奮與抑制，神經(jīng)元內(nèi)神經(jīng)沖動的傳導(dǎo)。①神經(jīng)元的抑制與興奮抑制狀態(tài)是指神經(jīng)元在沒有產(chǎn)生沖動時的工作狀態(tài)。興奮狀態(tài)是指神經(jīng)元產(chǎn)生沖動時的工作狀態(tài)。通常情況下，神經(jīng)元膜電位約為-70毫伏，膜內(nèi)為負(fù)，膜外為正，處于抑制狀態(tài)。當(dāng)神經(jīng)元受到外部刺激時，其膜電位隨之發(fā)生變化，即膜內(nèi)電位上升、膜外電位下降，當(dāng)膜內(nèi)外的電位差大于閾值電位（約+40毫伏）時，神經(jīng)元產(chǎn)生沖動而進(jìn)入興奮狀態(tài)。說明:神經(jīng)元每次沖動的持續(xù)時間大約1毫秒左右，在此期間即使刺激強(qiáng)度再增加也不會引起沖動強(qiáng)度的增加。神經(jīng)元每次沖動結(jié)束后，都會重新回到抑制狀態(tài)。如果神經(jīng)元受到的刺激作用不能使細(xì)胞膜內(nèi)外的電位差大于閾值電位，則神經(jīng)元不會產(chǎn)生沖動，將仍處于抑制狀態(tài)。②神經(jīng)元內(nèi)神經(jīng)沖動的傳導(dǎo)神經(jīng)沖動在神經(jīng)元內(nèi)的傳導(dǎo)是一種電傳導(dǎo)過程，神經(jīng)沖動沿神經(jīng)纖維傳導(dǎo)的速度卻在3.2---320km/s之間，且其傳導(dǎo)速度與纖維的粗細(xì)、髓鞘的有無有一定關(guān)系。一般來說，有髓鞘的纖維的傳導(dǎo)速度較快，而無髓鞘的纖維的傳導(dǎo)速度較慢。13(2)生物神經(jīng)元的功能根據(jù)神經(jīng)生理學(xué)的研究，生物(3)人腦神經(jīng)系統(tǒng)的聯(lián)結(jié)機(jī)制

①人腦神經(jīng)系統(tǒng)的聯(lián)結(jié)規(guī)模人腦大約由1011--1012個神經(jīng)元所組成，其中每個神經(jīng)元大約有3＊104個突觸。小腦中的每個神經(jīng)元大約有105個突觸，并且每個突觸都可以與別的神經(jīng)元的一個樹突相連。人腦神經(jīng)系統(tǒng)就是由這些巨量的生物神經(jīng)元經(jīng)廣泛并行互連所形成的一個高度并行性、非常復(fù)雜的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。②人腦神經(jīng)系統(tǒng)的分布功能人腦神經(jīng)系的記憶和處理功能是有機(jī)的結(jié)合在一起的，每個神經(jīng)元既具有存儲功能，同時又具有處理能力。從結(jié)構(gòu)上看，人腦神經(jīng)系統(tǒng)又是一種分布式系統(tǒng)統(tǒng)。人們通過對腦損壞病人所做的神經(jīng)生理學(xué)研究，沒有發(fā)現(xiàn)大腦中的哪一部分可以決定其余所有各部分的活動，也沒有發(fā)現(xiàn)在大腦中存在有用于驅(qū)動和管理整個智能處理過程的任何中央控制部分。即，人類大腦的各個部分是協(xié)同工作、相互影響的。在大腦中，不僅知識的存儲是分散的，而且其控制和決策也是分散的。

14(3)人腦神經(jīng)系統(tǒng)的聯(lián)結(jié)機(jī)制①人腦神經(jīng)系統(tǒng)的聯(lián)人工神經(jīng)網(wǎng)絡(luò)是由大量的人工神經(jīng)元經(jīng)廣泛互聯(lián)所形成的一種人工網(wǎng)絡(luò)系統(tǒng)，用以模擬人類神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。(1)人工神經(jīng)元的結(jié)構(gòu)(2)常用的人工神經(jīng)元模型

5.2.1神經(jīng)計算基礎(chǔ)2.人工神經(jīng)網(wǎng)絡(luò)簡介15人工神經(jīng)網(wǎng)絡(luò)是由大量的人工神經(jīng)元經(jīng)廣泛互聯(lián)所形成的一人工神經(jīng)元的結(jié)構(gòu)θ…x1x2xnw1w2wny人工神經(jīng)元是對生物神經(jīng)元的抽象與模擬下圖是一個MP神經(jīng)元模型

1943年，心理學(xué)家麥克洛奇(W.McMulloch)和數(shù)理邏輯學(xué)家皮茨(W.Pitts)根據(jù)生物神經(jīng)元的功能和結(jié)構(gòu)，提出了一個將神經(jīng)元看作二進(jìn)制閾值元件的簡單模型，即MP模型。圖中的x1,x2,…,xn表示某一神經(jīng)元的n個輸入；wi表示第i個輸入的連接強(qiáng)度，稱為連接權(quán)值；θ為神經(jīng)元的閾值；y為神經(jīng)元的輸出。可見，人工神經(jīng)元是一個具有多輸入，單輸出的非線性器件。其輸入為,輸出為其中，f稱為神經(jīng)元功能函數(shù)（或作用函數(shù)，激活函數(shù)）。16人工神經(jīng)元的結(jié)構(gòu)θ…x1x2xnw1w2wny人工神經(jīng)元是對常用的人工神經(jīng)元模型根據(jù)功能函數(shù)的不同，可得到不同的神經(jīng)元模型。常用模型包括：閾值型(Threshold)θf(θ)1這種模型的神經(jīng)元沒有內(nèi)部狀態(tài)，作用函數(shù)f是一個階躍函數(shù)，他表示激活值σ和輸出之間的關(guān)系。這是一種連續(xù)的神經(jīng)元模型，其輸入輸出特性常用指數(shù)、對數(shù)或雙曲正切等S型函數(shù)表示。它反映的是神經(jīng)元的飽和特性.分段線性強(qiáng)飽和型(LinearSaturation)S型(Sibmoid)子閾累積型(SubthresholdSummation)也是一個非線性函數(shù)，當(dāng)產(chǎn)生的激活值超過T值時，該神經(jīng)元被激活產(chǎn)生個反響。在線性范圍內(nèi)，系統(tǒng)的反響是線性的。T1這種模型又稱為偽線性，其輸入/輸出之間在一定范圍內(nèi)滿足線性關(guān)系，一直延續(xù)到輸出為最大值1為止。但當(dāng)達(dá)到最大值后，輸出就不再增。17常用的人工神經(jīng)元模型根據(jù)功能函數(shù)的不同，可得到不同的神經(jīng)元模5.2.2人工神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)（或稱拓?fù)浣Y(jié)構(gòu)）是指單個神經(jīng)元之間的連接模式，它是構(gòu)造神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，也是神經(jīng)網(wǎng)絡(luò)誘發(fā)偏差的主要來源。從互連結(jié)構(gòu)的角度：前饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)單層前饋網(wǎng)絡(luò)

多層前饋網(wǎng)絡(luò)

單層反饋網(wǎng)絡(luò)多層反饋網(wǎng)絡(luò)僅含輸入層和輸出層，且只有輸出層的神經(jīng)元是可計算節(jié)點

除擁有輸入、輸出層外，還至少含有一個、或更多個隱含層的前向網(wǎng)絡(luò)

指不擁有隱含層的反饋網(wǎng)絡(luò)

指擁有隱含層的反饋網(wǎng)絡(luò)

可含有反饋聯(lián)結(jié)只包含前向聯(lián)結(jié)

185.2.2人工神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的互連結(jié)包括單層前饋網(wǎng)絡(luò)和多層前饋網(wǎng)絡(luò)。單層前饋網(wǎng)絡(luò)是指那種只擁有單層計算節(jié)點的前向網(wǎng)絡(luò)。它僅含有輸入層和輸出層，且只有輸出層的神經(jīng)元是可計算節(jié)點，如下圖所示其中，輸入向量為X=(x1,x2,…,xn)；輸出向量為Y=(y1,y2,…,ym)；輸入層各個輸入到相應(yīng)神經(jīng)元的連接權(quán)值分別是wij，i=1,2,..,n，j=1,2,..,m?！瓁1X2X3xny1Y2ym權(quán)值wij輸出層輸入層圖5.8單層前饋網(wǎng)絡(luò)結(jié)構(gòu)5.2.2人工神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)1.前饋網(wǎng)絡(luò)(1/3)19包括單層前饋網(wǎng)絡(luò)和多層前饋網(wǎng)絡(luò)?！瓁1X2X3xn若假設(shè)各神經(jīng)元的閾值分別是θj，j=1,2,…,m，則各神經(jīng)元的輸出yj,j=1,2,..,m分別為：其中，由所有連接權(quán)值wij構(gòu)成的連接權(quán)值矩陣W為：

在實際應(yīng)用中，該矩陣是通過大量的訓(xùn)練示例學(xué)習(xí)而形成的。5.2.2人工神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)1.前饋網(wǎng)絡(luò)(2/3)20若假設(shè)各神經(jīng)元的閾值分別是θj，j=1,2,…,m，多層前饋網(wǎng)絡(luò)是指那種除擁有輸入、輸出層外，還至少含有一個、或更多個隱含層的前饋網(wǎng)絡(luò)。隱含層是指由那些既不屬于輸入層又不屬于輸出層的神經(jīng)元所構(gòu)成的處理層,也被稱為中間層。隱含層的作用是通過對輸入層信號的加權(quán)處理，將其轉(zhuǎn)移成更能被輸出層接受的形式。

多層前饋網(wǎng)絡(luò)的輸入層的輸出向量是第一隱含層的輸入信號，而第一隱含層的輸出則是第二隱含層的輸入信號，以此類推，直到輸出層。多層前饋網(wǎng)絡(luò)的典型代表是BP網(wǎng)絡(luò)。x1X2Xny1Ym隱含層輸出層輸入層圖5.9多層前饋網(wǎng)絡(luò)結(jié)構(gòu)………權(quán)值權(quán)值5.2.2人工神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)1.前饋網(wǎng)絡(luò)(3/3)21多層前饋網(wǎng)絡(luò)是指那種除擁有輸入、輸出層外，還至少含5.2.2人工神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)2.反饋網(wǎng)絡(luò)

反饋網(wǎng)絡(luò)是指允許采用反饋聯(lián)結(jié)方式所形成的神經(jīng)網(wǎng)絡(luò)。所謂反饋聯(lián)結(jié)方式是指一個神經(jīng)元的輸出可以被反饋至同層或前層的神經(jīng)元。

反饋網(wǎng)絡(luò)和前向網(wǎng)絡(luò)不同：

前向網(wǎng)絡(luò)屬于非循環(huán)連接模式，它的每個神經(jīng)元的輸入都沒有包含該神經(jīng)元先前的輸出，因此不具有“短期記憶”的性質(zhì)。

反饋網(wǎng)絡(luò)則不同，它的每個神經(jīng)元的輸入都有可能包含有該神經(jīng)元先前輸出的反饋信息，即一個神經(jīng)元的輸出是由該神經(jīng)元當(dāng)前的輸入和先前的輸出這兩者來決定的，這就有點類似于人類的短期記憶的性質(zhì)。反饋網(wǎng)絡(luò)的典型例子是后面將要介紹的Hopfield網(wǎng)絡(luò)225.2.2人工神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)反饋網(wǎng)絡(luò)是指允許人工神經(jīng)網(wǎng)絡(luò)的模型是指對網(wǎng)絡(luò)結(jié)構(gòu)、聯(lián)結(jié)權(quán)值和學(xué)習(xí)能力的總括。常用的網(wǎng)絡(luò)模型已有數(shù)十種。例如：傳統(tǒng)的感知機(jī)模型，具有誤差反向傳播功能的反向傳播網(wǎng)絡(luò)模型，采用多變量插值的徑向基函數(shù)網(wǎng)絡(luò)模型，建立在統(tǒng)計學(xué)習(xí)理論基礎(chǔ)上的支撐向量機(jī)網(wǎng)絡(luò)模型，采用反饋聯(lián)接方式的反饋網(wǎng)絡(luò)模型，基于模擬退火算法的隨機(jī)網(wǎng)絡(luò)模型。本小節(jié)主要討論感知機(jī)（Perceptron）模型反向傳播（BP）模型反饋網(wǎng)絡(luò)（Hopfield）模型

3.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型

23人工神經(jīng)網(wǎng)絡(luò)的模型是指對網(wǎng)絡(luò)結(jié)構(gòu)、聯(lián)結(jié)權(quán)值和學(xué)習(xí)能感知器是美國學(xué)者羅森勃拉特（Rosenblatt）于1957年為研究大腦的存儲、學(xué)習(xí)和認(rèn)知過程而提出的一類具有自學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)模型，其拓?fù)浣Y(jié)構(gòu)是一種分層前向網(wǎng)絡(luò)。它包括：單層感知器多層感知器3.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型1.感知器模型(1/10)24感知器是美國學(xué)者羅森勃拉特（Rosenblatt）于1(1)單層感知器單層感知器是一種只具有單層可調(diào)節(jié)連接權(quán)值神經(jīng)元的前向網(wǎng)絡(luò)，這些神經(jīng)元構(gòu)成了單層感知器的輸出層，是感知器的可計算節(jié)點。在單層感知器中，每個可計算節(jié)點都是一個線性閾值神經(jīng)元。當(dāng)輸入信息的加權(quán)和大于或等于閾值時，輸出為1，否則輸出為0或-1。單層感知器的輸出層的每個神經(jīng)元都只有一個輸出，且該輸出僅與本神經(jīng)元的輸入及聯(lián)接權(quán)值有關(guān)，而與其他神經(jīng)元無關(guān)。3.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型1.感知器模型(2/10)25(1)單層感知器3.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型25單層感知器的結(jié)構(gòu)如下圖…x1x2xn…y1ym輸入層輸出層權(quán)值wij輸入向量為X=(x1,x2,…,xn)；輸出向量為Y=(y1,y2,…,ym)；輸入層各個輸入到相應(yīng)神經(jīng)元的連接權(quán)值分別是wij，i=1,2,..,n，j=1,2,..,m。

若假設(shè)各神經(jīng)元的閾值分別是θj，j=1,2,…,m，則各神經(jīng)元的輸出yj,j=1,2,..,m分別為其中，由所有連接權(quán)值wji構(gòu)成的連接權(quán)值矩陣W為：在實際應(yīng)用中，該矩陣是通過大量的訓(xùn)練示例學(xué)習(xí)而形成的26單層感知器的結(jié)構(gòu)如下圖…x1x2xn…y1ym輸入層輸出層權(quán)使用感知器的主要目的是為了對外部輸入進(jìn)行分類。羅森勃拉特已經(jīng)證明，如果外部輸入是線性可分的（指存在一個超平面可以將它們分開），則單層感知器一定能夠把它劃分為兩類。其判別超平面由如下判別式確定：

作為例子，下面討論用單個感知器實現(xiàn)邏輯運(yùn)算的問題。事實上，單層感知器可以很好地實現(xiàn)“與”、“或”、“非”運(yùn)算，但卻不能解決“異或”問題。

3.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型1.感知器模型(4/10)27使用感知器的主要目的是為了對外部輸入進(jìn)行分類。羅森例5.1“與”運(yùn)算（x1∧x2）(0,0)(1,1)(0,1)(1,0)圖5.10與運(yùn)算問題圖示輸入輸出超平面閾值條件x1x2x1∧x2w1*x1+w2*x2-θ=0000w1*0+w2*0-θ＜0θ＞0010w1*0+w2*1

-θ＜0θ＞w2100w1*1+w2*0-θ＜0θ＞w1

111w1*1+w2*1-θ≥0θ≤w1+w2

可以證明此表有解，例如取w1=1，w2=1，θ=1.5，其分類結(jié)果如右圖所示。其中，輸出為1的用實心圓，輸出為0的用空心圓。后面約定相同。3.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型1.感知器模型(5/10)28例5.1“與”運(yùn)算（x1∧x2）(0,0)(1,1)(0,例5.2“或”運(yùn)算（x1∨x2）輸入輸出超平面閾值條件x1x2x1∨x2w1*x1+w2*x2-θ=0000w1*0+w2*0-θ＜0θ＞0011w1*0+w2*1

-θ≥0θ≤w2101w1*1+w2*0-θ≥0θ≤w1

111w1*1+w2*1-θ≥0θ≤w1+w2

此表也有解，例如取w1=1，w2=1，θ=0.5，其分類結(jié)果如右圖所示。(0,1)(0,0)(1,0)圖5.11與運(yùn)算問題圖示(1,1)3.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型1.感知器模型(6/10)29例5.2“或”運(yùn)算（x1∨x2）輸入輸出超平面閾值條件x1例5.3“非”運(yùn)算（?x1）輸入輸出超平面閾值條件x1?x1w1*x1-θ=001w1*0-θ≥0θ≤010w1*1

–θ<0θ>w1此表也有解，例如取w1=-1，θ=-0.5，其分類結(jié)果如右圖所示。圖5.12非運(yùn)算問題圖示013.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型1.感知器模型(7/10)30例5.3“非”運(yùn)算（?x1）輸入輸出超平面閾值條件x1?x例5.4“異或”運(yùn)算（x1XORx2）輸入輸出超平面閾值條件x1x2X1XORx2w1*x1+w2*x2-θ=0000w1*0+w2*0-θ＜0θ＞0011w1*0+w2*1-θ≥0θ≤w2101w1*1+w2*0-θ≥0θ≤w1

110w1*1+w2*1-θ<0θ>w1+w2

此表無解，即無法找到滿足條件的w1、w2和θ，如右圖所示。因為異或問題是一個非線性可分問題，需要用多層感知器來解決。(0,1)(0,0)(1,0)圖5.13異或運(yùn)算問題圖示(1,1)3.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型1.感知器模型(8/10)31例5.4“異或”運(yùn)算（x1XORx2）輸入輸出超平面閾(2)多層感知器多層感知器是通過在單層感知器的輸入、輸出層之間加入一層或多層處理單元所構(gòu)成的。其拓?fù)浣Y(jié)構(gòu)與圖5.9所示的多層前向網(wǎng)絡(luò)相似，差別也在于其計算節(jié)點的連接權(quán)值是可變的。多層感知器的輸入與輸出之間是一種高度非線性的映射關(guān)系，如圖5.9所示的多層前向網(wǎng)絡(luò)，若采用多層感知器模型，則該網(wǎng)絡(luò)就是一個從n維歐氏空間到m維歐氏空間的非線性映射。因此，多層感知器可以實現(xiàn)非線性可分問題的分類。例如，對“異或”運(yùn)算，用圖5.14所示的多層感知器即可解決。3.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型1.感知器模型(9/10)32(2)多層感知器3.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型x11y=x1

XORx2x1X2x121-1111-1輸入層隱層輸出層權(quán)值權(quán)值圖5.14“異或”問題的多層感知器閾值0.5閾值-1.5閾值1.5(0,1)(0,0)(1,0)圖5.15異或問題的解決(1,1)在圖5.14中，隱層神經(jīng)元x11所確定的直線方程為它可以識別一個半平面。隱層神經(jīng)元x12所確定的直線方程為它也可以識別一個半平面。輸出層神經(jīng)元所確定的直線方程為它相當(dāng)于對隱層神經(jīng)元x11和x12的輸出作“邏輯與”運(yùn)算，因此可識別由隱層已識別的兩個半平面的交集所構(gòu)成的一個凸多邊形，如圖5.15所示。

33x11y=x1XORx2x1X2x121-1111-1輸

誤差反向傳播(ErrorBackPropagation)網(wǎng)絡(luò)通常簡稱為BP(BackPropagation)網(wǎng)絡(luò)，是由美國加州大學(xué)的魯梅爾哈特和麥克萊蘭在研究并行分布式信息處理方法，探索人類認(rèn)知微結(jié)構(gòu)的過程中，于1985年提出的一種網(wǎng)絡(luò)模型。BP網(wǎng)絡(luò)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是多層前向網(wǎng)絡(luò)，如圖5.16所示。在BP網(wǎng)絡(luò)中，同層節(jié)點之間不存在相互連接，層與層之間多采用全互連方式，且各層的連接權(quán)值可調(diào)。BP網(wǎng)絡(luò)實現(xiàn)了明斯基的多層網(wǎng)絡(luò)的設(shè)想，是當(dāng)今神經(jīng)網(wǎng)絡(luò)模型中使用最廣泛的一種。y1y2ymx1x2xn輸出層隱含層輸入層權(quán)可調(diào)權(quán)可調(diào)………圖5.16一個多層BP網(wǎng)絡(luò)的結(jié)構(gòu)3.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型2.BP網(wǎng)絡(luò)模型(1/2)34誤差反向傳播(ErrorBackPropagat

對BP網(wǎng)絡(luò)需說明以下兩點：第一，BP網(wǎng)絡(luò)的每個處理單元均為非線性輸入/輸出關(guān)系，其作用函數(shù)通常采用的是可微的Sigmoid函數(shù)，如：第二，BP網(wǎng)絡(luò)的學(xué)習(xí)過程是由工作信號的正向傳播和誤差信號的反向傳播組成的。所謂正向傳播，是指輸入模式經(jīng)隱層到輸出層，最后形成輸出模式；所謂誤差反向傳播，是指從輸出層開始逐層將誤差傳到輸入層，并修改各層聯(lián)接權(quán)值，使誤差信號為最小的過程。3.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型2.BP網(wǎng)絡(luò)模型(2/2)35對BP網(wǎng)絡(luò)需說明以下兩點：3.2.3人工神經(jīng)網(wǎng)絡(luò)的典

Hopfield網(wǎng)絡(luò)是由美國加州工學(xué)院物理學(xué)家霍普菲爾特1982年提出來的一種單層全互連的對稱反饋網(wǎng)絡(luò)模型。它可分為離散Hopfield網(wǎng)絡(luò)和連續(xù)Hopfield網(wǎng)絡(luò)，限于篇幅，本書重點討論離散Hopfield網(wǎng)絡(luò)。離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)離散Hopfield網(wǎng)絡(luò)是在非線性動力學(xué)的基礎(chǔ)上由若干基本神經(jīng)元構(gòu)成的一種單層全互連網(wǎng)絡(luò)，其任意神經(jīng)元之間均有連接，并且是一種對稱連接結(jié)構(gòu)。一個典型的離散Hopfidld網(wǎng)絡(luò)結(jié)構(gòu)如圖5-17所示。離散Hopfield網(wǎng)絡(luò)模型是一個離散時間系統(tǒng)，每個神經(jīng)元只有0和1（或-1和1）兩種狀態(tài)，任意神經(jīng)元i和j之間的連接權(quán)值為wij。由于神經(jīng)元之間為對稱連接，且神經(jīng)元自身無連接，因此有

由該連接權(quán)值所構(gòu)成的連接矩陣是一個零對角的對稱矩陣。3.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型2.Hopfield網(wǎng)絡(luò)模型(1/2)36Hopfield網(wǎng)絡(luò)是由美國加州工學(xué)院物理學(xué)家霍普菲爾圖5?17離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)ymY2Y1x1……x2xn輸入層輸出層在Hopfidld網(wǎng)絡(luò)中，雖然神經(jīng)元自身無連接，但由于每個神經(jīng)元都與其他神經(jīng)元相連，即每個神經(jīng)元的輸出都將通過突觸連接權(quán)值傳遞給別的神經(jīng)元，同時每個神經(jīng)元又都接受其他神經(jīng)元傳來的信息，這樣對每個神經(jīng)元來說，其輸出經(jīng)過其他神經(jīng)元后又有可能反饋給自己，因此Hopfidld網(wǎng)絡(luò)是一種反饋神經(jīng)網(wǎng)絡(luò)

3.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型2.Hopfield網(wǎng)絡(luò)模型(2/2)37圖5?17離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)ymY2Y1x1

進(jìn)化計算（EvolutionaryComputation,EC）是在達(dá)爾文（Darwin）的進(jìn)化論和孟德爾（Mendel）的遺傳變異理論的基礎(chǔ)上產(chǎn)生的一種在基因和種群層次上模擬自然界生物進(jìn)化過程與機(jī)制的問題求解技術(shù)。它主要包括遺傳算法（GeneticAlgorithm，GA）進(jìn)化策略（EvolutionaryStrategy,ES）進(jìn)化規(guī)劃（EvolutionaryProgramming,EP）遺傳規(guī)劃（GeneticProgramming,GP）四大分支。其中，第一個分支是進(jìn)化計算中最初形成的一種具有普遍影響的模擬進(jìn)化優(yōu)化算法。因此我們主要討論遺傳算法。5.3進(jìn)化計算38進(jìn)化計算（EvolutionaryComputat進(jìn)化計算是一種模擬自然界生物進(jìn)化過程與機(jī)制進(jìn)行問題求解的自組織、自適應(yīng)的隨機(jī)搜索技術(shù)。它以達(dá)爾文進(jìn)化論的“物竟天擇、適者生存”作為算法的進(jìn)化規(guī)則，并結(jié)合孟德爾的遺傳變異理論，將生物進(jìn)化過程中的繁殖（Reproduction）變異（Mutation）競爭（Competition）選擇（Selection）引入到了算法中。5.3.1進(jìn)化計算概述1.進(jìn)化計算及其生物學(xué)基礎(chǔ)(1/3)(1)什么是進(jìn)化計算39進(jìn)化計算是一種模擬自然界生物進(jìn)化過程與機(jī)制進(jìn)行問題求(2)進(jìn)化計算的生物學(xué)基礎(chǔ)

自然界生物進(jìn)化過程是進(jìn)化計算的生物學(xué)基礎(chǔ)，它主要包括遺傳(Heredity)、變異(Mutation)和進(jìn)化(Evolution)理論。①遺傳理論

遺傳是指父代（或親代）利用遺傳基因?qū)⒆陨淼幕蛐畔鬟f給下一代（或子代），使子代能夠繼承其父代的特征或性狀的這種生命現(xiàn)象。正是由于遺傳的作用，自然界才能有穩(wěn)定的物種。在自然界，構(gòu)成生物基本結(jié)構(gòu)與功能的單位是細(xì)胞（Cell）。細(xì)胞中含有一種包含著所有遺傳信息的復(fù)雜而又微小的絲狀化合物，人們稱其為染色體（Chromosome）。在染色體中，遺傳信息由基因（Gene）所組成，基因決定著生物的性狀，是遺傳的基本單位。染色體的形狀是一種雙螺旋結(jié)構(gòu)，構(gòu)成染色體的主要物質(zhì)叫做脫氧核糖核酸(DNA)，每個基因都在DNA長鏈中占有一定的位置。一個細(xì)胞中的所有染色體所攜帶的遺傳信息的全體稱為一個基因組(Genome)。細(xì)胞在分裂過程中，其遺傳物質(zhì)DNA通過復(fù)制轉(zhuǎn)移到新生細(xì)胞中，從而實現(xiàn)了生物的遺傳功能。5.3.1進(jìn)化計算概述1.進(jìn)化計算及其生物學(xué)基礎(chǔ)(2/3)40(2)進(jìn)化計算的生物學(xué)基礎(chǔ)5.3.1進(jìn)化計算概②變異理論

變異是指子代和父代之間，以及子代的各個不同個體之間產(chǎn)生差異的現(xiàn)象。變異是生物進(jìn)化過程中發(fā)生的一種隨機(jī)現(xiàn)象，是一種不可逆過程，在生物多樣性方面具有不可替代的作用。引起變異的主要原因有以下兩種：雜交，是指有性生殖生物在繁殖下一代時兩個同源染色體之間的交配重組，即兩個染色體在某一相同處的DNA被切斷后再進(jìn)行交配重組，形成兩個新的染色體。復(fù)制差錯，是指在細(xì)胞復(fù)制過程中因DNA上某些基因結(jié)構(gòu)的隨機(jī)改變而產(chǎn)生出新的染色體。③進(jìn)化論

進(jìn)化是指在生物延續(xù)生存過程中，逐漸適應(yīng)其生存環(huán)境，使得其品質(zhì)不斷得到改良的這種生命現(xiàn)象。遺傳和變異是生物進(jìn)化的兩種基本現(xiàn)象，優(yōu)勝劣汰、適者生存是生物進(jìn)化的基本規(guī)律。達(dá)爾文的自然選擇學(xué)說認(rèn)為：在生物進(jìn)化中，一種基因有可能發(fā)生變異而產(chǎn)生出另一種新的生物基因。這種新基因?qū)⒁罁?jù)其與生存環(huán)境的適應(yīng)性而決定其增殖能力。一般情況下，適應(yīng)性強(qiáng)的基因會不斷增多，而適應(yīng)性差的基因則會逐漸減少。通過這種自然選擇，物種將逐漸向適應(yīng)于生存環(huán)境的方向進(jìn)化，甚至?xí)葑兂蔀榱硪粋€新的物種，而那些不適應(yīng)于環(huán)境的物種將會逐漸被淘汰。5.3.1進(jìn)化計算概述1.進(jìn)化計算及其生物學(xué)基礎(chǔ)(3/3)41②變異理論5.3.1進(jìn)化計算概述41

進(jìn)化計算自20世紀(jì)50年代以來，其發(fā)展過程大致可分為三個階段。①萌芽階段這一階段是從20世紀(jì)50年代后期到70年代中期。20世紀(jì)50年代后期，一些生物學(xué)家在研究如何用計算機(jī)模擬生物遺傳系統(tǒng)中，產(chǎn)生了遺傳算法的基本思想，并于1962年由美國密執(zhí)安（Michigan）大學(xué)霍蘭德（Holland）提出。1965年德國數(shù)學(xué)家雷切伯格（Rechenberg）等人提出了一種只有單個個體參與進(jìn)化，并且僅有變異這一種進(jìn)化操作的進(jìn)化策略。同年，美國學(xué)者弗格爾（Fogel）提出了一種具有多個個體和僅有變異一種進(jìn)化操作的進(jìn)化規(guī)劃。1969年美國密執(zhí)安（Michigan）大學(xué)的霍蘭德（Holland）提出了系統(tǒng)本身和外部環(huán)境相互協(xié)調(diào)的遺傳算法。至此，進(jìn)化計算的三大分支基本形成。②成長階段這一階段是從20世紀(jì)70年代中期到80年代后期。1975年，霍蘭德出版專著《自然和人工系統(tǒng)的適應(yīng)性（AdaptationinNaturalandArtificialSystem）》，全面介紹了遺傳算法。同年，德國學(xué)者施韋費(fèi)爾（Schwefel）在其博士論文中提出了一種由多個個體組成的群體參與進(jìn)化的，并且包括了變異和重組這兩種進(jìn)化操作的進(jìn)化策略。1989年，霍蘭德的學(xué)生戈爾德伯格（Goldberg）博士出版專著《遺傳算法----搜索、優(yōu)化及機(jī)器學(xué)習(xí)（GeneticAlgorithm----inSearchOptimizationandMachineLearning）》，使遺傳算法得到了普及與推廣。5.3.1進(jìn)化計算概述2.進(jìn)化計算的產(chǎn)生與發(fā)展(1/2)42進(jìn)化計算自20世紀(jì)50年代以來，其發(fā)展過程大致可分③發(fā)展階段

這一階段是從20世紀(jì)90年代至今。1989年，美國斯坦福（Stanford）大學(xué)的科扎（Koza）提出了遺傳規(guī)劃的新概念，并于1992年出版了專著《遺傳規(guī)劃----應(yīng)用自然選擇法則的計算機(jī)程序設(shè)計（GeneticProgramming:ontheProgrammingofComputerbyMeansofNaturalSelection）》該書全面介紹了遺傳規(guī)劃的基本原理及應(yīng)用實例，標(biāo)志著遺傳規(guī)劃作為計算智能的一個分支已基本形成。進(jìn)入20世紀(jì)90年代以來，進(jìn)化計算得到了眾多研究機(jī)構(gòu)和學(xué)者的高度重視，新的研究成果不斷出現(xiàn)、應(yīng)用領(lǐng)域不斷擴(kuò)大。目前，進(jìn)化計算已成為人工智能領(lǐng)域的又一個新的研究熱點。

5.3.1進(jìn)化計算概述2.進(jìn)化計算的產(chǎn)生與發(fā)展(2/2)43③發(fā)展階段5.3.1進(jìn)化計算概述43進(jìn)化計算盡管有多個重要分支，并且不同分支的編碼方案、選擇策略和進(jìn)化操作也有可能不同，但它們卻有著共同的進(jìn)化框架。若假設(shè)P為種群(Population，或稱為群體)，t為進(jìn)化代數(shù)，P(t)為第t代種群,則進(jìn)化計算的基本結(jié)構(gòu)可粗略描述如下：{確定編碼形式并生成搜索空間；初始化各個進(jìn)化參數(shù)，并設(shè)置進(jìn)化代數(shù)t=0；初始化種群P(0);對初始種群進(jìn)行評價（即適應(yīng)度計算）；while（不滿足終止條件）do{t=t+1;利用選擇操作從P(t-1)代中選出P(t)代群體；對P(t)代種群執(zhí)行進(jìn)化操作；對執(zhí)行完進(jìn)化操作后的種群進(jìn)行評價（即適應(yīng)度計算）；}}可以看出，上述基本結(jié)構(gòu)包含了生物進(jìn)化中所必需的選擇操作、進(jìn)化操作和適應(yīng)度評價等過程。5.3.1進(jìn)化計算概述3.進(jìn)化計算的基本結(jié)構(gòu)44進(jìn)化計算盡管有多個重要分支，并且不同分支的編碼方案遺傳算法的基本思想是從初始種群出發(fā)，采用優(yōu)勝劣汰、適者生存的自然法則選擇個體，并通過雜交、變異來產(chǎn)生新一代種群，如此逐代進(jìn)化，直到滿足目標(biāo)為止。遺傳算法所涉及到的基本概念主要有以下幾個：

種群（Population）：種群是指用遺傳算法求解問題時，初始給定的多個解的集合。遺傳算法的求解過程是從這個子集開始的。

個體（Individual）：個體是指種群中的單個元素，它通常由一個用于描述其基本遺傳結(jié)構(gòu)的數(shù)據(jù)結(jié)構(gòu)來表示。例如，可以用0、1組成的長度為l的串來表示個體。

染色體（Chromos）：染色體是指對個體進(jìn)行編碼后所得到的編碼串。染色體中的每1位稱為基因，染色體上由若干個基因構(gòu)成的一個有效信息段稱為基因組。

適應(yīng)度（Fitness）函數(shù)：適應(yīng)度函數(shù)是一種用來對種群中各個個體的環(huán)境適應(yīng)性進(jìn)行度量的函數(shù)。其函數(shù)值是遺傳算法實現(xiàn)優(yōu)勝劣汰的主要依據(jù)

遺傳操作（GeneticOperator）：遺傳操作是指作用于種群而產(chǎn)生新的種群的操作。標(biāo)準(zhǔn)的遺傳操作包括以下3種基本形式：

選擇（Selection）

交叉（Crosssover）

變異（Mutation）5.3.2遺傳算法1.遺傳算法的基本概念45遺傳算法的基本思想是從初始種群出發(fā)，采用優(yōu)勝劣汰、適者

遺傳算法主要由染色體編碼、初始種群設(shè)定、適應(yīng)度函數(shù)設(shè)定、遺傳操作設(shè)計等幾大部分所組成，其算法主要內(nèi)容和基本步驟可描述如下：

(1)選擇編碼策略，將問題搜索空間中每個可能的點用相應(yīng)的編碼策略表示出來，即形成染色體；(2)定義遺傳策略，包括種群規(guī)模N，交叉、變異方法，以及選擇概率Pr、交叉概率Pc、變異概率Pm等遺傳參數(shù)；(3)令t=0，隨機(jī)選擇N個染色體初始化種群P(0)；(4)定義適應(yīng)度函數(shù)f（f>0）；(5)計算P(t)中每個染色體的適應(yīng)值；(6)t=t+1；(7)運(yùn)用選擇算子，從P(t-1)中得到P(t)；(8)對P(t)中的每個染色體，按概率Pc參與交叉；(9)對染色體中的基因，以概率Pm參與變異運(yùn)算；(10)判斷群體性能是否滿足預(yù)先設(shè)定的終止標(biāo)準(zhǔn)，若不滿足則返回(5)。5.3.2遺傳算法2.遺傳算法的基本結(jié)構(gòu)(1/2)46遺傳算法主要由染色體編碼、初始種群設(shè)定、適應(yīng)度函數(shù)計算種群中各個個體的適應(yīng)度，并進(jìn)行評價滿足終止條件嗎？終止選擇交叉變異Y圖5-18基本遺傳算法的算法流程圖編碼和生成初始種群N選擇其算法流程如圖5-18所示。5.3.2遺傳算法2.遺傳算法的基本結(jié)構(gòu)(2/2)47計算種群中各個個體的適應(yīng)度，并進(jìn)行評價滿足終止條件嗎？終止選常用的遺傳編碼算法有霍蘭德二進(jìn)制碼、格雷碼（GrayCode）、實數(shù)編碼和字符編碼等。

(1)二進(jìn)制編碼（Binaryencoding）

二進(jìn)制編碼是將原問題的結(jié)構(gòu)變換為染色體的位串結(jié)構(gòu)。在二進(jìn)制編碼中，首先要確定二進(jìn)制字符串的長度l，該長度與變量的定義域和所求問題的計算精度有關(guān)。例5.5

假設(shè)變量x的定義域為[5，10]，要求的計算精度為10-5，則需要將[5，10]至少分為600000個等長小區(qū)間，每個小區(qū)間用一個二進(jìn)制串表示。于是，串長至少等于20，原因是：524288=219<600000<220=1048576這樣，對應(yīng)于區(qū)間[5，10]內(nèi)滿足精度要求的每個值x，都可用一個20位編碼的二進(jìn)制串<b19,b18,…,b0>來表示。

二進(jìn)制編碼存在的主要缺點是漢明（Hamming）懸崖。例如，7和8的二進(jìn)制數(shù)分別為0111和1000，當(dāng)算法從7改進(jìn)到8時，就必須改變所有的位。

5.3.2遺傳算法3.遺傳編碼(1/3)48常用的遺傳編碼算法有霍蘭德二進(jìn)制碼、格雷碼（Gray5.3.2遺傳算法3.遺傳編碼(2/3)(2)格雷編碼（Grayencoding）

格雷編碼是對二進(jìn)制編碼進(jìn)行變換后所得到的一種編碼方法。這種編碼方法要求兩個連續(xù)整數(shù)的編碼之間只能有一個碼位不同，其余碼位都是完全相同的。它有效地解決了漢明懸崖問題，其基本原理如下：設(shè)有二進(jìn)制串b1,b2,…,bn，對應(yīng)的格雷串為a1,a2,…,an，則從二進(jìn)制編碼到格雷編碼的變換為：其中，⊕表示模2加法。而從一個格雷串到二進(jìn)制串的變換為：例5.6

十進(jìn)制數(shù)7和8的二進(jìn)制編碼分別為0111和1000，而其格雷編碼分別為0100和1100。495.3.2遺傳算法(2)格雷編碼（Grayen

(3)實數(shù)編碼（Realencoding）

實數(shù)編碼是將每個個體的染色體都用某一范圍的一個實數(shù)（浮點數(shù)）來表示，其編碼長度等于該問題變量的個數(shù)。這種編碼方法是將問題的解空間映射到實數(shù)空間上，然后在實數(shù)空間上進(jìn)行遺傳操作。由于實數(shù)編碼使用的是變量的真實值，因此這種編碼方法也叫做真值編碼方法。實數(shù)編碼適應(yīng)于那種多維、高精度要求的連續(xù)函數(shù)優(yōu)化問題。

5.3.2遺傳算法3.遺傳編碼(3/3)50(3)實數(shù)編碼（Realencoding）5.

適應(yīng)度函數(shù)是一個用于對個體的適應(yīng)性進(jìn)行度量的函數(shù)。通常，一個個體的適應(yīng)度值越大，它被遺傳到下一代種群中的概率也就越大。(1)常用的適應(yīng)度函數(shù)

在遺傳算法中，有許多計算適應(yīng)度的方法，其中最常用的適應(yīng)度函數(shù)有以下兩種：①原始適應(yīng)度函數(shù)它是直接將待求解問題的目標(biāo)函數(shù)f(x)定義為遺傳算法的適應(yīng)度函數(shù)。例如，在求解極值問題時，f(x)即為x的原始適應(yīng)度函數(shù)。采用原始適應(yīng)度函數(shù)的優(yōu)點是能夠直接反映出待求解問題的最初求解目標(biāo)，其缺點是有可能出現(xiàn)適應(yīng)度值為負(fù)的情況。

5.3.2遺傳算法4.適應(yīng)度函數(shù)(1/4)51適應(yīng)度函數(shù)是一個用于對個體的適應(yīng)性進(jìn)行度量的函數(shù)。②標(biāo)準(zhǔn)適應(yīng)度函數(shù)在遺傳算法中，一般要求適應(yīng)度函數(shù)非負(fù)，并其適應(yīng)度值越大越好。這就往往需要對原始適應(yīng)函數(shù)進(jìn)行某種變換，將其轉(zhuǎn)換為標(biāo)準(zhǔn)的度量方式，以滿足進(jìn)化操作的要求，這樣所得到的適應(yīng)度函數(shù)被稱為標(biāo)準(zhǔn)適應(yīng)度函數(shù)fNormal(x)。極小化問題對極小化問題，其標(biāo)準(zhǔn)適應(yīng)度函數(shù)可定義為其中，fmax(x)是原始適應(yīng)函數(shù)f(x)的一個上界。如果fmax(x)未知，則可用當(dāng)前代或到目前為止各演化代中的f(x)的最大值來代替?？梢姡琭max(x)是會隨著進(jìn)化代數(shù)的增加而不斷變化的。

5.3.2遺傳算法4.適應(yīng)度函數(shù)(2/4)52②標(biāo)準(zhǔn)適應(yīng)度函數(shù)5.3.2遺傳算法52極大化問題對極大化問題，其標(biāo)準(zhǔn)適應(yīng)度函數(shù)可定義為其中，fmin(x)是原始適應(yīng)函數(shù)f(x)的一個下界。如果fmin(x)未知，則可用當(dāng)前代或到目前為止各演化代中的f(x)的最小值來代替。

5.3.2遺傳算法4.適應(yīng)度函數(shù)(3/4)53極大化問題5.3.2遺傳算法53(2)適應(yīng)度函數(shù)的加速變換在某些情況下，適應(yīng)度函數(shù)在極值附近的變化可能會非常小，以至于不同個體的適應(yīng)值非常接近，使得難以區(qū)分出哪個染色體更占優(yōu)勢。對此，最好能定義新的適應(yīng)度函數(shù)，使該適應(yīng)度函數(shù)既與問題的目標(biāo)函數(shù)具有相同的變化趨勢，又有更快的變化速度。適應(yīng)度函數(shù)的加速變換有兩種基本方法①線性加速適應(yīng)度函數(shù)的定義如下：

f’(x)=αf(x)+β其中，f(x)是加速轉(zhuǎn)換前的適應(yīng)度函數(shù)；f’(x)是加速轉(zhuǎn)換后的適應(yīng)度函數(shù)；α和β是轉(zhuǎn)換系數(shù)。②非線性加速冪函數(shù)變換方法

f’(x)=f(x)k指數(shù)變換方法

f’(x)=exp(-βf(x))5.3.2遺傳算法4.適應(yīng)度函數(shù)(4/4)54(2)適應(yīng)度函數(shù)的加速變換5.3.2遺傳算法54

遺傳算法中的基本遺傳操作包括選擇、交叉和變異3種，而每種操作又包括多種不同的方法，下面分別對它們進(jìn)行介紹。(1).選擇操作

選擇（Selection）操作是指根據(jù)選擇概率按某種策略從當(dāng)前種群中挑選出一定數(shù)目的個體，使它們能夠有更多的機(jī)會被遺傳到下一代中。常用的選擇策略可分為比例選擇、排序選擇和競技選擇三種類型。①比例選擇

比例選擇方法（ProportionalModel）的基本思想是：各個個體被選中的概率與其適應(yīng)度大小成正比。常用的比例選擇策略包括輪盤賭選擇繁殖池選擇5.3.2遺傳算法5.基本遺傳操作(1/11)55遺傳算法中的基本遺傳操作包括選擇、交叉和變異3種，而②輪盤賭選擇

輪盤賭選擇法又被稱為轉(zhuǎn)盤賭選擇法或輪盤選擇法。在這種方法中，個體被選中的概率取決于該個體的相對適應(yīng)度。而相對適應(yīng)度的定義為：其中，P(xi)是個體xi的相對適應(yīng)度，即個體xi被選中的概率；f(xi)是個體xi的原始適應(yīng)度；是種群的累加適應(yīng)度。輪盤賭選擇算法的基本思想是：根據(jù)每個個體的選擇概率P(xi)將一個圓盤分成N個扇區(qū)，其中第i個扇區(qū)的中心角為：并再設(shè)立一個固定指針。當(dāng)進(jìn)行選擇時，可以假想轉(zhuǎn)動圓盤，若圓盤靜止時指針指向第i個扇區(qū)，則選擇個體i。其物理意義如圖5-19所示。

5.3.2遺傳算法5.基本遺傳操作(2/11)56②輪盤賭選擇5.3.2遺傳算法56P(x1)P(x2)P(xN)……P(xi)2πp(xi)圖5-19輪盤賭選擇從統(tǒng)計角度看，個體的適應(yīng)度值越大，其對應(yīng)的扇區(qū)的面積越大，被選中的可能性也越大。這種方法有點類似于發(fā)放獎品使用的輪盤，并帶有某種賭博的意思，因此亦被稱為輪盤賭選擇。5.3.2遺傳算法5.基本遺傳操作(3/11)57P(x1)P(x2)P(xN)……P(xi)圖5-19輪盤

(2)交叉操作

交叉（Crossover）操作是指按照某種方式對選擇的父代個體的染色體的部分基因進(jìn)行交配重組，從而形成新的個體。交配重組是自然界中生物遺傳進(jìn)化的一個主要環(huán)節(jié)，也是遺傳算法中產(chǎn)生新的個體的最主要方法。根據(jù)個體編碼方法的不同，遺傳算法中的交叉操作可分為二進(jìn)制交叉和實值交叉兩種類型。①二進(jìn)制交叉

二進(jìn)制交叉（BinaryValuedCrossover）是指二進(jìn)制編碼情況下所采用的交叉操作，它主要包括單點交叉、兩點交叉、多點交叉和均勻交叉等方法。5.3.2遺傳算法5.基本遺傳操作(4/11)58(2)交叉操作5.3.2遺傳算法58單點交叉

單點交叉也稱簡單交叉，它是先在兩個父代個體的編碼串中隨機(jī)設(shè)定一個交叉點，然后對這兩個父代個體交叉點前面或后面部分的基因進(jìn)行交換，并生成子代中的兩個新的個體。假設(shè)兩個父代的個體串分別是：X=x1x2…xkxk+1…xnY=y1y2…ykyk+1…yn隨機(jī)選擇第k位為交叉點，若采用對交叉點后面的基因進(jìn)行交換的方法，但點交叉是將X中的xk+1到xn部分與Y中的yk+1到y(tǒng)n部分進(jìn)行交叉，交叉后生成的兩個新的個體是：X’=x1x2…xk

yk+1…yn

Y’=y1y2…yk

xk+1…xn

例5.7

設(shè)有兩個父代的個體串A=001101

和B=110010

，若隨機(jī)交叉點為4，則交叉后生成的兩個新的個體是：A’=001110

B’=110001

5.3.2遺傳算法5.基本遺傳操作(5/11)59單點交叉5.3.2遺傳算法59兩點交叉

兩點交叉是指先在兩個父代個體的編碼串中隨機(jī)設(shè)定兩個交叉點，然后再按這兩個交叉點進(jìn)行部分基因交換，生成子代中的兩個新的個體。假設(shè)兩個父代的個體串分別是：X=x1x2…xi…xj…xnY=y1y2…yi…yj…,yn隨機(jī)設(shè)定第i、j位為兩個交叉點（其中i<j<n），兩點交叉是將X中的xi+1到xj部分與Y中的yi+1到y(tǒng)j部分進(jìn)行交換，交叉后生成的兩個新的個體是：X’=x1x2…xi

yi+1…yjxj+1…xn

Y’=y1y2…yi

xi+1…xjyj+1…yn

例5.8

設(shè)有兩個父代的個體串A=001101和B=110010，若隨機(jī)交叉點為3和5，則交叉后的兩個新的個體是：A’=001011B’=1101005.3.2遺傳算法5.基本遺傳操作(6/11)60兩點交叉5.3.2遺傳算法60多點交叉多點交是指先隨機(jī)生成多個交叉點，然后再按這些交叉點分段地進(jìn)行部分基因交換，生成子代中的兩個新的個體。假設(shè)交叉點個數(shù)為m，則可將個體串劃分為m+1個分段，其劃分方法是：當(dāng)m為偶數(shù)時，對全部交叉點依次進(jìn)行兩兩配對，構(gòu)成m/2個交叉段。當(dāng)m為奇數(shù)時，對前(m-1)個交叉點依次進(jìn)行兩兩配對，構(gòu)成(m-1)/2個交叉段，而第m個交叉點則按單點交叉方法構(gòu)成一個交叉段。下面以m=3為例進(jìn)行討論。假設(shè)兩個父代的個體串分別是X=x1x2…xi…xj…xk…xn和Y=y1y2…yi…yj…yk…yn，隨機(jī)設(shè)定第i、j、k位為三個交叉點（其中i<j<k<n），則將構(gòu)成兩個交叉段。交叉后生成的兩個新的個體是：X’=x1x2…xiyi+1…yj

xj+1…xk

yk+1

…yn

Y’=y1y2…yi

xi+1…xjyj+1…yk

xk+1…xn

例5.9

設(shè)有兩個父代的個體串A=001101和B=110010，若隨機(jī)交叉點為1、3和5，則交叉后的兩個新的個體是：A’=010100

B’=101011

5.3.2遺傳算法5.基本遺傳操作(7/11)61多點交叉5.3.2遺傳算法61均勻交叉均勻交叉（UniformCrossover）是先隨機(jī)生成一個與父串具有相同長度，并被稱為交叉模版（或交叉掩碼）的二進(jìn)制串，然后再利用該模版對兩個父串進(jìn)行交叉，即將模版中1對應(yīng)的位進(jìn)行交換，而0對應(yīng)的位不交換，依此生成子代中的兩個新的個體。事實上，這種方法對父串中的每一位都是以相同的概率隨機(jī)進(jìn)行交叉的。例5.10

設(shè)有兩個父代的個體串A=001101和B=110010，若隨機(jī)生成的模版T=010011，則交叉后的兩個新的個體是A’=011010和B’=100101。即A：001101B：110010T：010011A’：01111

0

B’：10000

15.3.2遺傳算法5.基本遺傳操作(8/11)62均勻交叉5.3.2遺傳算法62

實值交叉實值交叉是在實數(shù)編碼情況下所采用的交叉操作，主要包括離散交叉和算術(shù)交叉，下面主要討論離散交叉（部分離散交叉和整體離散交叉）。部分離散交叉是先在兩個父代個體的編碼向量中隨機(jī)選擇一部分分量，然后對這部分分量進(jìn)行交換，生成子代中的兩個新的個體。整體交叉則是對兩個父代個體的編碼向量中的所有分量，都以1/2的概率進(jìn)行交換，從而生成子代中的兩個新的個體。以部分離散交叉為例，假設(shè)兩個父代個體的n維實向量分別是X=x1x2…xi…xk…xn和Y=y1y2…yi…yk…yn，若隨機(jī)選擇對第k個分量以后的所有分量進(jìn)行交換，則生成的兩個新的個體向量是：X’=x1x2…xk

yk+1…ynY’=y1y2…yk

xk+1…xn例5.11

設(shè)有兩個父代個體向量A=201619321826和B=362538122130，若隨機(jī)選擇對第3個分量以后的所有分量進(jìn)行交叉，則交叉后兩個新的個體向量是：A’=20161912

21

30B’=36253832

18

26

5.3.2遺傳算法5.基本遺傳操作(9/11)63實值交叉5.3.2遺傳算法63

(3)變異操作

變異（Mutation）是指對選中個體的染色體中的某些基因進(jìn)行變動，以形成新的個體。變異也是生物遺傳和自然進(jìn)化中的一種基本現(xiàn)象，它可增強(qiáng)種群的多樣性。遺傳算法中的變異操作增加了算法的局部隨機(jī)搜索能力，從而可以維持種群的多樣性。根據(jù)個體編碼方式的不同，變異操作可分為二進(jìn)制變異和實值變異兩種類型。①二進(jìn)制變異當(dāng)個體的染色體采用二進(jìn)制編碼表示時，其變異操作應(yīng)采用二進(jìn)制變異方法。該變異方法是先隨機(jī)地產(chǎn)生一個變異位，然后將該變異位置上的基因值由“0”變?yōu)椤?”，或由“1”變?yōu)椤?”，產(chǎn)生一個新的個體。例5.12設(shè)變異前的個體為A=001101，若隨機(jī)產(chǎn)生的變異位置是2，則該個體的第2位由“0”變?yōu)椤?”。變異后的新的個體是A’=011101。5.3.2遺傳算法5.基本遺傳操作(10/11)64(3)變異操作5.3.2遺傳算法64

②實值變異當(dāng)個體的染色體采用實數(shù)編碼表示時，其變異操作應(yīng)采用實值變異方法。該方法是用另外一個在規(guī)定范圍內(nèi)的隨機(jī)實數(shù)去替換原變異位置上的基因值，產(chǎn)生一個新的個體。最常用的實值變異操作有:基于位置的變異方法該方法是先隨機(jī)地產(chǎn)生兩個變異位置，然后將第二個變異位置上的基因移動到第一個變異位置的前面。例5.13

設(shè)選中的個體向量C=201619122130，若隨機(jī)產(chǎn)生的兩個變異位置分別時2和4，則變異后的新的個體向量是：C’=201216192130基于次序的變異該方法是先隨機(jī)地產(chǎn)生兩個變異位置，然后交換這兩個變異位置上的基因。例5.14

設(shè)選中的個體向量D=201216192130，若隨機(jī)產(chǎn)生的兩個變異位置分別時2和4，則變異后的新的個體向量是：D’=2019161221305.3.2遺傳算法5.基本遺傳操作(11/11)65②實值變異5.3.2遺傳算法65例5.15

用遺傳算法求函數(shù)

f(x)=x2的最大值，其中x為[0，31]間的整數(shù)。解：這個問題本身比較簡單，其最大值很顯然是在x=31處。但作為一個例子，它有著較好的示范性和可理解性。按照遺傳算法，其求解過程如下：(1)編碼

由于x的定義域是區(qū)間[0，31]上的整數(shù)，由5位二進(jìn)制數(shù)即可全部表示。因此，可采用二進(jìn)制編碼方法，其編碼串的長度為5。例如，用二進(jìn)制串00000來表示x=0,11111來表示x=31等。其中的0和1為基因值。

(2)生成初始種群

若假設(shè)給定的種群規(guī)模N=4，則可用4個隨機(jī)生成的長度為5的二進(jìn)制串作為初始種群。再假設(shè)隨機(jī)生成的初始種群（即第0代種群）為：

s01=01101s02=11001s03=01000s04=100105.3.2遺傳算法6.遺傳算法應(yīng)用簡例(1/10)66例5.15用遺傳算法求函數(shù)5.3.2遺傳算法66

(3)計算適應(yīng)度

要計算個體的適應(yīng)度，首先應(yīng)該定義適應(yīng)度函數(shù)。由于本例是求f(x)的最大值，因此可直接用f(x)來作為適應(yīng)度函數(shù)。即：

f(s)=f(x)其中的二進(jìn)制串s對應(yīng)著變量x的值。根據(jù)此函數(shù)，初始種群中各個個體的適應(yīng)值及其所占比例如表5-5所示。表5-5初始種群情況表可以看出，在4個個體中S03的適應(yīng)值最大，是當(dāng)前最佳個體。編號個體串（染色體）x適應(yīng)值百分比%累計百分比%選中次數(shù)S01011011316914.4414.441S02110012562552.8867.182S03010008645.4172.590S04100101832427.4110015.3.2遺傳算法6.遺傳算法應(yīng)用簡例(2/10)67(3)計算適應(yīng)度編號個體串（染色體）x適應(yīng)值百分(4)選擇操作

假設(shè)采用輪盤賭方式選擇個體，且依次生成的4個隨機(jī)數(shù)（相當(dāng)于輪盤上指針?biāo)傅臄?shù)）為0.85、0.32、0.12和0.46，經(jīng)選擇后得到的新的種群為：

S01=10010S02=11001S03=01101S04=11001其中，染色體11001在種群中出現(xiàn)了2次，而原染色體01000則因適應(yīng)值太小而被淘汰5.3.2遺傳算法6.遺傳算法應(yīng)用簡例(3/10)68(4)選擇操作5.3.2遺傳算法68(5)交叉

假設(shè)交叉概率Pi為50%，則種群中只有1/2的染色體參與交叉。若規(guī)定種群中的染色體按順序兩兩配對交叉，且有S01與S02交叉，S03與S04不交叉，則交叉情況如表5-6所示。表5-6初始種群的交叉情況表可見，經(jīng)交叉后得到的新的種群為：S01=10001S02=11010S03=01101S04=11001編號個體串（染色體）交叉對象交叉位子代適應(yīng)值S0110010S02310001289S0211001S01311010676S0301101S04N01101169S0411001S03N110016255.3.2遺傳算法6.遺傳算法應(yīng)用簡例(4/10)69(5)交叉編號個體串（染色體）交叉對象交叉位子(6)變異

變異概率Pm一般都很小，假設(shè)本次循環(huán)中沒有發(fā)生變異，則變異前的種群即為進(jìn)化后所得到的第1代種群。即：

S11=10001S12=11010S13=01101S14=11001然后，對第1代種群重復(fù)上述(4)-(6)的操作

5.3.2遺傳算法6.遺傳算法應(yīng)用簡例(5/10)70(6)變異5.3.2遺傳算法70對第1代種群，同樣重復(fù)上述(4)-(6)的操作。其選擇情況如表5-7所示。表5-7第1代種群的選擇情況表

其中若假設(shè)按輪盤賭選擇時依次生成的4個隨機(jī)數(shù)為0.14、0.51、0.24和0.82，經(jīng)選擇后得到的新的種群為：S11=10001S12=11010S13=11010S14=11001可以看出，染色體11010被選擇了2次，而原染色體01101則因適應(yīng)值太小而被淘汰。

編號個體串（染色體）x適應(yīng)值百分比%累計百分比%選中次數(shù)S11100012728916.4316.4371S12110102667638.4354.862S1301101131699.6164.470S14110012562535.5310015.3.2遺傳算法6.遺傳算法應(yīng)用簡例(6/10)71對第1代種群，同樣重復(fù)上述(4)-(6)的操作。其選擇情況如對第1代種群，其交叉情況如表5-8所示。表5-8第1代種群的交叉情況表可見，經(jīng)雜交后得到的新的種群為：S11=10010S12=11001S13=11001S14=11010可以看出，第3位基因均為0，已經(jīng)不可能通過交配達(dá)到最優(yōu)解。這種過早陷入局部最優(yōu)解的現(xiàn)象稱為早熟。為解決這一問題，需要采用變異操作。編號個體串（染色體）交叉對象交叉位子代適應(yīng)值S1110001S12310010324S1211010S11311001625S13110101411001S132110106755.3.2遺傳算法6.遺傳算法應(yīng)用簡例(7/10)72對第1代種群，其交叉情況如表5-8所示。編號個體串（對第1代種群，其變異情況如表5-9所示。表5-9第1代種群的變異情況表它是通過對S14的第3位的變異來實現(xiàn)的。變異后所得到的第2代種群為：S21=10010S22=11001S23=11001S24=11110接著，再對第2代種群同樣重復(fù)上述(4)-(6)的操作：

編號個體串（染色體）是否變異變異位子代適應(yīng)值S1110010N10010324S1211001N11001625S1311001N11001625S1411010Y3111109005.3.2遺傳算法6.遺傳算法應(yīng)用簡例(8/10)73對第1代種群，其變異情況如表5-9所示。編號個體串（對第2代種群，同樣重復(fù)上述(4)-(6)的操作。其選擇情況如表5-10所示。表5-10第2代種群的選擇情況表

其中若假設(shè)按輪盤賭選擇時依次生成的4個隨機(jī)數(shù)為0.42、0.15、0.59和0.91，經(jīng)選擇后得到的新的種群為：S21=11001S22=10010S23=11001S24=11110編號個體串（染色體）x適應(yīng)值百分比%累計百分比%選中次數(shù)S211001018324