智能計(jì)算概述

課程性質(zhì)與考評(píng)教學(xué)方式：課堂講授+專題討論考試方式：

1）平時(shí)

2）課程研究論文智能計(jì)算概述第1頁本課程主要內(nèi)容第一部分：計(jì)算智能概述第二部分：群智能(蟻群算法和粒子群算法)第三部分：進(jìn)化化計(jì)算(進(jìn)化計(jì)算:遺傳算法(GeneticAlgorithms)、遺傳規(guī)劃（GeneticProgramming）、進(jìn)化策略(EvolutionStrategies)和進(jìn)化規(guī)劃(EvolutionProgramming)第四部分：神經(jīng)網(wǎng)絡(luò)智能計(jì)算概述第2頁定義：當(dāng)前還沒有一個(gè)統(tǒng)一定義，計(jì)算智能是在神經(jīng)網(wǎng)絡(luò)（NeuralNetworks,NN）、演化計(jì)算（EvolutionaryComputation,EC）及含糊系統(tǒng)（FuzzySystem,FS）這3個(gè)領(lǐng)域發(fā)展相對(duì)成熟基礎(chǔ)上形成一個(gè)統(tǒng)一學(xué)科概念。計(jì)算智能是以生物進(jìn)化觀點(diǎn)認(rèn)識(shí)和模擬智能。按照這一觀點(diǎn)，智能是在生物遺傳、變異、生長(zhǎng)以及外部環(huán)境自然選擇中產(chǎn)生。在用進(jìn)廢退、優(yōu)勝劣汰過程中，適應(yīng)度高（頭腦）結(jié)構(gòu)被保留下來，智能水平也隨之提升。所以說計(jì)算智能就是基于結(jié)構(gòu)演化智能。計(jì)算智能(ComputationalIntelligenceCI)智能計(jì)算概述第3頁計(jì)算智能主要方法有些人工神經(jīng)網(wǎng)絡(luò)、遺傳算法、遺傳程序、演化程序、局部搜索、模擬退火等等。這些方法含有以下共同要素：自適應(yīng)結(jié)構(gòu)、隨機(jī)產(chǎn)生或指定初始狀態(tài)、適應(yīng)度評(píng)測(cè)函數(shù)、修改結(jié)構(gòu)操作、系統(tǒng)狀態(tài)存放器、終止計(jì)算條件、指示結(jié)果方法、控制過程參數(shù)。計(jì)算智能這些方法含有自學(xué)習(xí)、自組織、自適應(yīng)特征和簡(jiǎn)單、通用、魯棒性強(qiáng)、適于并行處理優(yōu)點(diǎn)。在并行搜索、聯(lián)想記憶、模式識(shí)別、知識(shí)自動(dòng)獲取等方面得到了廣泛應(yīng)用。基于“從大自然中獲取智慧”理念，經(jīng)過人們對(duì)自然界獨(dú)特規(guī)律認(rèn)知，提取出適合獲取知識(shí)一套計(jì)算工具?？倎碚f，經(jīng)過自適應(yīng)學(xué)習(xí)特征，這些算法到達(dá)了全局優(yōu)化目標(biāo)。智能計(jì)算概述第4頁計(jì)算智能產(chǎn)生與發(fā)展1992年，貝慈德克在《ApproximateReasoning》學(xué)報(bào)上首次提出了“計(jì)算智能”概念。1994年6月底到7月初，IEEE在美國佛羅里達(dá)州奧蘭多市召開了首屆國際計(jì)算智能大會(huì)(簡(jiǎn)稱WCCI’94)。會(huì)議第一次將神經(jīng)網(wǎng)絡(luò)、演化計(jì)算和含糊系統(tǒng)這三個(gè)領(lǐng)域合并在一起，形成了“計(jì)算智能”這個(gè)統(tǒng)一學(xué)科范圍。在此之后，WCCI大會(huì)就成了IEEE一個(gè)系列性學(xué)術(shù)會(huì)議，每4年舉行一次。1998年5月，在美國阿拉斯加州安克雷奇市又召開了第2屆計(jì)算智能國際會(huì)議WCCI’98。5月，在美國州夏威夷州首府火奴魯魯市又召了第3屆計(jì)算智能國際會(huì)議WCCI’02。.07.06在北京召開。另外，IEEE還出版了一些與計(jì)算智能相關(guān)刊物。當(dāng)前，計(jì)算智能發(fā)展得到了國內(nèi)外眾多學(xué)術(shù)組織和研究機(jī)構(gòu)高度重視，并已成為智能科學(xué)技術(shù)一個(gè)主要研究領(lǐng)域。智能計(jì)算概述第5頁基礎(chǔ)：模型、算法、試驗(yàn)?zāi)Ｐ停?/p>

符號(hào)系統(tǒng)及其上操作，是三元組(數(shù)據(jù)集，操作，規(guī)則)CI研究對(duì)象是含有以下特征數(shù)學(xué)模型

符合模型嚴(yán)格定義而又非常詳細(xì)

兼有生物學(xué)背景知識(shí)

描述某一智能行為計(jì)算智能研究方法智能計(jì)算概述第6頁基礎(chǔ)：模型、算法、試驗(yàn)算法：

以計(jì)算理論、計(jì)算技術(shù)和計(jì)算工具研究對(duì)象模型關(guān)鍵特征：含有計(jì)算功效算法，普通應(yīng)含有數(shù)值結(jié)構(gòu)性、迭代性、收斂性、穩(wěn)定性和實(shí)效性

數(shù)值結(jié)構(gòu)性：解是由數(shù)值量結(jié)構(gòu)

迭代性：計(jì)算公式上表現(xiàn)為遞推，理論上表現(xiàn)為動(dòng)力學(xué)性質(zhì)，算法實(shí)現(xiàn)上表現(xiàn)為循環(huán)

收斂性：算法結(jié)束于穩(wěn)定結(jié)果上

穩(wěn)定性：初始誤差在迭代過程中能夠得到控制

實(shí)效性：在有限存放空間和有效運(yùn)算時(shí)間內(nèi)得到有意義計(jì)算結(jié)論計(jì)算智能研究方法智能計(jì)算概述第7頁基礎(chǔ)：模型、算法、試驗(yàn)試驗(yàn)：

程序設(shè)計(jì)是試驗(yàn)關(guān)鍵問題

數(shù)學(xué)算法：面向問題，數(shù)據(jù)在于表示

程序算法：面向計(jì)算機(jī)，數(shù)據(jù)在于存放

程序設(shè)計(jì)方法：

面向過程程序設(shè)計(jì)方法(Procedure-Oriented,C)面向?qū)ο蟪绦蛟O(shè)計(jì)方法(Object-Oriented，C++)面向目標(biāo)程序設(shè)計(jì)方法(Goal-Oriented,Matlab)計(jì)算智能（CI）研究方法智能計(jì)算概述第8頁智能計(jì)算演化計(jì)算（EvolutionaryComputation,EC）

GA（GeneticAlgorithm）為代表

群智能(粒子群優(yōu)化方法)

神經(jīng)網(wǎng)絡(luò)計(jì)算

含糊計(jì)算智能計(jì)算概述第9頁演化計(jì)算演化計(jì)算概念：（EvolutionaryComputation,EC）是在達(dá)爾文（Darwin）進(jìn)化論和孟德爾（Mendel）遺傳變異理論基礎(chǔ)上產(chǎn)生一個(gè)在基因和種群層次上模擬自然界生物進(jìn)化過程與機(jī)制，進(jìn)行問題求解自組織、自適應(yīng)隨機(jī)搜索技術(shù)。它以達(dá)爾文進(jìn)化論“物竟天擇、適者生存”作為算法進(jìn)化規(guī)則，并結(jié)合孟德爾遺傳變異理論，將生物進(jìn)化過程中繁殖、變異、競(jìng)爭(zhēng)和選擇引入到了算法中，是一個(gè)對(duì)人類智能演化模擬方法。演化計(jì)算主要分支：遺傳算法、演化策略、演化規(guī)劃和遺傳規(guī)劃四大分支。其中，遺傳算法是演化計(jì)算中最初形成一個(gè)含有普遍影響模擬演化優(yōu)化算法。遺傳算法基本思想：(美國密執(zhí)安大學(xué)霍蘭德教授1962提出)是使用模擬生物和人類進(jìn)化方法來求解復(fù)雜問題。它從初始種群出發(fā)，采取優(yōu)勝略汰、適者生存自然法則選擇個(gè)體，并經(jīng)過雜交、變異產(chǎn)生新一代種群，如此逐代進(jìn)化，直到滿足目標(biāo)為止。智能計(jì)算概述第10頁

(2)演化計(jì)算生物學(xué)基礎(chǔ)

自然界生物進(jìn)化過程是演化計(jì)算生物學(xué)基礎(chǔ)，它主要包含遺傳（Heredity）、變異（Mutation）和演化（Evolution）理論。

①遺傳理論所謂遺傳是指父代（或親代）利用遺傳基因?qū)⒈旧砘蛐畔鬟f給下一代（或子代），使子代能夠繼承其父代特征或性狀這種生命現(xiàn)象。正是因?yàn)檫z傳作用，人們才能“種瓜得瓜，種豆得豆”，自然界才能有穩(wěn)定物種。子代特征有染色體（Chromosome）來表現(xiàn)，染色體又由遺傳基因組成。②變異理論

變異是指子代和父代之間，以及子代各個(gè)不一樣個(gè)體之間產(chǎn)生差異現(xiàn)象。變異是生物進(jìn)化過程中發(fā)生一個(gè)隨機(jī)現(xiàn)象，它是一個(gè)不可逆過程。變異在生物多樣性方面含有不可替換作用，其選擇和積累是生物多樣性根源。③進(jìn)化論遺傳和變異是生物進(jìn)化兩種基本現(xiàn)象，優(yōu)勝劣汰、適者生存是生物進(jìn)化基本規(guī)律。經(jīng)過達(dá)爾文自然選擇（NaturalSelection）學(xué)說物種將逐步向適應(yīng)于生存環(huán)境方向進(jìn)化，甚至?xí)葑兂蔀榱硪粋€(gè)新物種，而那些不適應(yīng)于環(huán)境物種將會(huì)逐步被淘汰。智能計(jì)算概述第11頁

3.演化計(jì)算基本結(jié)構(gòu)

演化計(jì)算盡管有多個(gè)主要分支，而且不一樣分支編碼方案、選擇策略和演化操作也有可能不一樣，但它們卻有著共同演化框架。若假設(shè)P為種群(Population，或稱為群體)，t為演化代數(shù)，P(t)為第t代種群,則演化計(jì)算基本結(jié)構(gòu)可粗略描述以下：{

確定編碼形式并生成搜索空間；初始化各個(gè)演化參數(shù)，并設(shè)置演化代數(shù)t=0；初始化種群P(0);

對(duì)初始種群進(jìn)行評(píng)價(jià)（即適應(yīng)度計(jì)算）；

while（不滿足終止條件）do{t=t+1;

利用選擇操作從P(t-1)代中選出P(t)代群體；對(duì)P(t)代種群執(zhí)行演化操作；對(duì)執(zhí)行完演化操作后種群進(jìn)行評(píng)價(jià)（即適應(yīng)度計(jì)算）；

}}

能夠看出，上述基本結(jié)構(gòu)包含了生物演化中所必需選擇操作、演化操作和適應(yīng)度評(píng)價(jià)等過程。智能計(jì)算概述第12頁遺傳算法遺傳算法（GeneticAlgorithm）模擬達(dá)爾文遺傳選擇和自然淘汰生物進(jìn)化過程組成：個(gè)體與群體、適應(yīng)值函數(shù)、遺傳操作、終止條件特點(diǎn)：隱含并行性、過程性、非確定性、群體性、內(nèi)在學(xué)習(xí)、統(tǒng)計(jì)性、穩(wěn)健性、整體優(yōu)化

智能計(jì)算概述第13頁神經(jīng)計(jì)算

神經(jīng)計(jì)算是以人工神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)一個(gè)計(jì)算智能方法。它。它是計(jì)算智能主要基礎(chǔ)和關(guān)鍵，也是計(jì)算智能乃至智能科學(xué)技術(shù)一個(gè)主要研究領(lǐng)域。

生物神經(jīng)系統(tǒng)是人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)。人工神經(jīng)網(wǎng)絡(luò)是對(duì)人腦神經(jīng)系統(tǒng)簡(jiǎn)化、抽象和模擬，含有些人腦功效許多基本特征。

智能計(jì)算概述第14頁(1)生物神經(jīng)元結(jié)構(gòu)神經(jīng)末梢突觸軸突樹突細(xì)胞核細(xì)胞體它由細(xì)胞體(Soma)、軸突(Axon)和樹突(Dendrite)三個(gè)主要部分組成

細(xì)胞體由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜等組成，其直徑大約為0.5--100μm，大小不等。細(xì)胞體是神經(jīng)元主體，用于處理由樹突接收其它神經(jīng)元傳來信號(hào),其內(nèi)部是細(xì)胞核，外部是細(xì)胞膜，細(xì)胞膜外面是許多向外延伸出纖維。

智能計(jì)算概述第15頁

軸突是由細(xì)胞體向外延伸出全部纖維中最長(zhǎng)一條分枝，用來向外傳遞神經(jīng)元產(chǎn)生輸出電信號(hào)。每個(gè)神經(jīng)元都有一條軸突，其最大長(zhǎng)度可達(dá)1m以上。在軸突末端形成了許多很細(xì)分枝，這些分支叫神經(jīng)末梢。每一條神經(jīng)末梢能夠與其它神經(jīng)元形成功效性接觸，該接觸部位稱為突觸。所謂功效性接觸，是指非永久性接觸，這正是神經(jīng)元之間傳遞信息奧秘之處。

樹突是指由細(xì)胞體向外延伸除軸突以外其它全部分支。樹突長(zhǎng)度普通較短，但數(shù)量很多，它是神經(jīng)元輸入端，用于接收從其它神經(jīng)元突觸傳來信號(hào)。智能計(jì)算概述第16頁(2)生物神經(jīng)元功效

依據(jù)神經(jīng)生理學(xué)研究，生物神經(jīng)元2個(gè)主要功效是:神經(jīng)元興奮與抑制，神經(jīng)元內(nèi)神經(jīng)沖動(dòng)傳導(dǎo)。

①神經(jīng)元抑制與興奮

抑制狀態(tài)是指神經(jīng)元在沒有產(chǎn)生沖動(dòng)時(shí)工作狀態(tài)。興奮狀態(tài)是指神經(jīng)元產(chǎn)生沖動(dòng)時(shí)工作狀態(tài)。通常情況下，神經(jīng)元膜電位約為-70毫伏，膜內(nèi)為負(fù)，膜外為正，處于抑制狀態(tài)。當(dāng)神經(jīng)元受到外部刺激時(shí)，其膜電位隨之發(fā)生改變，即膜內(nèi)電位上升、膜外電位下降，當(dāng)膜內(nèi)外電位差大于閾值電位（約40毫伏）時(shí)，神經(jīng)元產(chǎn)生沖動(dòng)而進(jìn)入興奮狀態(tài)。

說明:神經(jīng)元每次沖動(dòng)連續(xù)時(shí)間大約1毫秒左右，在此期間即使刺激強(qiáng)度再增加也不會(huì)引發(fā)沖動(dòng)強(qiáng)度增加。神經(jīng)元每次沖動(dòng)結(jié)束后，都會(huì)重新回到抑制狀態(tài)。假如神經(jīng)元受到刺激作用不能使細(xì)胞膜內(nèi)外電位差大于閾值電位，則神經(jīng)元不會(huì)產(chǎn)生沖動(dòng)，將仍處于抑制狀態(tài)。

②神經(jīng)元內(nèi)神經(jīng)沖動(dòng)傳導(dǎo)

神經(jīng)沖動(dòng)在神經(jīng)元內(nèi)傳導(dǎo)是一個(gè)電傳導(dǎo)過程，神經(jīng)沖動(dòng)沿神經(jīng)纖維傳導(dǎo)速度卻在3.2---320km/s之間，且其傳導(dǎo)速度與纖維粗細(xì)、髓鞘有沒有有一定關(guān)系。普通來說，有髓鞘纖維傳導(dǎo)速度較快，而無髓鞘纖維傳導(dǎo)速度較慢。智能計(jì)算概述第17頁人工神經(jīng)網(wǎng)絡(luò)工作原理神經(jīng)一個(gè)非常主要功效是它們對(duì)能量接收并不是馬上作出響應(yīng)，而是將它們累加起來，當(dāng)這個(gè)累加總和到達(dá)某個(gè)臨界閾值時(shí)，它們將它們自己那部分能量發(fā)送給其它神經(jīng)。大腦經(jīng)過調(diào)整這些連結(jié)數(shù)目和強(qiáng)度進(jìn)行學(xué)習(xí)。盡管這是個(gè)生物行為簡(jiǎn)化描述。但一樣能夠充分有力地被看作是神經(jīng)網(wǎng)絡(luò)模型。智能計(jì)算概述第18頁人工神經(jīng)網(wǎng)絡(luò)工作原理人工神經(jīng)網(wǎng)絡(luò)就是模擬人思維第二種方式。這是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，其特色在于信息分布式存放和并行協(xié)同處理。即使單個(gè)神經(jīng)元結(jié)構(gòu)極其簡(jiǎn)單，功效有限，但大量神經(jīng)元組成網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)行為卻是極其豐富多彩。

智能計(jì)算概述第19頁人工神經(jīng)網(wǎng)絡(luò)工作原理人工神經(jīng)網(wǎng)絡(luò)首先要以一定學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作?，F(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對(duì)手寫“A”、“B”兩個(gè)字母識(shí)別為例進(jìn)行說明，要求當(dāng)“A”輸入網(wǎng)絡(luò)時(shí)，應(yīng)該輸出“1”，而當(dāng)輸入為“B”時(shí)，輸出為“0”。

網(wǎng)絡(luò)學(xué)習(xí)準(zhǔn)則應(yīng)該是：假如網(wǎng)絡(luò)作犯錯(cuò)誤判決，則經(jīng)過網(wǎng)絡(luò)學(xué)習(xí)，應(yīng)使得網(wǎng)絡(luò)降低下次犯一樣錯(cuò)誤可能性。

智能計(jì)算概述第20頁人工神經(jīng)網(wǎng)絡(luò)工作原理

首先，給網(wǎng)絡(luò)各連接權(quán)值賦予(0，1)區(qū)間內(nèi)隨機(jī)值，將“A”所對(duì)應(yīng)圖象模式輸入給網(wǎng)絡(luò)，網(wǎng)絡(luò)將輸入模式加權(quán)求和、與門限比較、再進(jìn)行非線性運(yùn)算，得到網(wǎng)絡(luò)輸出。在此情況下，網(wǎng)絡(luò)輸出為“1”和“0”概率各為50%，也就是說是完全隨機(jī)。這時(shí)假如輸出為“1”(結(jié)果正確)，則使連接權(quán)值增大，方便使網(wǎng)絡(luò)再次碰到“A”模式輸入時(shí)，依然能作出正確判斷。智能計(jì)算概述第21頁人工神經(jīng)網(wǎng)絡(luò)工作原理假如輸出為“0”(即結(jié)果錯(cuò)誤)，則把網(wǎng)絡(luò)連接權(quán)值朝著減小綜合輸入加權(quán)值方向調(diào)整，其目標(biāo)在于使網(wǎng)絡(luò)下次再碰到“A”模式輸入時(shí)，減小犯一樣錯(cuò)誤可能性。如此操作調(diào)整，當(dāng)給網(wǎng)絡(luò)輪番輸入若干個(gè)手寫字母“A”、“B”后，經(jīng)過網(wǎng)絡(luò)按以上學(xué)習(xí)方法進(jìn)行若干次學(xué)習(xí)后，網(wǎng)絡(luò)判斷正確率將大大提升。這說明網(wǎng)絡(luò)對(duì)這兩個(gè)模式學(xué)習(xí)已經(jīng)取得了成功，它已將這兩個(gè)模式分布地記憶在網(wǎng)絡(luò)各個(gè)連接權(quán)值上。當(dāng)網(wǎng)絡(luò)再次碰到其中任何一個(gè)模式時(shí)，能夠作出快速、準(zhǔn)確判斷和識(shí)別。普通說來，網(wǎng)絡(luò)中所含神經(jīng)元個(gè)數(shù)越多，則它能記憶、識(shí)別模式也就越多。智能計(jì)算概述第22頁神經(jīng)計(jì)算特點(diǎn)

（1）能夠充分迫近任意復(fù)雜非線性關(guān)系

（2）全部定量或定性信息都等勢(shì)分布貯存于網(wǎng)絡(luò)內(nèi)各神經(jīng)元，故有很強(qiáng)魯棒性和容錯(cuò)性

（3）采取并行分布處理方法，使得快速進(jìn)行大量運(yùn)算成為可能

（4）可學(xué)習(xí)和自適應(yīng)不知道或不確定系統(tǒng)

（5）能夠同時(shí)處理定量、定性知識(shí)。智能計(jì)算概述第23頁神經(jīng)計(jì)算

40年代心理學(xué)家Mcculloch和數(shù)學(xué)家Pitts合作提出興奮與抑制型神經(jīng)元模型和Hebb提出神經(jīng)元連接強(qiáng)度修改規(guī)則，他們研究結(jié)果至今仍是許多神經(jīng)網(wǎng)絡(luò)模型研究基礎(chǔ)。智能計(jì)算概述第24頁人工神經(jīng)元結(jié)構(gòu)θ…x1x2xnw1w2wny人工神經(jīng)元是對(duì)生物神經(jīng)元抽象與模擬下列圖是一個(gè)MP神經(jīng)元模型

1943年，心理學(xué)家麥克洛奇(W.McMulloch)和數(shù)理邏輯學(xué)家皮茨(W.Pitts)依據(jù)生物神經(jīng)元功效和結(jié)構(gòu)，提出了一個(gè)將神經(jīng)元看作二進(jìn)制閾值元件簡(jiǎn)單模型，即MP模型。圖中x1,x2,…,xn表示某一神經(jīng)元n個(gè)輸入；wi表示第i個(gè)輸入連接強(qiáng)度，稱為連接權(quán)值；θ為神經(jīng)元閾值；y為神經(jīng)元輸出?？梢?，人工神經(jīng)元是一個(gè)含有多輸入，單輸出非線性器件。其輸入為其輸出為其中，f稱為神經(jīng)元功效函數(shù)或作用函數(shù)。智能計(jì)算概述第25頁慣用人工神經(jīng)元模型依據(jù)功效函數(shù)不一樣，可得到不一樣神經(jīng)元模型。慣用模型包含：閾值型(Threshold)σf(σ)1

這種模型神經(jīng)元沒有內(nèi)部狀態(tài)，作用函數(shù)f是一個(gè)階躍函數(shù)，他表示激活值σ和輸出之間關(guān)系。

這是一個(gè)連續(xù)神經(jīng)元模型，其輸入輸出特征慣用指數(shù)、對(duì)數(shù)或雙曲正切等S型函數(shù)表示。它反應(yīng)是神經(jīng)元飽和特征.分段線性強(qiáng)飽和型(LinearSaturation)S型(Sibmoid)子閾累積型(SubthresholdSummation)

也是一個(gè)非線性函數(shù)，當(dāng)產(chǎn)生激活值超出T值時(shí)，該神經(jīng)元被激活產(chǎn)生個(gè)反響。在線性范圍內(nèi)，系統(tǒng)反響是線性。T1

這種模型又稱為偽線性，其輸入/輸出之間在一定范圍內(nèi)滿足線性關(guān)系，一直延續(xù)到輸出為最大值1為止。但當(dāng)?shù)竭_(dá)最大值后，輸出就不再增。智能計(jì)算概述第26頁人工神經(jīng)網(wǎng)絡(luò)互聯(lián)結(jié)構(gòu)

人工神經(jīng)網(wǎng)絡(luò)互連結(jié)構(gòu)（或稱拓?fù)浣Y(jié)構(gòu)）是指單個(gè)神經(jīng)元之間連接模式，它是結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)，也是神經(jīng)網(wǎng)絡(luò)誘發(fā)偏差主要起源。從互連結(jié)構(gòu)角度：前饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)單層前饋網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)單層反饋網(wǎng)絡(luò)多層反饋網(wǎng)絡(luò)僅含輸入層和輸出層，且只有輸出層神經(jīng)元是可計(jì)算節(jié)點(diǎn)

除擁有輸入、輸出層外，還最少含有一個(gè)、或更多個(gè)隱含層前向網(wǎng)絡(luò)指不擁有隱含層反饋網(wǎng)絡(luò)指擁有隱含層反饋網(wǎng)絡(luò)可含有反饋聯(lián)結(jié)只包含前向聯(lián)結(jié)

智能計(jì)算概述第27頁

包含單層前饋網(wǎng)絡(luò)和多層前饋網(wǎng)絡(luò)。單層前饋網(wǎng)絡(luò)是指那種只擁有單層計(jì)算節(jié)點(diǎn)前向網(wǎng)絡(luò)。它僅含有輸入層和輸出層，且只有輸出層神經(jīng)元是可計(jì)算節(jié)點(diǎn)，以下列圖所表示

其中，輸入向量為X=(x1,x2,…,xn)；輸出向量為Y=(y1,y2,…,ym)；輸入層各個(gè)輸入到對(duì)應(yīng)神經(jīng)元連接權(quán)值分別是wij，i=1,2,..,n，j=1,2,..,m?！瓁1X2X3xny1Y2ym權(quán)值wij輸出層輸入層圖8單層前饋網(wǎng)絡(luò)結(jié)構(gòu)前饋人工神經(jīng)網(wǎng)絡(luò)互聯(lián)結(jié)構(gòu)智能計(jì)算概述第28頁單層感知器結(jié)構(gòu)以下列圖…x1x2xn…y1ym輸入層輸出層權(quán)值

wij輸入向量為X=(x1,x2,…,xn)；輸出向量為Y=(y1,y2,…,ym)；輸入層各個(gè)輸入到對(duì)應(yīng)神經(jīng)元連接權(quán)值分別是wij，i=1,2,..,n，j=1,2,..,m。若假設(shè)各神經(jīng)元閾值分別是θj，j=1,2,…,m，則各神經(jīng)元輸出yj,j=1,2,..,m分別為

其中，由全部連接權(quán)值wji組成連接權(quán)值矩陣W為：

在實(shí)際應(yīng)用中，該矩陣是經(jīng)過大量訓(xùn)練示例學(xué)習(xí)而形成智能計(jì)算概述第29頁x11y=x1

XORx2x1X2x121-1111-1輸入層隱層輸出層權(quán)值權(quán)值“異或”問題多層感知器閾值0.5閾值-1.5閾值1.5(0,1)(0,0)(1,0)異或問題處理(1,1)

在圖14中，隱層神經(jīng)元x11所確定直線方程為

它能夠識(shí)別一個(gè)半平面。隱層神經(jīng)元x12所確定直線方程為它也能夠識(shí)別一個(gè)半平面。輸出層神經(jīng)元所確定直線方程為

它相當(dāng)于對(duì)隱層神經(jīng)元x11和x12輸出作“邏輯與”運(yùn)算，所以可識(shí)別由隱層已識(shí)別兩個(gè)半平面交集所組成一個(gè)凸多邊形，如圖15所表示。

智能計(jì)算概述第30頁

誤差反向傳輸(ErrorBackPropagation)網(wǎng)絡(luò)通常簡(jiǎn)稱為BP(BackPropagation)網(wǎng)絡(luò)，是由美國加州大學(xué)魯梅爾哈特和麥克萊蘭在研究并行分布式信息處理方法，探索人類認(rèn)知微結(jié)構(gòu)過程中，于1985年提出一個(gè)網(wǎng)絡(luò)模型。

BP網(wǎng)絡(luò)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是多層前向網(wǎng)絡(luò)，如圖16所表示。在BP網(wǎng)絡(luò)中，同層節(jié)點(diǎn)之間不存在相互連接，層與層之間多采取全互連方式，且各層連接權(quán)值可調(diào)。BP網(wǎng)絡(luò)實(shí)現(xiàn)了明斯基多層網(wǎng)絡(luò)構(gòu)想，是當(dāng)今神經(jīng)網(wǎng)絡(luò)模型中使用最廣泛一個(gè)。y1y2ymx1x2xn輸出層隱含層輸入層權(quán)可調(diào)權(quán)可調(diào)………一個(gè)多層BP網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)經(jīng)典模型——BP網(wǎng)絡(luò)模型智能計(jì)算概述第31頁離散Hopfield網(wǎng)絡(luò)結(jié)構(gòu)ymY2Y1x1……x2xn輸入層輸出層

在Hopfidld網(wǎng)絡(luò)中，即使神經(jīng)元本身無連接，但因?yàn)槊總€(gè)神經(jīng)元都與其它神經(jīng)元相連，即每個(gè)神經(jīng)元輸出都將經(jīng)過突觸連接權(quán)值傳遞給別神經(jīng)元，同時(shí)每個(gè)神經(jīng)元又都接收其它神經(jīng)元傳來信息，這么對(duì)每個(gè)神經(jīng)元來說，其輸出經(jīng)過其它神經(jīng)元后又有可能反饋給自己，所以Hopfidld網(wǎng)絡(luò)是一個(gè)反饋神經(jīng)網(wǎng)絡(luò)。智能計(jì)算概述第32頁蟻群算法概述受螞蟻覓食行為啟發(fā)，90年代Dorigo提出蟻群優(yōu)化算法(Ant

Colony

Optimization，ACO)求解TSP問題設(shè)計(jì)虛擬“螞蟻”，探索不一樣路線，并留下會(huì)隨時(shí)間揮發(fā)虛擬“信息素”依據(jù)“信息素較濃，則路徑更短”標(biāo)準(zhǔn)，每只螞蟻每次隨機(jī)選擇要走路徑，但傾向于信息素比較濃路徑算法利用了正反饋機(jī)制，使得較短路徑能夠有較大機(jī)會(huì)得到選擇

ACO已成功用于處理其它組合優(yōu)化問題

圖著色(Graph

Coloring)問題最短超串(Shortest

Common

Supersequence)問題網(wǎng)絡(luò)路由問題智能計(jì)算概述第33頁蟻群覓食原理ABCD蟻穴食物螞蟻從蟻穴出發(fā)覓食，可沿AC找到食物，也可沿ABC找到，如右圖。每個(gè)螞蟻找到食物后沿原路返回，并在路上留下外激素。AC路徑短，AC上留下了兩次外激素，而ABC路徑長(zhǎng)，沿CBA返回螞蟻，還只到了D處，故AD上只留下一次外激素。后續(xù)離穴覓食者選擇外激素濃度大AC路徑，于是AC上外激素濃度將越來越大，最終，絕大多數(shù)螞蟻沿較短AC路徑覓食。智能計(jì)算概述第34頁蟻群算法初始化，設(shè)置時(shí)間計(jì)數(shù)器，循環(huán)計(jì)數(shù)器，為每條邊設(shè)置信息素濃度初始值初始化tabu表

tabu表滿？按概率將某一個(gè)螞蟻從第i個(gè)城市移動(dòng)到第j個(gè)城市，并將j插入其tabu表封閉回路，分別計(jì)算每個(gè)螞蟻?zhàn)哌^總長(zhǎng)度，統(tǒng)計(jì)最短路徑，計(jì)算信息素濃度改變量到達(dá)最大循環(huán)次數(shù)或不發(fā)展?fàn)顟B(tài)？輸出結(jié)果是否是否智能計(jì)算概述第35頁粒子群優(yōu)化自然界中有許多現(xiàn)象令人驚奇，鳥群優(yōu)美而協(xié)調(diào)運(yùn)動(dòng)便其中之一。鳥群排列看起來似乎是隨機(jī)，其實(shí)它們有著類似于人類同時(shí)性，這種同時(shí)性使得鳥群整體運(yùn)動(dòng)非常流暢，具有舞蹈美感?？茖W(xué)家曾對(duì)鳥群運(yùn)動(dòng)進(jìn)行了計(jì)算機(jī)仿真，他們讓每個(gè)個(gè)體按照特定規(guī)則運(yùn)動(dòng)，形成鳥群整體復(fù)雜行為。生物社會(huì)學(xué)家E.O.Wilson曾說過，“最少從理論上，在搜索食物過程中群體中個(gè)體組員能夠得益于全部其他組員發(fā)覺和先前經(jīng)歷。當(dāng)食物源不可預(yù)測(cè)地零星分布時(shí)，這種群體協(xié)作帶來優(yōu)勢(shì)是決定性，遠(yuǎn)大于對(duì)食物競(jìng)爭(zhēng)帶來劣勢(shì)。”。這說明，群體中個(gè)體之間信息共享受助于群體生存和進(jìn)化。智能計(jì)算概述第36頁粒子群優(yōu)化粒子群優(yōu)化算法是一個(gè)基于群智能全局隨機(jī)優(yōu)化算法，它用無質(zhì)量、無體積粒子作為個(gè)體，并為每個(gè)粒子制訂簡(jiǎn)單行為規(guī)則，從而使整個(gè)粒子群表現(xiàn)出復(fù)雜特征，可用來求解復(fù)雜優(yōu)化問題。