第4章 計算智能1

第4章計算智能2023/2/31《人工智能》信息科學與生命科學的相互交叉、相互滲透和相互促進是現(xiàn)代科學技術發(fā)展的一個顯著特點。計算智能涉及神經(jīng)網(wǎng)絡、模糊邏輯、進化計算和人工生命等領域，它的研究和發(fā)展正反映了當代科學技術多學科交叉與集成的重要發(fā)展趨勢。什么是計算智能

把神經(jīng)網(wǎng)絡（NN）歸類于人工智能（AI）可能不大合適，而歸類于計算智能（CI）更能說明問題實質(zhì)。進化計算、人工生命和模糊邏輯系統(tǒng)的某些課題，也都歸類于計算智能。第一個對計算智能的定義是由貝茲德克（Bezdek）于1992年提出的。他認為，計算智能取決于制造者提供的數(shù)值數(shù)據(jù)，不依賴于知識；另一方面，人工智能應用知識精品。人工神經(jīng)網(wǎng)絡應當稱為計算神經(jīng)網(wǎng)絡。2023/2/32《人工智能》

盡管計算智能與人工智能的界限并非十分明顯，然而討論它們的區(qū)別和關系是有益的。貝茲德克對這些相關術語給予一定的符號和簡要說明或定義。他給出有趣的ABC：

A－Artificial，表示人工的（非生物的），即人造的

B－Biological，表示物理的＋化學的＋(??)＝生物的

C－Computational，表示數(shù)學＋計算機下圖表示ABC及其與神經(jīng)網(wǎng)絡（NN）、模式識別（PR）和智能（I）之間的關系。

計算智能與人工智能的區(qū)別和關系2023/2/33《人工智能》

計算智能是一種智力方式的低層認知，它與人工智能的區(qū)別只是認知層次從中層下降至低層而已。中層系統(tǒng)含有知識（精品），低層系統(tǒng)則沒有。ClassicalArtificialIntelligenceComputationalIntelligenceObjectKnowledgeDataMethodRigorousProbability2023/2/34《人工智能》當一個系統(tǒng)只涉及數(shù)值（低層）數(shù)據(jù)，含有模式識別部分，不應用人工智能意義上的知識，而且能夠呈現(xiàn)出：（1）計算適應性；（2）計算容錯性；（3）接近人的速度；（4）誤差率與人相近，則該系統(tǒng)就是計算智能系統(tǒng)。

當一個智能計算系統(tǒng)以非數(shù)值方式加上知識（精品）值，即成為人工智能系統(tǒng)。2023/2/35《人工智能》ComputationalIntelligenceDarwinPrincipleCollectiveBehavior

ofSociety

Neural

NetworkEvolutionary

ComputationFuzzy

SystemOthersGenetic

AlgorithmEvolutionary

StrategyEvolutionaryprogrammingGenetic

ProgrammingParticleSwarmAntArtificialSystem2023/2/36《人工智能》4.1神經(jīng)計算4.2模糊計算4.3粗糙集理論4.4進化計算4.5粒子群優(yōu)化4.6蟻群算法本章主要內(nèi)容：2023/2/37《人工智能》4.1

神經(jīng)計算在廣義上，神經(jīng)網(wǎng)絡可以泛指生物神經(jīng)網(wǎng)絡，也可以指人工神經(jīng)網(wǎng)絡。所謂人工神經(jīng)網(wǎng)絡（ArtificialNeuralNetwork）是指模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，運用大量的處理部件，由人工方式建立起來的網(wǎng)絡系統(tǒng)。人腦是ANN的原型，ANN是對人腦神經(jīng)系統(tǒng)的模擬。在人工智能領域中，在不引起混淆的情況下，神經(jīng)網(wǎng)絡一般都指的是ANN。2023/2/38《人工智能》4.1.1人工神經(jīng)網(wǎng)絡研究的進展萌芽期（20世紀40年代）1943年，心理學家McCulloch和數(shù)學家Pitts建立起了著名的閾值加權(quán)和模型，簡稱為M-P模型。發(fā)表于數(shù)學生物物理學會刊《BulletinofMethematicalBiophysics》。1949年，心理學家D.O.Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說——Hebb學習律。第一高潮期（1950~1968）以MarvinMinsky，F(xiàn)rankRosenblatt，BernardWidrow等為代表人物，代表作是單級感知器（Perceptron）?？捎秒娮泳€路模擬。人們樂觀地認為幾乎已經(jīng)找到了智能的關鍵。許多部門都開始大批地投入此項研究，希望盡快占領制高點。反思期（1969~1982）“異或”運算不可表示。二十世紀70年代和80年代早期的研究結(jié)果。認識規(guī)律：認識——實踐——再認識2023/2/39《人工智能》4.1.1人工神經(jīng)網(wǎng)絡研究的進展（2）

第二高潮期（1983~1990）1）1982年，J.Hopfield提出循環(huán)網(wǎng)絡。–用Lyapunov函數(shù)作為網(wǎng)絡性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)–闡明了ANN與動力學的關系–用非線性動力學的方法來研究ANN的特性–指出信息被存放在網(wǎng)絡中神經(jīng)元的聯(lián)接上2）1984年，J.Hopfield設計研制了后來被人們稱為Hopfield網(wǎng)的電路。較好地解決了著名的TSP問題，找到了最佳解的近似解，引起了較大的轟動。3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡中引入了隨機機制，提出所謂的Boltzmann機。2023/2/310《人工智能》4）1986年，并行分布處理小組的Rumelhart等研究者重新獨立地提出多層網(wǎng)絡的學習算法——BP算法，較好地解決了多層網(wǎng)絡的學習問題。（Paker1982和Werbos1974年）。國內(nèi)首屆神經(jīng)網(wǎng)絡大會是1990年12月在北京舉行的。再認識與應用（1991~）存在問題：應用面還不夠?qū)捊Y(jié)果不夠精確存在可信度的問題對策：開發(fā)現(xiàn)有模型的應用，并在應用中根據(jù)實際運行情況對模型、算法加以改造，以提高網(wǎng)絡的訓練速度和運行的準確度。充分發(fā)揮兩種技術各自的優(yōu)勢是一個有效方法。希望在理論上尋找新的突破，建立新的專用/通用模型和算法。進一步對生物神經(jīng)系統(tǒng)進行研究，不斷地豐富對人腦的認識。4.1.1人工神經(jīng)網(wǎng)絡研究的進展（3）

2023/2/311《人工智能》人工神經(jīng)網(wǎng)絡的特點

具有大規(guī)模并行協(xié)同處理能力。每一個神經(jīng)元的功能和結(jié)構(gòu)都很簡單，但是由大量神經(jīng)元構(gòu)成的整體卻具有很強的處理能力。具有較強的容錯能力和聯(lián)想能力。單個神經(jīng)元或者連接對網(wǎng)絡整體功能的影響都比較微小。在神經(jīng)網(wǎng)絡中，信息的存儲與處理是合二為一的。信息的分布存提供容錯功能–由于信息被分布存放在幾乎整個網(wǎng)絡中。所以當其中的某一個點或者某幾個點被破壞時信息仍然可以被存取。具有較強的學習能力。神經(jīng)網(wǎng)絡的學習可分為有教師學習與無教師學習兩類。由于其運算的不精確性，表現(xiàn)成“去噪音、容殘缺”的能力，利用這種不精確性，比較自然地實現(xiàn)模式的自動分類。具有很強的普化（Generalization）能力與抽象能力。是大規(guī)模自組織、自適應的非線性動力系統(tǒng)。具有一般非線性動力系統(tǒng)的共性，即不可預測性、耗散性、高維性、不可逆性、廣泛連接性和自適應性等等。2023/2/312《人工智能》物理符號系統(tǒng)和人工神經(jīng)網(wǎng)絡系統(tǒng)的差別項目物理符號系統(tǒng)人工神經(jīng)網(wǎng)絡處理方式邏輯運算模擬運算執(zhí)行方式串行并行動作離散連續(xù)存儲局部集中全局分布2023/2/313《人工智能》4.1.2人工神經(jīng)網(wǎng)的結(jié)構(gòu)

1、神經(jīng)元及其特性

神經(jīng)網(wǎng)絡的結(jié)構(gòu)是由基本處理單元及其互連方法決定的。

如圖所示，神經(jīng)元單元由多個輸入xi，i=1,2,...,n和一個輸出y組成。中間狀態(tài)由輸入信號的權(quán)和表示，而輸出為：

wjnwj1：：yjjx1xn

f(_)式中，j為神經(jīng)元單元的偏置（閾值），wji為連接權(quán)系數(shù)（對于激發(fā)狀態(tài)，取正值，對于抑制狀態(tài)，取負值），n為輸入信號數(shù)目，yj為神經(jīng)元輸出，t為時間，f(＿)為輸出變換函數(shù)。

2023/2/314《人工智能》函數(shù)

f(_)表達了神經(jīng)元的輸入輸出特性。

往往采用0和1二值函數(shù)或Ｓ形函數(shù)。一種二值函數(shù)可由下式表示：其圖像如圖所示。如果把閾值θi看作為一個特殊的權(quán)值，則可改寫為:其中，w0i＝-θi，x0＝12023/2/315《人工智能》

為用連續(xù)型的函數(shù)表達神經(jīng)元的非線性變換能力，常采用s型函數(shù)，如下圖所示。其中，第一個函數(shù)為常規(guī)的s型函數(shù)，其輸出均為正值；第二個函數(shù)為雙曲正切函數(shù)，其輸出值可為正或負。2023/2/316《人工智能》2、人工神經(jīng)網(wǎng)絡的基本特性和結(jié)構(gòu)

人工神經(jīng)網(wǎng)絡由神經(jīng)元模型構(gòu)成；這種由許多神經(jīng)元組成的信息處理網(wǎng)絡具有并行分布結(jié)構(gòu)。每個神經(jīng)元具有單一輸出，并且能夠與其它神經(jīng)元連接；存在許多（多重）輸出連接方法，每種連接方法對應一個連接權(quán)系數(shù)。嚴格地說，人工神經(jīng)網(wǎng)絡是一種具有下列特性的有向圖：

(1)對于每個節(jié)點i存在一個狀態(tài)變量；

(2)從節(jié)點j至節(jié)點i，存在一個連接權(quán)系統(tǒng)數(shù)；

(3)對于每個節(jié)點i，存在一個閾值i；

(4)對于每個節(jié)點i，定義一個變換函數(shù)fi；對于最一般的情況，此函數(shù)的形式為：2023/2/317《人工智能》

人工神經(jīng)網(wǎng)絡的結(jié)構(gòu)基本上分為兩類：遞歸（反饋）網(wǎng)絡和前饋網(wǎng)絡。（１）遞歸網(wǎng)絡

在遞歸網(wǎng)絡中，多個神經(jīng)元互連以組織一個互連神經(jīng)網(wǎng)絡，如圖所示。有些神經(jīng)元的輸出被反饋至同層或前層神經(jīng)元。因此，信號能夠從正向和反向流通。Hopfield網(wǎng)絡，Elmman網(wǎng)絡和Jordan網(wǎng)絡是遞歸網(wǎng)絡有代表性的例子。遞歸網(wǎng)絡又叫做反饋網(wǎng)絡。2023/2/318《人工智能》

圖中，實線指明實際信號流通而虛線表示反向傳播。前饋網(wǎng)絡例子有多層感知器(MLP)、學習矢量量化(LVQ)網(wǎng)絡、小腦模型聯(lián)接控制(CMAC)網(wǎng)絡和數(shù)據(jù)處理方法(GMDH)網(wǎng)絡等。

（2）前饋網(wǎng)絡

前饋網(wǎng)絡具有遞階分層結(jié)構(gòu)，由一些同層神經(jīng)元間不存在互連的層級組成。從輸入層至輸出層的信號通過單向連接流通；神經(jīng)元從一層連接至下一層，不存在同層神經(jīng)元間的連接，如圖所示。

2023/2/319《人工智能》3、人工神經(jīng)網(wǎng)絡的主要學習算法

神經(jīng)網(wǎng)絡主要通過指導式（有師）學習算法和非指導式（無師）學習算法。此外，還存在第三種學習算法，即強化學習算法；可把它看做有師學習的一種特例。

（1）有師學習

有師學習算法能夠根據(jù)期望的和實際的網(wǎng)絡輸出（對應于給定輸入）間的差來調(diào)整神經(jīng)元間連接的強度或權(quán)。因此，有師學習需要有個老師或?qū)焷硖峁┢谕蚰繕溯敵鲂盘?。有師學習算法的例子包括Delta規(guī)則、廣義Delta規(guī)則或反向傳播算法以及LVQ算法等。2023/2/320《人工智能》（２）無師學習無師學習算法不需要知道期望輸出。在訓練過程中，只要向神經(jīng)網(wǎng)絡提供輸入模式，神經(jīng)網(wǎng)絡就能夠自動地適應連接權(quán)，以便按相似特征把輸入模式分組聚集。無師學習算法的例子包括Kohonen算法和Carpenter-Grossberg自適應諧振理論（ART)等。

（３）強化學習如前所述，強化（增強）學習是有師學習的特例。它不需要老師給出目標輸出。強化學習算法采用一個“評論員”來評價與給定輸入相對應的神經(jīng)網(wǎng)絡輸出的優(yōu)度（質(zhì)量因數(shù)）。強化學習算法的一個例子是遺傳算法（GA）。2023/2/321《人工智能》4.1.3人工神經(jīng)網(wǎng)的典型模型及其算法

迄今為止，已經(jīng)開發(fā)和應用了30多種人工神經(jīng)網(wǎng)絡模型。在這里，我們對一些典型網(wǎng)絡模型及其算法進行介紹。1、反向傳播(BP)模型2、Hopfield網(wǎng)絡3、自適應共振理論(ART)模型2023/2/322《人工智能》

1、反向傳播(BP)模型

網(wǎng)絡拓撲結(jié)構(gòu)輸入層隱藏層輸出層2023/2/323《人工智能》輸入向量、輸出向量的維數(shù)、網(wǎng)絡隱藏層的層數(shù)和各個隱藏層神經(jīng)元的個數(shù)的決定了網(wǎng)絡拓撲增加隱藏層的層數(shù)和隱藏層神經(jīng)元個數(shù)不一定總能夠提高網(wǎng)絡精度和表達能力。BP網(wǎng)一般都選用二級（3層）網(wǎng)絡。因為可以證明如果BP網(wǎng)絡中隱層單元可以根據(jù)需要自由設定，那么一個三層網(wǎng)絡可以實現(xiàn)以任意精度近似任意連續(xù)函數(shù)。網(wǎng)絡的構(gòu)成

神經(jīng)元的網(wǎng)絡輸入：

neti=x1w1i+x2w2i+…+xnwni神經(jīng)元的輸出（s型函數(shù)）：

O=f(net)=1/(1+exp(-net))

f’(net)=exp(-net)/(1+exp(-net))2=O-O2=O(1-O)2023/2/324《人工智能》BP算法基本思想樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}逐一根據(jù)樣本集中的樣本(Xk,Yk)計算出實際輸出Ok及其誤差E1，然后對各層神經(jīng)元的權(quán)值W(1)，W(2)，…，W(L)各做一次調(diào)整，重復這個循環(huán)，直到∑Ep<ε（所有樣本的誤差之和）。用輸出層的誤差調(diào)整輸出層權(quán)矩陣，并用此誤差估計輸出層的直接前導層的誤差，再用輸出層前導層誤差估計更前一層的誤差。如此獲得所有其它各層的誤差估計，并用這些估計實現(xiàn)對權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程。2023/2/325《人工智能》BP算法訓練過程概述樣本：(輸入向量，理想輸出向量)權(quán)初始化：“小隨機數(shù)”與飽和狀態(tài)；“不同”的權(quán)值保證網(wǎng)絡可以學。1、向前傳播階段：（1）從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網(wǎng)絡；（2）計算相應的實際輸出Op：Op=FL(…(F2(F1(XpW(1))W(2))…)W(L))2、向后傳播階段——誤差傳播階段：（1）計算實際輸出Op與相應的理想輸出Yp的差；（2）按極小化誤差的方式調(diào)整權(quán)矩陣。（3）網(wǎng)絡關于第p個樣本的誤差測度：（4）網(wǎng)絡關于整個樣本集的誤差測度：2023/2/326《人工智能》輸出層權(quán)的調(diào)整其中，是學習因子。BP算法應用的不是基本的δ學習，而是一種擴展的δ學習規(guī)則。但是對于所有的δ學習規(guī)則而言，某神經(jīng)元的權(quán)值修正量都正比于該神經(jīng)元的輸出誤差和輸入。BP算法輸出層對誤差調(diào)整為f’(net)(y-o)。ANpANqwpqwpq第L-1層第L層2023/2/327《人工智能》隱藏層權(quán)的調(diào)整ANhANpANqANmAN1……whppk-1wpqqk1kwp1wpmqm第k-2層第k-1層第k層2023/2/328《人工智能》隱藏層權(quán)的調(diào)整δpk-1的值和δ1k，δ2k，…，δmk有關。不妨認為δpk-1：

通過權(quán)wp1對δ1k做出貢獻，通過權(quán)wp2對δ2k做出貢獻，……通過權(quán)wpm對δmk做出貢獻。2023/2/329《人工智能》BP算法中學習規(guī)則的理論推導該算法中δ學習規(guī)則的實質(zhì)是利用梯度最速下降法，使權(quán)值沿誤差函數(shù)的負梯度方向改變。誤差測度方法：用理想輸出與實際輸出的方差作為相應的誤差測度：2023/2/330《人工智能》最速下降法(1)最速下降法，要求E的極小點，取EwijEwij2023/2/331《人工智能》最速下降法(2)其中，為學習率。2023/2/332《人工智能》輸出層若ANj為一個輸出層神經(jīng)元，則有：Oj=f(netj)容易得到：故輸出層按下列公式修改權(quán)值：2023/2/333《人工智能》隱藏層(1)由于Oj對于E的作用是通過下一層的各節(jié)點的輸入/輸出體現(xiàn)的，所以可應用連鎖法來計算：O1ANH1OH1ANjOjANHnOHnAN1net1ANkOkNetkANnOnnetn…………wijANiOi隱藏層2023/2/334《人工智能》隱藏層(2)2023/2/335《人工智能》隱藏層(3)故隱藏層按下列公式修改權(quán)值：2023/2/336《人工智能》BP算法中的幾個問題(1)收斂速度問題收斂速度很慢，其訓練需要很多步迭代。局部極小點問題逃離/避開局部極小點：修改W的初值并不是總有效。逃離——統(tǒng)計方法；[Wasserman，1986]將Cauchy訓練與BP算法結(jié)合起來，可以在保證訓練速度不被降低的情況下，找到全局極小點。網(wǎng)絡癱瘓問題在訓練中，權(quán)可能變得很大，這會使神經(jīng)元的網(wǎng)絡輸入變得很大，從而又使得其激活函數(shù)的導函數(shù)在此點上的取值很小。根據(jù)相應式子，此時的訓練步長會變得非常小，進而將導致訓練速度降得非常低，最終導致網(wǎng)絡停止收斂。2023/2/337《人工智能》BP算法中的幾個問題(2)穩(wěn)定性問題用修改量的綜合實施權(quán)的修改連續(xù)變化的環(huán)境，它將變成無效的步長問題BP網(wǎng)絡的收斂是基于無窮小的權(quán)修改量步長太小，收斂就非常慢步長太大，可能會導致網(wǎng)絡的癱瘓和不穩(wěn)定自適應步長，使得權(quán)修改量能隨著網(wǎng)絡的訓練而不斷變化。[1988年，Wasserman]網(wǎng)絡隱層中神經(jīng)元數(shù)目及層數(shù)的選取尚無理論直到，一般憑借經(jīng)驗選取。2023/2/338《人工智能》

2、Hopfield網(wǎng)絡

前面我們討論了BP網(wǎng)絡。BP網(wǎng)絡是一類典型的前饋網(wǎng)絡。其它前饋網(wǎng)絡有感知器(Perception)、自適應線性網(wǎng)絡和交替投影網(wǎng)絡等。前饋網(wǎng)絡是一種具有很強學習能力的系統(tǒng)，結(jié)構(gòu)比較簡單，且易于編程。前饋網(wǎng)絡通過簡單非線性單元的復合映射而獲得較強的非線性處理能力，實現(xiàn)靜態(tài)非線性映射。不過，前饋網(wǎng)絡缺乏動態(tài)處理能力，因而計算能力不夠強。還有一類人工神經(jīng)網(wǎng)絡，即反饋神經(jīng)網(wǎng)絡，它是一種動態(tài)反饋系統(tǒng)，比前饋網(wǎng)絡具有更強的計算能力。反向網(wǎng)絡可用一個完備的無向圖表示。本節(jié)將以霍普菲爾德(Hopfield)網(wǎng)絡為例，研究反饋神經(jīng)網(wǎng)絡的模型算法和學習示例。2023/2/339《人工智能》Hopfield網(wǎng)絡模型

Hopfield離散隨機神經(jīng)網(wǎng)絡模型是由J.J.Hopfield于1982年提出的。1984年，他又提出連續(xù)時間神經(jīng)網(wǎng)絡模型。這兩種模型的許多重要特性是密切相關的。這個模型具有完全對稱的部件間連接。網(wǎng)絡狀態(tài)用稱為“能量函數(shù)”的量來定義，網(wǎng)絡的遷移過程能夠解釋為能量級小化過程。Hopfield首先將能量函數(shù)的概念引入神經(jīng)網(wǎng)絡，將神經(jīng)網(wǎng)絡的拓撲結(jié)構(gòu)與所要解決的問題對應起來，并將之轉(zhuǎn)化成神經(jīng)網(wǎng)絡動力學系統(tǒng)的演化問題，開辟了解決優(yōu)化等問題的新途徑。他將神經(jīng)網(wǎng)絡與RC有源電路相對應，便于VLSI實現(xiàn)，具有很大前景。

2023/2/340《人工智能》y1y2yn-1yn12n-1n...x1x2xn-1xn

Hopfield網(wǎng)絡一般只有一個神經(jīng)元層次，每個神經(jīng)元的輸出都與其它神經(jīng)元的輸入相連，是一種單層全反饋網(wǎng)絡。如圖所示。

Hopfield網(wǎng)絡中神經(jīng)元之間的權(quán)值一般是對稱的。但每個神經(jīng)元都沒有到自身的聯(lián)接。神經(jīng)元i和神經(jīng)元j之間相互連接的權(quán)值相等，即wij=wji。因此此時，網(wǎng)絡一定能夠收斂到一個穩(wěn)定值。否則，則網(wǎng)絡可能會不穩(wěn)定，無法收斂。2023/2/341《人工智能》離散Hopfield網(wǎng)絡每個單元均有一個狀態(tài)值，它取兩個可能值之一。設在某一個時刻t，神經(jīng)元i的狀態(tài)為Ui(t)，則在t+1時刻的狀態(tài)為：其中，wij為神經(jīng)元i何j之間的連接權(quán)值，i為第i個神經(jīng)元的閾值。2023/2/342《人工智能》離散Hopfield網(wǎng)絡有兩種工作方式：

(1)異步工作方式：在某一時刻，只有一個神經(jīng)元進行演化，其余神經(jīng)元的輸出保持不變。

(2)同步工作方式：在任何時刻，所有的神經(jīng)元同時按照上式演化。Hopfield是一個非線性動力系統(tǒng)，其穩(wěn)定性是一個很重要的問題。當網(wǎng)絡處于穩(wěn)定點時，每個神經(jīng)元的輸出滿足：

Ui(t+1)=Ui(t)。Hopfield提出，如果把神經(jīng)網(wǎng)絡的各平衡點設想為存儲于該網(wǎng)絡的信息，而且網(wǎng)絡的收斂性保證系統(tǒng)的動態(tài)特性隨時間而達到穩(wěn)定，那么這種網(wǎng)絡就成為按內(nèi)容定址的存儲器或稱為聯(lián)想存儲器。2023/2/343《人工智能》Hopfield網(wǎng)絡算法

(1)設置互聯(lián)權(quán)值

(2)對未知類別的采樣初始化

式中，xsi為S類采樣的第i個分量，可為+1或-1；采樣類別數(shù)為m，節(jié)點數(shù)為n。

yi(0)=xi

式中，yi(t)為節(jié)點i在時刻t的輸出；當t=0時，yi(0)就是節(jié)點i的初始值，xi為輸入采樣的第i個分量，也可為+1或-1。(3)迭代運算(4)重復迭代

直至每個輸出單元不變?yōu)橹梗碪j(t+1)=Uj(t)2023/2/344《人工智能》Hopfield網(wǎng)絡算法

2023/2/345《人工智能》

3、自適應共振理論(ART)模型（1）適用于平穩(wěn)的、靜態(tài)的環(huán)境?？腕w、客體間的各種關系以及觀察矢量的各種統(tǒng)計特征一般不會隨時間而變化。（2）神經(jīng)網(wǎng)絡的學習是在教師指導下的有監(jiān)督學習。學習狀態(tài)與工作狀態(tài)是截然分開的，不能邊學習邊工作。（3）學習方式不會適應客體的變化。誤差準則也是固定的，不能隨著環(huán)境的變化而相應調(diào)整或改變。（4）有可能陷入誤差局部極小點，造成錯誤結(jié)果。前饋型與反饋型人工神經(jīng)網(wǎng)絡已經(jīng)得到了廣泛應用。但是它們與人腦工作特點還有很多區(qū)別，表現(xiàn)出一些缺點。

人腦的學習方式是自主的，可以在無教師指導下自學，具有自組織特點，具有彈性和可塑性，并且人對外界的輸入信號作出響應時，既通過“由底向上”

，又通過“由頂向下”

的方式。2023/2/346《人工智能》自適應共振理論(AdaptiveResonanceTheory)就是一種更接近于人腦工作特點的自組織ANN模型。自適應共振理論ART(AdaptiveResonanceTheory)模型是美國Boston大學的S．Grossberg和A．Carpenet在1976年提出的。ART目前已經(jīng)發(fā)展了三代。第一代ART1是針對二進制信號的。第二代ART2是針對任意模擬信號的。第三代ART3兼容了前兩代的功能，還將兩層神經(jīng)網(wǎng)絡擴大為任意多層神經(jīng)網(wǎng)絡并且在神經(jīng)元的運行模型中納入了人神經(jīng)元生物電化學反應的機制。ART模型的基本學習方式是競爭學習機制。2023/2/347《人工智能》競爭學習與競爭網(wǎng)絡

競爭學習的基本思想：只有競爭獲勝的單元進行權(quán)值修正，其它單元不動。當獲勝單元的輸入狀態(tài)為1，相應的權(quán)值增加；當相連輸入單元狀態(tài)為0，相應權(quán)值減小。學習過程中，權(quán)值越來越接近于相應的輸入狀態(tài)。競爭網(wǎng)絡的結(jié)構(gòu)如圖所示2023/2/348《人工智能》在競爭網(wǎng)絡中，令tjk為節(jié)點j與節(jié)點k之間的側(cè)抑制連接權(quán)：時間t＋1時各節(jié)點的輸出狀態(tài)與時間t時的輸出關系為：其中，然后獲勝單元的權(quán)值進行調(diào)整：wij(t+1)=wij(t)+η(sj(t)-wij(t))其中η是學習因子，取一個小正數(shù)。S(t)表示經(jīng)過規(guī)格化以后的輸入向量X(t)。調(diào)整的結(jié)果就是使權(quán)值向量趨向于S(t)。

后學習到的記憶內(nèi)容可能會沖掉原有的學習記憶內(nèi)容，從而導致一些錯誤。所以簡單的競爭學習機制不能保證記憶有足夠的牢固性。2023/2/349《人工智能》ART模型

為了解決已有記憶被沖掉的矛盾，ART網(wǎng)絡在競爭學習機制的基礎上又加上了由頂向下的自穩(wěn)定機制。2023/2/350《人工智能》ART工作原理

（1）競爭選擇的原理不變。輸出向量的各個分量中只有一項為1，其余各項為0。（2）對學習算法調(diào)整。首先由輸出向量Y(t)產(chǎn)生一個自頂向下向量Z(t)：

其中w’是自頂向下的權(quán)重。然后比較Z(t)與規(guī)格化輸入向量S(t)，計算其相似度θ。根據(jù)θ值的不同情況分別作如下處理：①如果兩個向量相似度很高，即θ值接近于1，則轉(zhuǎn)入第（3）步。②如果兩個向量相似度不夠高，即θ值小于某個閾值，那么就要屏棄掉本次競爭的優(yōu)勝者yj，再由其余單元中選出一個優(yōu)勝者，即返回第（1）步。2023/2/351《人工智能》（3）調(diào)整優(yōu)勝者的權(quán)值。權(quán)值調(diào)整如下，假設優(yōu)勝端為L，

上述算法只有當新輸入向量與已存入記憶中的某個老向量足夠相似時，兩者才能相互融合，即對相關權(quán)重進行調(diào)整，從而使長期記憶得以改變。這造成一種自適應諧振狀態(tài)。這就是ART的名稱來源。③如果K個輸出端都搜遍了還不能滿足相似性，則需要增加一個輸出端，作為一個新類別。然后轉(zhuǎn)入第（3）步。2023/2/352《人工智能》ART網(wǎng)絡的特點學習和工作是分不開的。學習是自治和自組織的，學習過程無需教師指導，是一種無監(jiān)督(unsupervised)學習。學習過程受自頂向下的模式向量指導，因此可以形成“集中注意”的狀態(tài)，即可以有選擇地學習，把注意力集中于某些特定的內(nèi)容。權(quán)重的修正只涉及少數(shù)部分，比前饋網(wǎng)絡有更高的學習效率。后者需要調(diào)整所有權(quán)值?？梢酝耆苊庀萑刖植繕O小點的問題。2023/2/353《人工智能》4.2

模糊計算4.2.1模糊邏輯

模糊邏輯是建立在模糊集合理論基礎上的，并以此建立了模糊邏輯推理。已經(jīng)提出了Zadeh法，Baldwin法、Tsukamoto法、Yager法和Mizumoto法等方法，在此僅介紹Zadeh的推理方法。自從Zadeh在近似推理中引入復合推理規(guī)則以來，已經(jīng)提出了多種模糊變量的隱含函數(shù)，它們基本上可以分為三類，即模糊合取、模糊析取和模糊蘊含。以合取、析取和蘊含定義為基礎，利用三角范式和三角協(xié)范式，能夠產(chǎn)生模糊推理中常用的蘊涵關系。

2023/2/354《人工智能》交xy=min(x,y)代數(shù)積xy=xy有界積xy=max{0,x+y-1}并xy=max(x,y)代數(shù)和x+y=x+y-xy有界和xy=min{1,x+y}三角范式用于定義近似推理中的合取，三角協(xié)范式用于定義近似推理中的析取。一個模糊規(guī)則IFxisATHENyisB，用隱含函數(shù)表示為：AB其中，A和B分別為U和V上的模糊集合，其隸屬函數(shù)分別為A和B，可給出下列三個定義。三角范式三角協(xié)范式2023/2/355《人工智能》定義（模糊合?。τ谒衭U，vV

，模糊合取為：式中，為三角范式的一個算子。定義（模糊析?。τ谒衭U，vV

，模糊析取為：式中，為三角協(xié)范式的一個算子。2023/2/356《人工智能》定義（模糊蘊含）由AB所表示的模糊蘊含是定義在UV上的一個特殊的模糊關系，其關系及隸屬函數(shù)為：(1)模糊合取(2)模糊析取(3)模糊蘊含(4)命題演算(5)假言推理(6)拒取式推理2023/2/357《人工智能》4.2.2模糊判決方法

在推理得到的模糊集合中取一個相對最能代表這個模糊集合的單值的過程就稱作解模糊或模糊判決。模糊判決可以采用不同的方法：重心法、最大隸屬度方法、加權(quán)平均法、隸屬度限幅元素平均法。下面介紹各種模糊判決方法，并以“水溫適中”為例，說明不同方法的計算過程。

假設“水溫適中”的隸書函數(shù)為：

N(xi)=0.33/20+0.67/30+1.0/40+1.0/50+0.75/60+0.5/70+0.25/802023/2/358《人工智能》

所謂重心法就是取模糊隸屬函數(shù)曲線與橫坐標軸圍成面積的重心作為代表點。理論上應該計算輸出范圍內(nèi)一系列連續(xù)點的重心，即1、重心法

如：對于“水溫適中”的例子，可求得：

u=(200.33+300.67+400.1+500.1+600.75+700.5+800.25)/(0.33+0.67+0.1+0.1+0.75+0.5+0.25)=48.22023/2/359《人工智能》

這種方法最簡單，只要在推理結(jié)論的模糊集合中取隸屬度最大的那個元素作為輸出量即可。不過，要求這種情況下其隸屬函數(shù)曲線一定是正規(guī)凸模糊集合（即其曲線只能是單峰曲線）。如果該曲線是梯形平頂?shù)?，那么具有最大隸屬度的元素就可能不止一個，這時就要對所有取最大隸屬度的元素求其平均值。舉例：對于“水溫適中”，按最大隸屬度原則，有兩個元素40和50具有最大隸屬度1.0，那就要對所有取最大隸屬度的元素40和50求平均值，執(zhí)行量應?。?/p>

umax=(40+50)/2=452、最大隸屬度法2023/2/360《人工智能》

系數(shù)加權(quán)平均法的輸出執(zhí)行量由下式?jīng)Q定

：3、加權(quán)系數(shù)法

式中，系數(shù)ki的選擇要根據(jù)實際情況而定，不同的系統(tǒng)就決定系統(tǒng)有不同的響應特性。當該系數(shù)選擇ki=N(xi)時，即取其隸屬函數(shù)時，這就是重心法。在模糊邏輯控制中，可以通過選擇和調(diào)整該系數(shù)來改善系統(tǒng)的響應特性。4、隸屬度限幅元素平均法用所確定的隸屬度值α對隸屬度函數(shù)曲線進行切割，再對切割后等于該隸屬度的所有元素進行平均，用這個平均值作為輸出執(zhí)行量，這種方法就稱為隸屬度限幅元素平均法。2023/2/361《人工智能》4.2.3模糊邏輯與神經(jīng)網(wǎng)絡的集成

模糊邏輯和神經(jīng)網(wǎng)絡已在理論和應用方面得到獨立發(fā)展，然而近年來，人們把注意力集中到模糊邏輯與神經(jīng)網(wǎng)絡的集成上，以期克服各自的缺點。為此我們對模糊系統(tǒng)和神經(jīng)網(wǎng)絡系統(tǒng)進行比較。技術模糊系統(tǒng)神經(jīng)網(wǎng)絡知識獲取人類專家（交互）采樣數(shù)據(jù)集合（算法）不確定性定量與定性（決策）定量（感知）推理方法啟發(fā)式搜索（低效）并行計算（高速）適應能力低高（調(diào)整連接權(quán)值）模糊系統(tǒng)與神經(jīng)網(wǎng)絡的比較2023/2/362《人工智能》

把模糊邏輯與神經(jīng)網(wǎng)絡集成起來，就形成了一種新的研究領域，即模糊神經(jīng)網(wǎng)絡(FNN)。實現(xiàn)這種組合的方法基本上可分為兩種：尋求模糊推理算法與神經(jīng)網(wǎng)絡示例之間的功能映射找到一種從模糊推理系統(tǒng)到一類神經(jīng)網(wǎng)絡的結(jié)構(gòu)映射1、模糊神經(jīng)網(wǎng)絡的原理（1）FNN的概念與結(jié)構(gòu)定義（正則模糊神經(jīng)網(wǎng)絡RFNN）RFNN為一個具有模糊信號和(或)模糊權(quán)值得神經(jīng)網(wǎng)絡。可分為三類，即：①FNN1具有實數(shù)輸入信號和模糊權(quán)值；②FNN2具有模糊輸入信號和實數(shù)權(quán)值；③FNN3具有模糊輸入信號和模糊權(quán)值。2023/2/363《人工智能》定義（混合模糊神經(jīng)網(wǎng)絡HFNN）HFNN是另一類FNN，它組合模糊信號和神經(jīng)網(wǎng)絡權(quán)值，應用加、乘等操作獲得神經(jīng)網(wǎng)絡輸入。下面以FNN3為例，說明模糊神經(jīng)網(wǎng)絡的內(nèi)部計算：

設FNN3具有如圖所示的結(jié)構(gòu)。則：W21W2kW2KW1kX2X1VKVkYV1……1kK211W11圖：神經(jīng)網(wǎng)絡FNN3X1,X2為模糊信號輸入(表示為模糊集)，權(quán)值為模糊權(quán)值。K個隱含神經(jīng)元的輸入為：Ik=X1W1k+X2W2k

，k=1,2,…,K而K個隱含神經(jīng)元的輸出為：

Zk=f(Ik)，k=1,2,…,K則整個網(wǎng)絡的輸入輸出為：IO=Z1V1+Z2V2+…+ZKVK

Yk=f(IO)，k=1,2,…,K式中，使用了正則模糊運算。2023/2/364《人工智能》（2）FNN的學習算法

對于正則FNN，學習算法主要分為監(jiān)督式學習和非監(jiān)督式學習。主要的學習算法有如下幾種。①模糊反向傳播算法設訓練集合為(Xl,Tl)，1lL，Xl為輸入，Tl為期望輸出。對于Xl的實際輸出為Yl。則使誤差測量為最小。然后對反向傳播中的標準δ規(guī)則進行模糊化，并用于更新權(quán)值。不過這個算法的收斂性還是一個值得研究的問題。2023/2/365《人工智能》

②基于α切割的反向傳播算法為了改進模糊反向傳播的性能，可以對模糊權(quán)值進行α切割，以提高傳播效率。模糊集合A的α切割定義為：

A[α]={x|μA(x)α},0<α1

③遺傳算法遺傳算法是一種優(yōu)化算法。神經(jīng)網(wǎng)絡的學習過程本質(zhì)上是對權(quán)值進行調(diào)整，使得誤差測量最小。許多優(yōu)化算法廣泛應用于神經(jīng)網(wǎng)絡的學習中。

④其它學習算法如，模糊混沌、粒子群算法、蟻群算法都可用于模糊神經(jīng)網(wǎng)絡的學習中。2023/2/366《人工智能》（3）FNN的逼近能力已經(jīng)證明，正則前饋多層神經(jīng)網(wǎng)絡具有高度逼近非線性函數(shù)的能力。對于模糊神經(jīng)網(wǎng)絡人們也進行了大量研究。已得出結(jié)論，給予模糊運算和擴展原理的RFNN不可能成為通用近似器，HFNN因無需標準模糊運算為基礎，而能夠成為通用逼近器。這些結(jié)論對建立FNN控制器可能是有用的。2023/2/367《人工智能》4.3

粗糙集理論

粗糙集(RoughSet--RS)理論是由波蘭數(shù)學家帕夫拉克(Pawlak)于1982年提出的，是一種處理不精確、不確定和不完全數(shù)據(jù)的新的數(shù)學計算理論，能夠有效處理各種不確定信息，并從中發(fā)現(xiàn)隱含在數(shù)據(jù)中的知識，揭示事務和事件的內(nèi)在規(guī)律。粗糙集理論與其它處理不確定或不精確問題的理論的最顯著的區(qū)別在于，它不需要提供處理該問題所需的數(shù)據(jù)集合之外的任何先驗信息，對問題的不確定性描述或處理比較客觀。由于粗糙集理論在數(shù)據(jù)挖掘、機器學習與知識發(fā)現(xiàn)及決策分析等方面得到了廣泛的應用，對它的研究也成為了一個熱點。2023/2/368《人工智能》4.3.1粗糙集理論的基本概念和特點

粗糙集理論建立在分類機制的基礎上，把分類理解為特定空間的等價關系。粗糙集理論把知識理解為對數(shù)據(jù)的劃分，而每個被劃分的集合稱為概念。對于一個領域內(nèi)的知識，粗糙集使用屬性及其值來描述領域內(nèi)的對象，各個屬性不同的取值就構(gòu)成了空間對象的一簇等價關系。如果兩個物體同屬于某個集合，則它們之間是不可分辨關系。2023/2/369《人工智能》

設U非空有限論域，R為U上的二元關系，則：稱R為不可分辨關系；序?qū)=(U,R)稱為近似空間；(x,y)U×U，若(x,y)R，則稱對象在近似空間A中是不可分辨的；U/R是U上由R生成的等價類全體，它構(gòu)成了U的一個劃分。U/R中的集合稱為基本集或原子集；若將U中的集合稱為概念或知識，則A=(U,R)稱為知識庫，原子集表示基本概念或只是模塊；任意有限的基本集的并和空集均稱為可定義集，也稱為精確集，否則稱為不可定義集。1、粗糙集理論的基本概念2023/2/370《人工智能》粗糙集不需要先驗信息

不像模糊集和概率，粗糙集分析方法僅利用數(shù)據(jù)本身提供的信息，不需要任何先驗知識。粗糙集理論是一個強大的數(shù)據(jù)分析工具

表達和處理不完備信息、對數(shù)據(jù)進行約簡、識別評估數(shù)據(jù)之間的關系、獲取規(guī)則。粗糙集與模糊集描述了不完備信息的兩個方面

模糊集合基于元素對集合的隸屬程度的不同，強調(diào)集合本身的含混性。粗糙集基于不可分辨的關系，側(cè)重分類。從粗糙集的觀點看，不能清晰定義的原因是缺乏足夠的領域知識，但可以用一對清晰集合逼近。2、粗糙集理論的特點2023/2/371《人工智能》

對于論域U上任意一個子集X，X不一定能用知識庫中的知識來精確描述，即X可能為不可定義集，這時就用A的一對下近似aprX和上近似aprX來“近似”地描述。定義（下近似與上近似）下近似與上近似的定義如下：

X的下近似是由那些根據(jù)已有知識判斷肯定屬于X的對象所組成的最大集合，也稱為X關于A的正域，記為POS(X)。

X的上近似是由那些根據(jù)已有知識判斷可能屬于X的對象所組成的最小集合。

由根據(jù)已有知識判斷肯定不屬于X的對象組成的集合稱為X關于A的負域，記作NEG(X)。顯然有

2023/2/372《人工智能》

X的邊界域BN(X)定義為：如果BN(X)

=Φ，則稱X關于R是清晰的；如果BN(X)≠Φ，則稱集合X為關于R的粗糙集(roughset)。

以上有關粗糙集的概念如下圖所示。

NEG(X)POS(X)BN(X)U/R

aprXX2023/2/373《人工智能》定義：X關于A的近似質(zhì)量定義為：其中|X|表示集合X的元素個數(shù)。近似質(zhì)量反映了知識X在知識庫部分現(xiàn)有知識的百分比。定義：X關于A的近似精度定義為：近似精度反映了根據(jù)現(xiàn)有知識對X的了解程度。定義：X關于A的粗糙性測度定義為：粗糙性測度反映了知識的不完全程度。2023/2/374《人工智能》4.3.2粗糙集理論的數(shù)據(jù)和決策表約簡

粗糙集理論中的知識表達方式一般采用信息表或稱為信息系統(tǒng)的形式,它可以表示為四元有序組K