西電人工智能19計算智能Part136

ArtificialIntelligence(AI)

人工智能主講：戚玉濤：qi_yutao@163第五章：計算智能內(nèi)容提要第五章：計算智能1.概述2.神經(jīng)網(wǎng)絡(luò)3.模糊計算4.遺傳算法內(nèi)容提要第五章：計算智能1.概述2.神經(jīng)網(wǎng)絡(luò)3.模糊計算4.遺傳算法概述計算智能〔ComputationalIntelligence，CI〕按照Bezdek〔貝茲德克〕的觀念：假設(shè)一個系統(tǒng)僅處置低層的數(shù)值數(shù)據(jù)，含有方式識別部件，沒有運用人工智能意義上的知識，且具有計算順應性、計算容錯力、接近人的計算速度和近似于人的誤差率這4個特性，那么它是計算智能的。從學科范疇看：計算智能是在神經(jīng)網(wǎng)絡(luò)〔NeuralNet-works,NN〕、進化計算〔EvolutionaryComputation,EC〕及模糊系統(tǒng)〔FuzzySystem,FS〕這3個領(lǐng)域開展相對成熟的根底上構(gòu)成的一個一致的學科概念。概述神經(jīng)網(wǎng)絡(luò)：是一種對人類智能的構(gòu)造模擬方法，它是經(jīng)過對大量人工神經(jīng)元的廣泛并行互聯(lián)，構(gòu)造人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)去模擬生物神經(jīng)系統(tǒng)的智能機理的。進化計算：是一種對人類智能的演化模擬方法，它是經(jīng)過對生物遺傳和演化過程的認識，用進化算法去模擬人類智能的進化規(guī)律的。模糊計算：是一種對人類智能的邏輯模擬方法，它是經(jīng)過對人類處置模糊景象的認知才干的認識，用模糊邏輯去模擬人類的智能行為的。概述計算智能不僅涉及神經(jīng)網(wǎng)絡(luò)、模糊系統(tǒng)和進化計算三個主要分支，還包括：粒子群算法蟻群算法人工免疫系統(tǒng)人工生命模擬退火算法粗集實際與粒度計算支持向量機量子計算DNA計算智能agent……概述智能的三個層次生物智能(BiologicalIntelligence,BI)：由腦的物理化學過程反映出來的,腦智能的根底。人工智能(ArtificialIntelligence,AI)：是非生物的,人造的,常用符號來表示，AI的來源是人類知識的精華。計算智能(ComputationalIntelligence,CI)：是由數(shù)學方法和計算機實現(xiàn)的，CI的來源數(shù)值計算的傳感器。ABC：ArtificialBiologicalComputational概述ABC的交互關(guān)系：Bezdek〔貝茲德克〕，1994輸入人類知識(＋)傳感輸入知識(＋)傳感數(shù)據(jù)計算(＋)傳感器C－數(shù)值的A－符號的B－生物的輸入復雜性復雜性BNNBPRBIANNAPRAICNNCPRCINN：神經(jīng)網(wǎng)絡(luò)；PR：方式識別；I：智能概述另一種觀念：計算智能和人工智能是不同的范疇。其代表人物是艾伯哈特〔R.C.Eberhart〕。該觀念以為：雖然人工智能與計算智能之間有重合，但計算智能是一個全新的學科領(lǐng)域，無論是生物智能還是機器智能，計算智能都是其最中心的部分，而人工智能那么是外層。大量實際證明，只需把AI和CI很好地結(jié)合起來，才干更好地模擬人類智能，才是智能科學技術(shù)開展的正確方向。內(nèi)容提要第五章：計算智能1.概述2.神經(jīng)網(wǎng)絡(luò)3.模糊計算4.遺傳算法神經(jīng)網(wǎng)絡(luò)人工智能的各種學說符號〔功能〕主義：符號邏輯推理結(jié)合〔構(gòu)造〕主義：人工神經(jīng)網(wǎng)絡(luò)行為主義：智能行為模擬，“方式-動作〞結(jié)合主義的觀念：智能的寓所在大腦皮層，它由大量非線性神經(jīng)元互聯(lián)而成并行處置的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)〔ANN〕是反映人腦構(gòu)造及功能的一種籠統(tǒng)數(shù)學模型，是由大量神經(jīng)元節(jié)點互連而成的復雜網(wǎng)絡(luò)，用以模擬人類進展知識的表示與存儲以及利用知識進展推理的行為。簡單地講，它是一個數(shù)學模型，可以用電子線路來實現(xiàn)，也可以用計算機程序來模擬，是人工智能研討的一種方法。人工神經(jīng)網(wǎng)絡(luò)力求從四個方面模擬人腦的智能行為：物理構(gòu)造，計算模擬，存儲與操作，訓練人工神經(jīng)網(wǎng)絡(luò)的開展人工神經(jīng)網(wǎng)絡(luò)的開展段萌芽期：M-P模型,Hebb學習律1890年，美國生物學家W.James初次闡明了有關(guān)人腦構(gòu)造及其功能，以及相關(guān)學習、聯(lián)想、記憶的根本規(guī)律1943年，心思學家McCulloch和數(shù)學家Pitts建立起了M-P神經(jīng)元模型。1949年，心思學家D.O.Hebb提出神經(jīng)元之間突觸聯(lián)絡(luò)是可變的假說——Hebb學習律。第一高潮期：單級感知器以Minsky,Rosenblatt,Widrow等為代表人物人工神經(jīng)網(wǎng)絡(luò)的開展人工神經(jīng)網(wǎng)絡(luò)的開展1957年FrankRosenblatt定義了一個神經(jīng)網(wǎng)絡(luò)構(gòu)造，稱為感知器(Perceptron)。把神經(jīng)網(wǎng)絡(luò)研討從純實際的討論推向工程實現(xiàn)，在IBM計算機上進展了模擬，并可以用電子線路模擬。反思期：Minsky的質(zhì)疑1969年Minsky和Papert在<感知機>一書中指出感知機的缺陷，使得神經(jīng)網(wǎng)絡(luò)的研討從興起期進入了停滯期。芬蘭學者Kohonen提出了自組織映射實際(SOM)，美國學者Grossberg提出了自順應諧振實際，這些研討成果對神經(jīng)網(wǎng)絡(luò)以后的開展產(chǎn)生了重要影響。人工神經(jīng)網(wǎng)絡(luò)的開展人工神經(jīng)網(wǎng)絡(luò)的開展第二高潮期：Hopfield網(wǎng)絡(luò),反向傳播(BP)算法1982年，Hopfield提出Hopfield模型。1984年，Hopfield設(shè)計研制了Hopfield網(wǎng)的電路。較好地處理了著名的TSP問題，引起了較大的驚動。1985年，Hinton、Sejnowsky、Rumelhart等人在Hopfield網(wǎng)絡(luò)中引入隨機機制，提出Boltzmann機。1986年，Rumelhart,Hinton提出多層感知機與反向傳播(BP)學習算法，該方法抑制了感知器非線性不可分類問題，給神經(jīng)網(wǎng)絡(luò)研討帶來了新的希望。國內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會1990年12月在北京舉行。人工神經(jīng)網(wǎng)絡(luò)的開展人工神經(jīng)網(wǎng)絡(luò)的開展成熟期：平穩(wěn)開展，運用廣泛與其他領(lǐng)域的結(jié)合：與進化計算結(jié)合與模糊邏輯結(jié)合……實踐運用：計算機視覺自然言語了解優(yōu)化計算智能控制人工神經(jīng)網(wǎng)絡(luò)的開展人工神經(jīng)網(wǎng)絡(luò)的特性并行分布處置：并行構(gòu)造，耐缺點；非線性映射：恣意非線性映射才干；經(jīng)過訓練進展學習：經(jīng)過數(shù)據(jù)記錄進展訓練，能處置由數(shù)學模型或描畫規(guī)那么難以處置的問題；順應與集成：自順應和信息交融才干；硬件實現(xiàn)：快速和大規(guī)模處置才干。神經(jīng)網(wǎng)絡(luò)的生物學機理神經(jīng)元構(gòu)造包括四個部分：胞體：神經(jīng)細胞的本體，維持細胞生存功能樹突：接納來自其他神經(jīng)元的信號〔輸入〕軸突：輸出信號突觸：與另一個神經(jīng)元相聯(lián)絡(luò)的特殊部位神經(jīng)網(wǎng)絡(luò)的生物學機理神經(jīng)元的根本任務(wù)機制〔簡化〕：一個神經(jīng)元有兩種形狀：興奮和抑制；平常處于抑制形狀的神經(jīng)元，其樹突和胞體接納其他神經(jīng)元由突觸傳來的興奮電位，多個輸入在神經(jīng)元中以代數(shù)和的方式疊加；假設(shè)輸入興奮電位總量超越某個閾值，神經(jīng)元會被激發(fā)進入興奮形狀，發(fā)出輸出脈沖，并由突觸傳送給其他神經(jīng)元。神經(jīng)元被觸發(fā)后進入不應期，在不應期不能被觸發(fā)，然后閾值逐漸下降，恢復興奮性。神經(jīng)網(wǎng)絡(luò)的生物學機理生物神經(jīng)網(wǎng)絡(luò)的六個根本特征：1.神經(jīng)元及其聯(lián)接；2.神經(jīng)元之間的聯(lián)接強度決議信號傳送的強弱；3.神經(jīng)元之間的聯(lián)接強度是可以隨訓練改動的；4.信號可以是起刺激作用的，也可以是起抑制造用的；5.一個神經(jīng)元接受的信號的累積效果斷定該神經(jīng)元的形狀；6.每個神經(jīng)元可以有一個“閾值〞。人工神經(jīng)元模型MP模型是一種人工神經(jīng)元的數(shù)學模型，它是由美國Culloch和Pitts提出的最早神經(jīng)元模型之一。MP模型是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的根底。MP模型表示圖：人工神經(jīng)元模型人工神經(jīng)元是仿照生物神經(jīng)元提出的，神經(jīng)元可以有N個輸入：每個輸入端與神經(jīng)元之間有一定的聯(lián)接權(quán)值：神經(jīng)元總的輸入為對每個輸入的加權(quán)求和，同時減去閾值θ。u代表神經(jīng)元的活潑值，即神經(jīng)元形狀：人工神經(jīng)元模型神經(jīng)元的輸出y是對u的映射：f稱為輸出函數(shù)〔鼓勵函數(shù)，激活函數(shù)〕，可以有很多方式：二值函數(shù)非線性斜面函數(shù)Sigmoid函數(shù)人工神經(jīng)元模型輸出函數(shù)的作用控制輸入對輸出的激活作用對輸入、輸出進展函數(shù)轉(zhuǎn)換將能夠無限域的輸入變換成指定的有限范圍內(nèi)的輸出人工神經(jīng)網(wǎng)絡(luò)拓撲構(gòu)造神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡(luò)的特性及才干主要取決于網(wǎng)絡(luò)的拓撲構(gòu)造及學習方法人工神經(jīng)網(wǎng)絡(luò)〔ANN〕可以看成是以人工神經(jīng)元為結(jié)點，用有向加權(quán)弧銜接起來的有向圖人工神經(jīng)元就是對生物神經(jīng)元的模擬有向弧那么是軸突—突觸—樹突對的模擬有向弧的權(quán)值表示相互銜接的兩個人工神經(jīng)元間相互作用的強弱。人工神經(jīng)網(wǎng)絡(luò)拓撲構(gòu)造人工神經(jīng)網(wǎng)絡(luò)實例〔一個前饋網(wǎng)絡(luò)的例子〕：ANiANjwij人工神經(jīng)網(wǎng)絡(luò)拓撲構(gòu)造人工神經(jīng)網(wǎng)絡(luò)銜接的幾種根本方式前饋〔多層〕網(wǎng)絡(luò)從輸出到輸入有反響的前向網(wǎng)絡(luò)用來存儲某種方式序列層內(nèi)互連前向網(wǎng)絡(luò)限制層內(nèi)同時動作的神經(jīng)元；分類功能反響型全互聯(lián)網(wǎng)絡(luò)&反響型部分互聯(lián)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)拓撲構(gòu)造前饋〔多層〕網(wǎng)絡(luò)最初稱之為感知器。運用最廣泛，最要緣由是有BP學習方法。前饋網(wǎng)絡(luò)具有遞階分層構(gòu)造，由同層神經(jīng)元間不存在互連的層級組成上層單元與下層一切單元相聯(lián)接。人工神經(jīng)網(wǎng)絡(luò)拓撲構(gòu)造從輸出到輸入有反響的前向網(wǎng)絡(luò)：輸出層上存在一個反響回路，將信號反響到輸入層。而網(wǎng)絡(luò)本身還是前饋型的人工神經(jīng)網(wǎng)絡(luò)拓撲構(gòu)造層內(nèi)互連前向網(wǎng)絡(luò)：外部看還是一個前向網(wǎng)絡(luò)，內(nèi)部有很多自組織網(wǎng)絡(luò)在層內(nèi)互聯(lián)著。人工神經(jīng)網(wǎng)絡(luò)拓撲構(gòu)造反響型全互聯(lián)網(wǎng)絡(luò)：一切計算單元之間都有聯(lián)接。如：Hopfield網(wǎng)絡(luò)反響型部分聯(lián)接網(wǎng)絡(luò)：每個神經(jīng)元的輸出只與其周圍的神經(jīng)元相連，構(gòu)成反響網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)學習人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點是它的學習才干。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學習定理：人工神經(jīng)網(wǎng)絡(luò)可以學會它可以表達的任何東西。人工神經(jīng)網(wǎng)絡(luò)的表達才干大大地限制了它的學習才干。神經(jīng)網(wǎng)絡(luò)的順應性是經(jīng)過學習實現(xiàn)的。學習是神經(jīng)網(wǎng)絡(luò)研討的一個重要內(nèi)容，人工神經(jīng)網(wǎng)絡(luò)的學習過程表現(xiàn)為對銜接權(quán)值的訓練。人工神經(jīng)網(wǎng)絡(luò)學習神經(jīng)網(wǎng)絡(luò)根本學習算法分為：有師學習(SupervisedLearning)：可以根據(jù)期望的和實踐的網(wǎng)絡(luò)輸出〔對應于給定輸入〕間的差來調(diào)整神經(jīng)元間銜接的強度或權(quán)。無師學習(UnsupervisedLearning)：無需知道期望輸出，抽取樣本集合中蘊含的統(tǒng)計特性。強化學習(ReinforcementLearning)：采用一個“評論員〞來評價與給定輸入相對應的神經(jīng)網(wǎng)絡(luò)輸出的優(yōu)度〔質(zhì)量因數(shù)〕?；谏窠?jīng)網(wǎng)絡(luò)的知識表示基于神經(jīng)網(wǎng)絡(luò)的知識表示在這里，知識并不像在產(chǎn)生式系統(tǒng)中