西電人工智能19計算智能Part136

ArtificialIntelligence(AI)

人工智能主講：戚玉濤Email：qi_yutao@163.com第五章：計算智能內容提要要第五章：：計算智智能1.概述2.神經網絡3.模糊計算4.遺傳算法內容提要要第五章：：計算智智能1.概述2.神經網絡3.模糊計算4.遺傳算法概述計算智能能（ComputationalIntelligence，CI）按照Bezdek（貝茲德德克）的的觀點：：如果一個個系統(tǒng)僅僅處理低低層的數值數據據，含有模式識別別部件，沒有使用用人工智智能意義義上的知知識，且具有有計算適應應性、計算容錯錯力、接近人的的計算速速度和近似于人人的誤差差率這4個特性，，則它是是計算智智能的。。從學科范范疇看：：計算智能能是在神神經網絡絡（NeuralNet-works,NN）、進化化計算（（EvolutionaryComputation,,EC）及模糊糊系統(tǒng)（（FuzzySystem,,FS）這3個領域發(fā)發(fā)展相對對成熟的的基礎上上形成的的一個統(tǒng)統(tǒng)一的學學科概念念。概述神經網絡絡：是一種對對人類智智能的結構模擬擬方法，它是通通過對大大量人工工神經元元的廣泛泛并行互互聯，構構造人工工神經網網絡系統(tǒng)統(tǒng)去模擬擬生物神神經系統(tǒng)統(tǒng)的智能能機理的的。進化計算算：是一種對對人類智智能的演化模擬擬方法，它是通通過對生生物遺傳傳和演化化過程的的認識，，用進化化算法去去模擬人人類智能能的進化化規(guī)律的的。模糊計算算：是一種對對人類智智能的邏輯模擬擬方法，它是通通過對人人類處理理模糊現現象的認認知能力力的認識識，用模模糊邏輯輯去模擬擬人類的的智能行行為的。。概述計算智能能不僅涉涉及神經網絡絡、模糊系統(tǒng)統(tǒng)和進化計算算三個主要要分支，，還包括：：粒子群算算法蟻群算法法人工免疫疫系統(tǒng)人工生命命模擬退火火算法粗集理論論與粒度度計算支持向量量機量子計算算DNA計算智能agent……概述智能的三三個層次次生物智能能(BiologicalIntelligence,,BI)：由腦的物物理化學學過程反反映出來來的,腦智能的的基礎。。人工智能能(ArtificialIntelligence,,AI)：是非生物物的,人造的,常用符號號來表示示，AI的來源是是人類知知識的精精華。計算智能能(ComputationalIntelligence,,CI)：是由數學學方法和和計算機機實現的的，CI的來源數數值計算算的傳感感器。ABC：ArtificialBiologicalComputational概述ABC的交互關關系：Bezdek（貝茲德德克），，1994輸入人類知識(＋)傳感輸入知識(＋)傳感數據計算(＋)傳感器C－數值的A－符號的B－生物的輸入復雜性復雜性BNNBPRBIANNAPRAICNNCPRCINN：神經網網絡；PR：模式識識別；I：智能概述另一種觀觀點：計算智能能和人工工智能是是不同的的范疇。。其代表人人物是艾艾伯哈特特（R.C.Eberhart）。該觀點認認為：雖雖然人工工智能與與計算智智能之間間有重合合，但計計算智能能是一個個全新的的學科領領域，無無論是生生物智能能還是機機器智能能，計算算智能都都是其最最核心的的部分，，而人工工智能則則是外層層。大量實踐踐證明，，只有把把AI和CI很好地結結合起來來，才能能更好地地模擬人人類智能能，才是是智能科科學技術術發(fā)展的的正確方方向。內容提要要第五章：：計算智智能1.概述2.神經網絡3.模糊計算4.遺傳算法神經網絡絡人工智能能的各種種學說符號（功功能）主主義：符號邏輯輯推理聯結（結結構）主主義：人工神經經網絡行為主義義：智能行為為模擬，，“模模式-動作”聯結主義義的觀點點：智能能的寓所所在大腦腦皮層，，它由大大量非線線性神經元互聯而成成并行處處理的神經網絡絡。神經網絡絡人工神經經網絡（（ANN）是反映人人腦結構構及功能能的一種種抽象數學學模型，是由大大量神經經元節(jié)點點互連而而成的復復雜網絡絡，用以以模擬人人類進行行知識的的表示與與存儲以以及利用用知識進進行推理理的行為為。簡單地講講，它是是一個數學模型型，可以用用電子線路路來實現，，也可以以用計算機程程序來模模擬，是人工工智能研研究的一一種方法法。人工神經經網絡力力求從四四個方面面模擬人人腦的智智能行為為：物理結構構，計算算模擬，，存儲與與操作，，訓練人工神經經網絡的的發(fā)展人工神經經網絡的的發(fā)展段萌芽期期：M-P模型,Hebb學習律1890年，美國國生物學學家W.James首次闡明明了有關關人腦結結構及其其功能，，以及相相關學習習、聯想想、記憶憶的基本本規(guī)律1943年，心理理學家McCulloch和數學家家Pitts建立起了了M-P神經元模型。1949年，心理理學家D.O.Hebb提出神經經元之間間突觸聯聯系是可可變的假假說——Hebb學習律。第一高潮潮期：單級感知知器以Minsky,Rosenblatt,,Widrow等為代表表人物人工神經經網絡的的發(fā)展人工神經經網絡的的發(fā)展1957年FrankRosenblatt定義了一一個神經經網絡結結構，稱稱為感知知器(Perceptron)。把神經網網絡研究究從純理理論的探探討推向向工程實實現，在在IBM計算機上上進行了了模擬，，并可以以用電子子線路模模擬。反思期：：Minsky的質疑1969年Minsky和Papert在《感知機》一書中指指出感知知機的缺缺陷，使使得神經經網絡的的研究從從興起期期進入了了停滯期期。芬蘭學者者Kohonen提出了自組織映映射理論論(SOM)，美國學學者Grossberg提出了自適應諧諧振理論論，這些研研究成果果對神經經網絡以以后的發(fā)發(fā)展產生生了重要要影響。。人工神經經網絡的的發(fā)展人工神經經網絡的的發(fā)展第二高潮潮期：：Hopfield網絡,反向傳播播(BP))算法1982年，Hopfield提出Hopfield模型。1984年，Hopfield設計研制制了Hopfield網的電路路。較好地地解決了了著名的的TSP問題，引引起了較較大的轟轟動。1985年，Hinton、Sejnowsky、Rumelhart等人在Hopfield網絡中引引入隨機機機制，，提出Boltzmann機。1986年，Rumelhart,Hinton提出多層感知知機與反向傳播播(BP))學習算法法，該方法法克服了了感知器器非線性性不可分分類問題題，給神神經網絡絡研究帶帶來了新新的希望望。國內首屆屆神經網網絡大會會1990年12月在北京京舉行。。人工神經經網絡的的發(fā)展人工神經經網絡的的發(fā)展成熟期：：平穩(wěn)發(fā)展展，應用用廣泛與其他領領域的結結合：與進化計計算結合合與模糊邏邏輯結合合……實際應用用：計算機視視覺自然語言言理解優(yōu)化計算算智能控制制人工神經經網絡的的發(fā)展人工神經經網絡的的特性并行分布布處理：：并行結構構，耐故故障；非線性映映射：任意非線線性映射射能力；；通過訓練練進行學學習：通過數據據記錄進進行訓練練，能處處理由數數學模型型或描述述規(guī)則難難以處理理的問題題；適應與集集成：自適應和和信息融融合能力力；硬件實現現：快速和大大規(guī)模處處理能力力。神經網絡絡的生物物學機理理神經元結結構包括括四個部部分：胞體：神經細胞胞的本體體，維持持細胞生生存功能能樹突：接收來自自其他神神經元的的信號（（輸入））軸突：輸出信號號突觸：與另一個個神經元元相聯系系的特殊殊部位神經網絡絡的生物物學機理理神經元的的基本工工作機制制（簡化化）：一個神經經元有兩兩種狀態(tài)態(tài)：興奮和抑抑制；平時處于于抑制狀狀態(tài)的神神經元，，其樹突突和胞體體接收其其他神經經元由突突觸傳來來的興奮奮電位，，多個輸輸入在神神經元中中以代數數和的方方式疊加加；如果輸入入興奮電電位總量量超過某某個閾值，神經元元會被激激發(fā)進入入興奮狀狀態(tài)，發(fā)發(fā)出輸出出脈沖，，并由突突觸傳遞遞給其他他神經元元。神經元被被觸發(fā)后后進入不應期，在不應應期不能能被觸發(fā)發(fā)，然后后閾值逐逐漸下降降，恢復復興奮性性。神經網絡絡的生物物學機理理生物神經經網絡的的六個基基本特征征：1.神經元及及其聯接接；2.神經元之之間的聯聯接強度度決定信號傳遞遞的強弱；；3.神經元之之間的聯聯接強度度是可以以隨訓練改變的；；4.信號可以以是起刺激作用的，，也可以以是起抑制作用的；；5.一個神經經元接受受的信號號的累積效果果決定該神神經元的的狀態(tài)；；6.每個神經經元可以以有一個個“閾值””。人工神經經元模型型MP模型是一種人人工神經經元的數數學模型型，它是是由美國國Culloch和Pitts提出的最最早神經經元模型型之一。。MP模型是大大多數神神經網絡絡模型的的基礎。。MP模型示意意圖：人工神經經元模型型人工神經經元是仿仿照生物物神經元元提出的的，神經經元可以以有N個輸入：每個輸入入端與神神經元之之間有一一定的聯接權值值：神經元總總的輸入入為對每每個輸入入的加權權求和，，同時減減去閾值θ。u代表神經經元的活躍值，即神經元狀狀態(tài)：人工神經經元模型型神經元的的輸出y是對u的映射：：f稱為輸出函數數（激勵函函數，激激活函數數），可可以有很很多形式式：二值函數數非線性斜斜面函數數Sigmoid函數人工神經經元模型型輸出函數數的作用用控制輸入入對輸出出的激活活作用對輸入、、輸出進進行函數數轉換將可能無無限域的的輸入變變換成指指定的有有限范圍圍內的輸輸出人工神經經網絡拓拓撲結構構神經元的的模型確確定之后后，一個個神經網網絡的特特性及能能力主要要取決于于網絡的的拓撲結構構及學習方法法人工神經經網絡（（ANN）可以看看成是以以人工神神經元為為結點，，用有向向加權弧弧連接起起來的有有向圖人工神經經元就是對生物神經經元的模擬有向弧則是軸突—突觸—樹突對的模擬擬有向弧的的權值表示相互互連接的的兩個人人工神經經元間相互作用用的強弱弱。人工神經經網絡拓拓撲結構構人工神經經網絡實實例（一一個前饋饋網絡的的例子））：ANiANj

wij

人工神經經網絡拓拓撲結構構人工神經經網絡連連接的幾幾種基本本形式前饋（多多層）網網絡從輸出到到輸入有有反饋的的前向網網絡用來存儲儲某種模模式序列列層內互連連前向網網絡限制層內內同時動動作的神神經元；；分類功功能反饋型全全互聯網網絡&反饋型局局部互聯聯網絡人工神經經網絡拓拓撲結構構前饋（多多層）網網絡最初稱之之為感知知器。應應用最廣廣泛，最最要原因因是有BP學習方法法。前饋網絡絡具有遞遞階分層層結構，，由同層層神經元元間不存存在互連連的層級級組成上層單元元與下層層所有單單元相聯聯接。人工神經經網絡拓拓撲結構構從輸出到到輸入有有反饋的的前向網網絡：輸出層上上存在一一個反饋饋回路，，將信號號反饋到到輸入層層。而網網絡本身身還是前前饋型的的人工神經經網絡拓拓撲結構構層內互連連前向網網絡：外部看還還是一個個前向網網絡，內內部有很很多自組組織網絡絡在層內內互聯著著。人工神經經網絡拓拓撲結構構反饋型全全互聯網網絡：所有計算算單元之之間都有有聯接。。如：Hopfield網絡反饋型局局部聯接接網絡：：每個神經經元的輸輸出只與與其周圍圍的神經經元相連連，形成成反饋網網絡。人工神經經網絡學學習人工神經經網絡最最具有吸吸引力的的特點是是它的學學習能力力。1962年，Rosenblatt給出了人人工神經經網絡著著名的學學習定理理：人工神經經網絡可可以學會會它可以以表達的的任何東東西。人工神經經網絡的的表達能能力大大大地限制制了它的的學習能能力。神經網絡絡的適應應性是通通過學習習實現的的。學習習是神經經網絡研研究的一一個重要要內容，，人工神神經網絡絡的學習習過程表表現為對連接權權值的訓訓練。人工神經經網絡學學習神經網絡絡基本學學習算法法分為：：有師學習習(SupervisedLearning)：能夠根據據期望的的和實