AI第5章-計(jì)算智能詳解課件

1、Artificial Intelligence (AI)人工智能第5章 計(jì)算智能Computational Intelligence (CI)內(nèi) 容第5章 計(jì)算智能1、概述2、神經(jīng)網(wǎng)絡(luò)3、模糊計(jì)算4、遺傳算法 現(xiàn)代科技發(fā)展的一個(gè)顯著特點(diǎn)就是學(xué)科間的交叉、滲透和促進(jìn)。(如生物信息學(xué)) 計(jì)算智能是另一個(gè)有說服力的示例。 計(jì)算智能涉及神經(jīng)計(jì)算、模糊計(jì)算、進(jìn)化計(jì)算、粒群計(jì)算、蟻群計(jì)算、自然計(jì)算、免疫計(jì)算和人工生命等領(lǐng)域。 反映了多學(xué)科交叉與集成的發(fā)展趨勢(shì)。5.1 概述 通過人工方法模仿人類智能已有很長(zhǎng)歷史（如仿生學(xué)的眾多成果）,都是人類人工模仿智能的典型例證，而現(xiàn)代人工智能領(lǐng)域則力圖抓住智能的本質(zhì)。

2、人工神經(jīng)網(wǎng)絡(luò)（ANN）主要是通過Hopfield網(wǎng)絡(luò)的促進(jìn)和反向傳播(BP)網(wǎng)絡(luò)訓(xùn)練多層感知器來推廣的，將神經(jīng)網(wǎng)絡(luò)(NN)歸類于人工智能可能不太合適，而歸類于計(jì)算智能（CI）應(yīng)更能說明問題實(shí)質(zhì)。 進(jìn)化計(jì)算、人工生命和模糊邏輯系統(tǒng)的某些課題，也都?xì)w類于計(jì)算智能。 第一個(gè)對(duì)計(jì)算智能的定義由貝茲德克（Bezdek）于1992年提出。他認(rèn)為，從嚴(yán)格意義上講，計(jì)算智能取決于制造者提供的數(shù)據(jù)數(shù)值，而不依賴于知識(shí)；另一方面，人工智能則應(yīng)用知識(shí)。 他認(rèn)為，人工神經(jīng)網(wǎng)絡(luò)應(yīng)當(dāng)稱為計(jì)算神經(jīng)網(wǎng)絡(luò)。 盡管計(jì)算智能與人工智能的界限并不十分明顯，但討論它們的區(qū)別和聯(lián)系是有必要的。 貝茲德克對(duì)相關(guān)術(shù)語(yǔ)給予一定的符號(hào)和簡(jiǎn)要說明

3、或定義。他給出有趣的ABC：AArtificial，表示人工的（非生物的），即人造的。BBiological，表示物理的化學(xué)的(?)生物的。CComputational，表示數(shù)學(xué)計(jì)算機(jī)。ABC與神經(jīng)網(wǎng)絡(luò)(NN)、模式識(shí)別(PR)和智能(I)之間的關(guān)系:可看出：計(jì)算智能是一種智力方式的低層認(rèn)知，它與人工智能的區(qū)別只 是認(rèn)知層次從中層下降至低層而已，中層系統(tǒng)含有知識(shí))，而 低層系統(tǒng)則沒有。 當(dāng)一個(gè)系統(tǒng)只涉及數(shù)值(低層)數(shù)據(jù)，含有模式識(shí)別部分，不使用人工智能意義上的知識(shí),且具有計(jì)算適應(yīng)性、計(jì)算容錯(cuò)性、接近人的速度、 近似于人的誤差率這4個(gè)特性，則該系統(tǒng)就是計(jì)算智能系統(tǒng)。 一個(gè)計(jì)算智能系統(tǒng)以非數(shù)值方式

4、加上知識(shí)值，即成為人工智能系統(tǒng)。從學(xué)科范疇看： 計(jì)算智能是在神經(jīng)網(wǎng)絡(luò)(NN）、進(jìn)化計(jì)算(EC）及模糊系統(tǒng)(FS）這三個(gè)領(lǐng)域發(fā)展相對(duì)成熟的基礎(chǔ)上，形成的一個(gè)統(tǒng)一的學(xué)科概念。1、什么是計(jì)算智能Computational IntelligenceDarwin PrincipleCollective Behavior of Society Neural NetworkEvolutionaryComputationFuzzySystemOthersGenetic AlgorithmEvolutionary StrategyEvolutionary programmingGenetic Programmi

5、ngParticle SwarmAntArtificial System神經(jīng)網(wǎng)絡(luò) 對(duì)人類智能的結(jié)構(gòu)模擬方法。通過對(duì)大量人工神經(jīng)元的廣泛并行互聯(lián)，構(gòu)造人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)以模擬生物神經(jīng)系統(tǒng)的智能機(jī)理。進(jìn)化計(jì)算 對(duì)人類智能的演化模擬方法。通過對(duì)生物遺傳和演化過程的認(rèn)識(shí),用進(jìn)化算法模擬人類智能的進(jìn)化規(guī)律。模糊計(jì)算 對(duì)人類智能的邏輯模擬方法，通過對(duì)人類處理模糊現(xiàn)象認(rèn)知能力的認(rèn)識(shí)，用模糊邏輯模擬人類的智能行為。 計(jì)算智能不僅涉及神經(jīng)網(wǎng)絡(luò)、模糊系統(tǒng)和進(jìn)化計(jì)算三個(gè)主要分支，還包括：粒子群算法蟻群算法人工免疫系統(tǒng)人工生命模擬退火算法粗集理論與粒度計(jì)算支持向量機(jī)量子計(jì)算DNA計(jì)算智能agent生物智能 (Biolo

6、gical Intelligence，BI) 由腦的物理化學(xué)過程反映出來的, 腦智能的基礎(chǔ)。人工智能 (Artificial Intelligence，AI) 非生物的,人造的,常用符號(hào)表示，來源于人類知識(shí)的精華。計(jì)算智能 (Computational Intelligence，CI) 由數(shù)學(xué)方法和計(jì)算機(jī)實(shí)現(xiàn)的，來源于數(shù)值計(jì)算的傳感器。ABC： Artificial Biological Computational2、關(guān)系另一種觀點(diǎn)：計(jì)算智能和人工智能是不同的范疇。 雖然人工智能與計(jì)算智能之間有重合，但計(jì)算 智能是一個(gè)全新的學(xué)科領(lǐng)域，無(wú)論是生物智能 還是機(jī)器智能，計(jì)算智能都是其最核心的部分,

7、而人工智能則是外層。 實(shí)踐證明，只有將AI和CI很好地結(jié)合起來，才能更好地模擬人類智能，才是智能科學(xué)發(fā)展的正確方向。內(nèi)容提要第5章 計(jì)算智能1、概述2、神經(jīng)計(jì)算3、模糊計(jì)算4、遺傳算法5.2 神經(jīng)計(jì)算 以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的計(jì)算。 廣義上，神經(jīng)網(wǎng)絡(luò)可泛指生物神經(jīng)網(wǎng)絡(luò)，也可指人工神經(jīng)網(wǎng)絡(luò)。 人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）是指模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，運(yùn)用大量的處理部件，由人工方式建立起來的網(wǎng)絡(luò)系統(tǒng)。 人腦是ANN的原型，ANN是對(duì)人腦神經(jīng)系統(tǒng)的模擬。人工智能領(lǐng)域中，在不引起混淆的情況下，神經(jīng)網(wǎng)絡(luò)一般都指的都是ANN。 現(xiàn)代計(jì)算機(jī)雖有很強(qiáng)的計(jì)算和信息處理能力，但

8、解決像模式識(shí)別、感知、評(píng)判和決策等復(fù)雜問題的能力卻遠(yuǎn)遠(yuǎn)不及人。特別是其只能按人預(yù)先編好的程序機(jī)械地執(zhí)行，缺乏向環(huán)境學(xué)習(xí)、適應(yīng)環(huán)境的能力。 人腦是由大量的基本單元（神經(jīng)元）經(jīng)過復(fù)雜的互連而構(gòu)成的一種高度復(fù)雜、非線性、并行處理的信息處理系統(tǒng),單個(gè)神經(jīng)元的反應(yīng)速度在毫秒級(jí)，比起計(jì)算機(jī)的基本單元-邏輯門（反應(yīng)時(shí)間在10-9s量級(jí)）慢56個(gè)數(shù)量級(jí)。但由于人腦的神經(jīng)元數(shù)量巨大（約為1010個(gè)），每個(gè)神經(jīng)元可與幾千個(gè)其他神經(jīng)元連接（總連接數(shù)約為61013），因而對(duì)有些問題的處理速度反而比計(jì)算機(jī)要快得多，且能耗要低得多。由此可見，人腦的性能要比現(xiàn)代計(jì)算機(jī)高得多。 所謂人工神經(jīng)網(wǎng)絡(luò)，是模仿人腦工作方式而設(shè)計(jì)的一

9、種機(jī)器，可用電子或光電元件實(shí)現(xiàn)，也可用軟件在常規(guī)計(jì)算機(jī)上仿真。 或者說是一種具有大量連接的并行分布處理器，具有通過學(xué)習(xí)獲取知識(shí)并解決問題的能力，且知識(shí)是分布存儲(chǔ)在連接權(quán)（對(duì)應(yīng)于生物神經(jīng)元的突觸）中，而不是像常規(guī)計(jì)算機(jī)那樣按地址存儲(chǔ)在特定的存儲(chǔ)單元中。符號(hào)（功能）主義：符號(hào)邏輯推理聯(lián)結(jié)（結(jié)構(gòu)）主義：人工神經(jīng)網(wǎng)絡(luò)行為主義：智能行為模擬， “模式-動(dòng)作”聯(lián)結(jié)主義的觀點(diǎn)：智能的寓所在大腦皮層，是由大量非線 性神經(jīng)元互聯(lián)而成并行處理的神經(jīng)網(wǎng)絡(luò)。人工智能的各種學(xué)派： 總體而言，人工神經(jīng)網(wǎng)絡(luò)（ANN）是反映人腦結(jié)構(gòu)及功能的一種抽象數(shù)學(xué)模型，是由大量神經(jīng)元節(jié)點(diǎn)互連而成的復(fù)雜網(wǎng)絡(luò)，用以模擬人類進(jìn)行知識(shí)的表示與存

10、儲(chǔ)以及利用知識(shí)進(jìn)行推理的行為。 簡(jiǎn)單地講，ANN是一個(gè)數(shù)學(xué)模型，可用電子電路實(shí)現(xiàn)，也可用計(jì)算機(jī)程序來模擬，是人工智能研究的一種方法。 人工神經(jīng)網(wǎng)絡(luò)力求從四個(gè)方面模擬人腦的智能行為：物理結(jié)構(gòu)，計(jì)算模擬，存儲(chǔ)與操作，訓(xùn)練。5.2.1 人工神經(jīng)網(wǎng)絡(luò)研究的進(jìn)展 1、萌芽期（20世紀(jì)40年代） 1890年，美國(guó)生物學(xué)家W. James首次闡明了有關(guān)人腦結(jié)構(gòu)及其功能,以及相關(guān)學(xué)習(xí)、聯(lián)想、記憶的基本規(guī)律。 1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名的閾值加權(quán)和模型，簡(jiǎn)稱為M-P模型。 1949年，心理學(xué)家D.O.Hebb提出，神經(jīng)元之間突觸聯(lián)系是可變的假說-Hebb學(xué)習(xí)律。2、第一

11、高潮期（1950-1968） 以Minsky，Rosenblatt，Widrow等為代表人物。 1957年Rosenblatt定義了一個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為感知器。將神經(jīng)網(wǎng)絡(luò)研究從純理論的探討推向工程實(shí)現(xiàn)，在IBM計(jì)算機(jī)上進(jìn)行了模擬，并可用電子線路模擬。3、反思期（1969-1982） 1969年Minsky和Papert在感知機(jī)一書中指出感知機(jī)的缺陷(異或運(yùn)算不可表示)，使得神經(jīng)網(wǎng)絡(luò)的研究從興起期進(jìn)入了停滯期。 芬蘭學(xué)者Kohonen提出了自組織映射理論(SOM)，美國(guó)學(xué)者Grossberg提出了自適應(yīng)諧振理論(ART)，這些研究成果對(duì)神經(jīng)網(wǎng)絡(luò)以后的發(fā)展產(chǎn)生了重要影響。4、第二高潮期（1983

12、-1990） 1982年，Hopfield提出Hopfield模型。1984年，Hopfield設(shè)計(jì)研制了Hopfield網(wǎng)的電路。較好地解決了著名的TSP問題，引起了較大轟動(dòng)。 1985年，Hinton、Sejnowsky、Rumelhart等人在Hopfield網(wǎng)絡(luò)中引入隨機(jī)機(jī)制，提出Boltzmann機(jī)。 1986年， Rumelhart, Hinton提出多層感知機(jī)與反向傳播(BP) 學(xué)習(xí)算法，該方法克服了感知器非線性不可分類問題，給神經(jīng)網(wǎng)絡(luò)研究帶來了新的希望。 1990年12月中國(guó)首屆神經(jīng)網(wǎng)絡(luò)大會(huì)在北京舉行。5、成熟期（1991- ） 平穩(wěn)發(fā)展，應(yīng)用廣泛，與其他領(lǐng)域的結(jié)合：與進(jìn)化計(jì)算

13、結(jié)合、與模糊邏輯結(jié)合、 。 實(shí)際應(yīng)用：計(jì)算機(jī)視覺、自然語(yǔ)言理解、優(yōu)化計(jì)算、智能控制等。 并行分布處理：并行結(jié)構(gòu)，耐故障。(實(shí)時(shí)、動(dòng)態(tài))非線性映射：任意非線性映射能力。(非線性問題)通過訓(xùn)練進(jìn)行學(xué)習(xí)：通過數(shù)據(jù)記錄進(jìn)行訓(xùn)練，能處理由數(shù)學(xué) 模型或描述規(guī)則難以處理的問題。適應(yīng)與集成：自適應(yīng)和信息融合能力。(復(fù)雜、大規(guī)模、多變量)硬件實(shí)現(xiàn)：快速和大規(guī)模處理能力。(并行處理)人工神經(jīng)網(wǎng)絡(luò)的特性：神經(jīng)網(wǎng)絡(luò)的生物學(xué)機(jī)理。、神經(jīng)元結(jié)構(gòu)包括四個(gè)部分 胞體：神經(jīng)細(xì)胞的本體，維持細(xì)胞生存功能 樹突：接收來自其他神經(jīng)元的信號(hào)（輸入） 軸突：輸出信號(hào) 突觸：與另一個(gè)神經(jīng)元相聯(lián)系的特殊部位5.2.2 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 一

14、個(gè)神經(jīng)元有兩種狀態(tài)：興奮、抑制。 平時(shí)處于抑制狀態(tài)的神經(jīng)元，其樹突和胞體接收其它神經(jīng)元由突觸 傳來的興奮電位，多個(gè)輸入在神經(jīng)元中以代數(shù)和的方式疊加。 如果輸入的興奮電位總量超過某個(gè)閾值，神經(jīng)元會(huì)被激發(fā)進(jìn)入興奮 狀態(tài)，發(fā)出輸出脈沖，并由突觸傳遞給其他神經(jīng)元。 神經(jīng)元被觸發(fā)后進(jìn)入不應(yīng)期，在不應(yīng)期內(nèi)不能被觸發(fā)，然后閾值逐 漸下降，恢復(fù)抑制狀態(tài)。、神經(jīng)元的基本工作機(jī)制（簡(jiǎn)化） 神經(jīng)元及其連接。 神經(jīng)元之間的連接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱。 神經(jīng)元之間的連接強(qiáng)度可以隨訓(xùn)練改變。 信號(hào)可以起刺激作用，也可以起抑制作用。 一個(gè)神經(jīng)元接受信號(hào)的累積效果決定該神經(jīng)元的狀態(tài)。 每個(gè)神經(jīng)元有一個(gè)“閾值”。、生物神經(jīng)網(wǎng)絡(luò)

15、的六個(gè)基本特征MP模型： 一種人工神經(jīng)元的數(shù)學(xué)模型，是最早的神經(jīng)元模型之一。 是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。 MP模型示意圖：1、神經(jīng)元及其特性輸入輸出中間狀態(tài)人工神經(jīng)元是仿照生物神經(jīng)元提出的，神經(jīng)元可以有N個(gè)輸入：每個(gè)輸入端與神經(jīng)元之間有一定的連接權(quán)值：神經(jīng)元總的輸入為對(duì)每個(gè)輸入的加權(quán)求和，同時(shí)減去閾值。u代表神經(jīng)元的活躍值，即神經(jīng)元狀態(tài)：神經(jīng)元的輸出y是對(duì)u的映射：二值函數(shù)f 稱為輸出函數(shù)(激勵(lì)函數(shù)，激活函數(shù))，有幾種形式：S型函數(shù)雙曲正切函數(shù)輸出函數(shù)“f”的作用： 控制輸入對(duì)輸出的激活作用。 對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換。 將可能無(wú)限域的輸入變換成有限范圍內(nèi)的輸出。2、人工神經(jīng)網(wǎng)絡(luò)的基本特性和

16、結(jié)構(gòu) 結(jié)構(gòu)由基本處理單元及其互連方法決定。 人工神經(jīng)網(wǎng)絡(luò)由神經(jīng)元模型構(gòu)成。 這種由許多神經(jīng)元組成的信息處理網(wǎng)絡(luò)具有并行分布結(jié)構(gòu)，每個(gè)神經(jīng)元具有單一輸出，并且能夠與其它神經(jīng)元連接。 存在許多(多重)輸出連接方法，每種連接方法對(duì)應(yīng)一個(gè)連接權(quán)系數(shù)。嚴(yán)格地說，人工神經(jīng)網(wǎng)絡(luò)是一種具有下列特性的有向圖：(1) 對(duì)于每個(gè)節(jié)點(diǎn)i存在一個(gè)狀態(tài)變量xi ；(2) 從節(jié)點(diǎn)i至節(jié)點(diǎn)j，存在一個(gè)連接權(quán)系數(shù)wij ；(3) 對(duì)于每個(gè)節(jié)點(diǎn)i，存在一個(gè)閾值i；(4) 對(duì)于每個(gè)節(jié)點(diǎn)i，定義一個(gè)變換函數(shù) fi( xi ,wij,i)； 對(duì)于最一般的情況，此函數(shù)的形式為： 神經(jīng)元模型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)的特性及能力即主要取決于網(wǎng)

17、絡(luò)的拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法。 人工神經(jīng)網(wǎng)絡(luò)（ANN）可以看成是以人工神經(jīng)元為節(jié)點(diǎn),用有向加權(quán)弧連接起來的有向圖。 人工神經(jīng)元就是對(duì)生物神經(jīng)元的模擬。 有向弧則是軸突突觸樹突對(duì)的模擬。 有向弧的權(quán)值表示相互連接的兩個(gè)人工神經(jīng)元之間相互作用的強(qiáng)弱。 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)基本上分為兩類：遞歸(反饋)網(wǎng)絡(luò)、和前饋網(wǎng)絡(luò)。、遞歸網(wǎng)絡(luò)在遞歸網(wǎng)絡(luò)中，多個(gè)神經(jīng)元互連以組織成一個(gè)互連神經(jīng)網(wǎng)絡(luò)，如圖所示。 有些神經(jīng)元的輸出被反饋至同層或前層神經(jīng)元。因此，信號(hào)能夠從正向和反向流通。（Hopfield網(wǎng)絡(luò)） 遞歸網(wǎng)絡(luò)又叫做反饋網(wǎng)絡(luò)。Vi ：表示節(jié)點(diǎn)的狀態(tài)xi ：節(jié)點(diǎn)的輸入(初始)值xi ：收斂后的輸出值 （i=1,2,n）、

18、前饋網(wǎng)絡(luò) 前饋網(wǎng)絡(luò)具有遞階分層結(jié)構(gòu)，由一些同層神經(jīng)元間不存在互連的層級(jí)組成。從輸入層至輸出層的信號(hào)通過單向連接流通；(感知器) 神經(jīng)元從一層連接至下一層，不存在同層神經(jīng)元間的連接。實(shí)線-指明實(shí)際信號(hào)流通,虛線-表示反向傳播。 (連接權(quán)值)3、人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)方法 人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。 1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它能表達(dá)的任何東西。 神經(jīng)網(wǎng)絡(luò)的適應(yīng)性是通過學(xué)習(xí)實(shí)現(xiàn)的，學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)研究的一個(gè)重要內(nèi)容，人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程表現(xiàn)為對(duì)連接權(quán)值的訓(xùn)練。 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法,涉及到學(xué)習(xí)方式和學(xué)習(xí)規(guī)則的確定，不

19、同的學(xué)習(xí)方法其學(xué)習(xí)方式和學(xué)習(xí)規(guī)則是不同的。、學(xué)習(xí)方式 通過向環(huán)境學(xué)習(xí)，獲取知識(shí)并改進(jìn)自身性能，是NN的一個(gè)重要特點(diǎn)。一般情況下，性能的改善是按某種預(yù)定的度量，通過調(diào)節(jié)自身參數(shù)（權(quán)值）隨時(shí)間逐步達(dá)到的。 按環(huán)境提供信息量的多少，學(xué)習(xí)方式有3種：監(jiān)督學(xué)習(xí)（有師學(xué)習(xí)）、非監(jiān)督學(xué)習(xí)（無(wú)師學(xué)習(xí)）、再勵(lì)學(xué)習(xí)（強(qiáng)化學(xué)習(xí)）。 監(jiān)督學(xué)習(xí)（有師學(xué)習(xí)） 此學(xué)習(xí)方式需要外界存在一個(gè)教師，可對(duì)給定的一組輸入提供應(yīng)有的輸出結(jié)果(正確答案已知的輸出）。 輸出數(shù)據(jù)稱為訓(xùn)練樣本集，學(xué)習(xí)系統(tǒng)(ANN)可根據(jù)已知輸出與實(shí)際輸出之間的差值(誤差信號(hào))來調(diào)節(jié)系統(tǒng)參數(shù)。 非監(jiān)督學(xué)習(xí)（無(wú)師學(xué)習(xí)） 不存在外部教師，學(xué)習(xí)系統(tǒng)完全按照環(huán)境提供數(shù)

20、據(jù)的某些規(guī)律來調(diào)節(jié)自身參數(shù)或結(jié)構(gòu)（是一種自組織過程），以表示出外部輸入的某種固有特性（如聚類或某種統(tǒng)計(jì)上的分布特征）。 再勵(lì)學(xué)習(xí)（強(qiáng)化學(xué)習(xí)） 介于有師與無(wú)師兩種情況之間。外部環(huán)境對(duì)系統(tǒng)輸出結(jié)果只給出評(píng)價(jià)信息（獎(jiǎng)或懲），而不是給出正確答案，學(xué)習(xí)系統(tǒng)通過強(qiáng)化那些受獎(jiǎng)的動(dòng)作來改善自身的性能。 誤差糾正學(xué)習(xí) 令yk(n)為輸入xk(n)時(shí)，神經(jīng)元k在n時(shí)刻的實(shí)際輸出，dk(n)表示應(yīng)有的輸出，則誤差信號(hào)可寫為：誤差糾正學(xué)習(xí)的最終目的：使某一基于ek(n)的目標(biāo)函數(shù)達(dá)到最小，以使網(wǎng)絡(luò)中每一輸出單元的實(shí)際輸出，在某種意義上逼近應(yīng)有的輸出。、學(xué)習(xí)規(guī)則 一旦選定了目標(biāo)函數(shù)形式，誤差糾正學(xué)習(xí)就變成了一個(gè)典型的“

21、最優(yōu)化”問題。最常用的目標(biāo)函數(shù)是“均方誤差判據(jù)”，定義為誤差平方和的均值。 其中，E為求期望算子。 上式的前提是被學(xué)習(xí)的過程是寬平穩(wěn)的，具體方法可用“最優(yōu)梯度下降法”。直接用J作為目標(biāo)函數(shù)時(shí),需要知道整個(gè)學(xué)習(xí)過程的統(tǒng)計(jì)特性,為解決這一問題，通常用J在時(shí)刻n的瞬時(shí)值(n)代替J，即：各數(shù)據(jù)偏離平均數(shù)的距離的平均數(shù)。（標(biāo)準(zhǔn)差）表示實(shí)驗(yàn)誤差大小的偏差平方和。屬“等精度測(cè)量”，即在相同條件下，各次測(cè)量值Xi對(duì)測(cè)定平均值X的偏差平方和后再求和。(Xi-X)2概率意義下的“加權(quán)平均”。根據(jù)大數(shù)定理，有n次結(jié)果的平均值將趨向數(shù)學(xué)期望值。問題變?yōu)椋呵?n)對(duì)權(quán)值w的極小值，根據(jù)梯度下降法可得： 這就是通常所說

22、的誤差糾正學(xué)習(xí)規(guī)則（或稱delta學(xué)習(xí)規(guī)則）。在自適應(yīng)濾波理論中，對(duì)這種學(xué)習(xí)的收斂性有較深入的分析。其中，為學(xué)習(xí)步長(zhǎng)。 Hebb學(xué)習(xí) 由神經(jīng)心理學(xué)家Hebb提出的學(xué)習(xí)規(guī)則可歸納為：“當(dāng)某一突觸(連接)兩端的神經(jīng)元同步激活(同為激活同為抑制)時(shí)，該連接的強(qiáng)度應(yīng)為增強(qiáng)，反之減弱”。 式中，yk(n)，xj(n)分別為wkj兩端神經(jīng)元的狀態(tài)，其中最常用的一種情況是：因wkj與yk(n)，xj(n)的相關(guān)成正比，也稱為“相關(guān)學(xué)習(xí)規(guī)則”。 用數(shù)學(xué)方式可描述為： 競(jìng)爭(zhēng)學(xué)習(xí) 網(wǎng)絡(luò)各輸出單元互相競(jìng)爭(zhēng)，最后只有一個(gè)最強(qiáng)者激活。最常見的一種情況是輸出神經(jīng)元之間有“側(cè)向抑制性連接”。 即原輸出單元中如有某一單元較強(qiáng)

23、，則它將獲勝并抑制其他單元,最后只有此強(qiáng)者處于激活狀態(tài)。最常用的競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則可寫為： 當(dāng)學(xué)習(xí)系統(tǒng)(神經(jīng)網(wǎng)絡(luò))所處環(huán)境平穩(wěn)時(shí)(統(tǒng)計(jì)特性不隨時(shí)間變化),理論上通過監(jiān)督學(xué)習(xí)可學(xué)到環(huán)境的統(tǒng)計(jì)特性，這些統(tǒng)計(jì)特性可被學(xué)習(xí)系統(tǒng)作為經(jīng)驗(yàn)記住。但若環(huán)境是非平穩(wěn)的(統(tǒng)計(jì)特性隨時(shí)間變化)，通常的監(jiān)督學(xué)習(xí)沒有能力跟蹤這種變化。 為解決此問題，需要網(wǎng)絡(luò)有一定的自適應(yīng)能力，此時(shí)對(duì)每一個(gè)不同輸入都作為一個(gè)新的例子來對(duì)待。、學(xué)習(xí)與自適應(yīng) 此時(shí)模型（即ANN）被當(dāng)做一個(gè)預(yù)測(cè)器，基于前一個(gè)時(shí)刻輸入x(n-1)和模型在n-1時(shí)刻的參數(shù)，它估計(jì)n時(shí)刻的輸出x(n)，x(n)與實(shí)際值x(n)（應(yīng)有的正確答案）比較，其差值稱為“信息”。

24、 若信息e(n)=0，則不修正模型參數(shù)，否則修正模型參數(shù)，以便跟蹤環(huán)境的變化。4、基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示 這里，知識(shí)并不像在產(chǎn)生式系統(tǒng)中那樣獨(dú)立地表示為每一條規(guī)則，而是將某一問題的若干知識(shí)在同一網(wǎng)絡(luò)中表示。 例如，在有些神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，知識(shí)是用神經(jīng)網(wǎng)絡(luò)所對(duì)應(yīng)的有向權(quán)圖的鄰接矩陣及閾值向量表示的。5、基于神經(jīng)網(wǎng)絡(luò)的推理 通過網(wǎng)絡(luò)計(jì)算實(shí)現(xiàn)。 把用戶提供的初始證據(jù)用作網(wǎng)絡(luò)的輸入，通過網(wǎng)絡(luò)計(jì)算最終得到輸出結(jié)果。 一般來說，正向網(wǎng)絡(luò)推理的步驟： 將已知數(shù)據(jù)，輸入網(wǎng)絡(luò)輸入層的各個(gè)節(jié)點(diǎn)； 利用特性函數(shù)，分別計(jì)算網(wǎng)絡(luò)中各層的輸出； 用閾值函數(shù)，對(duì)輸出層的輸出進(jìn)行判定，從而得到輸出結(jié)果。5.2.3 人工神經(jīng)網(wǎng)絡(luò)

25、的典型模型及其算法 人工神經(jīng)網(wǎng)絡(luò)相關(guān)算法,已在智能處理系統(tǒng)中廣泛應(yīng)用。迄今為止，已經(jīng)開發(fā)和應(yīng)用了30多種人工神經(jīng)網(wǎng)絡(luò)模型。 在此，我們僅對(duì)典型網(wǎng)絡(luò)模型及其算法作簡(jiǎn)要介紹。 1、反向傳播(BP)模型 2、Hopfield網(wǎng)絡(luò) 3、自適應(yīng)共振理論(ART)模型1、反向傳播(BP)模型神經(jīng)元的網(wǎng)絡(luò)輸入：net i = x1w1i+x2w2i+x nwni 輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定了網(wǎng)絡(luò)拓?fù)洹?增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一定總能提高網(wǎng)絡(luò)精度和表達(dá)能力。 BP網(wǎng)一般都選用二級(jí)（3層）網(wǎng)絡(luò)。因?yàn)榭梢宰C明如果BP網(wǎng)絡(luò)中隱層單元可以根據(jù)需要自由設(shè)定，那

26、么一個(gè)三層網(wǎng)絡(luò)可以實(shí)現(xiàn)以任意精度近似任意連續(xù)函數(shù)。 將待識(shí)別模式的輸入矢量輸入至輸入層，并傳至后面的隱含層，最后通過連接權(quán)輸出到輸出層。網(wǎng)絡(luò)中每個(gè)神經(jīng)元通過求輸入權(quán)值和非線性激勵(lì)函數(shù)傳遞結(jié)果來工作。其數(shù)學(xué)描述為：式中，outi -所考慮層中第i個(gè)神經(jīng)元的輸出。 outj -前一層中第j個(gè)神經(jīng)元的輸出。 ( ) -激勵(lì)函數(shù)。 neti -網(wǎng)絡(luò)中第i個(gè)神經(jīng)元。 對(duì)非線性激勵(lì)函數(shù)的使用有幾種常用形式，其中經(jīng)常采用的是前面介紹過的Sigmoid函數(shù)：BP算法基本思想： 樣本集：S=(X1,Y1),(X2,Y2),(Xs,Ys) 逐一根據(jù)樣本集中的樣本(Xk,Yk)計(jì)算出實(shí)際輸出Ok及其誤差E1，然后對(duì)

27、各層神經(jīng)元的權(quán)值W(1),W(2),W(L)各做一次調(diào)整，重復(fù)這個(gè)循環(huán)，直到Ep（所有樣本的誤差之和）。 用輸出層的誤差調(diào)整輸出層“權(quán)矩陣”，并用此誤差估計(jì)輸出層的直接前導(dǎo)層的誤差；再用輸出層前導(dǎo)層誤差估計(jì)更前一層的誤差（逐層前推），如此獲得所有其它各層的誤差估計(jì)；并用這些估計(jì)實(shí)現(xiàn)對(duì)權(quán)矩陣的修改。 形成將輸出端表現(xiàn)出的誤差沿著與輸入信號(hào)相反的方向逐級(jí)向輸入端傳遞的過程。BP算法訓(xùn)練過程概述前提-樣本(訓(xùn)練)集(輸入值，理想(期望)輸出值)1、首先定義網(wǎng)絡(luò)誤差 對(duì)于BP反向傳播訓(xùn)練算法，通常使用的網(wǎng)絡(luò)誤差是熟知的“均方差”。但事實(shí)上并不是必須使用均方差，可使用任何連續(xù)可微誤差函數(shù)，不過選擇其他誤

28、差函數(shù)會(huì)增加額外的復(fù)雜性。 須注意，不論選用哪種函數(shù)作為誤差函數(shù)，必須在網(wǎng)絡(luò)輸出期望值與實(shí)際值之間提供一個(gè)有意義的度量-距離。假設(shè)這樣的訓(xùn)練集合存在，即可討論怎樣利用它來訓(xùn)練一個(gè)網(wǎng)絡(luò)。 均方差定義：式中，Ep是第p個(gè)樣本（xp ,tp）的誤差； tpj是第j個(gè)神經(jīng)元輸出的期望值（即訓(xùn)練集合）； opj是第j個(gè)神經(jīng)元輸出的實(shí)際值。 上式中，每一項(xiàng)都反映單個(gè)輸出神經(jīng)元對(duì)整個(gè)誤差的影響，取絕對(duì)誤差（期望值和實(shí)際值之差）的平方。 可以看出：遠(yuǎn)離期望值的那些輸出對(duì)總誤差影響最大，增加“冪指數(shù)”，影響則更明顯。BP反向傳播算法是“梯度下降訓(xùn)練算法”中比較簡(jiǎn)單的一種。核心思想：調(diào)整權(quán)值使網(wǎng)絡(luò)總誤差最小。梯度

29、下降法也稱為“最速下降法”。基本思想： 從當(dāng)前點(diǎn)出發(fā)，取函數(shù)在該點(diǎn)處下降最快的方向，作為搜索方向。 任一點(diǎn)的負(fù)梯度方向，是函數(shù)值在該點(diǎn)下降最快的方向。 將n維問題，轉(zhuǎn)換為一系列沿負(fù)梯度方向，用一維搜索方法尋優(yōu)問題。 網(wǎng)絡(luò)中的每個(gè)權(quán)值都是N維誤差空間中的一個(gè)元素，在誤差空間中權(quán)值作為獨(dú)立的變量，且相應(yīng)誤差表面(曲線)的形狀由訓(xùn)練集合和誤差函數(shù)共同決定。 權(quán)值的誤差函數(shù)負(fù)梯度指向誤差函數(shù)減小最快的方向。如果在權(quán)值空間沿這個(gè)矢量移動(dòng)，最終將達(dá)到極小值(該點(diǎn)梯度為零)。 但該點(diǎn)可能是局部極小點(diǎn)，如下圖給出誤差空間中梯度與Ep之間的關(guān)系，形象地指出了誤差函數(shù)達(dá)到局部最小值的情形。其中: pWji表示連接

30、L-1層的源神經(jīng)元i和L層的目的神經(jīng)元j權(quán)值的變化。 權(quán)值的這個(gè)變化，導(dǎo)致了權(quán)值空間中梯度沿降低誤差方向變化。 （正比關(guān)系變化）上述結(jié)果的數(shù)學(xué)描述：權(quán)值誤差函數(shù)負(fù)梯度關(guān)系式：因此，首先必須計(jì)算偏微分- / 應(yīng)用公式： 目標(biāo)：確定如何調(diào)整每個(gè)權(quán)值，使網(wǎng)絡(luò)收斂。任務(wù)：將上式轉(zhuǎn)換成適合于計(jì)算機(jī)實(shí)現(xiàn)的微分方程。上式說明：每個(gè)權(quán)值Wji將沿著局部誤差表面最速下降的負(fù)梯度方向變化 一步的關(guān)系式。Opl是對(duì)L-1層的所有神經(jīng)元輸出求和得到，因此可計(jì)算第二項(xiàng)偏微分： 展開： netpj由下式給出： 得： 定義誤差信號(hào)pj： 兩式合并，得：前述權(quán)值誤差函數(shù)負(fù)梯度關(guān)系式： 式中，常數(shù)是學(xué)習(xí)速率，它控制在權(quán)值空間中

31、，對(duì)應(yīng)每步沿負(fù)梯度方向變化的大小。乘上一個(gè)比例常數(shù)，重寫得：為了得到可用的微分方程，暫不考慮pj的變化，運(yùn)用微分公式：已知，輸出Opj是netpj的函數(shù)，表示為：激勵(lì)函數(shù)為計(jì)算，必須分別考慮下面兩種情況： 目的神經(jīng)元j是一輸出神經(jīng)元。 目的神經(jīng)元j是一隱含層神經(jīng)元。、輸出層中的目的神經(jīng)元 對(duì)于輸出層中的目的神經(jīng)元，直接得到以O(shè)pj為自變量的誤差函數(shù)Ep，可得出：可將pj（輸出層的目的神經(jīng)元）寫成： 、隱含層中的目的神經(jīng)元對(duì)于隱含層中的目的神經(jīng)元，不能直接對(duì)誤差函數(shù)微分。利用微分公式： 對(duì)L+1層中的所有神經(jīng)元求和。根據(jù)netpk的定義，可計(jì)算式中第二個(gè)因子：得：由定義可以得到：得到：將前述兩式與上式合并：隱含層誤差信號(hào)pj可表示為： 小結(jié)：概括上述結(jié)果，公式 給出了關(guān)于pj的微分方程，它對(duì)隱含層和輸出層權(quán)值都有效。 公式對(duì)應(yīng)輸出層和隱含層權(quán)值pj的表達(dá)式。和修正上述公式。分別是公式給出的是對(duì)應(yīng)于均方差公式的解。因此，若使用其他誤差函數(shù)，則必須要 為得到適于計(jì)算機(jī)的微分方程，現(xiàn)僅