人工智能課件4

第4章計(jì)算智能(1):神經(jīng)計(jì)算模糊計(jì)算4.1概述4.2神經(jīng)計(jì)算4.3模糊計(jì)算10/8/20231第4章計(jì)算智能(1):神經(jīng)計(jì)算模糊計(jì)算4.1概述4.2神經(jīng)計(jì)算4.3模糊計(jì)算10/8/202324.1概述計(jì)算智能涉及神經(jīng)計(jì)算、模糊計(jì)算、進(jìn)化計(jì)算和人工生命等領(lǐng)域。什么是計(jì)算智能，它與傳統(tǒng)的AI有何區(qū)別？貝茲德克提出：一方面，計(jì)算智能取決于制造者提供的數(shù)值數(shù)據(jù)，而不依賴于知識(shí)；另一方面，人工智能則應(yīng)用知識(shí)精品。人工神經(jīng)網(wǎng)絡(luò)應(yīng)當(dāng)稱為計(jì)算神經(jīng)網(wǎng)絡(luò)。計(jì)算智能和人工智能的界限并不十分明顯。10/8/202334.1概述貝茲德克有趣ABCAArtificial,人工的BBiological,物理的+化學(xué)的+(??)=生物的CComputational,數(shù)學(xué)+計(jì)算機(jī)模式識(shí)別PR生物神經(jīng)網(wǎng)絡(luò)BNN人工神經(jīng)網(wǎng)絡(luò)ANN計(jì)算神經(jīng)網(wǎng)絡(luò)CNN10/8/202344.1概述輸入復(fù)雜性輸入復(fù)雜性人類知識(shí)(+)傳感輸入知識(shí)(+)傳感數(shù)據(jù)計(jì)算(+)傳感器B-生物的A-符號(hào)的C-數(shù)值的CNNCPRCIANN

APRAIBNN

BPR

BIABC的交通關(guān)系圖CIAI10/8/202354.1概述計(jì)算智能是一種智力方式的低層認(rèn)知，它與人工智能的區(qū)別只是認(rèn)知層次從中層下降至低層。中層含有知識(shí)(精品)，而低層沒有。若一個(gè)系統(tǒng)只涉及數(shù)值(低層)數(shù)據(jù)，含有模式識(shí)別部分，不應(yīng)用AI意義上的知識(shí)，而且能夠呈現(xiàn)出①計(jì)算適應(yīng)性；②計(jì)算容錯(cuò)性；③接近人的速度；④誤差率與人相近，則該系統(tǒng)就是計(jì)算智能系統(tǒng)。若一個(gè)智能計(jì)算系統(tǒng)以非數(shù)值方式加上知識(shí)(精品)，即成為人工智能。10/8/20236第4章計(jì)算智能(1):神經(jīng)計(jì)算模糊計(jì)算4.1概述4.2神經(jīng)計(jì)算4.3模糊計(jì)算10/8/20237第4章計(jì)算智能(1):神經(jīng)計(jì)算模糊計(jì)算4.1概述4.2神經(jīng)計(jì)算4.3模糊計(jì)算10/8/202384.2神經(jīng)計(jì)算

ANN研究的進(jìn)展什么叫人工神經(jīng)網(wǎng)絡(luò)采用物理可實(shí)現(xiàn)的系統(tǒng)來模仿人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能的系統(tǒng)。為什么要研究神經(jīng)網(wǎng)絡(luò)用計(jì)算機(jī)代替人的腦力勞動(dòng)。計(jì)算機(jī)速度為納秒級(jí)，人腦細(xì)胞反應(yīng)時(shí)間是毫秒級(jí)。而計(jì)算機(jī)不如人。長期以來人類的夢(mèng)想，機(jī)器既能超越人的計(jì)算能力，又有類似于人的識(shí)別、分析、聯(lián)想等能力。10/8/202394.2神經(jīng)計(jì)算

ANN研究的進(jìn)展發(fā)展史1890年，美國生物學(xué)家W.James出版了《Physiology》（生理學(xué)）一書。首次闡明了有關(guān)人腦結(jié)構(gòu)及其功能，以及相關(guān)學(xué)習(xí)、聯(lián)想、記憶的基本規(guī)律。指出：人腦中當(dāng)兩個(gè)基本處理單元同時(shí)活動(dòng)，或兩個(gè)單元靠得比較近時(shí)，一個(gè)單元的興奮會(huì)傳到另一個(gè)單元。而且一個(gè)單元的活動(dòng)程度與他周圍的活動(dòng)數(shù)目和活動(dòng)密度成正比。10/8/2023104.2神經(jīng)計(jì)算

ANN研究的進(jìn)展1943年麥卡洛克McCulloch（心理學(xué)家）和皮茨Pitts（數(shù)理邏輯學(xué)家）發(fā)表文章，提出M-P模型。描述了一個(gè)簡單的人工神經(jīng)元模型的活動(dòng)是服從二值（興奮和抑制）變化的?？偨Y(jié)了神經(jīng)元的基本生理特性，提出了神經(jīng)元的數(shù)學(xué)描述和網(wǎng)絡(luò)的結(jié)構(gòu)方法?！獦?biāo)志神經(jīng)計(jì)算時(shí)代的開始

意義：M-P模型能完成任意有限的邏輯運(yùn)算第一個(gè)采用集體并行計(jì)算結(jié)構(gòu)來描述人工神經(jīng)元和網(wǎng)絡(luò)工作。為進(jìn)一步的研究提供了依據(jù)（1）產(chǎn)生時(shí)期10/8/2023114.2神經(jīng)計(jì)算

ANN研究的進(jìn)展1957年FrankRosenblatt定義了一個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為感知器(Perceptron)。

意義：第一次把神經(jīng)網(wǎng)絡(luò)研究從純理論的探討推向工程實(shí)現(xiàn)，在IBM704計(jì)算機(jī)上進(jìn)行了模擬，證明了該模型有能力通過調(diào)整權(quán)的學(xué)習(xí)達(dá)到正確分類的結(jié)果。掀起了神經(jīng)網(wǎng)絡(luò)研究高潮。（2）高潮時(shí)期10/8/2023124.2神經(jīng)計(jì)算

ANN研究的進(jìn)展1969M.Minsky和S.Papert發(fā)表了《Perceptrons》的論著，指出感知器僅能解決一階謂詞邏輯，只能做線性劃分。對(duì)于非線性或其他分類會(huì)遇到很大困難。一個(gè)簡單的XOR問題的例子就證明了這一點(diǎn)。——神經(jīng)網(wǎng)絡(luò)研究一度達(dá)到低潮。原因還有，計(jì)算機(jī)不夠發(fā)達(dá)、VLSI還沒出現(xiàn)、而人工智能和專家系統(tǒng)正處于發(fā)展高潮。（3）低潮時(shí)期10/8/2023134.2神經(jīng)計(jì)算

ANN研究的進(jìn)展1982年JohnJ.Hopfield（物理學(xué)家）提出了全聯(lián)接網(wǎng)絡(luò)，離散的神經(jīng)網(wǎng)絡(luò)模型。——全新的具有完整理論基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型?；舅枷胧菍?duì)于一個(gè)給定的神經(jīng)網(wǎng)絡(luò)，對(duì)于一個(gè)能量函數(shù)，這個(gè)能量函數(shù)是正比于每一個(gè)神經(jīng)元的活動(dòng)值和神經(jīng)元之間的聯(lián)接權(quán)。而活動(dòng)值的改變算法是向能量函數(shù)減少的方向進(jìn)行，一直達(dá)到一個(gè)極小值為止。證明了網(wǎng)絡(luò)可達(dá)到穩(wěn)定的離散和連續(xù)兩種情況。３年后AT&T等做出了半導(dǎo)體芯片?！窠?jīng)網(wǎng)絡(luò)復(fù)興時(shí)期開始。（4）蓬勃發(fā)展時(shí)期10/8/2023144.2神經(jīng)計(jì)算

ANN研究的進(jìn)展1986年美國的一個(gè)平行計(jì)算研究小組提出了前項(xiàng)反饋神經(jīng)網(wǎng)絡(luò)的BackPropagation（BP）學(xué)習(xí)算法。成為當(dāng)今應(yīng)用最廣泛的方法之一。該方法克服了感知器非線性不可分類問題，給神經(jīng)網(wǎng)絡(luò)研究帶來了新的希望。1987年在美國召開了第一屆世界神經(jīng)網(wǎng)絡(luò)大會(huì)1000人參加。10/8/2023154.2神經(jīng)計(jì)算

ANN研究的進(jìn)展人工智能與神經(jīng)網(wǎng)絡(luò)共同之處：研究怎樣是用計(jì)算機(jī)來模仿人腦工作過程。學(xué)習(xí)——實(shí)踐——再學(xué)習(xí)——再實(shí)踐。不同之處：人工智能研究人腦的推理、學(xué)習(xí)、思考、規(guī)劃等思維活動(dòng)，解決需人類專家才能處理的復(fù)雜問題。神經(jīng)網(wǎng)絡(luò)企圖闡明人腦結(jié)構(gòu)及其功能，以及一些相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本規(guī)則（聯(lián)想、概括、并行搜索、學(xué)習(xí)和靈活性）10/8/2023164.2神經(jīng)計(jì)算

ANN研究的進(jìn)展例如：人工智能專家系統(tǒng)是制造一個(gè)專家，幾十年難以培養(yǎng)的專家。 神經(jīng)網(wǎng)絡(luò)是制造一個(gè)嬰兒，一個(gè)誘餌，一個(gè)可以學(xué)習(xí)，可以完善，從一些自然知識(shí)中汲取智慧的生命成長過程。同樣是模仿人腦，但所考慮的角度不同。成年人和嬰兒。學(xué)習(xí)過程不一樣。一個(gè)是總結(jié)出常人都不懂得規(guī)律；一個(gè)是沒完沒了向他出示、重復(fù)一樣?xùn)|西，就象教一個(gè)小孩子說話10/8/2023174.2神經(jīng)計(jì)算

ANN研究的進(jìn)展研究目的人腦推理、學(xué)習(xí)、思考、規(guī)劃等思維活動(dòng)，解決需人類專家才能處理的復(fù)雜問題。闡明有關(guān)人腦結(jié)構(gòu)及其功能以及相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本規(guī)則研究內(nèi)容推理方法、知識(shí)表示、機(jī)器學(xué)習(xí)生物的生理機(jī)制、信息的存儲(chǔ)、傳遞、處理方式知識(shí)表示方法人懂→機(jī)器懂→人懂圖像等→機(jī)器→圖像等知識(shí)儲(chǔ)存方式知識(shí)庫中有事實(shí)和規(guī)則，隨時(shí)添加而增大，一條出了毛病有可能出錯(cuò)。在網(wǎng)的結(jié)構(gòu)之中，一條出問題不會(huì)出大錯(cuò)，網(wǎng)絡(luò)結(jié)構(gòu)不會(huì)隨知識(shí)增加變化很大人工智能人工神經(jīng)網(wǎng)絡(luò)10/8/2023184.2神經(jīng)計(jì)算

BNN的結(jié)構(gòu)神經(jīng)元neuron:100億突觸synapse:60億10/8/202319生物和人工神經(jīng)網(wǎng)絡(luò)間的對(duì)比生物神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)細(xì)胞體樹突軸突突觸神經(jīng)元輸入輸出權(quán)重10/8/2023204.2神經(jīng)計(jì)算

ANN的結(jié)構(gòu)神經(jīng)元每一個(gè)細(xì)胞處于兩種狀態(tài)。突觸聯(lián)接有強(qiáng)度。多輸入單輸出。實(shí)質(zhì)上傳播的是脈沖信號(hào)，信號(hào)的強(qiáng)弱與脈沖頻率成正比。轉(zhuǎn)移函數(shù)神經(jīng)細(xì)胞的輸出對(duì)輸入的反映。典型的轉(zhuǎn)移函數(shù)是非線性的。10/8/2023214.2神經(jīng)計(jì)算

ANN的結(jié)構(gòu)模型化形式前饋網(wǎng)絡(luò)：每層只與前層相聯(lián)接輸入輸出有反饋的前饋網(wǎng)絡(luò)：輸出層上存在一個(gè)反饋回路，將信號(hào)反饋到輸入層。而網(wǎng)絡(luò)本身還是前饋型的前饋內(nèi)層互聯(lián)網(wǎng)絡(luò)：外部看還是一個(gè)前向網(wǎng)絡(luò)，內(nèi)部有很多自組織網(wǎng)絡(luò)在層內(nèi)互聯(lián)著?！?10/8/2023224.2神經(jīng)計(jì)算

ANN的結(jié)構(gòu)……….反饋型全互聯(lián)網(wǎng)絡(luò)：所有計(jì)算單元之間都有聯(lián)接。如：Hopfield網(wǎng)絡(luò)反饋型局部聯(lián)接網(wǎng)絡(luò)：特例，每個(gè)神經(jīng)元的輸出只與其周圍的神經(jīng)元相連，形成反饋網(wǎng)絡(luò)。分類前饋型；反饋型；自組織競爭；其它10/8/2023234.2神經(jīng)計(jì)算

ANN的結(jié)構(gòu)基本屬性非線性： 非線性關(guān)系是自然界的普遍特性。大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制兩種不同的狀態(tài)。這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性。非局域性： 一個(gè)神經(jīng)網(wǎng)絡(luò)通常由多個(gè)神經(jīng)元廣泛聯(lián)接而成。一個(gè)系統(tǒng)的整體行為不僅取決于單個(gè)神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互聯(lián)接所決定。通過單元之間的大量聯(lián)接模擬大腦的非局域性。聯(lián)想記憶是非局域性的典型例子。10/8/2023244.2神經(jīng)計(jì)算

ANN的結(jié)構(gòu)非定常性： 人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能力。神經(jīng)網(wǎng)絡(luò)不但處理的信息有各種各樣，而且在處理信息的同時(shí)，非線性動(dòng)力系統(tǒng)本身也在不斷變化。經(jīng)常采用迭代過程描寫動(dòng)力系統(tǒng)的演化過程。非凸性： 一個(gè)系統(tǒng)的演化方向，在一定條件下，將取決于某個(gè)特定的狀態(tài)函數(shù)，如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個(gè)極值，故系統(tǒng)具有多個(gè)較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性。10/8/2023254.2神經(jīng)計(jì)算

ANN的結(jié)構(gòu)評(píng)價(jià)優(yōu)點(diǎn)： 并行性；分布存儲(chǔ)；容錯(cuò)性；學(xué)習(xí)能力缺點(diǎn)： 不適合高精度計(jì)算；學(xué)習(xí)問題沒有根本解決，慢；目前沒有完整的設(shè)計(jì)方法，經(jīng)驗(yàn)參數(shù)太多。10/8/2023264.2神經(jīng)計(jì)算

ANN的功能和特征

(1)記憶和存儲(chǔ)功能

(2)高度并行性

(3)分布式功能

(4)容錯(cuò)功能

(5)聯(lián)想功能

(6)自組織和自學(xué)習(xí)功能10/8/2023274.2神經(jīng)計(jì)算

ANN的功能和特征模擬神經(jīng)網(wǎng)絡(luò)是由模擬神經(jīng)元組成，可把ANN看成是以處理單元PE（processingelement）為節(jié)點(diǎn)，用加權(quán)有向?。ㄦ湥┫嗷ミB接而成的有向圖。

f()

-1x1x2xnw1wnw2y10/8/2023284.2神經(jīng)計(jì)算

ANN的數(shù)學(xué)描述x1,x2,...,xn表示某一神經(jīng)元的n個(gè)輸入；wi表示第i個(gè)輸入的連接強(qiáng)度，稱為連接權(quán)值；θ為神經(jīng)元的閾值；y為神經(jīng)元的輸出?？梢姡斯ど窠?jīng)元是一個(gè)具有多輸入，單輸出的非線性器件。它的輸入為

輸出為

f為神經(jīng)元功能函數(shù)或作用函數(shù)。10/8/2023294.2神經(jīng)計(jì)算

NN常見輸入輸出特性閾值型(Threshold)神經(jīng)元沒有內(nèi)部狀態(tài)，激活函數(shù)為一階躍函數(shù)。如圖(a)所示。

10/8/2023304.2神經(jīng)計(jì)算

NN常見輸入輸出特性分段線性強(qiáng)飽和型(LinearSaturation)又稱偽線性，其輸入/輸出在一定范圍內(nèi)滿足線性關(guān)系，一直延續(xù)到輸出為最大值1后，輸出就不再增大。如圖(b)所示。10/8/2023314.2神經(jīng)計(jì)算

NN常見輸入輸出特性S型(Sigmoid)

其輸入輸出特性常用對(duì)數(shù)曲線或正切曲線等表示。反映了神經(jīng)元的飽和特性。如圖(c)所示。10/8/2023324.2神經(jīng)計(jì)算

NN常見輸入輸出特性子閾累積型

當(dāng)產(chǎn)生的激活值超過T值時(shí)，該神經(jīng)元被激活產(chǎn)生一個(gè)反響。在線性范圍內(nèi)，系統(tǒng)的反響是線性的。如圖(d)所示。10/8/2023334.2神經(jīng)計(jì)算

人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)遞歸網(wǎng)絡(luò)(反饋網(wǎng)絡(luò))多個(gè)神經(jīng)互聯(lián)以組織一個(gè)互聯(lián)神經(jīng)網(wǎng)絡(luò)。有些神經(jīng)元的輸出被反饋至同層或前層神經(jīng)元，信號(hào)能夠從正向和反向流通。Hopfield前饋網(wǎng)絡(luò)

具有遞階分層結(jié)構(gòu)，由一些同層神經(jīng)元間不存在互聯(lián)的層級(jí)組成。從輸入層到輸出層的信號(hào)通過單項(xiàng)連接流通；神經(jīng)元從一層連接至下一層，不存在同層神經(jīng)元間的連接。BP10/8/2023344.2神經(jīng)計(jì)算

人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法按網(wǎng)絡(luò)的學(xué)習(xí)方法有師學(xué)習(xí)能夠根據(jù)期望的和實(shí)際的網(wǎng)絡(luò)輸出之間的差來調(diào)整神經(jīng)元間的連接的強(qiáng)度或權(quán)。需要有老師或?qū)焷硖峁┢谕蚰繕?biāo)輸出信號(hào)。強(qiáng)化學(xué)習(xí)是有師學(xué)習(xí)的特例。不需要老師給出目標(biāo)輸出。采用一個(gè)“評(píng)論員”來評(píng)價(jià)與給定輸入相對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)輸出的優(yōu)度。例遺傳算法。無師學(xué)習(xí)不需要知道期望輸出。在訓(xùn)練過程中，只要向神經(jīng)網(wǎng)絡(luò)提供輸入模式，神經(jīng)網(wǎng)絡(luò)就能夠自動(dòng)地適應(yīng)連接權(quán)，以便按相似特征把輸入模式分組聚集。10/8/2023354.2神經(jīng)計(jì)算

人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法學(xué)習(xí)規(guī)則(1)誤差糾正學(xué)習(xí)。令yk(n)為輸入xk(n)時(shí)，神經(jīng)元k在n時(shí)刻的實(shí)際輸出，dk(n)表示應(yīng)有的輸出(可由訓(xùn)練樣本給出)，則誤差信號(hào)可寫為ek(n)=dk(n)-yk(n)誤差糾正學(xué)習(xí)的最終目的是使某一基于ek(n)的目標(biāo)函數(shù)達(dá)到最小。一旦選定了目標(biāo)函數(shù)形式，誤差糾正學(xué)習(xí)就變成最優(yōu)化問題。最常用的目標(biāo)函數(shù)是均方誤差判據(jù)，定義為誤差平方和的均值。10/8/202336E為求期望算子。直接用J作為目標(biāo)函數(shù)需要知道整個(gè)過程的統(tǒng)計(jì)特性，為解決這一問題，通常用J在時(shí)刻n的瞬時(shí)值§(n)代替J，即問題變?yōu)榍蟆?n)對(duì)權(quán)值的極小值，據(jù)梯度下降法得

為學(xué)習(xí)步長，即通常所說的誤差糾正學(xué)習(xí)規(guī)則10/8/202337(2)Hebb學(xué)習(xí)。神經(jīng)學(xué)家Hebb提出的學(xué)習(xí)規(guī)則可歸納為“當(dāng)某一突觸兩端的神經(jīng)元同步激活，該連接的強(qiáng)度為增強(qiáng)，反之減弱”，數(shù)學(xué)方式描述：yk(n),xk(n)為wkj兩端神經(jīng)元的狀態(tài)，最常見的情況由于⊿wkj，yk(n),xk(n)的相關(guān)成比例，有時(shí)稱相關(guān)學(xué)習(xí)規(guī)則。10/8/202338(3)競爭學(xué)習(xí)：在競爭學(xué)習(xí)時(shí)，網(wǎng)絡(luò)各輸出單元互相競爭，最后達(dá)到只有一個(gè)最強(qiáng)者激活，最常見的一種情況是輸出神經(jīng)元之間有側(cè)向抑制性連接。10/8/2023394.2神經(jīng)計(jì)算

ANN的典型模型反向傳播（back-propagation，BP）算法是一種計(jì)算單個(gè)權(quán)值變化引起網(wǎng)絡(luò)性能變化值的較為簡單的方法。

反向傳播網(wǎng)絡(luò)的結(jié)構(gòu)從結(jié)構(gòu)上看，B-P網(wǎng)絡(luò)是典型的多層網(wǎng)絡(luò)，它不僅有輸入層節(jié)點(diǎn)，而且有一層或多層隱含節(jié)點(diǎn)。在B-P網(wǎng)絡(luò)中，層與層之間多采用全互連方式，但同一層的節(jié)點(diǎn)之間不存在相互連接。以一個(gè)三層B-P網(wǎng)絡(luò)結(jié)構(gòu)為例說明其特點(diǎn)10/8/2023404.2神經(jīng)計(jì)算

BP網(wǎng)絡(luò)的結(jié)構(gòu)10/8/2023414.2