華中科技大學(xué)人工智能 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理感知機(jī)學(xué)習(xí)算法基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí)10/9/20231計(jì)算智能信息科學(xué)與生命科學(xué)的相互交叉、相互滲透和相互促進(jìn)是現(xiàn)代科學(xué)技術(shù)發(fā)展的一個(gè)顯著特點(diǎn)。計(jì)算智能(CI)涉及神經(jīng)網(wǎng)絡(luò)(NN)、模糊邏輯、進(jìn)化計(jì)算和人工生命等領(lǐng)域，它的研究和發(fā)展正反映了當(dāng)代科學(xué)技術(shù)多學(xué)科交叉與集成的重要發(fā)展趨勢(shì)。CI-ComputationalIntelligenceNN-NeuralNets10/9/20232什么是計(jì)算智能把神經(jīng)網(wǎng)絡(luò)（NN）歸類(lèi)于人工智能（AI）可能不大合適，而歸類(lèi)于計(jì)算智能（CI）更能說(shuō)明問(wèn)題實(shí)質(zhì)。進(jìn)化計(jì)算、人工生命和模糊邏輯系統(tǒng)的某些課題，也都?xì)w類(lèi)于計(jì)算智能。計(jì)算智能取決于制造者（manufacturers）提供的數(shù)值數(shù)據(jù)，不依賴(lài)于知識(shí)；另一方面，人工智能應(yīng)用知識(shí)精品（knowledgetidbits）。人工神經(jīng)網(wǎng)絡(luò)應(yīng)當(dāng)稱(chēng)為計(jì)算神經(jīng)網(wǎng)絡(luò)。10/9/202331960年威德羅和霍夫率先把神經(jīng)網(wǎng)絡(luò)用于自動(dòng)控制研究。60年代末期至80年代中期，神經(jīng)網(wǎng)絡(luò)控制與整個(gè)神經(jīng)網(wǎng)絡(luò)研究一樣，處于低潮。80年代后期以來(lái)，隨著人工神經(jīng)網(wǎng)絡(luò)研究的復(fù)蘇和發(fā)展，對(duì)神經(jīng)網(wǎng)絡(luò)控制的研究也十分活躍。這方面的研究進(jìn)展主要在神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制和模糊神經(jīng)網(wǎng)絡(luò)控制及其在機(jī)器人控制中的應(yīng)用上。人工神經(jīng)網(wǎng)絡(luò)研究的進(jìn)展10/9/20234ANN的發(fā)展史20世紀(jì)40年代：興起與蕭條1943年M-Pmodel心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.Pitts提出：形式神經(jīng)元的數(shù)學(xué)描述與構(gòu)造方法與閾值神經(jīng)元model基本相同，權(quán)值固定1949年心理學(xué)家D.O.Hebb提出突觸強(qiáng)度可調(diào)的假設(shè)：學(xué)習(xí)過(guò)程發(fā)生在突觸上Hebb規(guī)則：10/9/2023520世紀(jì)50年代,第一次高潮1957年：F.Rosenblatt提出感知網(wǎng)絡(luò)（Perceptron）模型，這是第一個(gè)完整的ANN

基本構(gòu)成為閥值單元、網(wǎng)絡(luò)初具并行處理、分布存儲(chǔ)、學(xué)習(xí)等功能用于模式識(shí)別、聯(lián)想記憶引起NN研究的第一次高潮10/9/2023620世紀(jì)60年代,低潮1969年Minsky和Papert編寫(xiě)的《Perceptron》出版 使NN的研究進(jìn)入低潮P(pán)roblems：僅可解線性問(wèn)題 當(dāng)時(shí)現(xiàn)狀：數(shù)學(xué)機(jī)發(fā)達(dá)，認(rèn)為可解決一切問(wèn)題但工作并未停止10/9/202371975年Albus提出CMAC網(wǎng)絡(luò)（CerebellaModelArticulationController）1977年英國(guó)Grossberg提出ART網(wǎng)絡(luò)（AdaptiveResonanceTheory）Kohonen提出自組織映射理論福島邦彥（K.Fukushima）提出認(rèn)識(shí)機(jī)（Neocognitron）模型甘利?。⊿.Amari）：NN數(shù)學(xué)理論10/9/2023820世紀(jì)80年代第二次高潮

Reasons:

1）Neumann數(shù)字計(jì)算機(jī)取得的巨大成功，從而推動(dòng)以此為基礎(chǔ)的AI應(yīng)用技術(shù)的同步發(fā)展

2）ANN有新成果、腦科學(xué)、神經(jīng)科學(xué)

VLSI、光電技術(shù)的發(fā)展

10/9/20239J.J.Hopfield1982年Hopfield網(wǎng)絡(luò)模型：網(wǎng)絡(luò)能量數(shù)據(jù)、網(wǎng)絡(luò)穩(wěn)定性判據(jù)1984年HNN用電子線路實(shí)現(xiàn)HNN用途：聯(lián)想記憶、優(yōu)化計(jì)算機(jī)的新途徑1984年Hilton引入模擬退火法，提出Boltzmann機(jī)網(wǎng)絡(luò)1986年Rumelhart提出EBP學(xué)習(xí)算法，解決了MLP隱含層weights學(xué)習(xí)問(wèn)題（errorBack-Propagation）10/9/2023101987年Nielson提出了對(duì)向傳播（CounterPropagation）神經(jīng)網(wǎng)絡(luò)1988年L.O.Chua提出細(xì)胞神經(jīng)網(wǎng)絡(luò)（CNN）模型自1958年來(lái)已有近40種NNmodel10/9/202311NN研究學(xué)術(shù)機(jī)構(gòu)1987年國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)定期召開(kāi)ICNN會(huì)議1988年《IEEETransactiononNeuralNetwork》創(chuàng)刊1990.12CCNN（中國(guó)）第一次會(huì)議1991年中國(guó)神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)10/9/202312理論研究利用神經(jīng)生物和認(rèn)知科學(xué)研究大腦思維及智能的機(jī)理利用上一項(xiàng)成果，用數(shù)理方法探索智能水平更高的ANNmodel1）深入研究網(wǎng)絡(luò)算法和性能e.g.穩(wěn)定性、收斂性、容錯(cuò)性、魯棒性2）開(kāi)發(fā)性的網(wǎng)絡(luò)數(shù)據(jù)理論：神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)、非線性神經(jīng)場(chǎng)10/9/202313應(yīng)用研究神經(jīng)網(wǎng)絡(luò)軟件模擬和硬件實(shí)現(xiàn)的研究NN在各個(gè)技術(shù)領(lǐng)域中應(yīng)用研究e.g.模式識(shí)別、信號(hào)處理、知識(shí)工程、專(zhuān)家系統(tǒng)、優(yōu)化組合、智能控制等10/9/202314生理神經(jīng)元的結(jié)構(gòu)

大多數(shù)神經(jīng)元由一個(gè)細(xì)胞體(cellbody或soma)和突(process)兩部分組成。突分兩類(lèi)，即軸突(axon)和樹(shù)突(dendrite)，如圖所示。軸突是個(gè)突出部分，長(zhǎng)度可達(dá)1m，把本神經(jīng)元的輸出發(fā)送至其它相連接的神經(jīng)元。樹(shù)突也是突出部分，但一般較短，且分枝很多，與其它神經(jīng)元的軸突相連，以接收來(lái)自其它神經(jīng)元的生物信號(hào)。神經(jīng)網(wǎng)絡(luò)的組成與特性

10/9/202315軸突和樹(shù)突共同作用，實(shí)現(xiàn)了神經(jīng)元間的信息傳遞。軸突的末端與樹(shù)突進(jìn)行信號(hào)傳遞的界面稱(chēng)為突觸(synapse)，通過(guò)突觸向其它神經(jīng)元發(fā)送信息。對(duì)某些突觸的刺激促使神經(jīng)元觸發(fā)(fire)。只有神經(jīng)元所有輸入的總效應(yīng)達(dá)到閾值電平，它才能開(kāi)始工作。無(wú)論什么時(shí)候達(dá)到閾值電平，神經(jīng)元就產(chǎn)生一個(gè)全強(qiáng)度的輸出窄脈沖，從細(xì)胞體經(jīng)軸突進(jìn)入軸突分枝。這時(shí)的神經(jīng)元就稱(chēng)為被觸發(fā)。10/9/202316腦神經(jīng)生理學(xué)研究結(jié)果表明，每個(gè)人腦大約含有1011-1012個(gè)神經(jīng)元，每一神經(jīng)元又約有103-104個(gè)突觸。神經(jīng)元通過(guò)突觸形成的網(wǎng)絡(luò)，傳遞神經(jīng)元間的興奮與抑制。大腦的全部神經(jīng)元構(gòu)成極其復(fù)雜的拓?fù)渚W(wǎng)絡(luò)群體，用于實(shí)現(xiàn)記憶與思維。

10/9/202317人工神經(jīng)元的組成

人工神經(jīng)網(wǎng)絡(luò)(artificialneuralnets,ANN)或模擬神經(jīng)網(wǎng)絡(luò)是由模擬神經(jīng)元組成的，可把ANN看成是以處理單元PE(processingelement)為節(jié)點(diǎn)，用加權(quán)有向弧(鏈)相互連接而成的有向圖。其中，處理單元是對(duì)生理神經(jīng)元的模擬，而有向弧則是軸突-突觸-樹(shù)突對(duì)的模擬。有向弧的權(quán)值表示兩處理單元間相互作用的強(qiáng)弱。10/9/202318圖中，來(lái)自其它神經(jīng)元的輸入乘以權(quán)值，然后相加。把所有總和與閾值電平比較。當(dāng)總和高于閾值時(shí)，其輸出為1；否則，輸出為0。大的正權(quán)對(duì)應(yīng)于強(qiáng)的興奮，小的負(fù)權(quán)對(duì)應(yīng)于弱的抑制。在簡(jiǎn)單的人工神經(jīng)網(wǎng)模型中，用權(quán)和乘法器模擬突觸特性，用加法器模擬樹(shù)突的互聯(lián)作用，而且與閾值比較來(lái)模擬細(xì)胞體內(nèi)電化學(xué)作用產(chǎn)生的開(kāi)關(guān)特性。人工神經(jīng)網(wǎng)絡(luò)的組成10/9/202319人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)-1

Wj1X1X2Wj2XnWjn···Σ

(_)Yi圖4.2神經(jīng)元模型10/9/202320圖中的神經(jīng)元單元由多個(gè)輸入xi，i=1,2,...,n和一個(gè)輸出y組成。中間狀態(tài)由輸入信號(hào)的權(quán)和表示，而輸出為

-1

Wj1X1X2Wj2XnWjn···Σ

(_)Yj式中，

j為神經(jīng)元單元的偏置，wji為連接權(quán)系數(shù)。n為輸入信號(hào)數(shù)目，yj為神經(jīng)元輸出，t為時(shí)間，f(_)為輸出變換函數(shù)10/9/202321輸出變換函數(shù)的基本作用控制輸入對(duì)輸出的激活作用；對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；將可能無(wú)限域的輸入變換成指定的有限范圍內(nèi)的輸出。

10/9/202322(a)xf(x)1x00神經(jīng)元中的某些變換（激發(fā)）函數(shù)(a)二值函數(shù) (b)S形函數(shù)(c)雙曲正切函數(shù)(c)xf(x)1-1

(b)f(x)x1

010/9/202323人工神經(jīng)網(wǎng)絡(luò)的基本特性和結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)是具有下列特性的有向圖：對(duì)于每個(gè)節(jié)點(diǎn)i存在一個(gè)狀態(tài)變量xi；從節(jié)點(diǎn)j至節(jié)點(diǎn)i，存在一個(gè)連接權(quán)系數(shù)wij；對(duì)于每個(gè)節(jié)點(diǎn)i，存在一個(gè)閾值

i；對(duì)于每個(gè)節(jié)點(diǎn)i，定義一個(gè)變換函數(shù)fi；對(duì)于最一般的情況，此函數(shù)取形式。10/9/202324遞歸（反饋）網(wǎng)絡(luò):在遞歸網(wǎng)絡(luò)中，多個(gè)神經(jīng)元互連以組織一個(gè)互連神經(jīng)網(wǎng)絡(luò)。反饋網(wǎng)絡(luò)x1x2xnV1V2Vn輸入輸出x1’x2’xn’有些神經(jīng)元的輸出被反饋至同層或前層神經(jīng)元10/9/202325前饋網(wǎng)絡(luò):前饋網(wǎng)絡(luò)具有遞階分層結(jié)構(gòu)，由同層神經(jīng)元間不存在互連的層級(jí)組成。x1x2輸入層輸出層隱層y1ynw11w1m前饋網(wǎng)絡(luò)反向傳播10/9/202326前饋網(wǎng)絡(luò)特點(diǎn)

1.神經(jīng)元分層排列，可有多層2.層間無(wú)連接3.方向由入到出感知網(wǎng)絡(luò)（perceptron即為此）應(yīng)用最為廣泛

10/9/202327互聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)圖每個(gè)元都與其它元相連

例：HopfieldBoltzmann機(jī)10/9/202328基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示在這里，知識(shí)并不像在產(chǎn)生式系統(tǒng)中那樣獨(dú)立地表示為每一條規(guī)則，而是將某一問(wèn)題的若干知識(shí)在同一網(wǎng)絡(luò)中表示。例如，在有些神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，知識(shí)是用神經(jīng)網(wǎng)絡(luò)所對(duì)應(yīng)的有向權(quán)圖的鄰接矩陣及閾值向量表示的。10/9/202329基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理對(duì)圖所示的異或邏輯的神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，其鄰接矩陣為：異或邏輯的神經(jīng)網(wǎng)絡(luò)表示12345123451234510/9/202330基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理如果用產(chǎn)生式規(guī)則描述，則該網(wǎng)絡(luò)代表下述四條規(guī)則：IFx1=0ANDx2=0THENy=0IFx1=0ANDx2=1THENy=1IFx1=1ANDx2=0THENy=1IFx1=1ANDx2=1THENy=010/9/202331基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理醫(yī)療診斷例子10/9/202332基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理假設(shè)x1,x2…,x10對(duì)應(yīng)的節(jié)點(diǎn)分別為節(jié)點(diǎn)1,2,…,10；xa,xb,xc對(duì)應(yīng)的節(jié)點(diǎn)為別為節(jié)點(diǎn)11,12,13，與x11相連的節(jié)點(diǎn)為節(jié)點(diǎn)141.畫(huà)出該神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)的學(xué)習(xí)矩陣，注：此網(wǎng)絡(luò)為前向網(wǎng)絡(luò)，sowij=0ifi>=jwij=0ifi,j無(wú)連接其余為連接弧標(biāo)示值10/9/202333基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理Xj=∑wijxixj’=1ifXj>0 xj’=0ifXj=0 xj’=-1ifXj<0

Xj表示節(jié)點(diǎn)j輸入的加權(quán)和，xj’表示節(jié)點(diǎn)j的輸出。增加了w0jx0,即-

j,x0=1;即w0j=-

j,

j是節(jié)點(diǎn)j的閾值。試計(jì)算x7? x7=w07+w17x1+w27x2+w37x3 其中w07=-

7,

7是節(jié)點(diǎn)7的閾值,wij和7的值可直接從網(wǎng)絡(luò)中得到； x7=-

7+w17x1+w27x2+w37x3 =-0+2x1-2x2