ch神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)

ch神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)第1頁/共45頁

從人腦生理、心理學(xué)著手，模擬人腦工作機(jī)理大腦是由生物神經(jīng)元構(gòu)成的巨型網(wǎng)絡(luò)，它在本質(zhì)上不同于計算機(jī)，是一種大規(guī)模的并行處理系統(tǒng)，它具有學(xué)習(xí)、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方法。人工神經(jīng)網(wǎng)絡(luò)是模擬人腦思維方式的數(shù)學(xué)模型，從微觀結(jié)構(gòu)和功能上對人腦進(jìn)行抽象和簡化，模擬人類智能

第2頁/共45頁

人工神經(jīng)網(wǎng)絡(luò)(簡稱神經(jīng)網(wǎng)絡(luò))也是由大量的、功能比較簡單的形式神經(jīng)元互相連接而構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，用它可以模擬大腦的許多基本功能和簡單的思維方式。第3頁/共45頁6.1神經(jīng)網(wǎng)絡(luò)發(fā)展史1．啟蒙期（1890-1969）

對大腦神經(jīng)元研究表明，當(dāng)其處于興奮狀態(tài)時，輸出側(cè)的軸突就會發(fā)出脈沖信號，每個神經(jīng)元的樹狀突起與來自其它神經(jīng)元軸突的互相結(jié)合部(此結(jié)合部稱為Synapse，即突觸)接收由軸突傳來的信號。如果—神經(jīng)元所接收到的信號的總和超過了它本身的“閾值”，則該神經(jīng)元就會處于興奮狀態(tài)，并向它后續(xù)連接的神經(jīng)元發(fā)出脈沖信號。

第4頁/共45頁1890年，W.James發(fā)表《心理學(xué)》，討論腦結(jié)構(gòu)和功能1943年，W.S.McCulloch和W.Pitts提出了描述腦神經(jīng)細(xì)胞動作的數(shù)學(xué)模型，即MP模型。1949年，D.O.Hebb提出了神經(jīng)元的學(xué)習(xí)法則，即Hebb法則。50年代末，E.Rosenblatt提出了描述信息在人腦中存儲和記憶的數(shù)學(xué)模型，即感知機(jī)(Perceptron)模型。

感知機(jī)是現(xiàn)代神經(jīng)計算的出發(fā)點(diǎn)。Block于1962年用解析法證明了感知機(jī)的學(xué)習(xí)收斂定理。正是由于這一定理的存在，才使得感知機(jī)的理論具有實(shí)際的意義，并引發(fā)了60年代以感知機(jī)為代表的第一次神經(jīng)網(wǎng)絡(luò)研究發(fā)展的高潮。

第5頁/共45頁1961年，E．R．Caianiello提出了能實(shí)現(xiàn)記憶和識別的神經(jīng)網(wǎng)絡(luò)模型，它由學(xué)習(xí)方程式和記憶方程式兩部分組成。

1962年，M．Minsky和S.Papert進(jìn)一步發(fā)展了感知機(jī)的理論，他們把感知機(jī)定義為一種邏輯函數(shù)的學(xué)習(xí)機(jī)。B．Widraw在稍后于感知機(jī)一些時候提出了Adline分類學(xué)習(xí)機(jī)。它在結(jié)構(gòu)上與感知機(jī)相似，但在學(xué)習(xí)法則上采用了最小二乘平均誤差法。第6頁/共45頁2.低潮期（1969-1982年）神經(jīng)網(wǎng)絡(luò)理論研究水平的限制計算機(jī)發(fā)展的沖擊1969年，Grossberg提出迄今為止最復(fù)雜的ART神經(jīng)網(wǎng)絡(luò)1972年，Kohonen提出自組織映射的SOM模型第7頁/共45頁3.復(fù)興期

1982年，美國物理學(xué)家Hopfield對神經(jīng)網(wǎng)絡(luò)的動態(tài)特性進(jìn)行了研究，提出了Hopfield神經(jīng)網(wǎng)絡(luò)模型，引入能量函數(shù)，實(shí)現(xiàn)問題優(yōu)化求解1986年，以Rumelhart為首的PDP(ParallelDistributedProcessing)并行分布處理研究集團(tuán)對聯(lián)結(jié)機(jī)制(connectionist)進(jìn)行了研究，提出了著名的多層神經(jīng)網(wǎng)絡(luò)模型，即BP網(wǎng)絡(luò)，至今為止應(yīng)用最普遍。T．J．Sejnowski等人還研究了神經(jīng)網(wǎng)絡(luò)語音信息處理裝置。這些成功的研究對第二次神經(jīng)網(wǎng)絡(luò)研究高潮的形成起了決定性的作用。

第8頁/共45頁

Hopfield模型的動作原理是：只要由神經(jīng)元興奮的算法和神經(jīng)元之間的結(jié)合強(qiáng)度所決定的神經(jīng)網(wǎng)絡(luò)的狀態(tài)在適當(dāng)給定的興奮模式下尚未達(dá)到穩(wěn)定，那么該狀態(tài)就會一直變化下去，直到預(yù)先定義的一個必定減小的能量函數(shù)達(dá)到極小值時，狀態(tài)才達(dá)到穩(wěn)定而不再變化。1985年，Hopfield和D．W．Tank用上述模型求解了古典的旅行推銷商問題(TravelingSalesmanProblem)，簡稱TSP問題。

第9頁/共45頁1983年，S．E．Farmann和Hiton提出了波爾茲曼機(jī)BM(BoltzmannMachine)，該神經(jīng)網(wǎng)絡(luò)模型中使用了概率動作的神經(jīng)元，把神經(jīng)元的輸出函數(shù)與統(tǒng)計力學(xué)中的波爾茲曼分布聯(lián)系起來。

1985年，W．O．Hillis發(fā)表了稱為聯(lián)結(jié)機(jī)(connection)的超級并行計算機(jī)。他把65536個lbit的微處理機(jī)排列成起立方體的互連形式，每個微處理機(jī)還帶有4kbit的存貯器。

誤差反向傳播神經(jīng)網(wǎng)絡(luò)BP(ErrorBackPropagationNeuralNetwork)是1986年由Rumelhart和Hinton提出的，

第10頁/共45頁4.新連接機(jī)制時期（1986年-）神經(jīng)網(wǎng)絡(luò)從理論——應(yīng)用（神經(jīng)網(wǎng)絡(luò)芯片、神經(jīng)計算機(jī)）模式識別與圖象處理、控制與優(yōu)化、預(yù)測與管理、通信領(lǐng)域第11頁/共45頁并行分布處理理論

1986年，Rumelhart和McClelland發(fā)表了《并行分布處理——認(rèn)知微結(jié)構(gòu)探索》一書。（ParallelDistributedProcessing）系統(tǒng)地總結(jié)了PDP的概念、理論、數(shù)學(xué)方法、產(chǎn)生的背景和發(fā)展前景。著名的BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)法則就是在本書中由Rumelhart提出的。

第12頁/共45頁神經(jīng)網(wǎng)絡(luò)的研究概況神經(jīng)網(wǎng)絡(luò)的研究主要可分為以下三個方面：1．大腦和神經(jīng)系統(tǒng)的信息處理原理。2．構(gòu)造能實(shí)現(xiàn)信息處理的神經(jīng)網(wǎng)絡(luò)模型。3．能實(shí)現(xiàn)信息處理基本原理的技術(shù)研究一—神經(jīng)計算機(jī)。

美國軍方，認(rèn)為神經(jīng)網(wǎng)絡(luò)技術(shù)是比原子彈工程更重要的技術(shù)。美國國防部(DARPA)曾宣布執(zhí)行一項(xiàng)總投資為4億美元的八年計劃，其主要研究目標(biāo)為：連續(xù)語音信號識別、聲納信號識別、目標(biāo)識別及跟蹤等。

第13頁/共45頁日本通產(chǎn)省早在1988年也提出了所謂人類尖端科學(xué)計劃(HumanFrontierScienceProgram)，即所謂的第六代計算機(jī)計劃，研制能模擬人類智能行為的計算機(jī)系統(tǒng)。

第14頁/共45頁第15頁/共45頁到目前為止，已經(jīng)發(fā)表了多達(dá)幾十種的神經(jīng)網(wǎng)絡(luò)模型，它們具備不同的信息處理能力，典型的神經(jīng)網(wǎng)絡(luò)模型如表1.2所示。第16頁/共45頁1987年6月21至24日在美國加州圣地亞哥(SanDiego)召開的第一屆神經(jīng)網(wǎng)絡(luò)國際會議;1988年，我國在北京召開了神經(jīng)網(wǎng)絡(luò)的國際研究工作會議，并出版了論文集。關(guān)于神經(jīng)網(wǎng)絡(luò)的主要國際性雜志有：(1)NeuralNetworks(國際神經(jīng)網(wǎng)絡(luò)協(xié)會會刊)(2)IEEETransactionsonNeuralNetworks(3)IEEETransactionsonParallelDistributedSystem(4)ConnectionsScience(5)Neurocomputing(6)NeuralComputation(7)InternationalJournalofNeuralSystems第17頁/共45頁6.2神經(jīng)網(wǎng)絡(luò)原理生物神經(jīng)元人腦大約由1012個神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)神經(jīng)元是大腦處理信息的基本單元，以細(xì)胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細(xì)胞，其形狀很像一棵枯樹的枝干。它主要由細(xì)胞體、樹突、軸突和突觸(Synapse，又稱神經(jīng)鍵)組成。

第18頁/共45頁圖6－1單個生物神經(jīng)元解剖圖

第19頁/共45頁細(xì)胞體：包括細(xì)胞質(zhì)、細(xì)胞膜和細(xì)胞核樹突：用于為細(xì)胞體傳入信息軸突：為細(xì)胞體傳出信息，其末端為神經(jīng)末梢，含傳遞信息的化學(xué)物質(zhì)突觸：神經(jīng)元之間的接口（可塑性）第20頁/共45頁

從神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近。當(dāng)神經(jīng)元細(xì)胞體通過軸突傳到突觸前膜的脈沖幅度達(dá)到一定強(qiáng)度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)。突觸有兩種：興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負(fù)突觸后電位。

第21頁/共45頁突觸傳遞信息的功能和特點(diǎn)歸納為：

信息傳遞有時延，一般為0.3～lms。信息的綜合有時間累加和空間累加。（時空整合）

突觸有興奮性和抑制性兩種類型。

具有脈沖／電位信號轉(zhuǎn)換功能。

神經(jīng)纖維傳導(dǎo)的速度，即脈沖沿神經(jīng)纖維傳遞的速度，在1—150m／s之間

存在不應(yīng)期。

不可逆性，脈沖只從突觸前傳到突觸后，不逆向傳遞。（動態(tài)極化性）可塑性，突觸傳遞信息的強(qiáng)度是可變的，即具有學(xué)習(xí)功能。

存在遺忘或疲勞效應(yīng)。第22頁/共45頁人腦神經(jīng)網(wǎng)絡(luò)信息處理的特點(diǎn)1．分布存儲與冗余性

2．并行處理

3．信息處理與存儲合一

4．可塑性與自組織性

5．魯棒性

第23頁/共45頁人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)以數(shù)學(xué)手段來模擬人腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和特性神經(jīng)網(wǎng)絡(luò)是一個并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)，它一般由許多個神經(jīng)元組成，每個神經(jīng)元只有一個輸出，它可以連接到很多其他的神經(jīng)元，每個神經(jīng)元輸入有多個連接通道，每個連接通道對應(yīng)于一個連接權(quán)系數(shù)。

目前已有40多種模型第24頁/共45頁人工神經(jīng)元模型歸納一下生物神經(jīng)元傳遞信息的過程：生物神經(jīng)元是一個多輸入、單輸出單元。常用的人工神經(jīng)元模型可用下圖模擬。

圖人工神經(jīng)元模型

第25頁/共45頁響應(yīng)函數(shù)（激活函數(shù)）的基本作用：1、控制輸入對輸出的激活作用；2、對輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；3、將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。

第26頁/共45頁根據(jù)響應(yīng)函數(shù)的不同，人工神經(jīng)元有以下幾種類型：

圖

人工神經(jīng)元的響應(yīng)函數(shù)

第27頁/共45頁1、閾值單元

2、線性單元

3、非線性單元：Sigmoid函數(shù)

第28頁/共45頁

上述模型能反映生物神經(jīng)元的基本特性，但還有如下不同之點(diǎn)：(1)生物神經(jīng)元傳遞的信息是脈沖，而上述模型傳遞的信息是模擬電壓。(2)由于在上述模型中用一個等效的模擬電壓來模擬生物神經(jīng)元的脈沖密度，所以在模型中只有空間累加而沒有時間累加(可以認(rèn)為時間累加已隱含在等效的模擬電壓之中)。(3)上述模型未考慮時延、不應(yīng)期和疲勞等。

第29頁/共45頁

6.3人工神經(jīng)網(wǎng)絡(luò)的分類神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法。

第30頁/共45頁人工神經(jīng)網(wǎng)絡(luò)連接的幾種基本形式：1．前向網(wǎng)絡(luò)

網(wǎng)絡(luò)中的神經(jīng)元是分層排列的，每個神經(jīng)元只與前一層的神經(jīng)元相連接。

2．反饋網(wǎng)絡(luò)從輸出到輸入有反饋，反饋動力學(xué)系統(tǒng)，需要工作一段時間才穩(wěn)定，具有聯(lián)想記憶功能

3．自組織網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)接受外界輸入時，網(wǎng)絡(luò)會分成不同區(qū)域，不同區(qū)域具有不同的響應(yīng)特性，即不同的神經(jīng)元以最佳方式響應(yīng)不同性質(zhì)的信號激勵，形成一種非線性映射，通過無監(jiān)督的自適應(yīng)過程完成（聚類）第31頁/共45頁圖

神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)

第32頁/共45頁6.4人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)最有用的特征之一是它具有自學(xué)習(xí)功能。通常一個ANN模型要實(shí)現(xiàn)某種功能，就需要對其加以訓(xùn)練。所謂“訓(xùn)練”，就是讓它學(xué)會要做的事情，通過學(xué)習(xí)，把這些知識記憶在網(wǎng)絡(luò)的權(quán)值中。學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問題，通過學(xué)習(xí)算法，實(shí)現(xiàn)自適應(yīng)、自組織和自學(xué)習(xí)能力。

神經(jīng)網(wǎng)絡(luò)的權(quán)值并非固定不變，相反這些權(quán)值可以根據(jù)經(jīng)驗(yàn)或?qū)W習(xí)來改變。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是不斷調(diào)整網(wǎng)絡(luò)的連接數(shù)值，以獲得期望輸出。人工神經(jīng)網(wǎng)絡(luò)連接權(quán)的確定通常有：有導(dǎo)師學(xué)習(xí)、無導(dǎo)師學(xué)習(xí)和再勵學(xué)習(xí)第33頁/共45頁常用的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式：（1）有導(dǎo)師學(xué)習(xí)監(jiān)督學(xué)習(xí)SupervisedLearning—例如BP—有明確的“教師”信號神經(jīng)網(wǎng)絡(luò)比較輸入實(shí)際輸出期望輸出（2）無導(dǎo)師學(xué)習(xí)無監(jiān)督學(xué)習(xí)UnsupervisedLearning

—沒有任何“教師”信號

—只是通過輸入數(shù)據(jù)的內(nèi)部信息

相當(dāng)自組織？類方法。神經(jīng)網(wǎng)絡(luò)輸入實(shí)際輸出第34頁/共45頁（3）再勵學(xué)習(xí)ReinforcementLearning源于心理學(xué)神經(jīng)網(wǎng)絡(luò)1環(huán)境輸入輸出神經(jīng)網(wǎng)絡(luò)2第35頁/共45頁神經(jīng)網(wǎng)絡(luò)的工作方式：學(xué)習(xí)階段——修改權(quán)值工作階段——計算單元變化第36頁/共45頁1．Hebb學(xué)習(xí)規(guī)則是DonallHebb根據(jù)生理學(xué)中條件反射機(jī)理，于1949年提出的神經(jīng)元連接強(qiáng)度變化的規(guī)則。

如果