機(jī)器學(xué)習(xí)基礎(chǔ)教程課件：神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

4.1概述4.2典型前饋型神經(jīng)網(wǎng)絡(luò)4.3典型反饋型神經(jīng)網(wǎng)絡(luò)4.4其他典型神經(jīng)網(wǎng)絡(luò)4.1概述神經(jīng)網(wǎng)絡(luò)算法屬于人工智能中的連接主義學(xué)派。連接主義又稱為仿生學(xué)派，認(rèn)為機(jī)器學(xué)習(xí)應(yīng)該考察人類神經(jīng)的工作模式、模仿人腦的工作方式進(jìn)行學(xué)習(xí)。因此，神經(jīng)網(wǎng)絡(luò)主要著眼于對(duì)人類神經(jīng)元的理解和研究。目前，雖然對(duì)于人類眾多神經(jīng)元的精微細(xì)致結(jié)構(gòu)還不徹底清楚，但是一般的典型神經(jīng)元結(jié)構(gòu)已經(jīng)比較明晰了，其基本的連接結(jié)構(gòu)示意圖如圖4.1所示。4.1概述神經(jīng)元由細(xì)胞體和突起兩部分組成。細(xì)胞體由細(xì)胞核、細(xì)胞質(zhì)以及細(xì)胞膜構(gòu)成。細(xì)胞膜主要包覆在細(xì)胞周圍，與細(xì)胞外部相隔離。由于人體中有電解質(zhì)，因此細(xì)胞內(nèi)外有一定的電位差；細(xì)胞質(zhì)是含水大約80%的半透明物質(zhì)。細(xì)胞核使整個(gè)細(xì)胞最重要的部分，是細(xì)胞的控制中心。突起部分包括樹突、軸突和突觸。樹突是神經(jīng)元延伸到外部的纖維狀結(jié)構(gòu)。這些纖維狀結(jié)構(gòu)在離神經(jīng)元細(xì)胞體近的根部比較粗壯，然后逐漸分叉、變細(xì)，像樹枝一樣散布開來，所以稱為樹突。樹突的作用是接受來自其他神經(jīng)元的刺激（輸入信號(hào)），然后將刺激傳送到細(xì)胞體中。軸突是神經(jīng)元伸出的一條較長的突起，甚至可達(dá)1米左右，其粗細(xì)一般均勻一致。軸突主要用來傳送神經(jīng)元的刺激，也稱為神經(jīng)纖維。突觸是神經(jīng)元之間相互連接的部位，同時(shí)傳遞神經(jīng)元的刺激。髓鞘則是包在軸突外部的膜，用來保護(hù)軸突，同時(shí)也起一定的“屏蔽”作用。4.1概述神經(jīng)元對(duì)于外界刺激的響應(yīng)是閾值型的非線性。外部的刺激是以電信號(hào)的形式作用于神經(jīng)元的，如果電位的值沒有超過一定的閾值（-55mV）時(shí)，細(xì)胞就處在不興奮的狀態(tài)，稱為靜息狀態(tài)。當(dāng)外部的刺激使神經(jīng)元的電位超過閾值，神經(jīng)元就開始興奮。神經(jīng)元興奮后又恢復(fù)到靜息狀態(tài)時(shí)，會(huì)有一定時(shí)間的不應(yīng)期，也就是在一段時(shí)間內(nèi)，即使神經(jīng)元受到了新的刺激也不會(huì)產(chǎn)生興奮了。在度過不應(yīng)期之后，當(dāng)新的刺激來到并突破閾值時(shí)，神經(jīng)元才會(huì)再度響應(yīng)。從此可以看出，神經(jīng)元的響應(yīng)是非線性的過程，而且與刺激的強(qiáng)度和頻度是有關(guān)系的。刺激在被神經(jīng)元響應(yīng)后經(jīng)過軸突傳送到其他神經(jīng)元，在經(jīng)過突觸與其他神經(jīng)元接觸后進(jìn)入其他神經(jīng)元的樹突，相當(dāng)于電子線路中的輸入/輸出接口。整個(gè)過程與信息傳遞的過程非常類似。4.1概述單個(gè)神經(jīng)元與成百上千個(gè)神經(jīng)元的軸突相互連接，可以接受到很多屬兔發(fā)來的信息，在接受到這些信息后神經(jīng)元就對(duì)其進(jìn)行融合和加工。這種融合和加工的方式是比較復(fù)雜的，但是有一點(diǎn)是肯定的，就是這種融合加工過程是非線性的。當(dāng)很多個(gè)神經(jīng)元按照這樣的方式連接起來后，就可以處理一些外部對(duì)神經(jīng)元的刺激（輸入信號(hào)）了。受到以上的神經(jīng)元工作方式啟發(fā)，連接主義的機(jī)器學(xué)習(xí)專家們得出了一套關(guān)于神經(jīng)網(wǎng)絡(luò)工作的特點(diǎn)，那就是：神經(jīng)網(wǎng)絡(luò)是由大量神經(jīng)元組成的，單個(gè)神經(jīng)元工作的意義不大。信息處理方式是分布式的，每個(gè)神經(jīng)元既要自行處理一部分信息，同時(shí)也要協(xié)同工作，將信息送給與之連接的、相應(yīng)的神經(jīng)元。神經(jīng)網(wǎng)絡(luò)的構(gòu)成是層級(jí)式的，每一層的任務(wù)完成后進(jìn)行下一步的傳遞。神經(jīng)元響應(yīng)刺激（輸入信號(hào)）是閾值式的，其內(nèi)部對(duì)于信息的處理也是非線性的。4.1概述在得出這些特點(diǎn)后就可以構(gòu)建人工的單個(gè)神經(jīng)元，然后將這些人工的神經(jīng)元按照一定的規(guī)則來凝結(jié)起來就夠成的人工的神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)元的基本結(jié)構(gòu)如圖4.2所示。4.1概述單個(gè)人工神經(jīng)元可以理解為一個(gè)多輸入單輸出的結(jié)構(gòu)，從每個(gè)輸入都有不同的權(quán)值，用表示，這就相當(dāng)于真實(shí)神經(jīng)元的樹突；加權(quán)后的輸入被統(tǒng)一集中起來進(jìn)行信息的融合，在單個(gè)人工神經(jīng)元里用簡單求和來表示各種加權(quán)后輸入信息的集中和融合；在進(jìn)行信息融合后與一個(gè)閾值進(jìn)行比較用來模仿真實(shí)神經(jīng)元的閾值相應(yīng)特性；而此后在進(jìn)行信息的處理，信息處理通常由一個(gè)非線性函數(shù)來進(jìn)行，這個(gè)非線性函數(shù)稱為活化函數(shù)，代表了神經(jīng)元被激活的意義。在有些文獻(xiàn)中，活化函數(shù)也被稱為激活函數(shù)、變換函數(shù)、轉(zhuǎn)移函數(shù)等等。在某些文獻(xiàn)里將活化函數(shù)稱為傳遞函數(shù)，這是不可取的！因?yàn)槿菀缀推渌嘟鼘W(xué)科的專有名詞混淆，例如控制理論里所說的傳遞函數(shù)和活化函數(shù)的意義就有很大區(qū)別！這樣，就可以用以下公式來描述單個(gè)神經(jīng)元的輸入輸出關(guān)系：4.1概述式中，Xi為多個(gè)輸入數(shù)據(jù)源，wi為與各個(gè)輸入相對(duì)應(yīng)的權(quán)值，為該神經(jīng)元的閾值，為非線性的活化函數(shù)，y為神經(jīng)元的輸出。非線性的活化函數(shù)可以自行確定，但一般神經(jīng)網(wǎng)絡(luò)的活化函數(shù)包含這么幾種：（一）開關(guān)特性的活化函數(shù)開關(guān)特性是一種典型的非線性函數(shù)，其數(shù)學(xué)表達(dá)為：這是單極性的開關(guān)特性活化函數(shù)，與之相應(yīng)，還有雙極性的開關(guān)特性活化函數(shù)，即：4.1概述圖4.3給出了開關(guān)特性活化函數(shù)的圖像。圖4.3（a）為單極性開關(guān)特性活化函數(shù)的圖像，圖4.3（b）為雙極性開關(guān)特性活化函數(shù)的圖像。4.1概述二）線性飽和特性的活化函數(shù)線性飽和特性活化函數(shù)是先行函數(shù)在到達(dá)一定之值后就進(jìn)入了飽和區(qū)的函數(shù)，其數(shù)學(xué)表達(dá)為：式中，k為線性區(qū)的直線斜率，c,-c為進(jìn)入飽和區(qū)后的飽和值。線性飽和特性活化函數(shù)的圖像如圖4.4所示。4.1概述（三）Sigmoid型的活化函數(shù)Sigmoid函數(shù)是一個(gè)在生物學(xué)中的常用的曲線，用來描述生長過程，因此也稱為生長曲線。其外形類似于反正切函數(shù)，但表達(dá)形式不同。同開關(guān)特性活化函數(shù)一樣，Sigmoid型的活化函數(shù)也有單極性、雙極性之分。單極性的Sigmoid型活化函數(shù)為：式中，為其參數(shù)，影響著其形狀。雙極性的Sigmoid型活化函數(shù)為：4.1概述Sigmoid型活化函數(shù)的圖像如圖4.5所示。圖4.5（a）為單極性Sigmoid型活化函數(shù)的圖像，（b）為雙極性Sigmoid型活化函數(shù)的圖像。4.1概述（四）鐘形活化函數(shù)鐘形活化函數(shù)是指這類函數(shù)的圖像象一只倒置的鐘，凡是符合這種特點(diǎn)的函數(shù)都可以稱之為鐘形函數(shù)。例如正太分布的概率密度曲線就是一種鐘形函數(shù)。逆二次徑向基函數(shù)也屬于鐘形函數(shù)，即：式中，為其參數(shù)。鐘形活化函數(shù)的圖像如圖4.6所示。由于鐘形函數(shù)關(guān)于中心對(duì)稱，因此也成為徑向基函數(shù)，在徑向基神經(jīng)網(wǎng)絡(luò)中將會(huì)進(jìn)行較為詳細(xì)的討論。此外，還有概率型的活化函數(shù)，將某種概率分布函數(shù)作為活化函數(shù)，輸出的是其取值的概率?；罨瘮?shù)的選取較為靈活，不同的活化函數(shù)會(huì)給神經(jīng)網(wǎng)絡(luò)帶來不同的效果。以上列舉的是較為經(jīng)典和常用的活化函數(shù)，在實(shí)際工作中應(yīng)該按照神經(jīng)網(wǎng)絡(luò)的運(yùn)行情況來對(duì)活化函數(shù)進(jìn)行選取。4.1概述神經(jīng)網(wǎng)絡(luò)從信息傳遞的流向來分，分為前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)兩種形式。前饋型網(wǎng)絡(luò)是指信息的流向是從輸入端向輸出端逐層傳遞，信息流向是單向性的。如圖4.7所示。這種網(wǎng)絡(luò)的拓?fù)湫问绞菍蛹?jí)型的，除了輸入部分的層級(jí)（輸入層）和輸出部分（輸入層）的層級(jí)外，在這兩層之間還可以包含很多層級(jí)。輸入、輸出層是輸入、輸出的信息是可以觀察和檢測(cè)到的。而中間的這些層級(jí)是前饋型神經(jīng)網(wǎng)絡(luò)內(nèi)部進(jìn)行運(yùn)算和信息處理的，不容易被觀察到，因此也稱為隱含層或隱層。隱含層可以有一層或多層。4.1概述4.1概述

反饋型神經(jīng)網(wǎng)絡(luò)是將各輸出神經(jīng)元與輸入神經(jīng)元構(gòu)成反饋回路，形成閉環(huán)結(jié)構(gòu)的一種網(wǎng)絡(luò)。信息的流向不再是單純一個(gè)方向的。最簡單的反饋型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4.8所示。4.1概述之所以稱其為簡單反饋型神經(jīng)網(wǎng)絡(luò)是說一個(gè)輸出神經(jīng)元僅僅為一個(gè)輸入神經(jīng)元提供了反饋。如果一個(gè)輸出神經(jīng)元可以為全部的輸入神經(jīng)元提供反饋就構(gòu)成了全互聯(lián)型反饋神經(jīng)網(wǎng)絡(luò)。反饋的結(jié)構(gòu)勢(shì)必會(huì)帶來關(guān)于穩(wěn)定性的討論，反饋型神經(jīng)網(wǎng)絡(luò)也不例外，其穩(wěn)定性也是需要重點(diǎn)考慮的問題之一。此外，從這兩種神經(jīng)網(wǎng)絡(luò)的拓?fù)潢P(guān)系可以看到在同一級(jí)的神經(jīng)元之間并沒有信息的交換。因此依舊保持了一種層級(jí)的拓?fù)潢P(guān)系。如果將在同一層級(jí)的神經(jīng)元進(jìn)行聯(lián)系，就構(gòu)成了一種網(wǎng)狀的全互聯(lián)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。前饋型神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)可以有很多種形式，但從信息的流向來看主要就是前饋型和反饋型兩種網(wǎng)絡(luò)。下面將對(duì)這兩種形式的神經(jīng)網(wǎng)絡(luò)進(jìn)行介紹。4.2典型前饋型神經(jīng)網(wǎng)絡(luò)在前饋型神經(jīng)網(wǎng)絡(luò)中，最初出現(xiàn)的就是感知機(jī)，所謂的感知機(jī)是在神經(jīng)元的活化函數(shù)采用最簡單的開關(guān)特性的活化函數(shù)。最簡單的感知機(jī)是僅有一層神經(jīng)元，并沒有隱含層的感知機(jī)，即單層感知機(jī)。其基本的運(yùn)行方式遵循基本前饋網(wǎng)絡(luò)的機(jī)制。分類問題是人工智能和機(jī)器學(xué)習(xí)領(lǐng)域中一直重點(diǎn)討論的問題之一，因?yàn)檫@涉及到模式識(shí)別的問題。在我國古典典籍中也有“是非之心，智之端也?！保ā睹献印す珜O丑上》）的說法。這從另外一個(gè)側(cè)面也說明能夠正確地進(jìn)行分類是“智能”的體現(xiàn)。對(duì)于分類問題，最為簡單的情況就是線性分類的問題，問題的基本表述在第三章已經(jīng)給出了。4.2典型前饋型神經(jīng)網(wǎng)絡(luò)下面來看感知機(jī)是怎樣處理分類問題的。如圖4.9所示的線性分類問題。在二維平面上有兩類點(diǎn)，要對(duì)這兩類點(diǎn)進(jìn)行分類只需要找到圖中所示的分類線就可以了。對(duì)于二維線性可分問題，可以設(shè)置單層感知機(jī)來進(jìn)行分類。如圖4.10所示，4.2典型前饋型神經(jīng)網(wǎng)絡(luò)如圖4.9所示，由于只有二維數(shù)據(jù)，因此可設(shè)置兩個(gè)輸入神經(jīng)樹突即可。這樣輸入的數(shù)據(jù)經(jīng)加權(quán)后進(jìn)行融合，即：w1x1+w2x2；然后和閾值進(jìn)行比較：最后，代入式（4.3）的開關(guān)型活化函數(shù)進(jìn)行處理。在建立其基本網(wǎng)絡(luò)結(jié)構(gòu)和運(yùn)算規(guī)則后就開始對(duì)這個(gè)“智能體”進(jìn)行訓(xùn)練。4.2典型前饋型神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程如下：Step1:首先對(duì)權(quán)、閾值賦初值，。這些值可以任意賦，但一般都先賦較小的正值；Step2:輸入樣本對(duì)，R為希望的分類結(jié)果；Step3:根據(jù)活化函數(shù)，計(jì)算實(shí)際的輸出結(jié)果；Step4:對(duì)比實(shí)際輸出結(jié)果和希望的結(jié)果對(duì)權(quán)值和閾值進(jìn)行調(diào)整；Step5:返回Step2，輸入新樣本進(jìn)行訓(xùn)練，直至所有的樣本都分類正確為止。從以上訓(xùn)練單層感知機(jī)的步驟可以看出，所謂訓(xùn)練的整個(gè)過程就是在這個(gè)二維平面上不斷地調(diào)整這條分類線的斜率和截距，使之能夠達(dá)到正確分類的目的。在進(jìn)行調(diào)整的過程中，并不是進(jìn)行漫無目的試湊和“瞎碰”，而是要遵循一定的規(guī)則，例如，對(duì)于權(quán)值的調(diào)整應(yīng)該遵循以下的原則：4.2典型前饋型神經(jīng)網(wǎng)絡(luò)式中，分別為迭代前后的權(quán)值，代表希望的分類結(jié)果與實(shí)際分類結(jié)果的偏差，為學(xué)習(xí)速率系數(shù)。在調(diào)整過程中，總的方向是要使希望的分類結(jié)果與實(shí)際分類結(jié)果的偏差盡量小，如果能等于零那就是最完美的了。（a）“與”運(yùn)算分類問題（b）“或”運(yùn)算分類問題圖4.11“與”、“或”運(yùn)算的分類問題4.2典型前饋型神經(jīng)網(wǎng)絡(luò)從圖中看出，“異或”分類問題實(shí)際上是一個(gè)線性不可分類的問題。也就是使用一條直線無法對(duì)這類問題進(jìn)行正確分類。僅僅使用單層感知機(jī)，只有兩個(gè)權(quán)值、一個(gè)閾值是不能對(duì)“異或”問題進(jìn)行分類的。但是從圖上可以看出，使用兩條直線就可以對(duì)“異或”分類問題進(jìn)行正確處理。因此，需要對(duì)原來的單層感知機(jī)進(jìn)行修正，將其層數(shù)加大，變成雙層感知機(jī)。如圖4.13所示，感知機(jī)變成了兩層結(jié)構(gòu)。這種兩層結(jié)構(gòu)的類型可以生成兩條直線，如圖4.13中表示，在第一層，也就是輸入層輸入兩維數(shù)據(jù)，在第二層，也就是隱含層可以生成兩條直線，從而解決“異或”分類問題。神經(jīng)元圖4.12“異或”分類問題示意圖圖4.13雙層感知機(jī)示意圖4.2典型前饋型神經(jīng)網(wǎng)絡(luò)在隱含層中，一個(gè)神經(jīng)元首先繪制一條直線，隨著權(quán)、閾值的調(diào)整，這條直線可以任意變動(dòng)，先分離出其中的一類點(diǎn)：如在圖4.13中，可以先分離出右下角的“*”類；在圖中左上部分，仍然是兩類點(diǎn)的混合形式，這時(shí)可以將分類后剩下的結(jié)果再次輸入另一個(gè)隱含層的神經(jīng)元，然后調(diào)整該神經(jīng)元的權(quán)、閾值，使另外一條直線進(jìn)行調(diào)整，從而將左上部分的“*”類也分離出來。最后綜合這兩條直線的分類情況，達(dá)到對(duì)“異或”分類問題的解決。在二維空間上將其推廣，可以得出：如果增加在隱含層神經(jīng)元的數(shù)量，就可以得出更為多樣的分類區(qū)域，甚至可以擬合曲線形式的非線性分類線。此外，在數(shù)據(jù)維度上將其進(jìn)行推廣，就可以得到有限維空間上的曲面非線性分類器。4.2典型前饋型神經(jīng)網(wǎng)絡(luò)感知機(jī)的活化函數(shù)是開關(guān)型的非線性函數(shù)，因此適用于“非此即彼”的分類問題。如果要進(jìn)行其他問題處理的話，感知機(jī)的局限性就表現(xiàn)出來了。如果保持信息前饋的網(wǎng)絡(luò)模式，同時(shí)將網(wǎng)絡(luò)的活化函數(shù)修改為線性函數(shù)，即：就成為自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)，相應(yīng)的神經(jīng)元也就成為自適應(yīng)線性神經(jīng)元（ADALINE:AdaptiveLinearNeuron）。式中，W為線性函數(shù)的比例系數(shù)。當(dāng)經(jīng)過一定的學(xué)習(xí)和訓(xùn)練后，自適應(yīng)線性神經(jīng)元的輸出為式（4.10），其期望輸出為y，則其誤差為：4.2典型前饋型神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中，要使得單個(gè)神經(jīng)元輸出誤差的平方達(dá)到最小化，在此基礎(chǔ)上來調(diào)整神經(jīng)元的權(quán)值。根據(jù)相應(yīng)的數(shù)學(xué)理論可以得到：結(jié)合式（4.11），可以得出神經(jīng)元權(quán)值的調(diào)整規(guī)則：同樣的，式中為學(xué)習(xí)調(diào)整速率。從式（4.10）到式（4.12）可以看出，在調(diào)整的過程中對(duì)權(quán)系數(shù)的修正方式按照導(dǎo)函數(shù)相反的方向的，這樣可以使神經(jīng)元實(shí)際的輸出結(jié)果不斷地向理想結(jié)果靠近。如果擴(kuò)展到多變量的情況，這個(gè)方向就是所謂的“負(fù)梯度”方向。從感知機(jī)到自適應(yīng)線性神經(jīng)元，神經(jīng)網(wǎng)絡(luò)所能解決的問題也不斷擴(kuò)展，自適應(yīng)線性神經(jīng)元可以處理模式識(shí)別、預(yù)測(cè)預(yù)報(bào)以及濾波等方面的問題。4.2.1前饋型（BP）神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式隨著在實(shí)際應(yīng)用中需要解決的問題不斷復(fù)雜化，也對(duì)神經(jīng)網(wǎng)絡(luò)提出了更高的要求。促使將神經(jīng)網(wǎng)絡(luò)的層數(shù)及神經(jīng)元不斷增加，活化函數(shù)不斷更新，這樣更復(fù)雜的神經(jīng)網(wǎng)絡(luò)出現(xiàn)了。但只要保持了在網(wǎng)絡(luò)中信息的流向是不斷向前傳遞的，就可稱之為前饋型神經(jīng)網(wǎng)絡(luò)。例如，如過將網(wǎng)絡(luò)設(shè)置為三層結(jié)構(gòu)，分別為輸入層、隱含層、輸出層，同時(shí)將活化函數(shù)設(shè)置為Sigmoid型活化函數(shù)，就構(gòu)成了典型的所謂BP（Back

Propagation）神經(jīng)網(wǎng)絡(luò)。其網(wǎng)絡(luò)的拓?fù)湫问饺鐖D所示。4.2.1前饋型（BP）神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式圖中，為輸入；為輸入層（第一層）的輸出；為隱含層（第二層）的輸出；為輸出層的輸出，也是整個(gè)神經(jīng)網(wǎng)絡(luò)的輸出。為輸入層到隱含層的權(quán)向量；為隱含層到輸出層的權(quán)向量。對(duì)于輸出層有：對(duì)于隱含層有：4.2.1前饋型（BP）神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式在上面的式子中，net*為各層活化函數(shù)的輸入。在Sigmoid函數(shù)的選擇上可以根據(jù)實(shí)際情況靈活選擇，可以是單極性的也可以是雙極性的。在構(gòu)建好這種BP神經(jīng)網(wǎng)絡(luò)的架構(gòu)，各神經(jīng)元的輸入輸出情況明確之后，就可以著手訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)了。首先出發(fā)點(diǎn)還是要使BP神經(jīng)網(wǎng)絡(luò)實(shí)際輸出與期望輸出的偏差平方和最小，這實(shí)際上也是最小二乘法思想在神經(jīng)網(wǎng)絡(luò)上的應(yīng)用。先確定訓(xùn)練網(wǎng)絡(luò)的目標(biāo)，偏差平方和最小，即：式中，為期望的輸出，為實(shí)際的輸出。分別為神經(jīng)元的權(quán)、閾值。整個(gè)過程就是求網(wǎng)絡(luò)中每層各個(gè)神經(jīng)元的權(quán)、閾值，使網(wǎng)絡(luò)實(shí)際的偏差平方和最小。先進(jìn)行權(quán)值的更新：4.2.1前饋型（BP）神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式對(duì)于隱層向輸出層的權(quán)值調(diào)整，有：對(duì)于輸入層到隱層的權(quán)值調(diào)整，有：同理也可以得到閾值的調(diào)整：在訓(xùn)練網(wǎng)絡(luò)的過程中，應(yīng)該按照負(fù)梯度方向進(jìn)行，同時(shí)可以添加學(xué)習(xí)速率。由此考慮式（4.13）、（4.14）可將式（4.18）展開，有：4.2.1前饋型（BP）神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式將（4.19）展開，有：在式（4.21）中，而，同時(shí)，由式（4.14）可得：4.2.1前饋型（BP）神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式在式（4.24）中適當(dāng)調(diào)整求導(dǎo)過程中的系數(shù)并不影響最終結(jié)果，可使結(jié)果系數(shù)為1。將式（4.23）、（4.24）、（4.25）代回式（4.21）可得隱層到輸出層的權(quán)值調(diào)整公式：式中，4.2.1前饋型（BP）神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式可以看作是在隱層到輸出層的總的偏差。同理可以處理式（4.22）輸入層到隱層的權(quán)值調(diào)整公式：同樣的，式中，為輸入層到隱含層的總的偏差，只不過此處的學(xué)習(xí)調(diào)整速率與隱層到輸出層的學(xué)習(xí)調(diào)整速率不一定相同。4.2.1前饋型（BP）神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式從上面的結(jié)果可以看出，對(duì)于權(quán)值的修正量包含了三部分：學(xué)習(xí)調(diào)整速率、輸出偏差以及當(dāng)前層的輸入，這說明了權(quán)值的修正充分考慮到了信息在傳播過程中的誤差積累。另外，還可以看出權(quán)值的修正方向是負(fù)梯度方向的，這保證了在整個(gè)調(diào)整過程中誤差是逐步減少的。由于BP神經(jīng)網(wǎng)絡(luò)是一個(gè)多層的神經(jīng)網(wǎng)絡(luò)，調(diào)整權(quán)值應(yīng)該遵從一定的順序。信息前饋、誤差反傳構(gòu)成了BP前饋型的神經(jīng)網(wǎng)絡(luò)。了解了這個(gè)過程就可以得出BP神經(jīng)網(wǎng)絡(luò)的算法流程，如圖4.15所示。4.2.1前饋型（BP）神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式BP網(wǎng)絡(luò)的神經(jīng)元架構(gòu)設(shè)置參考了感知機(jī)的架構(gòu)，只是活化函數(shù)選用了非線性的Sigmoid函數(shù)，因此對(duì)每個(gè)神經(jīng)元來講，輸入活化函數(shù)前的信息應(yīng)為：式中，為閾值。如果要進(jìn)行閾值的調(diào)整的話，參照式（4.21）~式（4.26）有：而由式（4.28）可知：帶入式（4.29）有：對(duì)比可知，閾值的調(diào)整和輸入沒有關(guān)系。如果在調(diào)整閾值的過程中，首先計(jì)算出項(xiàng)，則可以順便得出閾值的調(diào)整方式，而乘以輸入就可以得出權(quán)值的調(diào)整。因此，沒有必要再對(duì)閾值的調(diào)整進(jìn)行討論了。4.2.2前饋型（BP）神經(jīng)網(wǎng)絡(luò)的相關(guān)問題前饋型BP神經(jīng)網(wǎng)絡(luò)在分類及數(shù)據(jù)擬合、建模方面發(fā)揮著重要的作用。分類問題前面已經(jīng)討論過了，在數(shù)據(jù)擬合和建模方面，特別是非線性動(dòng)態(tài)數(shù)據(jù)建模方面，神經(jīng)網(wǎng)絡(luò)比時(shí)間序列模型更具有靈活性，而且也不存在定階和截?cái)嗾`差的問題。對(duì)于控制理論所涉及的“黑箱”建模問題有著其他方法不可比擬的優(yōu)越性，只要擁有足夠的數(shù)據(jù)量，幾乎可以在任意精度上逼近實(shí)際的過程。此外，BP神經(jīng)網(wǎng)絡(luò)還不需要有先驗(yàn)知識(shí)或?qū)＜医?jīng)驗(yàn)，只要進(jìn)行有監(jiān)督模式的學(xué)習(xí)就可以了，因此在其問世之初就受到了業(yè)內(nèi)認(rèn)識(shí)的歡迎。但是，隨著BP神經(jīng)網(wǎng)絡(luò)應(yīng)用的廣度和深度不斷擴(kuò)展，一些問題也漸漸地呈現(xiàn)了出來。這主要表現(xiàn)在以下幾個(gè)方面：1、網(wǎng)絡(luò)的泛化問題2、網(wǎng)絡(luò)的收斂問題3、網(wǎng)絡(luò)的規(guī)模問題4、網(wǎng)絡(luò)的極值問題4.2.2前饋型（BP）神經(jīng)網(wǎng)絡(luò)的相關(guān)問題網(wǎng)絡(luò)的收斂問題主要集中在迭代步長、收斂域與收斂速度方面。如圖所示，如果收斂域選擇地較小的話，在迭代過程中會(huì)發(fā)生振蕩。從而導(dǎo)致整個(gè)網(wǎng)絡(luò)的收斂速度變得很慢。這時(shí)就需要在權(quán)值的調(diào)整過程中增加動(dòng)量項(xiàng)，即：收斂域圖4.16收斂域附近振蕩示意圖式中，即為動(dòng)量項(xiàng)，為動(dòng)量系數(shù)。添加動(dòng)量項(xiàng)的意義在于考核迭代過程中是否存在大幅波動(dòng)的情況，如果在迭代過程中出現(xiàn)了這種大幅波動(dòng)的情況，就適當(dāng)調(diào)整動(dòng)量系數(shù)減小振蕩的趨勢(shì)。學(xué)習(xí)速率與動(dòng)量系數(shù)可以離線靜態(tài)設(shè)定，也可以進(jìn)行在線動(dòng)態(tài)調(diào)整。一般以在線動(dòng)態(tài)調(diào)整的情況居多。加入動(dòng)量項(xiàng)的意義在于調(diào)整收斂的速度，能夠使迭代過程盡快結(jié)束，達(dá)到網(wǎng)絡(luò)訓(xùn)練的最優(yōu)值。但是強(qiáng)調(diào)收斂的速度也會(huì)帶來一些問題，例如局部極值和全局極值之間的關(guān)系等。4.2.2前饋型（BP）神經(jīng)網(wǎng)絡(luò)的相關(guān)問題網(wǎng)絡(luò)的規(guī)模問題主要集中在設(shè)計(jì)網(wǎng)絡(luò)的層數(shù)和神經(jīng)元個(gè)數(shù)上。如果層數(shù)和神經(jīng)元的數(shù)目太少會(huì)影響問題的處理，而如果數(shù)目太多又會(huì)給計(jì)算過程帶來困難。一般來講，對(duì)于連續(xù)可導(dǎo)過程的擬合在BP網(wǎng)絡(luò)中使用一個(gè)隱層即可以進(jìn)行，而對(duì)于離散或不可導(dǎo)的過程采用兩個(gè)隱層的結(jié)構(gòu)。在層級(jí)的設(shè)計(jì)上，現(xiàn)以最少的層級(jí)設(shè)計(jì)，如果不能滿足要求再逐漸增加層級(jí)。在神經(jīng)元數(shù)量的選擇上也有此類問題，神經(jīng)元節(jié)點(diǎn)的增加會(huì)提高擬合的精度，但是也會(huì)帶來“過擬合”的問題，就是對(duì)于某個(gè)數(shù)據(jù)集的適應(yīng)性非常好，但是對(duì)于其他的數(shù)據(jù)卻不能進(jìn)行良好地處理，泛化程度過差。網(wǎng)絡(luò)的極值問題與網(wǎng)絡(luò)的收斂性和迭代初值問題密切相關(guān)。在迭代過程中，總是希望網(wǎng)絡(luò)能夠盡快地收斂到希望的結(jié)果，所以采用了梯度下降的方法、增加動(dòng)量項(xiàng)的方法。如果在所求的整個(gè)范圍內(nèi)僅有一個(gè)極值點(diǎn)的話是沒有任何問題的，但是如果存在有多個(gè)極值點(diǎn)的話，就需要處理局部極值和全局極值的問題。如圖4.16所示。4.2.2前饋型（BP）神經(jīng)網(wǎng)絡(luò)的相關(guān)問題4.2.2前饋型（BP）神經(jīng)網(wǎng)絡(luò)的相關(guān)問題從圖4.17（a）、（b）中可以看出，在求解域中只有一個(gè)極值的話，使用梯度下降算法是沒有局部極值點(diǎn)與全局極值點(diǎn)的問題的。但是在圖4.17（c）、（d）中存在多個(gè)極值點(diǎn)，如果初值選擇不同的話會(huì)得到不同的結(jié)果。如果將初值選在了某個(gè)局部極值的鄰域內(nèi)，利用梯度下降算法只會(huì)將整個(gè)網(wǎng)絡(luò)盡快地引向局部極值而不能到達(dá)全局極值。這一點(diǎn)可以從圖4.18的簡化圖中看出來。一旦在迭代的開始沒有選擇好初值的話，整個(gè)網(wǎng)絡(luò)的訓(xùn)練就會(huì)失敗。4.2.2前饋型（BP）神經(jīng)網(wǎng)絡(luò)的相關(guān)問題在工程熱處理時(shí)常使用淬火和退火兩種工藝。淬火工藝是讓一個(gè)高溫的金屬物體盡快降溫，有些類似于梯度下降算法；而退火工藝則是讓一個(gè)高溫金屬物體緩慢降溫。在退火工藝中，由于溫度的緩慢下降，物體原子的運(yùn)動(dòng)速度減緩，其運(yùn)動(dòng)狀態(tài)改變的幾率就會(huì)增大。模擬退火算法就是不再單純?nèi)プ非笫諗克俣?，而是具有了一定的隨機(jī)運(yùn)動(dòng)的趨勢(shì)。其規(guī)律服從玻爾茲曼（Boltzmann）分布，即：式中，P(E)為處于某種能量狀態(tài)的概率，K為玻爾茲曼常數(shù)。從式中可以看出，如果物體能量E(X)較高，則其處于這種狀態(tài)的概率P(E)就小，整個(gè)體系就向低能狀態(tài)演變。在此過程中，溫度的變化也會(huì)影響到概率的取值，溫度越高則概率越大。這樣就可以通過調(diào)整溫度參數(shù)來達(dá)到對(duì)概率的調(diào)整。由于在此過程中狀態(tài)的形式是以概率形式給出的，因此就有了各種可能性，而不僅僅是一味按照梯度下降，從而也就避免了陷入局部極值的問題。從上述的過程可以看出，模擬退火算法的思想在前饋網(wǎng)絡(luò)中添加了隨機(jī)性的因素。因此進(jìn)一步發(fā)展，可以將前饋型神經(jīng)網(wǎng)絡(luò)改造為隨機(jī)型的神經(jīng)網(wǎng)絡(luò)，這種網(wǎng)絡(luò)的代表就是玻爾茲曼機(jī)（BM：BoltzmannMachine）。4.3典型反饋型神經(jīng)網(wǎng)絡(luò)反饋型神經(jīng)網(wǎng)絡(luò)的基本思想是將輸出的信息反饋到輸入端構(gòu)成一個(gè)MIMO形式的閉環(huán)系統(tǒng)。這種有輸出反饋的網(wǎng)絡(luò)結(jié)構(gòu)形式最初是由J.Hopfield提出的，因此也稱為Hopfield網(wǎng)絡(luò)。此外，還有進(jìn)行局部信息反饋的網(wǎng)絡(luò)，類似于控制理論中的狀態(tài)反饋的形式，稱為Elman網(wǎng)絡(luò)，是由J.L.Elman提出的。在所有的反饋結(jié)構(gòu)中，系統(tǒng)的穩(wěn)定性是一個(gè)非常重要的問題，對(duì)于反饋型神經(jīng)網(wǎng)絡(luò)也不例外，其穩(wěn)定性是重點(diǎn)討論的問題之一。穩(wěn)定性的問題在控制理論中已經(jīng)研究得非常完備了，因此對(duì)于反饋型神經(jīng)網(wǎng)絡(luò)穩(wěn)定性的討論將會(huì)借鑒控制理論中對(duì)于穩(wěn)定性的分析方法。4.3.1反饋型神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式圖4.7給出了簡單反饋型神經(jīng)網(wǎng)絡(luò)的示意圖。這里說的簡單是指反饋結(jié)構(gòu)的簡單，而真正運(yùn)行這樣的多層反饋網(wǎng)絡(luò)會(huì)有很多問題。因此，在實(shí)際的反饋型神經(jīng)網(wǎng)絡(luò)運(yùn)行時(shí)經(jīng)常簡化網(wǎng)絡(luò)的結(jié)構(gòu)，例如Hopfield網(wǎng)絡(luò)就將其簡化為單層、全互聯(lián)的反饋結(jié)構(gòu)。Hopfield網(wǎng)絡(luò)有離散型和連續(xù)性之分。離散型的Hopfield網(wǎng)絡(luò)（DHNN：DiscreteHopfieldNeuralNetwork）是將數(shù)據(jù)集中的數(shù)據(jù)漸次輸入到網(wǎng)絡(luò)中進(jìn)行處理的。在離散型Hopfield網(wǎng)絡(luò)中仍然需要調(diào)整每個(gè)神經(jīng)元的權(quán)、閾值，但由于反饋?zhàn)饔玫囊胧沟妹總€(gè)神經(jīng)元的狀態(tài)都呈現(xiàn)出動(dòng)態(tài)的特性。同時(shí)為了問題的簡化，活化函數(shù)也取為開關(guān)型的活化函數(shù)，而沒有采用像前饋網(wǎng)絡(luò)那樣的Sigmoid函數(shù)。即：4.3.1反饋型神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式而輸入活化函數(shù)的信息可用權(quán)、閾值表示為：Hopfield網(wǎng)絡(luò)有兩種工作方式，分別為串行方式和并行方式。串行方式是指在網(wǎng)絡(luò)運(yùn)行時(shí)，每次僅有一個(gè)神經(jīng)元進(jìn)行調(diào)整，而其余的神經(jīng)元節(jié)點(diǎn)保持不變，然后再輪流進(jìn)行下一個(gè)神經(jīng)元的調(diào)節(jié)，串行方式也稱為異步方式。并行方式是指在網(wǎng)絡(luò)工作時(shí)，所有的神經(jīng)元同時(shí)進(jìn)行調(diào)節(jié)的工作方式，并行工作方式也稱為同步方式。與離散型Hopfield網(wǎng)絡(luò)相對(duì)應(yīng)還有連續(xù)型Hopfield網(wǎng)絡(luò)。在連續(xù)型Hopfield網(wǎng)絡(luò)中，所有的神經(jīng)元節(jié)點(diǎn)并行更新，其結(jié)構(gòu)類似于模擬電路中的RC與集成運(yùn)放的連接關(guān)系，4.3.1反饋型神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式如圖4.19所示。根據(jù)電路及模擬電子技術(shù)的知識(shí)，如果設(shè)電容為C，R為電阻，ui為輸入電壓，則有：式中，Ii為偏置電流。在連續(xù)型Hopfield網(wǎng)絡(luò)中，活化函數(shù)取為Sigmoid函數(shù)。從實(shí)時(shí)性和信息并行處理的工作方式來看，這種反饋型網(wǎng)絡(luò)更類似于生物網(wǎng)絡(luò)的情況。4.3.1反饋型神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式從圖中可以看出其前向通道保持了BP網(wǎng)絡(luò)的三層結(jié)構(gòu)：輸入層、隱含層、輸出層。此外，在隱含層中進(jìn)行了局部的“狀態(tài)”反饋，這一層稱為承接層（有的文獻(xiàn)也稱為關(guān)聯(lián)層、聯(lián)系層），在此層中將隱含層的信號(hào)進(jìn)行了局部自反饋。隱含層的活化函數(shù)保持為非線性Sigmoid函數(shù)，輸出層、承接層的活化函數(shù)為線性函數(shù)。這樣Elman網(wǎng)絡(luò)可以看作是BP網(wǎng)絡(luò)進(jìn)行局部狀態(tài)反饋的修正形式，由于反饋?zhàn)饔玫募尤刖W(wǎng)絡(luò)對(duì)于動(dòng)態(tài)信息的處理能力大大提高，對(duì)于歷史數(shù)據(jù)也具有了一定的記憶功能。在Elman網(wǎng)絡(luò)中，對(duì)于輸出層有：對(duì)于承接層和隱含層：4.3.1反饋型神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式式中，為隱含層的輸出信息，為承接層的輸出信息，即：為反饋系數(shù)。Elman網(wǎng)絡(luò)由BP網(wǎng)絡(luò)衍生變化而來，因此，其權(quán)值的修正方法也沿用了BP神經(jīng)網(wǎng)絡(luò)的方法，性能指標(biāo)函數(shù)也沿用了BP網(wǎng)絡(luò)的性能指標(biāo)函數(shù)。Elman網(wǎng)絡(luò)的算法流程圖如圖4.20所示。4.3.1反饋型神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式在反饋型神經(jīng)網(wǎng)絡(luò)中，有一種具有聯(lián)想記憶功能的網(wǎng)絡(luò)。其中比較典型的就是雙向聯(lián)想記憶網(wǎng)絡(luò)（BAM:BidirectionalAssociativeMemory）。這種網(wǎng)絡(luò)具有雙向雙層的網(wǎng)絡(luò)結(jié)構(gòu)，如圖4.21所示。在該神經(jīng)網(wǎng)絡(luò)進(jìn)行工作時(shí)，信息的流向可以雙向進(jìn)行，當(dāng)某一層作為信息輸入，則另一層可以作為信息輸出，反之亦然。因此，不存在一般意義上的輸入層或輸出層。可以用相應(yīng)的符號(hào)來對(duì)某層進(jìn)行命名。如圖所示，就可以稱之為X層、Y層。兩層的神經(jīng)元數(shù)目可以相同也可以不同。其活化函數(shù)取為開關(guān)型活化函數(shù)，兩層間的傳輸權(quán)矩陣互為轉(zhuǎn)置。4.3.1反饋型神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式雙向聯(lián)想記憶網(wǎng)絡(luò)的運(yùn)行過程如圖4.22所示。4.3.1反饋型神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式當(dāng)由樣本數(shù)據(jù)從X層輸入時(shí)，信息經(jīng)過加權(quán)、活化函數(shù)變換送到Y(jié)層；到達(dá)Y層后，由Y層再次進(jìn)行運(yùn)算同樣經(jīng)過加權(quán)和活化又反饋回X層。這種運(yùn)算進(jìn)行往復(fù)回環(huán)，一直進(jìn)行到兩層神經(jīng)元的狀態(tài)不再變化為止，這就是網(wǎng)絡(luò)的穩(wěn)定狀態(tài)了。4.3.1反饋型神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式對(duì)于X層的狀態(tài)演化，如圖4.22實(shí)線箭頭所示，有：同樣的，對(duì)于Y層的狀態(tài)演化，如圖4.22虛線箭頭所示，有：從以上兩式可以看出網(wǎng)絡(luò)狀態(tài)的動(dòng)態(tài)變化：每個(gè)狀態(tài)都會(huì)影響到下一個(gè)狀態(tài)，也就是當(dāng)前狀態(tài)受到以前狀態(tài)的影響，所以這樣的神經(jīng)網(wǎng)絡(luò)就有了“聯(lián)想、記憶”的功能，這種結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)也就因此而得名了。4.3.2反饋型神經(jīng)網(wǎng)絡(luò)的相關(guān)問題在所有的閉環(huán)反饋結(jié)構(gòu)中，系統(tǒng)的穩(wěn)定性一直是首當(dāng)其沖的問題，在反饋型神經(jīng)網(wǎng)絡(luò)中也不例外?？刂评碚撝袑?duì)系統(tǒng)的穩(wěn)定性進(jìn)行了非常完備和深入的討論，在這里借用控制理論中對(duì)穩(wěn)定性的分析方法來對(duì)反饋型離散型神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性進(jìn)行討論。在圖4.23中給出了在反饋系統(tǒng)運(yùn)行時(shí)的三種不同情況。

（a）（b）

(c)4.3.2反饋型神經(jīng)網(wǎng)絡(luò)的相關(guān)問題在圖4.23（a）中可以看到，當(dāng)系統(tǒng)從初始狀態(tài)開始變化，經(jīng)過了一定的時(shí)間變化（迭代過程）可以逐漸收斂于狀態(tài)空間的某一點(diǎn)，在這種情況下，系統(tǒng)的狀態(tài)應(yīng)該有。也就是說系統(tǒng)的狀態(tài)在迭代前后不會(huì)發(fā)生變化，穩(wěn)定地位于那個(gè)點(diǎn)上，這是就說明系統(tǒng)進(jìn)入了穩(wěn)定的狀態(tài)。穩(wěn)定的狀態(tài)點(diǎn)也被稱為不動(dòng)點(diǎn)、吸引子。在控制理論中這種情況叫做漸進(jìn)穩(wěn)定。在圖4.23（b）中，系統(tǒng)從初態(tài)開始變化，經(jīng)過足夠長的時(shí)間后，始終被限定在一定的范圍內(nèi)，但是也不會(huì)像（a）那樣最終收斂于某一點(diǎn)。在控制理論中也屬于穩(wěn)定的情況，在控制理論中這種情況屬于有界輸入-有界輸出穩(wěn)定（BIBO：Bounded-InputBounded-Output

）。在圖4.23（c）中，系統(tǒng)從初態(tài)開始出發(fā)，經(jīng)過一段時(shí)間后，會(huì)越來越遠(yuǎn)地偏離平衡點(diǎn)，這就屬于發(fā)散的不穩(wěn)定狀態(tài)了。4.3.2反饋型神經(jīng)網(wǎng)絡(luò)的相關(guān)問題在離散型Hopfield神經(jīng)網(wǎng)絡(luò)中，由于活化函數(shù)取為了開關(guān)型的函數(shù)，因此不可能出現(xiàn)逐漸發(fā)散的不穩(wěn)定狀態(tài)，但有可能只是在一定的范圍內(nèi)進(jìn)行有界的穩(wěn)定情況。對(duì)于反饋型神經(jīng)網(wǎng)絡(luò)穩(wěn)定的判別同樣借鑒控制理論中對(duì)于穩(wěn)定性的著名理論——李雅普諾夫（Lyapunov）穩(wěn)定性理論。李雅普諾夫穩(wěn)定性理論在數(shù)學(xué)上有著嚴(yán)密地推導(dǎo)，但這里僅僅從物理角度來談對(duì)它的理解。李雅普諾夫穩(wěn)定性理論可以理解為：如果一個(gè)系統(tǒng)的能量是逐漸衰減、消退的話，那么這個(gè)系統(tǒng)就是穩(wěn)定的，因?yàn)檫@個(gè)系統(tǒng)趨向了最低的能量狀態(tài)。于是李雅普諾夫穩(wěn)定性定理表示為：對(duì)于某個(gè)系統(tǒng)，如果存在一個(gè)李雅普諾夫函數(shù)V(x,t)，它滿足條件：V(x,t)為正定且有無窮小上界，并且其導(dǎo)函數(shù)V(x,t)為負(fù)定，那么原點(diǎn)平衡狀態(tài)xe=0就是一致漸近穩(wěn)定的。4.3.2反饋型神經(jīng)網(wǎng)絡(luò)的相關(guān)問題這是在數(shù)學(xué)上比較嚴(yán)格的表述。可以簡單地理解為如果李雅普諾夫函數(shù)正定，而且其導(dǎo)函數(shù)負(fù)定，那么系統(tǒng)就是穩(wěn)定的。根據(jù)對(duì)李雅普諾夫定理的物理角度理解，李雅普諾夫函數(shù)可以看作是“能量”函數(shù)。在物理中的很多場(chǎng)合，能量的表達(dá)形式都以二次型函數(shù)的形式出現(xiàn)，例如動(dòng)能，、電流在電阻上產(chǎn)生的能量、甚至是質(zhì)能方程也是以二次型的形式出現(xiàn)的。因此，在對(duì)于反饋型神經(jīng)網(wǎng)絡(luò)穩(wěn)定性的判定上，不妨也以二次型函數(shù)的形式作為李雅普諾夫函數(shù)。即，式中，X(t)為神經(jīng)網(wǎng)絡(luò)的狀態(tài)向量，W為神經(jīng)元的權(quán)值矩陣，神經(jīng)元的閾值向量?？梢栽O(shè)定此函數(shù)為正定。接下來考察其導(dǎo)函數(shù)的情況。考慮到DHNN網(wǎng)絡(luò)的離散型情況，可以使用差分來代替微分，于是有：4.3.2反饋型神經(jīng)網(wǎng)絡(luò)的相關(guān)問題4.3.2反饋型神經(jīng)網(wǎng)絡(luò)的相關(guān)問題在式（4.43）中，第二項(xiàng)毫無疑問是負(fù)定的。關(guān)鍵就在于考察前一項(xiàng)的情況。將式中的矩陣形式寫成連加和的形式，并考慮到權(quán)矩陣為對(duì)稱陣，有：在異步工作方式下，考慮到每個(gè)神經(jīng)元不存在自反饋，并結(jié)合式（4.35），有：可以證明，在任何情況下式（4.45）均為負(fù)半定，且當(dāng)時(shí)，神經(jīng)網(wǎng)絡(luò)處于不動(dòng)點(diǎn)，也就是進(jìn)入了穩(wěn)態(tài)。由此可以得出，異步工作的離散型Hopfield神經(jīng)網(wǎng)絡(luò)是穩(wěn)定的。采用同樣的方法還可以證明同步工作的離散型Hopfield神經(jīng)網(wǎng)絡(luò)也是穩(wěn)定的：在同步工作方式情況下如果權(quán)矩陣為非負(fù)定矩陣時(shí)，系統(tǒng)漸近收斂；而當(dāng)權(quán)矩陣為負(fù)定陣時(shí)系統(tǒng)是BIBO穩(wěn)定的。4.3.2反饋型神經(jīng)網(wǎng)絡(luò)的相關(guān)問題對(duì)于連續(xù)性Hopfield神經(jīng)網(wǎng)絡(luò)（CHNN）可以設(shè)定其李雅普諾夫函數(shù)為：式中，x為輸出狀態(tài)，X為輸出狀態(tài)的向量形式,W為權(quán)矩陣，f-1為活化函數(shù)的反函數(shù)。下面考察李雅普諾夫函數(shù)導(dǎo)函數(shù)的情況：將式（4.46）寫成連加和形式并求偏導(dǎo)，有，uj為輸入活化函數(shù)的信號(hào)。結(jié)合式（4.36），有：4.3.2反饋型神經(jīng)網(wǎng)絡(luò)的相關(guān)問題由連續(xù)型Hopfield網(wǎng)絡(luò)中活化函數(shù)為Sigmoid函數(shù)可知，其反函數(shù)為單調(diào)增函數(shù)。這樣就可得到其李雅普諾夫函數(shù)的導(dǎo)函數(shù)為負(fù)半定，即：對(duì)照式（4.45）可以得出和離散型Hopfield網(wǎng)絡(luò)同樣的結(jié)論。Elman神經(jīng)網(wǎng)絡(luò)屬于局部狀態(tài)反饋，雙向聯(lián)想記憶網(wǎng)絡(luò)可以歸結(jié)為可逆性的輸出反饋結(jié)構(gòu)。它們的穩(wěn)定性的判定方式可以借鑒Hopfield神經(jīng)網(wǎng)絡(luò)的判定方法。4.3.2反饋型神經(jīng)網(wǎng)絡(luò)的相關(guān)問題由于反饋型神經(jīng)網(wǎng)絡(luò)具有穩(wěn)定性，因此一個(gè)訓(xùn)練好的Hopfield神經(jīng)網(wǎng)絡(luò)會(huì)將所有的信息經(jīng)過演化計(jì)算后集中于其穩(wěn)態(tài)值（不動(dòng)點(diǎn)、吸引子）。這樣，就可以把需要進(jìn)行記憶的信息與Hopfield網(wǎng)絡(luò)的穩(wěn)態(tài)值相對(duì)應(yīng)，是網(wǎng)絡(luò)能夠記住這種狀態(tài)，并對(duì)輸入的不正確信息進(jìn)行校正，使之重新回歸于穩(wěn)態(tài)值。穩(wěn)態(tài)值可以是向量形式給定的，并用來訓(xùn)練網(wǎng)絡(luò)確定權(quán)值。對(duì)于離散型Hopfield神經(jīng)網(wǎng)絡(luò)，假定需要存儲(chǔ)的向量為，其中，，這些向量應(yīng)該對(duì)應(yīng)于網(wǎng)絡(luò)的穩(wěn)態(tài)值。樣本數(shù)據(jù)兩兩正交。根據(jù)對(duì)網(wǎng)絡(luò)穩(wěn)定性的分析，在異步方式工作時(shí)，權(quán)矩陣應(yīng)為對(duì)稱陣；在同步方式工作時(shí)，權(quán)值矩陣應(yīng)為非負(fù)定對(duì)稱陣。離散型Hopfield神經(jīng)網(wǎng)絡(luò)的權(quán)值可以取為需要進(jìn)行記憶樣本的外積和，即：4.3.2反饋型神經(jīng)網(wǎng)絡(luò)的相關(guān)問題式中明確反映了在網(wǎng)絡(luò)中的節(jié)點(diǎn)不存在自反饋，因此權(quán)矩陣中對(duì)角線元素為零。寫成矩陣形式，有：式中，I為單位陣。對(duì)于外積有：對(duì)于反饋型網(wǎng)絡(luò)輸入，有：將式（4.53）代入到式（4.54）中，有：4.3.2反饋型神經(jīng)網(wǎng)絡(luò)的相關(guān)問題考慮到Hopfield網(wǎng)絡(luò)活化函數(shù)為開關(guān)型的活化函數(shù)，則有則Xp為不動(dòng)點(diǎn)，整個(gè)網(wǎng)絡(luò)也就進(jìn)入了穩(wěn)態(tài)。如果輸入的樣本不能滿足兩兩正交的條件，則式（4.56）的不動(dòng)點(diǎn)條件不能滿足，這時(shí)網(wǎng)絡(luò)的穩(wěn)態(tài)向量維數(shù)就會(huì)降低，存儲(chǔ)容量就受到影響。如果網(wǎng)絡(luò)存儲(chǔ)的樣本信息與新輸入的信息存在誤差，網(wǎng)絡(luò)就會(huì)進(jìn)行調(diào)整演化，最終穩(wěn)定到存儲(chǔ)的樣本信息上。這個(gè)過程就是Hopfield網(wǎng)絡(luò)聯(lián)想的過程。由此可以看出網(wǎng)絡(luò)的存儲(chǔ)容量和聯(lián)想能力是互為制約的兩個(gè)因素：網(wǎng)絡(luò)的存儲(chǔ)容量越大，聯(lián)想能力就會(huì)越弱。反饋是信息流向的一種形式，由于有反饋?zhàn)饔玫拇嬖跁?huì)使整個(gè)系統(tǒng)具有很多新的特點(diǎn)。與前饋型神經(jīng)網(wǎng)絡(luò)相比，反饋型神經(jīng)網(wǎng)絡(luò)產(chǎn)生了很多關(guān)于穩(wěn)定性的問題，但同時(shí)也給網(wǎng)絡(luò)帶來了新的變化。由于有不動(dòng)點(diǎn)的存在使得網(wǎng)絡(luò)具有了一定的記憶和聯(lián)想能力，使得網(wǎng)絡(luò)具有了一定的動(dòng)態(tài)性。4.4其他典型神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)信息的傳輸形式可以分為前饋和反饋兩種。上文介紹的是這兩種形式中最為典型的神經(jīng)網(wǎng)絡(luò)，還有一些在機(jī)器學(xué)習(xí)領(lǐng)域典型和常用的網(wǎng)絡(luò)，雖然可以將其歸于這兩種結(jié)構(gòu)形式，但是由于他們本身所具有的獨(dú)特特點(diǎn)常常將其單獨(dú)列出。下面將介紹這些神經(jīng)網(wǎng)絡(luò)的基本架構(gòu)、運(yùn)行模式及相關(guān)的問題。4.4.1徑向基神經(jīng)網(wǎng)絡(luò)徑向基網(wǎng)絡(luò)是一種前饋性的神經(jīng)網(wǎng)絡(luò)，其基本結(jié)構(gòu)與BP網(wǎng)絡(luò)類似也具有輸入層、隱含層及輸出層三層結(jié)構(gòu)。隱含層的活化函數(shù)為徑向基函數(shù)（RBF：RadialBasisFunction），輸出層的活化函數(shù)為線性函數(shù)。如圖4.24所示。圖4.24徑向基神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖4.4.1徑向基神經(jīng)網(wǎng)絡(luò)徑向基函數(shù)是一種左右對(duì)稱的鐘形函數(shù)，除了前面所說的逆二次函數(shù)外，還有高斯函數(shù)和反射Sigmoid函數(shù)。其基本形狀如圖4.25所示。高斯函數(shù)：反射Sigmoid函數(shù)采用徑向基函數(shù)作為活化函數(shù)是要模仿生物神經(jīng)元靠近神經(jīng)元中心點(diǎn)興奮而遠(yuǎn)離中心點(diǎn)抑制的“近興奮、遠(yuǎn)抑制”的功能效果。這一點(diǎn)在視神經(jīng)的功能上體現(xiàn)地尤為突出。4.4.1徑向基神經(jīng)網(wǎng)絡(luò)在函數(shù)擬合的問題中，常以偏差平方和最小作為衡量擬合效果的性能指標(biāo)。而正則化方法在此基礎(chǔ)上又添加了正則化項(xiàng)，所謂的正則化項(xiàng)主要是用來防止在學(xué)習(xí)過程中出現(xiàn)一味地追求偏差平方和最小而造成過擬合，網(wǎng)絡(luò)性能缺乏泛化能力的問題。于是可以在偏差平方和最小性能指標(biāo)函數(shù)上在添加一項(xiàng)，構(gòu)造新的性能指標(biāo)函數(shù)為：正則化參數(shù)需要進(jìn)行調(diào)整，來平衡偏差平方和最小化項(xiàng)的過擬合趨勢(shì)。4.4.1徑向基神經(jīng)網(wǎng)絡(luò)假設(shè)有P個(gè)數(shù)據(jù)集的樣本XP，其對(duì)應(yīng)的輸出值為Y。需要求出從樣本到輸出的函數(shù)關(guān)系F（x）。很明顯，這是一個(gè)典型的擬合問題。根據(jù)正則化徑向基網(wǎng)絡(luò)設(shè)計(jì)原則，可以選定P個(gè)徑向基函數(shù)，并使數(shù)據(jù)集中的樣本對(duì)準(zhǔn)徑向基函數(shù)的中心，即：在式中Xi為徑向基函數(shù)的中心。將這個(gè)P徑向基函數(shù)作為整個(gè)擬合過程中的一組“基”，然后將這組“基”送入輸出層中，利用輸出層的線性活化函數(shù)進(jìn)行線性組合，就可以得到擬合的函數(shù)曲線。這個(gè)過程可以形象地用圖4.26來表達(dá)。4.4.1徑向基神經(jīng)網(wǎng)絡(luò)可以看出這種正則化的徑向基網(wǎng)絡(luò)不但能夠?qū)崿F(xiàn)對(duì)函數(shù)的擬合，還對(duì)數(shù)據(jù)插值有很強(qiáng)的處理能力。如果有足夠的輸入樣本，正則化的徑向基網(wǎng)絡(luò)幾乎可以逼近任何一種可導(dǎo)的曲線。4.4.1徑向基神經(jīng)網(wǎng)絡(luò)廣義徑向基網(wǎng)絡(luò)的隱層節(jié)點(diǎn)雖然比樣本數(shù)據(jù)的數(shù)量少，但與樣本的維數(shù)相比還是要多很多的。一般來講，低維的線性不可分問題如果能映射到高維空間，就很可能成為線性可分的問題。仍以“異或”這種線性不可分問題為例，由于在前面的章節(jié)繪制過有關(guān)圖形，此處不再繪制。僅以數(shù)據(jù)說明問題。輸入的數(shù)據(jù)為：（0,0）（0,1）（1,0）（1,1）隱層節(jié)點(diǎn)設(shè)置為兩個(gè)，其活化函數(shù)（徑向基函數(shù)）為：式中指定為2-范數(shù)。則輸入數(shù)據(jù)集中的數(shù)據(jù)經(jīng)隱層徑向基活化后所得到的結(jié)果為：4.4.1徑向基神經(jīng)網(wǎng)絡(luò)4.4.1徑向基神經(jīng)網(wǎng)絡(luò)這樣可以將低維的輸入樣本數(shù)據(jù)通過隱含層的活化映射，變換到的空間，從而實(shí)現(xiàn)了在該空間的線性可分。如圖4.27所示。徑向基神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法主要需要解決隱層神經(jīng)元節(jié)點(diǎn)數(shù)；確定徑向基函數(shù)的“徑向”中心以及向兩側(cè)的擴(kuò)展常數(shù)；同時(shí)也要涉及到權(quán)值的修正問題。徑向基函數(shù)變換（a）“異或”線性不可分（b）“異或”線性可分圖4.27徑向基神經(jīng)網(wǎng)絡(luò)解決“異或”問題4.4.1徑向基神經(jīng)網(wǎng)絡(luò)而對(duì)于廣義徑向基函數(shù)的中心設(shè)定可以從數(shù)據(jù)樣本中進(jìn)行確定，對(duì)于數(shù)據(jù)多的地方可以適當(dāng)多取，再根據(jù)整個(gè)網(wǎng)絡(luò)的運(yùn)行情況進(jìn)行適當(dāng)調(diào)整。另一種方法是利用聚類的方法來進(jìn)行確定。這種方法先進(jìn)行聚類，將數(shù)據(jù)分為若干組，然后將這些組數(shù)據(jù)的聚類中心作為徑向基函數(shù)的中心，并根據(jù)徑向基中心之間的距離確定擴(kuò)展常數(shù)。其算法流程如圖4.28所示。4.4.2自組織競爭神經(jīng)網(wǎng)絡(luò)自組織競爭神經(jīng)網(wǎng)絡(luò)是一種帶有競爭機(jī)制的網(wǎng)絡(luò)結(jié)構(gòu)。所謂競爭，是指在網(wǎng)絡(luò)的神經(jīng)元中需要對(duì)所輸入的信息或數(shù)據(jù)進(jìn)行對(duì)比、競爭從而得出正確的結(jié)果的過程。自組織競爭神經(jīng)網(wǎng)絡(luò)從信息的流向上來說是一種混合型的結(jié)構(gòu)，不能使用簡單的前饋或反饋型的結(jié)構(gòu)來對(duì)其進(jìn)行描述。自組織競爭神經(jīng)網(wǎng)絡(luò)都有競爭層，在競爭層中信息相互作用，信息在層間傳遞進(jìn)行分析、比較和競爭，直至得到勝出神經(jīng)元，然后再進(jìn)行信息的下一步傳輸。最簡單的自組織神經(jīng)網(wǎng)絡(luò)至少有一個(gè)競爭層，其基本結(jié)構(gòu)如圖4.29所示。4.4.2自組織競爭神經(jīng)網(wǎng)絡(luò)在自組織競爭神經(jīng)網(wǎng)絡(luò)進(jìn)行競爭學(xué)習(xí)時(shí)，模擬生物神經(jīng)元的工作模式，在所有參與競爭的神經(jīng)元中，輸出響應(yīng)最大的神經(jīng)元時(shí)獲勝神經(jīng)元，興奮程度應(yīng)該最高，表示為：對(duì)于此獲勝的神經(jīng)元再進(jìn)行權(quán)值調(diào)整，而且別的神經(jīng)元就不進(jìn)行權(quán)值調(diào)整了。這種學(xué)習(xí)方式被形象地稱為“勝者為王”（WinnerTakesAll）的學(xué)習(xí)規(guī)則。歸一化處理是將輸入的模式向量與競爭層的向量進(jìn)行單位化處理：保持向量的方向不變，使其長度單位化，這樣所有的向量就被安放在了同一個(gè)單位圓里。即：式中，為向量范數(shù)，一般取為2-范數(shù)。4.4.2自組織競爭神經(jīng)網(wǎng)絡(luò)衡量相似的標(biāo)準(zhǔn)是考察兩個(gè)向量的歐式距離。如果歐式距離最小則為勝出。即：為獲勝神經(jīng)元的權(quán)向量。如果將上式展開有：由于在輸入競爭時(shí)進(jìn)行了歸一化處理，聯(lián)系式（4.66）有，代入式（4.68）有，4.4.2自組織競爭神經(jīng)網(wǎng)絡(luò)可以看出，欲使與的歐氏距離最小等價(jià)于使與的點(diǎn)積最大。因此式（4.67）等價(jià)于：這樣，最小化歐式距離就轉(zhuǎn)化為最大化權(quán)值與輸入向量的點(diǎn)積。而這樣做的好處在于權(quán)值與輸入向量的點(diǎn)積正好是活化函數(shù)的輸入。第三步進(jìn)行權(quán)值調(diào)整。根據(jù)勝者為王的學(xué)習(xí)規(guī)則，獲勝神經(jīng)元置為1，而其他的神經(jīng)元置0。然后對(duì)獲勝的神經(jīng)元的權(quán)值進(jìn)行調(diào)整，調(diào)整的規(guī)則為：式中，為學(xué)習(xí)率。一般限定在[0，1]之間。競爭學(xué)習(xí)的過程可以用圖4.30說明。4.4.2自組織競爭神經(jīng)網(wǎng)絡(luò)從圖4.30中可以看出，衡量競爭層神經(jīng)元權(quán)向量與輸入向量的歐氏距離與衡量這兩個(gè)向量的夾角是一致的。因此，有時(shí)也采用考察這兩個(gè)向量夾角的余弦來進(jìn)行競爭比較，即;從式中可以看出，余弦值越大代表兩個(gè)向量越靠近，越相似，這一點(diǎn)與考察其點(diǎn)積大小是一致的。在進(jìn)行歸一化處理后，所有向量均位于單位圓內(nèi)，其向量的長度都相同，采用比較考察兩個(gè)向量夾角的大小更具有直觀理解的優(yōu)勢(shì)。自組織特征映射網(wǎng)絡(luò)共有兩層，輸入層輸入數(shù)據(jù)，競爭層輸出數(shù)據(jù)。與基本自組織競爭神經(jīng)網(wǎng)絡(luò)不同的是，其競爭層神經(jīng)元的維數(shù)可以進(jìn)行擴(kuò)展，而不再僅僅是如圖4.29所給出的那種一維的競爭層結(jié)構(gòu)。競爭層神經(jīng)元的維數(shù)可以擴(kuò)展到2維、3維甚至更高維。其中以二維結(jié)構(gòu)形式最為典型，如圖4.31所示。4.4.2自組織競爭神經(jīng)網(wǎng)絡(luò)4.4.2自組織競爭神經(jīng)網(wǎng)絡(luò)競爭層為2維的自組織特征映射神經(jīng)網(wǎng)絡(luò)在競爭層的神經(jīng)元相互側(cè)向聯(lián)系，類似于人腦皮層的神經(jīng)元結(jié)構(gòu)。自組織特征映射的學(xué)習(xí)算法在勝者為王算法的基礎(chǔ)上又有所發(fā)展。調(diào)整的規(guī)則是獲勝的神經(jīng)元權(quán)值調(diào)整的量最大，而隨著和獲勝神經(jīng)元距離的增加，權(quán)值調(diào)整的量漸次減小。這種調(diào)整函數(shù)可以采用類似徑向基的函數(shù)，也可以使用圖4.32的所謂“墨西哥草帽”函數(shù)。4.4.2自組織競爭神經(jīng)網(wǎng)絡(luò)自適應(yīng)共振理論（ART：AdaptiveResonanceTheory）神經(jīng)網(wǎng)絡(luò)是另一種自組織競爭神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)在運(yùn)行過程中經(jīng)常會(huì)出現(xiàn)穩(wěn)定與泛化的矛盾。這種矛盾是指，在神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程中是一種動(dòng)態(tài)過程，經(jīng)過學(xué)習(xí)和訓(xùn)練后神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)會(huì)逐漸穩(wěn)定下來；但是如果在整個(gè)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)穩(wěn)定下來之后，又有新的數(shù)據(jù)樣本輸入的話，為了能夠使神經(jīng)網(wǎng)絡(luò)具有泛化性，神經(jīng)網(wǎng)絡(luò)又要重新開始調(diào)整，使得以前訓(xùn)練好的參數(shù)就會(huì)喪失。也就是說新數(shù)據(jù)的輸入使得神經(jīng)網(wǎng)絡(luò)遺忘了曾經(jīng)的學(xué)習(xí)結(jié)果。對(duì)這種問題一般的處理方法是設(shè)定學(xué)習(xí)系數(shù)和遺忘因子來進(jìn)行平衡，但是如何設(shè)定這些系數(shù)和因子目前尚無定論。自適應(yīng)共振理論神經(jīng)網(wǎng)絡(luò)就是為解決這個(gè)矛盾而產(chǎn)生的。經(jīng)過不斷的完善，目前有三種自適應(yīng)共振理論神經(jīng)網(wǎng)絡(luò)，分別是ARTⅠ、ARTⅡ和ARTⅢ。ARTⅠ網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖4.33所示。4.4.2自組織競爭神經(jīng)網(wǎng)絡(luò)4.4.3小腦模型神經(jīng)網(wǎng)絡(luò)小腦模型神經(jīng)網(wǎng)絡(luò)（CMAC：CerebellarModelArticulationController——直譯為“小腦模型關(guān)節(jié)控制器”）是模仿人類小腦控制肢體運(yùn)動(dòng)方式的一種神經(jīng)網(wǎng)絡(luò)模型。正如直譯所提示的，這種神經(jīng)網(wǎng)絡(luò)模型最初是為了解決機(jī)器手關(guān)節(jié)的運(yùn)動(dòng)控制而產(chǎn)生的，由美國工程師智能系統(tǒng)工程師JamesS.Albus所提出。這種神經(jīng)網(wǎng)絡(luò)得名是因?yàn)閰⒄樟诵∧X在控制肢體動(dòng)作時(shí)，具有條件反射響應(yīng)迅速的特點(diǎn)。這種神經(jīng)網(wǎng)絡(luò)具有一定的聯(lián)想功能，而且這種功能也有泛化能力。相似的輸入模式會(huì)得到相似的輸出，而彼此不相似的輸入模式將產(chǎn)生獨(dú)立的輸出；能夠?qū)W(wǎng)絡(luò)輸出有影響的神經(jīng)元權(quán)值較少；這種神經(jīng)網(wǎng)絡(luò)有一定的自適應(yīng)能力，而且采用了表格查詢的方式來實(shí)現(xiàn)非線性映射關(guān)系，具有信息分類處理的能力。4.4.3小腦模型神經(jīng)網(wǎng)絡(luò)4.4.3小腦模型神經(jīng)網(wǎng)絡(luò)小腦模型神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖4.34所示。X為輸入數(shù)據(jù)集，A為帶有類似指針功能的存儲(chǔ)單元，y為輸出的數(shù)據(jù)集。當(dāng)輸入數(shù)據(jù)集中的數(shù)據(jù)輸入時(shí)，就會(huì)激活在存儲(chǔ)區(qū)中對(duì)應(yīng)的元素，例如X1激活了a1~a4的四個(gè)元素，X2激活了ai-1~ai+2的四個(gè)元素等等，被激活的元素就被置為1，其他元素保持為0；在輸出層將激活單元的權(quán)值進(jìn)行求和運(yùn)算，然后經(jīng)活化函數(shù)運(yùn)算輸出。在輸入過程中被激活元素的個(gè)數(shù)用C表示，稱為泛化系數(shù)。在CMAC網(wǎng)絡(luò)運(yùn)行時(shí)，輸入的信號(hào)多為模擬信號(hào)，而在存儲(chǔ)單元A中所接受的信號(hào)僅為0/1的數(shù)字信號(hào)，這就需要進(jìn)行量化。這種量化的過程非常類似于A/D轉(zhuǎn)換的過程：將輸入數(shù)據(jù)集的分量量化為q個(gè)等級(jí)，如有n個(gè)分量的話則有p=qn個(gè)狀態(tài)。這p個(gè)狀態(tài)對(duì)應(yīng)為存儲(chǔ)空間A中的一個(gè)區(qū)域集合，在這個(gè)集合中應(yīng)有C個(gè)元素被激活，其值為1。從圖4.34中可以看出，數(shù)據(jù)集中的X2、X3兩個(gè)輸入樣本所激活的元素有重疊的部分：同時(shí)激活了ai+1、ai+2，與這兩個(gè)元素所對(duì)應(yīng)權(quán)值應(yīng)該是相同的。4.4.3小腦模型神經(jīng)網(wǎng)絡(luò)以兩個(gè)輸入模擬信號(hào)、α2為例，輸入CMAC神經(jīng)網(wǎng)絡(luò)。設(shè)N為輸入的量化級(jí)別，則這兩個(gè)輸入信號(hào)對(duì)應(yīng)為Nα1、Nα2兩組。輸入的兩個(gè)信號(hào)在這兩組中分別就會(huì)有與其量化值相對(duì)應(yīng)的元素被激活。不但如此，基于泛化的考慮，在被激活元素的周圍還會(huì)有C個(gè)元素同時(shí)被激活。作為泛化系數(shù)的C可以人為指定。對(duì)于i和j兩個(gè)輸入樣本的量化差值，有：式中，分別為i和j這兩個(gè)輸入樣本在A中激活的元素?cái)?shù)目，為i和j兩個(gè)輸入樣本激活元素重疊部分的數(shù)目。同樣的，這個(gè)公式也可以代表在A中兩個(gè)集合的距離。將輸入樣本映射到A中，保持了其在映射前后的相近程度不變、與輸入數(shù)據(jù)樣本的維數(shù)無關(guān)，但很明顯與泛化系數(shù)C有關(guān)。4.4.3小腦模型神經(jīng)網(wǎng)絡(luò)下面介紹CMAC神經(jīng)網(wǎng)絡(luò)的權(quán)值調(diào)整規(guī)則。前已述及，網(wǎng)絡(luò)輸出為激活單元權(quán)值的和如式（4.74）給出，其調(diào)整的結(jié)構(gòu)如圖4.35所示。圖4.35CMAC神經(jīng)網(wǎng)絡(luò)的權(quán)值調(diào)整4.4.3小腦模型神經(jīng)網(wǎng)絡(luò)設(shè)期望輸出為Fej，則期望輸出與實(shí)際輸出的偏差為：權(quán)值調(diào)整的迭代公式為：式中為學(xué)習(xí)率。在調(diào)整過程中，可以將訓(xùn)練的樣本數(shù)據(jù)輸入一批后，用累積的偏差值來調(diào)整權(quán)值，這稱為批學(xué)習(xí)方式；還可以在每個(gè)樣本數(shù)據(jù)輸入后就調(diào)整權(quán)值，就是所謂的輪訓(xùn)方式。小腦模型（CMAC）神經(jīng)網(wǎng)絡(luò)由于采用了指針式查表技術(shù)，學(xué)習(xí)收斂速度快，實(shí)時(shí)性強(qiáng)；對(duì)于相鄰的輸入數(shù)據(jù)樣本設(shè)置映射重疊，因此具有局部的泛化能力。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，CMAC神經(jīng)網(wǎng)絡(luò)具有更好的非線性函數(shù)擬合能力，更加適合在復(fù)雜環(huán)境下對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理。4.4.4卷積神經(jīng)網(wǎng)絡(luò)近年來，圖像識(shí)別、特征提取等的實(shí)際需求為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法提出了新的問題，促使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法不斷向前發(fā)展?；谏疃葘W(xué)習(xí)機(jī)制的深度神經(jīng)網(wǎng)絡(luò)也應(yīng)運(yùn)而生。在這方面，卷積神經(jīng)網(wǎng)絡(luò)（CNN：ConvolutionalNeuralNetworks,）是一種非常具有代表性的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。下面就對(duì)這一神經(jīng)網(wǎng)絡(luò)進(jìn)行簡要介紹。卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)生理學(xué)機(jī)制是根據(jù)貓的視覺神經(jīng)細(xì)胞對(duì)外界刺激的響應(yīng)，在此基礎(chǔ)上結(jié)合了神經(jīng)認(rèn)知機(jī)的模型而產(chǎn)生的。經(jīng)過多年的不斷發(fā)展，目前典型的卷積神經(jīng)網(wǎng)絡(luò)呈現(xiàn)出具有深度結(jié)構(gòu)的、多層前饋神經(jīng)網(wǎng)絡(luò)的模式。為了能夠較為清楚地說明卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)行機(jī)制，先來介紹一些與該神經(jīng)網(wǎng)絡(luò)相關(guān)的知識(shí)。連接方式的多樣化與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的連接方式不同，在卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)元連接方式上采用了多樣化的連接方式。借鑒視覺認(rèn)知的方式——由局部到全局：對(duì)于圖像而言往往是局部相鄰的像素聯(lián)系緊密，距離較遠(yuǎn)的像素聯(lián)系較少。這樣每個(gè)神經(jīng)元只需進(jìn)行局部感知，然后進(jìn)行信息綜合就可以推知全局的情況。4.4.4卷積神經(jīng)網(wǎng)絡(luò)卷積運(yùn)算特征提取卷積（Convolution）運(yùn)算是分析數(shù)學(xué)中的一種運(yùn)算方式。其基本定義式如下：式中“*”代表卷積運(yùn)算符。卷積運(yùn)算與其應(yīng)用背景緊密相連，例如在信號(hào)與系統(tǒng)的背景下，卷積運(yùn)算代表了一個(gè)信號(hào)經(jīng)過線性系統(tǒng)后所發(fā)生的變化。在時(shí)域的范圍內(nèi)，線性系統(tǒng)的輸出