第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)本章簡單地介紹生物神經(jīng)元、神經(jīng)元模型、人工神經(jīng)網(wǎng)絡(luò)模型及其學(xué)習(xí)算法。1第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)§2.1生物神經(jīng)元模型§2.2人工神經(jīng)元模型§2.3網(wǎng)絡(luò)拓撲結(jié)構(gòu)類型§2.4人工神經(jīng)網(wǎng)絡(luò)模型§2.5神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)§2.6小結(jié)2§2.1生物神經(jīng)元模型神經(jīng)元是腦組織的基本單元，是神經(jīng)系統(tǒng)結(jié)構(gòu)與功能的單元。據(jù)統(tǒng)計大腦大約包含個神經(jīng)元，每個神經(jīng)元于大約個其他的神經(jīng)元相連接，構(gòu)成一個極為龐大而復(fù)雜的網(wǎng)絡(luò)，即生物神經(jīng)元網(wǎng)絡(luò)。生物神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間連接的強弱，按照外部的刺激信號做自適應(yīng)變化，而每個神經(jīng)元又隨著所接受的的多個激勵信號的綜合結(jié)果呈現(xiàn)出興奮與抑制狀態(tài)。大腦的學(xué)習(xí)過程就是神經(jīng)元之間連接強度隨外部刺激信息做自適應(yīng)變化的過程，大腦處理星系的結(jié)果有個圣經(jīng)元狀態(tài)的整體效果確定。3生物神經(jīng)元基本結(jié)構(gòu)細胞體（Cellbody）樹突(Dendrite)軸突（Axon）突觸（Synapse）每一個神經(jīng)元都通過突觸與其他神經(jīng)元聯(lián)系，突觸的“連接強度”可隨系統(tǒng)受到訓(xùn)練的強度而改變。生物神經(jīng)元結(jié)構(gòu)4生物神經(jīng)元功能興奮與抑制傳入神經(jīng)元的沖動經(jīng)整和后使細胞膜電位升高，超過動作電位的閾值時即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突經(jīng)神經(jīng)末梢傳出。傳入神經(jīng)元的沖動經(jīng)整和后使細胞膜電位降低，低于閾值時即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動。學(xué)習(xí)與遺忘由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強與減弱，因此神經(jīng)元具有學(xué)習(xí)和遺忘的功能。返回5§2.2人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)生物學(xué)研究基礎(chǔ)上提出的模擬生物過程以反應(yīng)人腦某些特性的計算結(jié)構(gòu)。它不是人腦神經(jīng)系統(tǒng)的真實描寫，只是特的某種抽象、簡化和模擬。人工神經(jīng)元是對生物圣經(jīng)元的一種形式化描述，他對生物神經(jīng)元的信息處理過程進行抽象，應(yīng)用數(shù)序語言予以描述，對生物神經(jīng)元的結(jié)構(gòu)與功能進行模擬，并用模型圖予以表達。61943年，McCulloch-Pitts(麥克洛奇－皮茲)根據(jù)生物神經(jīng)元的動作原理提出了神經(jīng)元模型，即M-P模型，經(jīng)過不斷改進，形成目前廣泛應(yīng)用的形式神經(jīng)元模型。對于神經(jīng)元的處理機制，該模型在簡化的基礎(chǔ)上提出以下6點假設(shè)進行描述：1.每個神經(jīng)元都是一個多輸入單輸出的信息處理單元2.突觸分興奮性和抑制性兩種類型3.神經(jīng)元具有空間整合特性和閾值特性4.神經(jīng)元輸入與輸出間有固定的時滯，主要取決于突觸的延遲5.忽略時間整合作用和不應(yīng)期6.神經(jīng)元本身是非時變的，即其突觸時延和突觸強度均為常數(shù)7人工神經(jīng)元是對生物神經(jīng)元的一種模擬與簡化。它是神經(jīng)網(wǎng)絡(luò)的基本處理單元。下圖顯示了一種簡化的人工神經(jīng)元結(jié)構(gòu)。它是一個多輸入、單輸出的非線性元件。人工神經(jīng)元結(jié)構(gòu)模型8人工神經(jīng)元輸入輸出關(guān)系可描述為其中xj(j=1,2,…,n)是從其它神經(jīng)元傳來的輸入信號

wji表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)值

θi為閾值f(?)稱為激發(fā)函數(shù)或作用函數(shù)(2-1)有時為了方便起見，常把看成是恒等于1的輸入x0的權(quán)值，這時式(2-1)的和式可寫成9輸出激發(fā)函數(shù)f(·)又稱為變換函數(shù)，它決定神經(jīng)元(節(jié)點)的輸出。該輸出為1或0，取決于其輸入之和大于或小于內(nèi)部閾值。函數(shù)一般具有非線性特征。下面幾個圖表示了幾種常見的激發(fā)函數(shù)。

(1)閾值函數(shù)(見圖(a),(b))當yi取0或1時，f(x)為圖(a)所示的階躍函數(shù)：10當yi取-1或1時，f(x)為圖(b)所示的sgn函數(shù)：

(2)飽和型函數(shù)(見圖(c))

11(4)雙曲函數(shù)(見圖(d))(5)S型函數(shù)(見圖(e))神經(jīng)元的狀態(tài)與輸入作用之間的關(guān)系是在(0,1)內(nèi)連續(xù)取值的單調(diào)可微函數(shù)，稱為Sigmoid函數(shù)，簡稱S型函數(shù)。當趨于無窮時，S型曲線趨于階躍函數(shù)，通常情況下，取值為1。12(6)高斯型函數(shù)(見圖(f))在徑向基函數(shù)構(gòu)成的神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元的結(jié)構(gòu)可用高斯函數(shù)描述如下：返回13§2.3網(wǎng)絡(luò)拓撲結(jié)構(gòu)類型層次型結(jié)構(gòu)互聯(lián)型結(jié)構(gòu)網(wǎng)絡(luò)的學(xué)習(xí)算法將在今后的小節(jié)中介紹。14神經(jīng)網(wǎng)絡(luò)的連接模式層內(nèi)連接本層內(nèi)部神經(jīng)元之間的連接，可用來加強層內(nèi)神經(jīng)元之間的競爭。循環(huán)連接指神經(jīng)元到自身的連接。用于不斷增強自身的激活值，使本次的輸出與上次的輸出相關(guān)。層間連接指不同層之間的連接。這種連接用來實現(xiàn)信號傳遞?？梢允乔跋虻囊部梢允欠聪虻?。返回15§2.4人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來模擬人腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元，可以構(gòu)成各種不同拓撲結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。就神經(jīng)網(wǎng)絡(luò)的主要連接形式而言，目前已有數(shù)十種不同的神經(jīng)網(wǎng)絡(luò)模型，其中前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)是兩種典型的結(jié)構(gòu)模型。16(1)前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)，又稱前向網(wǎng)絡(luò)。如下圖所示，神經(jīng)元分層排列，有輸入層、隱層(亦稱中間層，可有若干層)和輸出層，每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。17目前，大部分前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們的分類能力和模式識別能力一般都強于反饋網(wǎng)絡(luò)，典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、誤差反向傳播(BP)網(wǎng)絡(luò)等。18

(2)反饋型神經(jīng)網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示。若總節(jié)點（神經(jīng)元）數(shù)為N，則每個節(jié)點有N個輸入和一個輸出，即所有節(jié)點都是一樣的，它們之間都可相互連接。19

Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡單且應(yīng)用廣泛的模型，它具有聯(lián)想記憶的功能，如果將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Hopfield神經(jīng)網(wǎng)絡(luò)還可以用來解決快速尋優(yōu)問題。

返回20§2.5神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)最有吸引力的特點就是它的學(xué)習(xí)能力。學(xué)習(xí)方法是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特征的主要指標，離開了學(xué)習(xí)算法，人工神經(jīng)網(wǎng)絡(luò)就失去了自適應(yīng)、自組織和自學(xué)習(xí)的能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對它的訓(xùn)練過程。所謂訓(xùn)練，就是在將由樣本向量構(gòu)成的樣本集合輸入到人工神經(jīng)網(wǎng)路的過程中，按照一定方式去調(diào)整神經(jīng)元之間的連接權(quán)。使網(wǎng)絡(luò)能將樣本集的內(nèi)涵以連接權(quán)矩陣的方式存儲起來，從而使網(wǎng)絡(luò)在數(shù)據(jù)輸入時可以給出適當?shù)妮敵觥?1目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有多種，按有無教師信號來分類，可分為有教師學(xué)習(xí)、無教師學(xué)習(xí)和再勵學(xué)習(xí)等幾大類。在有教師的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號）進行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。在無教師的學(xué)習(xí)方式中，輸入模式進入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照預(yù)先設(shè)定的規(guī)則（如競爭規(guī)則）自動調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。再勵學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。22有教師學(xué)習(xí)有教師學(xué)習(xí)，也稱有監(jiān)督學(xué)習(xí)，假設(shè)教師和神經(jīng)網(wǎng)絡(luò)同時要對從周圍環(huán)境中抽取出來的訓(xùn)練向量（即例子）做出判斷，教師可以根據(jù)自身掌握的一些知識為神經(jīng)網(wǎng)絡(luò)提供期望響應(yīng)。期望響應(yīng)一般都代表著神經(jīng)網(wǎng)絡(luò)完成的最優(yōu)動作。神經(jīng)網(wǎng)絡(luò)的參數(shù)可以在訓(xùn)練向量和誤差信號的綜合影響下進行調(diào)整。誤差信號可以定義為神經(jīng)網(wǎng)絡(luò)實際響應(yīng)與預(yù)期響應(yīng)之差。這種調(diào)整可以逐步而又反復(fù)地進行，其最終目的就是要讓神經(jīng)網(wǎng)絡(luò)模擬教師信號。23有教師學(xué)習(xí)24利用這種手段，教師對環(huán)境掌握的知識就可以通過訓(xùn)練最大限度的傳授給神經(jīng)網(wǎng)絡(luò)。當條件成熟時，就可以將教師信號排除在外，讓網(wǎng)絡(luò)完全自主地應(yīng)對環(huán)境?？梢圆捎糜?xùn)練樣本的平方誤差作為性能測試標準，它可以定義為系統(tǒng)的一個帶自由參數(shù)的函數(shù)，該函數(shù)可以看作一個多維誤差-性能曲面，簡稱誤差曲面。后面將要討論的Delta學(xué)習(xí)算法屬于有教師學(xué)習(xí)。它是一種閉環(huán)反饋系統(tǒng)，但未知的環(huán)境不包含在循環(huán)中。25實際誤差曲面是所有可能的輸入輸出的平均。有教師學(xué)習(xí)系統(tǒng)能夠處理有用信息，根據(jù)系統(tǒng)當前的行為計算出誤差曲面的梯度。誤差曲面上任何一點的梯度指的是指向最速下降方向的向量。給定一個設(shè)計好的算法來使代價函數(shù)最小，而且有足夠的輸入-輸出數(shù)據(jù)集，那么有教師學(xué)習(xí)往往可以很好地完成諸如模式分類、函數(shù)逼近等任務(wù)。

26無教師學(xué)習(xí)在無教師學(xué)習(xí)范例中，沒有教師監(jiān)視學(xué)習(xí)過程，即神經(jīng)網(wǎng)絡(luò)沒有任何例子可以學(xué)習(xí)。無教師學(xué)習(xí)又可分為兩類：自組織學(xué)習(xí)無監(jiān)督競爭學(xué)習(xí)27無教師學(xué)習(xí)28(1)自組織學(xué)習(xí)即網(wǎng)絡(luò)的學(xué)習(xí)過程完全是一種自我學(xué)習(xí)的過程，不存在外部教師的示教，也不存在來自外部環(huán)境的反饋指示網(wǎng)絡(luò)應(yīng)該輸出什么或者是否正確。自組織學(xué)習(xí)過程中，網(wǎng)絡(luò)根據(jù)某種規(guī)則反復(fù)地調(diào)整連接權(quán)以響應(yīng)輸入模式的激勵，直到網(wǎng)絡(luò)最后形成某種有序狀態(tài)。也就是說，自組織學(xué)習(xí)是靠神經(jīng)元本身對輸入模式的不斷適應(yīng)，抽取輸入信號的規(guī)律(如統(tǒng)計規(guī)律)。一旦網(wǎng)絡(luò)顯現(xiàn)出輸入數(shù)據(jù)的統(tǒng)計特征，則網(wǎng)絡(luò)就實現(xiàn)了對輸入特征的編碼，即把輸入特征“記憶”下來。而且在記憶之后，當它再出現(xiàn)時，能把它識別出來。29

自組織學(xué)習(xí)能對網(wǎng)絡(luò)的學(xué)習(xí)過程進行度量，并優(yōu)化其中的自由參數(shù)。可以認為，這種學(xué)習(xí)的評價準則隱含于網(wǎng)絡(luò)內(nèi)部。神經(jīng)網(wǎng)絡(luò)的這種自組織特性來源于其結(jié)構(gòu)的可塑性。(1)自組織學(xué)習(xí)30(2)無監(jiān)督競爭學(xué)習(xí)在無監(jiān)督競爭學(xué)習(xí)系統(tǒng)中，沒有外部的教師或則評價來監(jiān)督學(xué)習(xí)的過程。要求網(wǎng)絡(luò)學(xué)習(xí)該度量而且自由參數(shù)將根據(jù)這個度量來逐步優(yōu)化。為了完成無監(jiān)督競爭學(xué)習(xí)規(guī)則，神經(jīng)網(wǎng)絡(luò)包括兩層：輸入層和競爭層。輸入層接受有用的數(shù)據(jù)。競爭層由