第二章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)課件

第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

本章簡(jiǎn)單地介紹生物神經(jīng)元、神經(jīng)元模型、人工神經(jīng)網(wǎng)絡(luò)模型及其學(xué)習(xí)算法。第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)§2.1生物神經(jīng)元模型§2.2人工神經(jīng)元模型§2.3網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型§2.4人工神經(jīng)網(wǎng)絡(luò)模型§2.5神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)§2.6小結(jié)2第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)§2.1生物神經(jīng)元模型神經(jīng)元是腦組織的基本單元，是神經(jīng)系統(tǒng)結(jié)構(gòu)與功能的單元。據(jù)統(tǒng)計(jì)大腦大約包含個(gè)神經(jīng)元，每個(gè)神經(jīng)元于大約個(gè)其他的神經(jīng)元相連接，構(gòu)成一個(gè)極為龐大而復(fù)雜的網(wǎng)絡(luò)，即生物神經(jīng)元網(wǎng)絡(luò)。生物神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間連接的強(qiáng)弱，按照外部的刺激信號(hào)做自適應(yīng)變化，而每個(gè)神經(jīng)元又隨著所接受的的多個(gè)激勵(lì)信號(hào)的綜合結(jié)果呈現(xiàn)出興奮與抑制狀態(tài)。大腦的學(xué)習(xí)過(guò)程就是神經(jīng)元之間連接強(qiáng)度隨外部刺激信息做自適應(yīng)變化的過(guò)程，大腦處理星系的結(jié)果有個(gè)圣經(jīng)元狀態(tài)的整體效果確定。3第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)元基本結(jié)構(gòu)細(xì)胞體（Cellbody）樹(shù)突(Dendrite)軸突（Axon）突觸（Synapse）每一個(gè)神經(jīng)元都通過(guò)突觸與其他神經(jīng)元聯(lián)系，突觸的“連接強(qiáng)度”可隨系統(tǒng)受到訓(xùn)練的強(qiáng)度而改變。生物神經(jīng)元結(jié)構(gòu)4第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)元功能興奮與抑制傳入神經(jīng)元的沖動(dòng)經(jīng)整和后使細(xì)胞膜電位升高，超過(guò)動(dòng)作電位的閾值時(shí)即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突經(jīng)神經(jīng)末梢傳出。傳入神經(jīng)元的沖動(dòng)經(jīng)整和后使細(xì)胞膜電位降低，低于閾值時(shí)即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動(dòng)。學(xué)習(xí)與遺忘由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)與減弱，因此神經(jīng)元具有學(xué)習(xí)和遺忘的功能。

返回5第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)§2.2人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)生物學(xué)研究基礎(chǔ)上提出的模擬生物過(guò)程以反應(yīng)人腦某些特性的計(jì)算結(jié)構(gòu)。它不是人腦神經(jīng)系統(tǒng)的真實(shí)描寫(xiě)，只是特的某種抽象、簡(jiǎn)化和模擬。人工神經(jīng)元是對(duì)生物圣經(jīng)元的一種形式化描述，他對(duì)生物神經(jīng)元的信息處理過(guò)程進(jìn)行抽象，應(yīng)用數(shù)序語(yǔ)言予以描述，對(duì)生物神經(jīng)元的結(jié)構(gòu)與功能進(jìn)行模擬，并用模型圖予以表達(dá)。6第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)1943年，McCulloch-Pitts(麥克洛奇－皮茲)根據(jù)生物神經(jīng)元的動(dòng)作原理提出了神經(jīng)元模型，即M-P模型，經(jīng)過(guò)不斷改進(jìn)，形成目前廣泛應(yīng)用的形式神經(jīng)元模型。對(duì)于神經(jīng)元的處理機(jī)制，該模型在簡(jiǎn)化的基礎(chǔ)上提出以下6點(diǎn)假設(shè)進(jìn)行描述：1.每個(gè)神經(jīng)元都是一個(gè)多輸入單輸出的信息處理單元2.突觸分興奮性和抑制性兩種類型3.神經(jīng)元具有空間整合特性和閾值特性4.神經(jīng)元輸入與輸出間有固定的時(shí)滯，主要取決于突觸的延遲5.忽略時(shí)間整合作用和不應(yīng)期6.神經(jīng)元本身是非時(shí)變的，即其突觸時(shí)延和突觸強(qiáng)度均為常數(shù)7第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)元是對(duì)生物神經(jīng)元的一種模擬與簡(jiǎn)化。它是神經(jīng)網(wǎng)絡(luò)的基本處理單元。下圖顯示了一種簡(jiǎn)化的人工神經(jīng)元結(jié)構(gòu)。它是一個(gè)多輸入、單輸出的非線性元件。人工神經(jīng)元結(jié)構(gòu)模型8第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)元輸入輸出關(guān)系可描述為其中xj(j=1,2,…,n)是從其它神經(jīng)元傳來(lái)的輸入信號(hào)

wji表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)值

θi

為閾值

f(?)稱為激發(fā)函數(shù)或作用函數(shù)(2-1)

有時(shí)為了方便起見(jiàn)，常把看成是恒等于1的輸入x0的權(quán)值，這時(shí)式(2-1)的和式可寫(xiě)成9第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)輸出激發(fā)函數(shù)f(·)又稱為變換函數(shù)，它決定神經(jīng)元(節(jié)點(diǎn))的輸出。該輸出為1或0，取決于其輸入之和大于或小于內(nèi)部閾值。函數(shù)一般具有非線性特征。下面幾個(gè)圖表示了幾種常見(jiàn)的激發(fā)函數(shù)。

(1)閾值函數(shù)(見(jiàn)圖(a),(b))

當(dāng)yi取0或1時(shí)，f(x)為圖(a)所示的階躍函數(shù)：10第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)當(dāng)yi取-1或1時(shí)，f(x)為圖(b)所示的sgn函數(shù)：

(2)飽和型函數(shù)(見(jiàn)圖(c))

11第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(4)雙曲函數(shù)(見(jiàn)圖(d))(5)S型函數(shù)(見(jiàn)圖(e))

神經(jīng)元的狀態(tài)與輸入作用之間的關(guān)系是在(0,1)內(nèi)連續(xù)取值的單調(diào)可微函數(shù)，稱為Sigmoid函數(shù)，簡(jiǎn)稱S型函數(shù)。當(dāng)趨于無(wú)窮時(shí)，S型曲線趨于階躍函數(shù)，通常情況下，取值為1。12第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(6)高斯型函數(shù)(見(jiàn)圖(f))

在徑向基函數(shù)構(gòu)成的神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元的結(jié)構(gòu)可用高斯函數(shù)描述如下：

返回13第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)§2.3網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型層次型結(jié)構(gòu)互聯(lián)型結(jié)構(gòu)網(wǎng)絡(luò)的學(xué)習(xí)算法將在今后的小節(jié)中介紹。14第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的連接模式層內(nèi)連接本層內(nèi)部神經(jīng)元之間的連接，可用來(lái)加強(qiáng)層內(nèi)神經(jīng)元之間的競(jìng)爭(zhēng)。循環(huán)連接指神經(jīng)元到自身的連接。用于不斷增強(qiáng)自身的激活值，使本次的輸出與上次的輸出相關(guān)。層間連接指不同層之間的連接。這種連接用來(lái)實(shí)現(xiàn)信號(hào)傳遞?？梢允乔跋虻囊部梢允欠聪虻?。

返回15第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)§2.4人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來(lái)模擬人腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元，可以構(gòu)成各種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。就神經(jīng)網(wǎng)絡(luò)的主要連接形式而言，目前已有數(shù)十種不同的神經(jīng)網(wǎng)絡(luò)模型，其中前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)是兩種典型的結(jié)構(gòu)模型。16第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(1)前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)，又稱前向網(wǎng)絡(luò)。如下圖所示，神經(jīng)元分層排列，有輸入層、隱層(亦稱中間層，可有若干層)和輸出層，每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。17第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)目前，大部分前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們的分類能力和模式識(shí)別能力一般都強(qiáng)于反饋網(wǎng)絡(luò)，典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、誤差反向傳播(BP)網(wǎng)絡(luò)等。18第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

(2)反饋型神經(jīng)網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示。若總節(jié)點(diǎn)（神經(jīng)元）數(shù)為N，則每個(gè)節(jié)點(diǎn)有N個(gè)輸入和一個(gè)輸出，即所有節(jié)點(diǎn)都是一樣的，它們之間都可相互連接。19第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡(jiǎn)單且應(yīng)用廣泛的模型，它具有聯(lián)想記憶的功能，如果將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Hopfield神經(jīng)網(wǎng)絡(luò)還可以用來(lái)解決快速尋優(yōu)問(wèn)題。

返回20第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)§2.5神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)最有吸引力的特點(diǎn)就是它的學(xué)習(xí)能力。學(xué)習(xí)方法是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特征的主要指標(biāo)，離開(kāi)了學(xué)習(xí)算法，人工神經(jīng)網(wǎng)絡(luò)就失去了自適應(yīng)、自組織和自學(xué)習(xí)的能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程就是對(duì)它的訓(xùn)練過(guò)程。所謂訓(xùn)練，就是在將由樣本向量構(gòu)成的樣本集合輸入到人工神經(jīng)網(wǎng)路的過(guò)程中，按照一定方式去調(diào)整神經(jīng)元之間的連接權(quán)。使網(wǎng)絡(luò)能將樣本集的內(nèi)涵以連接權(quán)矩陣的方式存儲(chǔ)起來(lái)，從而使網(wǎng)絡(luò)在數(shù)據(jù)輸入時(shí)可以給出適當(dāng)?shù)妮敵觥?1第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有多種，按有無(wú)教師信號(hào)來(lái)分類，可分為有教師學(xué)習(xí)、無(wú)教師學(xué)習(xí)和再勵(lì)學(xué)習(xí)等幾大類。在有教師的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號(hào)）進(jìn)行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。在無(wú)教師的學(xué)習(xí)方式中，輸入模式進(jìn)入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照預(yù)先設(shè)定的規(guī)則（如競(jìng)爭(zhēng)規(guī)則）自動(dòng)調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。再勵(lì)學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。22第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)有教師學(xué)習(xí)有教師學(xué)習(xí)，也稱有監(jiān)督學(xué)習(xí)，假設(shè)教師和神經(jīng)網(wǎng)絡(luò)同時(shí)要對(duì)從周圍環(huán)境中抽取出來(lái)的訓(xùn)練向量（即例子）做出判斷，教師可以根據(jù)自身掌握的一些知識(shí)為神經(jīng)網(wǎng)絡(luò)提供期望響應(yīng)。期望響應(yīng)一般都代表著神經(jīng)網(wǎng)絡(luò)完成的最優(yōu)動(dòng)作。神經(jīng)網(wǎng)絡(luò)的參數(shù)可以在訓(xùn)練向量和誤差信號(hào)的綜合影響下進(jìn)行調(diào)整。誤差信號(hào)可以定義為神經(jīng)網(wǎng)絡(luò)實(shí)際響應(yīng)與預(yù)期響應(yīng)之差。這種調(diào)整可以逐步而又反復(fù)地進(jìn)行，其最終目的就是要讓神經(jīng)網(wǎng)絡(luò)模擬教師信號(hào)。23第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)有教師學(xué)習(xí)24第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)利用這種手段，教師對(duì)環(huán)境掌握的知識(shí)就可以通過(guò)訓(xùn)練最大限度的傳授給神經(jīng)網(wǎng)絡(luò)。當(dāng)條件成熟時(shí)，就可以將教師信號(hào)排除在外，讓網(wǎng)絡(luò)完全自主地應(yīng)對(duì)環(huán)境。可以采用訓(xùn)練樣本的平方誤差作為性能測(cè)試標(biāo)準(zhǔn)，它可以定義為系統(tǒng)的一個(gè)帶自由參數(shù)的函數(shù)，該函數(shù)可以看作一個(gè)多維誤差-性能曲面，簡(jiǎn)稱誤差曲面。后面將要討論的Delta學(xué)習(xí)算法屬于有教師學(xué)習(xí)。它是一種閉環(huán)反饋系統(tǒng)，但未知的環(huán)境不包含在循環(huán)中。25第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)實(shí)際誤差曲面是所有可能的輸入輸出的平均。有教師學(xué)習(xí)系統(tǒng)能夠處理有用信息，根據(jù)系統(tǒng)當(dāng)前的行為計(jì)算出誤差曲面的梯度。誤差曲面上任何一點(diǎn)的梯度指的是指向最速下降方向的向量。給定一個(gè)設(shè)計(jì)好的算法來(lái)使代價(jià)函數(shù)最小，而且有足夠的輸入-輸出數(shù)據(jù)集，那么有教師學(xué)習(xí)往往可以很好地完成諸如模式分類、函數(shù)逼近等任務(wù)。

26第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)無(wú)教師學(xué)習(xí)在無(wú)教師學(xué)習(xí)范例中，沒(méi)有教師監(jiān)視學(xué)習(xí)過(guò)程，即神經(jīng)網(wǎng)絡(luò)沒(méi)有任何例子可以學(xué)習(xí)。無(wú)教師學(xué)習(xí)又可分為兩類：自組織學(xué)習(xí)無(wú)監(jiān)督競(jìng)爭(zhēng)學(xué)習(xí)27第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)無(wú)教師學(xué)習(xí)28第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(1)自組織學(xué)習(xí)即網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程完全是一種自我學(xué)習(xí)的過(guò)程，不存在外部教師的示教，也不存在來(lái)自外部環(huán)境的反饋指示網(wǎng)絡(luò)應(yīng)該輸出什么或者是否正確。自組織學(xué)習(xí)過(guò)程中，網(wǎng)絡(luò)根據(jù)某種規(guī)則反復(fù)地調(diào)整連接權(quán)以響應(yīng)輸入模式的激勵(lì)，直到網(wǎng)絡(luò)最后形成某種有序狀態(tài)。也就是說(shuō)，自組織學(xué)習(xí)是靠神經(jīng)元本身對(duì)輸入模式的不斷適應(yīng)，抽取輸入信號(hào)的規(guī)律(如統(tǒng)計(jì)規(guī)律)。一旦網(wǎng)絡(luò)顯現(xiàn)出輸入數(shù)據(jù)的統(tǒng)計(jì)特征，則網(wǎng)絡(luò)就實(shí)現(xiàn)了對(duì)輸入特征的編碼，即把輸入特征“記憶”下來(lái)。而且在記憶之后，當(dāng)它再出現(xiàn)時(shí)，能把它識(shí)別出來(lái)。29第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

自組織學(xué)習(xí)能對(duì)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程進(jìn)行度量，并優(yōu)化其中的自由參數(shù)?？梢哉J(rèn)為，這種學(xué)習(xí)的評(píng)價(jià)準(zhǔn)則隱含于網(wǎng)絡(luò)內(nèi)部。神經(jīng)網(wǎng)絡(luò)的這種自組織特性來(lái)源于其結(jié)構(gòu)的可塑性。(1)自組織學(xué)習(xí)30第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(2)無(wú)監(jiān)督競(jìng)爭(zhēng)學(xué)習(xí)在無(wú)監(jiān)督競(jìng)爭(zhēng)學(xué)習(xí)系統(tǒng)中，沒(méi)有外部的教師或則評(píng)價(jià)來(lái)監(jiān)督學(xué)習(xí)的過(guò)程。要求網(wǎng)絡(luò)學(xué)習(xí)該度量而且自由參數(shù)將根據(jù)這個(gè)度量來(lái)逐步優(yōu)化。為了完成無(wú)監(jiān)督競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則，神經(jīng)網(wǎng)絡(luò)包括兩層：輸入層和競(jìng)爭(zhēng)層。輸入層接受有用的數(shù)據(jù)。競(jìng)爭(zhēng)層由相互競(jìng)爭(zhēng)的神經(jīng)元組成，采用“勝者全得”的策略，具有最大總輸入的神經(jīng)元的輸出置1，贏得競(jìng)爭(zhēng)而被激活，其它神經(jīng)元置0，連接權(quán)的調(diào)整僅在獲勝神經(jīng)元與輸入之間進(jìn)行，其他皆不變。31第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)再勵(lì)學(xué)習(xí)把學(xué)習(xí)看作試探評(píng)價(jià)（獎(jiǎng)或懲）過(guò)程，學(xué)習(xí)機(jī)選擇一個(gè)動(dòng)作（輸出）作用于環(huán)境之后，使環(huán)境的狀態(tài)改變，并產(chǎn)生一個(gè)再勵(lì)信號(hào)（獎(jiǎng)或懲）反饋至學(xué)習(xí)機(jī)。學(xué)習(xí)機(jī)依據(jù)再勵(lì)信號(hào)與環(huán)境當(dāng)前的狀態(tài)選擇下一動(dòng)作作用于環(huán)境，選擇的原則是使受到獎(jiǎng)勵(lì)的可能性增大。32第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)常用學(xué)習(xí)規(guī)則Hebb規(guī)則Delta規(guī)則（最小均方差規(guī)則）概率式學(xué)習(xí)規(guī)則競(jìng)爭(zhēng)式學(xué)習(xí)規(guī)則梯度下降規(guī)則Kohonen(克豪南)學(xué)習(xí)規(guī)則逆誤差傳播規(guī)則33第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(1)Hebb學(xué)習(xí)規(guī)則Hebb學(xué)習(xí)規(guī)則是一種聯(lián)想式學(xué)習(xí)方法1949年生物學(xué)家D.O.Hebbian基于對(duì)生物學(xué)和心理學(xué)的研究，提出了學(xué)習(xí)行為的突觸聯(lián)系和神經(jīng)群理論。認(rèn)為突觸前與突觸后二者同時(shí)興奮，即兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)，它們之間的連接強(qiáng)度將得到加強(qiáng)，這一論述的數(shù)學(xué)描述被稱為Hebb學(xué)習(xí)規(guī)則Hebb學(xué)習(xí)規(guī)則是一種無(wú)教師的學(xué)習(xí)算法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此這種方法又稱為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)34第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)Hebb學(xué)習(xí)規(guī)則權(quán)向量的調(diào)整公式為權(quán)值的調(diào)整量與輸入輸出的乘積成正比。經(jīng)常出現(xiàn)的模式對(duì)權(quán)向量有最大的影響。為此，Hebb學(xué)習(xí)規(guī)則需預(yù)先設(shè)定權(quán)飽和值，以防止輸入和輸出正負(fù)始終一致時(shí)出現(xiàn)權(quán)值無(wú)限制增長(zhǎng)。學(xué)習(xí)信號(hào)簡(jiǎn)單的等于神經(jīng)元的輸出35第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)Hebb學(xué)習(xí)過(guò)程框圖36第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(2)Delta規(guī)則（最小均方差規(guī)則）由美國(guó)Standford大學(xué)的Windrow教授于60年代提出常用的規(guī)則之一改變單元間的連接權(quán)重來(lái)減小系統(tǒng)實(shí)際輸出與期望輸出之間的誤差，也稱為最小方差規(guī)則適用于自適應(yīng)信號(hào)處理、非線性系統(tǒng)控制、線性系統(tǒng)辨識(shí)等37第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)其中，dp代表期望的輸出(教師信號(hào))yp=f(WXp)網(wǎng)絡(luò)的實(shí)際輸出

W是網(wǎng)絡(luò)的所有權(quán)值組成的向量：假設(shè)誤差準(zhǔn)則函數(shù)為：Xp為輸入模式：訓(xùn)練樣本數(shù)38第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)現(xiàn)在的問(wèn)題是如何調(diào)整權(quán)值W

，使準(zhǔn)則函數(shù)最小。可用梯度下降法來(lái)求解，其基本思想是沿著E的負(fù)梯度方向不斷修正W值，直到E達(dá)到最小，這種方法的數(shù)學(xué)表達(dá)式為其中39第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)用表示,則有W的修正規(guī)則為上式稱為學(xué)習(xí)規(guī)則，又稱誤差修正規(guī)則。40第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)定義誤差傳播函數(shù)為

規(guī)則實(shí)現(xiàn)了E中的梯度下降，因此使誤差函數(shù)達(dá)到最小值。但學(xué)習(xí)規(guī)則只適用于線性可分函數(shù)，無(wú)法用于多層網(wǎng)絡(luò)。誤差反向傳播(BackPropagation,簡(jiǎn)寫(xiě)為BP)

網(wǎng)絡(luò)的學(xué)習(xí)算法稱為BP算法，是在規(guī)則基礎(chǔ)上發(fā)展起來(lái)的，可在多層網(wǎng)絡(luò)上有效地學(xué)習(xí)。41第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)概率式學(xué)習(xí)的典型代表是Boltzmann機(jī)學(xué)習(xí)規(guī)則。它是基于模擬退火的統(tǒng)計(jì)優(yōu)化方法，因此又稱模擬退火算法Boltzmann機(jī)模型是一個(gè)包括輸入、輸出和隱層的多層網(wǎng)絡(luò)，但隱層間存在互聯(lián)結(jié)構(gòu)且網(wǎng)絡(luò)層次不明顯由于模擬退火過(guò)程要求高溫使系統(tǒng)達(dá)到平衡狀態(tài)，而冷卻（即退火）過(guò)程又必須緩慢地進(jìn)行，否則容易造成局部最小，所以這種學(xué)習(xí)規(guī)律的算法收斂速度較慢。(3)概率式學(xué)習(xí)規(guī)則42第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

Boltzmann機(jī)的訓(xùn)練過(guò)程，就是根據(jù)規(guī)則：對(duì)神經(jīng)元i，j

間的連接權(quán)值進(jìn)行調(diào)整的過(guò)程。式中，為學(xué)習(xí)速率

pij表示網(wǎng)絡(luò)受到學(xué)習(xí)樣本的約束且系統(tǒng)達(dá)到平衡狀態(tài)時(shí)第i個(gè)和第j個(gè)神經(jīng)元同時(shí)為1的概率表示系統(tǒng)為自由運(yùn)轉(zhuǎn)狀態(tài)且達(dá)到平衡狀態(tài)時(shí)第i個(gè)和第j個(gè)神經(jīng)元同時(shí)為1的概率43第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)調(diào)整權(quán)值的原則是：當(dāng)時(shí)，則權(quán)值增加，否則減少權(quán)值。這種權(quán)值調(diào)整公式稱為Boltzmann機(jī)學(xué)習(xí)規(guī)則，即

當(dāng)小于一定值時(shí)，學(xué)習(xí)結(jié)束。44第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)競(jìng)爭(zhēng)學(xué)習(xí)屬于無(wú)教師學(xué)習(xí)方式。這種學(xué)習(xí)方式利用不同層間的神經(jīng)元發(fā)生興奮性聯(lián)接，以及同一層內(nèi)距離很近的神經(jīng)元間發(fā)生同樣的興奮性聯(lián)接，而距離較遠(yuǎn)的神經(jīng)元產(chǎn)生抑制性聯(lián)接。在這種聯(lián)接機(jī)制中引入競(jìng)爭(zhēng)機(jī)制的學(xué)習(xí)方式稱為競(jìng)爭(zhēng)式學(xué)習(xí)。它的本質(zhì)在于神經(jīng)網(wǎng)絡(luò)中高層次的神經(jīng)元對(duì)低層次神經(jīng)元的輸入模式進(jìn)行競(jìng)爭(zhēng)識(shí)別。(4)競(jìng)爭(zhēng)式學(xué)習(xí)規(guī)則45第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)競(jìng)爭(zhēng)式學(xué)習(xí)的思想來(lái)源于人腦的自組織能力。大腦能夠及時(shí)地調(diào)整自身結(jié)構(gòu)，自動(dòng)地向環(huán)境學(xué)習(xí)，完成所需執(zhí)行的功能而并不需要教師訓(xùn)練。競(jìng)爭(zhēng)式神經(jīng)網(wǎng)絡(luò)亦是如此，所以又把這一