第5章 神經(jīng)傳感系統(tǒng)

第5章神經(jīng)傳感系統(tǒng)5.1神經(jīng)系統(tǒng)概述5.2人工神經(jīng)網(wǎng)絡(luò)5.3基于神經(jīng)網(wǎng)絡(luò)的傳感器應(yīng)用

5.1神經(jīng)系統(tǒng)概述

認(rèn)識(shí)是主體對(duì)客體的反應(yīng),主體通過對(duì)信息的加工處理,在觀念中構(gòu)建起客體的結(jié)構(gòu)、屬性和本質(zhì)。人們需要從外界獲取信息,形成對(duì)客觀世界的規(guī)律性認(rèn)識(shí),才能逐漸適應(yīng)環(huán)境和改造環(huán)境。

5.1.1神經(jīng)元

人腦是中樞神經(jīng)系統(tǒng)的主要組成部分,是由神經(jīng)元組成并由突觸連接起來的系統(tǒng)。神經(jīng)元,即神經(jīng)元細(xì)胞,是神經(jīng)系統(tǒng)最基本的結(jié)構(gòu)和功能單位,分為細(xì)胞體和突起兩部分。細(xì)

胞體由細(xì)胞核、細(xì)胞膜、細(xì)胞質(zhì)組成,具有聯(lián)絡(luò)和整合輸入信息并傳出信息的作用。突起包括樹突和軸突。樹突較短、分枝多,是由細(xì)胞體直接擴(kuò)張突出而形成的樹枝狀結(jié)構(gòu),用來接收其他神經(jīng)元軸突傳遞來的沖動(dòng)并傳入細(xì)胞體;軸突較長、分枝少,通常起于軸丘,是粗細(xì)均勻的細(xì)長突起,作用是接收外來刺激,再由細(xì)胞體將刺激傳出。

軸突除了分出側(cè)枝外,在其末端還會(huì)形成樹枝樣的神經(jīng)末梢,末梢分布于某些組織器官或骨骼肌肉內(nèi),形成各種神經(jīng)末梢裝置(感受器或運(yùn)動(dòng)終端),比較典型的神經(jīng)元結(jié)構(gòu)圖如圖5-1所示。圖5-1典型神經(jīng)元結(jié)構(gòu)

1)感覺(傳入)神經(jīng)元

感覺(傳入)神經(jīng)元分布于全身,作用是接收來自體內(nèi)外的刺激信號(hào),并將神經(jīng)沖動(dòng)傳到中樞神經(jīng)。這種神經(jīng)元,其末梢可以呈現(xiàn)游離狀或分化出專門接收特定刺激的細(xì)胞或組織。一般來說,傳入神經(jīng)元的神經(jīng)纖維,進(jìn)入中樞神經(jīng)系統(tǒng)后與其他神經(jīng)元發(fā)生以輻散為主的突觸聯(lián)系,即通過軸突末梢的分支與許多神經(jīng)元建立突觸聯(lián)系(擴(kuò)大影響范圍),可引起許多神經(jīng)元同時(shí)興奮或抑制。以反射弧為例,感覺神經(jīng)元一般與中間神經(jīng)元連接,可以維持骨骼肌緊張性,作出肌牽張反射,也可以直接在中樞內(nèi)與傳出神經(jīng)元發(fā)生突觸聯(lián)系。

2)運(yùn)動(dòng)(傳出)神經(jīng)元

運(yùn)動(dòng)(傳出)神經(jīng)元將神經(jīng)沖動(dòng)從胞體經(jīng)軸突傳至末梢,使肌肉收縮或腺體分泌,在中樞神經(jīng)系統(tǒng)中起到整合作用,使反應(yīng)更為精確和協(xié)調(diào)。傳出神經(jīng)纖維末梢分布到骨骼肌,組成運(yùn)動(dòng)終端;而分布到內(nèi)臟平滑肌和腺上皮時(shí),傳出神經(jīng)纖維末梢將會(huì)包繞肌纖維或穿行于腺細(xì)胞之間。仍以反射弧為例,運(yùn)動(dòng)(傳出)神經(jīng)元一般與中間神經(jīng)元以聚合式連接,即許多傳入神經(jīng)元和同一個(gè)神經(jīng)元構(gòu)成突觸,使許多不同來源的沖動(dòng)同時(shí)或先后作用于同一個(gè)神經(jīng)元。

3)聯(lián)絡(luò)(中間)神經(jīng)元

聯(lián)絡(luò)(中間)神經(jīng)元接收其他神經(jīng)元傳來的神經(jīng)沖動(dòng),再將沖動(dòng)傳遞到另一個(gè)神經(jīng)元中。中間神經(jīng)元分布在腦和脊髓等中樞神經(jīng)內(nèi),是三類神經(jīng)元中數(shù)量最多的,其排列方式十分復(fù)雜,一般有輻散式、聚合式、鏈鎖狀、環(huán)狀等。復(fù)雜的反射活動(dòng)是由傳入神經(jīng)元、中間神經(jīng)元和傳出神經(jīng)元互相借突觸連接而成的神經(jīng)元鏈。人類大腦皮質(zhì)的思維活動(dòng)就是通過大量中間神經(jīng)元的極其復(fù)雜的反射活動(dòng)形成的。

5.1.2突觸

神經(jīng)元間信息傳遞的接觸點(diǎn)是突觸,突觸是將一個(gè)神經(jīng)元的沖動(dòng)傳到另一個(gè)神經(jīng)元或傳到與另一細(xì)胞相互接觸的結(jié)構(gòu)。一個(gè)神經(jīng)元約有103~104個(gè)突觸,人腦內(nèi)的突觸點(diǎn)多達(dá)

1014~1015個(gè)。突觸雖然只是一個(gè)接觸點(diǎn),但是卻有著微細(xì)結(jié)構(gòu),內(nèi)部含有神經(jīng)傳遞介質(zhì),是神經(jīng)元之間進(jìn)行信息轉(zhuǎn)換的關(guān)鍵結(jié)構(gòu)。突觸形態(tài)各異、聯(lián)結(jié)復(fù)雜,不僅相鄰的兩個(gè)神經(jīng)元胞體、樹突、軸突中的任何兩部分會(huì)形成突觸聯(lián)系,而且同一個(gè)神經(jīng)元還可以構(gòu)成自身突觸,在不同腦區(qū),甚至還有一些更為特殊的突觸聯(lián)系。所以神經(jīng)元所組成的人腦系統(tǒng),實(shí)際上是一個(gè)由神經(jīng)元與神經(jīng)元、神經(jīng)元與非神經(jīng)元之間依照一定方式互相連接而成的復(fù)雜神經(jīng)網(wǎng)絡(luò)。

突觸由突觸前膜、突觸間隙和突觸后膜三部分組成。借助化學(xué)信號(hào)(即遞質(zhì)),將信息進(jìn)行傳送的突觸稱為化學(xué)突觸,多見于哺乳動(dòng)物中;而借助于電信號(hào)傳遞信息的突觸稱為電突觸,魚類和兩棲類就有這種類型的突觸。根據(jù)突觸前膜細(xì)胞傳來的信號(hào),可以使突觸后膜細(xì)胞興奮性上升或產(chǎn)生興奮,或者使其興奮性下降或不易產(chǎn)生興奮。按照興奮狀態(tài)又可以將突觸分為興奮性突觸和抑制性突觸。

突觸傳遞是大腦各個(gè)區(qū)域行使功能的主要基礎(chǔ),大腦中神經(jīng)元突觸間的信號(hào)傳遞又是以神經(jīng)遞質(zhì)為受體傳導(dǎo)的。神經(jīng)遞質(zhì)傳遞的基本過程如圖5-2所示圖5-2神經(jīng)遞質(zhì)傳遞過程

5.2人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetwork,ANN),簡稱神經(jīng)網(wǎng)絡(luò)(NeuralNetwork,NN)或類神經(jīng)網(wǎng)絡(luò),是一種模仿生物神經(jīng)網(wǎng)絡(luò)(動(dòng)物的中樞神經(jīng)系統(tǒng),特別是大腦)結(jié)構(gòu)和功能的數(shù)學(xué)模型或計(jì)算模型,用于對(duì)函數(shù)進(jìn)行估計(jì)或近似。神經(jīng)網(wǎng)絡(luò)由大量的人工神經(jīng)元相聯(lián)結(jié),進(jìn)行信息的傳遞和計(jì)算。大多數(shù)情況下人工神經(jīng)網(wǎng)絡(luò)是一種自適應(yīng)系統(tǒng),能夠在外界信息的基礎(chǔ)上改變其內(nèi)部結(jié)構(gòu)。人工神經(jīng)網(wǎng)絡(luò)通常通過一個(gè)基于數(shù)學(xué)統(tǒng)計(jì)學(xué)類型的學(xué)習(xí)方法實(shí)現(xiàn)優(yōu)化,因此人工神經(jīng)網(wǎng)絡(luò)也可以視為數(shù)學(xué)統(tǒng)計(jì)學(xué)方法的一種實(shí)際應(yīng)用,通過統(tǒng)計(jì)學(xué)的標(biāo)準(zhǔn)數(shù)學(xué)方法能夠得到大量的可以用函數(shù)來表達(dá)的局部結(jié)構(gòu)空間。

5.2.1人工神經(jīng)元

生物神經(jīng)元是腦器官最基本的功能單位,也是構(gòu)成神經(jīng)系統(tǒng)結(jié)構(gòu)和功能的基本單位。而在人工神經(jīng)網(wǎng)絡(luò)中,用人工神經(jīng)元來模擬生物神經(jīng)元,每一個(gè)人工神經(jīng)元都可以從其他人工神經(jīng)元或外部環(huán)境中獲取信號(hào),并傳遞給與之相連的其他人工神經(jīng)元。圖5-3是一個(gè)完整的人工神經(jīng)元結(jié)構(gòu),包含連接權(quán)、求和單元和激活函數(shù)三個(gè)部分,人工神經(jīng)元收集到的所有輸入信號(hào),經(jīng)過加權(quán)計(jì)算后產(chǎn)生一個(gè)激活函數(shù)的輸入信號(hào),最后計(jì)算出人工神經(jīng)元的輸出信號(hào)。圖5-3人工神經(jīng)元

(1)連接權(quán)。連接權(quán)指神經(jīng)元連接的權(quán)重,在網(wǎng)絡(luò)訓(xùn)練中起記憶信息的作用。在網(wǎng)絡(luò)訓(xùn)練過程中連接權(quán)會(huì)進(jìn)行不斷的數(shù)值調(diào)整,直至訓(xùn)練結(jié)果與目標(biāo)吻合。連接權(quán)類比的是生物

神經(jīng)元中的突觸,其連接強(qiáng)度由連接權(quán)值表示,連接強(qiáng)度權(quán)值為負(fù)的時(shí)候形成興奮的抑制狀態(tài),為正時(shí)則表示激活狀態(tài)。

(2)求和單元。實(shí)現(xiàn)對(duì)各個(gè)輸入值的加權(quán)求和操作。

(3)激活函數(shù)。執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的信號(hào)變換,一般具有非線性映射屬性,可以將人工神經(jīng)元的輸出幅度控制在一定的范圍之內(nèi)。常見的激活函數(shù)有sigmoid、

tanh(x)和ReLU(x)三種,下面通過其表達(dá)式對(duì)其進(jìn)行簡單的介紹。

?sigmoid函數(shù)

sigmoid函數(shù),也稱為S型生長曲線,是一種常見的神經(jīng)網(wǎng)絡(luò)激活函數(shù),用于隱層神經(jīng)元的輸出,可以將變量映射到(0,1)范圍之內(nèi),映射方法如式(5-1)、式(5-2)所示。

sigmoid函數(shù)及其導(dǎo)函數(shù)曲線圖如圖5-4所示,從圖中可以發(fā)現(xiàn),sigmoid函數(shù)的曲線比較平滑,易于計(jì)算,但是函數(shù)的計(jì)算量較大而且容易出現(xiàn)梯度消失的問題,使得網(wǎng)絡(luò)訓(xùn)練無法完整進(jìn)行。圖5-4sigmoid函數(shù)及其導(dǎo)函數(shù)

?tanh(x)函數(shù)

tanh(x)也是一種比較常見的神經(jīng)網(wǎng)絡(luò)激活函數(shù),其映射方法如式(5-3)、式(5-4)所示。

tanh(x)函數(shù)及其導(dǎo)函數(shù)曲線圖如圖5-5所示,從圖中可以明顯看出tanh(x)的均值是0,該函數(shù)是sigmoid函數(shù)的變形,在實(shí)際應(yīng)用中比sigmoid有更好的使用效果。圖5-5-tanh(x)函數(shù)及其導(dǎo)函數(shù)

?ReLU(x)函數(shù)

ReLU(x)也是一種比較常見的神經(jīng)網(wǎng)絡(luò)激活函數(shù),其映射方法如式(5-5)、式(5-6)所示。

ReLU(x)函數(shù)及其導(dǎo)函數(shù)曲線圖如圖5-6所示,從圖中可以看出ReLU(x)是部分線性的,并且不會(huì)出現(xiàn)過飽和現(xiàn)象,使用ReLU(x)得到的隨機(jī)梯度下降法(SGD)的收斂速度比sigmoid和tanh(x)的都要快。利用ReLU(x)函數(shù)計(jì)算,只需要一個(gè)閾值就可以得到激活值,而不需要像sigmoid和tanh(x)一樣執(zhí)行復(fù)雜的指數(shù)運(yùn)算,原理易于理解,計(jì)算更為簡單。圖5-6ReLU(x)函數(shù)及其導(dǎo)函數(shù)

5.2.2人工神經(jīng)網(wǎng)絡(luò)信息處理

人腦的每個(gè)神經(jīng)元都可以看作一個(gè)處理單元,這些處理單元互相連接形成了生物神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)中信號(hào)傳遞的強(qiáng)弱由神經(jīng)元之間的連接強(qiáng)度決定,連接的強(qiáng)弱又可以根據(jù)外部

的刺激信號(hào)作出自適應(yīng)性的變化。信號(hào)可以產(chǎn)生刺激或抑制的作用,每個(gè)神經(jīng)元會(huì)根據(jù)接收到的多個(gè)信號(hào)的綜合作用呈現(xiàn)興奮或抑制狀態(tài)。

典型的三層人工神經(jīng)網(wǎng)絡(luò)拓?fù)鋱D如圖5-7所示。圖5-7典型的三層人工神經(jīng)網(wǎng)絡(luò)拓?fù)鋱D

為了便于理解人工神經(jīng)網(wǎng)絡(luò)模型組成及信息傳遞處理過程,首先簡單回顧一下邏輯回歸的相關(guān)內(nèi)容。邏輯回歸模型可以表示為公式(5-7)

設(shè)線性變換z,并將其表示為公式(5-8),那么邏輯回歸模型可以變換為公式(5-9)的形式。

從上述公式中可以看到,邏輯回歸模型可以分為線性變換部分與非線性變換部分。當(dāng)神經(jīng)網(wǎng)絡(luò)模型只有輸入層與輸出層兩部分且輸出層只有一個(gè)神經(jīng)元時(shí),模型的結(jié)構(gòu)便與邏

輯回歸的模型結(jié)構(gòu)相一致,但是在神經(jīng)網(wǎng)絡(luò)中,線性變換與非線性變換會(huì)被集成在同一個(gè)處于隱藏層或輸出層中的神經(jīng)元中,如圖5-8所示。圖5-8邏輯回歸模型與神經(jīng)網(wǎng)絡(luò)模型對(duì)比

對(duì)于具有多層或多個(gè)輸出神經(jīng)元的神經(jīng)網(wǎng)絡(luò),其每個(gè)隱藏層神經(jīng)元或輸出層神經(jīng)元的值(激活值),都是由上一層神經(jīng)元經(jīng)過加權(quán)求和與非線性變換得到的,網(wǎng)絡(luò)拓?fù)鋱D如圖5-9所示。圖5-8邏輯回歸模型與神經(jīng)網(wǎng)絡(luò)模型對(duì)比

隱藏層或輸出層的每一個(gè)神經(jīng)元,都是由上一層神經(jīng)元經(jīng)過類似邏輯回歸計(jì)算而來的,如圖5-10所示。圖5-10神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)與激活值

5.2.3人工神經(jīng)網(wǎng)絡(luò)特點(diǎn)

人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng),人工神經(jīng)網(wǎng)絡(luò)模型用于模擬人腦神經(jīng)元的活動(dòng)過程,其中包括對(duì)信息的加工、處理、存儲(chǔ)和搜索等過程。人工神經(jīng)網(wǎng)絡(luò)具有如下基本特點(diǎn)。

1)高度的并行性

2)高度的非線性全局作用

3)聯(lián)想記憶功能和良好的容錯(cuò)性

4)良好的自適應(yīng)、自學(xué)習(xí)功能

5)知識(shí)的分布存儲(chǔ)

6)非凸性

5.2.4常見的人工神經(jīng)網(wǎng)絡(luò)

1.人工神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

1)單層網(wǎng)絡(luò)

單層網(wǎng)絡(luò)是最簡單的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),如圖5-11所示,雖然圖中所有節(jié)點(diǎn)之間均采用全連接的前饋連接方式,但是在實(shí)際生物神經(jīng)網(wǎng)絡(luò)或人工神經(jīng)網(wǎng)絡(luò)中有些連接是并不存在的。輸入信號(hào)可表示為行向量X=(x1,x2,…,xn),每一分量都是通過加權(quán)計(jì)算連接到各節(jié)點(diǎn)處的。圖5-11單層網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

如果把各個(gè)加權(quán)值表示為n×m維加權(quán)矩陣W,如公式(5-12)所示,n表示輸入信號(hào)量的個(gè)數(shù),m表示該層的節(jié)點(diǎn)數(shù),那么輸入信號(hào)的加權(quán)和可表示為公式(5-13)的形式。

2)多層網(wǎng)絡(luò)

多層網(wǎng)絡(luò)是由單層網(wǎng)絡(luò)級(jí)聯(lián)而成的,即將上一層的輸出作為下一層的輸入。網(wǎng)絡(luò)越復(fù)雜,提供的計(jì)算能力就越強(qiáng)。下面以如圖5-12所示的雙層網(wǎng)絡(luò)為例,介紹多層網(wǎng)絡(luò)的信息處理方式。圖5-12雙層網(wǎng)絡(luò)

多層網(wǎng)絡(luò)的層間轉(zhuǎn)移函數(shù)一般是非線性的,這樣可以加強(qiáng)多層網(wǎng)絡(luò)的計(jì)算能力。假設(shè)雙層網(wǎng)絡(luò)的層間轉(zhuǎn)移函數(shù)為線性函數(shù),XW1為第一層的輸出,同時(shí)它會(huì)作為第二層的輸入,通過第二個(gè)加權(quán)矩陣得到網(wǎng)絡(luò)輸出為Y=(XW1)W2

或Y=X(W1W2),這樣雙層線性網(wǎng)絡(luò)中兩個(gè)加權(quán)矩陣的乘積等效于單層網(wǎng)絡(luò)的加權(quán)矩陣,所以多層網(wǎng)絡(luò)中層間的轉(zhuǎn)移函數(shù)是

非線性的。

3)回歸型網(wǎng)絡(luò)

回歸型網(wǎng)絡(luò)是指包含反饋連接的網(wǎng)絡(luò),反饋連接就是指網(wǎng)絡(luò)的一層輸出通過連接權(quán)值回送到同一層或前一層的輸入中。一層反饋網(wǎng)絡(luò)如圖5-13所示。在網(wǎng)絡(luò)中只限于一層之

內(nèi)的連接稱為層內(nèi)連接或?qū)觾?nèi)橫向反饋連接,層內(nèi)橫向反饋連接的網(wǎng)絡(luò)等效拓?fù)浣Y(jié)構(gòu)可稱為交叉連接方式或縱橫連接方式。交叉連接方式示意圖如圖5-14所示,這種縱橫線矩陣結(jié)構(gòu)表示方式便于將網(wǎng)絡(luò)與硬件電路相映射,其中,交叉點(diǎn)的電阻起到加權(quán)的作用,而三角形表示加權(quán)求和的運(yùn)算放大器。圖5-13一層反饋網(wǎng)絡(luò)拓?fù)鋱D圖5-14一層反饋網(wǎng)絡(luò)的交叉連接方式示意圖

2.人工神經(jīng)網(wǎng)絡(luò)模型

理解人工神經(jīng)網(wǎng)絡(luò)的主要拓?fù)浣Y(jié)構(gòu)后,下面將介紹幾種非常著名的人工神經(jīng)網(wǎng)絡(luò)模型——BP、Hopfield和Kohonet,目前很多先進(jìn)的新型網(wǎng)絡(luò)結(jié)構(gòu)更多的是對(duì)這幾種模型的改良和優(yōu)化。人工神經(jīng)網(wǎng)絡(luò)的分類如圖5-15所示,按照結(jié)構(gòu)方式、狀態(tài)方式和學(xué)習(xí)方式的不同,人工神經(jīng)網(wǎng)絡(luò)模型可以劃分為多種網(wǎng)絡(luò)類型。究其根源,網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)、神經(jīng)元傳遞函數(shù)、學(xué)習(xí)算法和系統(tǒng)特點(diǎn)等是區(qū)分各種網(wǎng)絡(luò)的根本要素。圖5-15-人工神經(jīng)網(wǎng)絡(luò)模型的分類

1)BP神經(jīng)網(wǎng)絡(luò)

BP(BackPropagation,反向傳播)神經(jīng)網(wǎng)絡(luò)是由Rumelhart和McClelland為首的科研小組于1986年提出的,它是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋人工神經(jīng)網(wǎng)絡(luò),也是目前應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能夠?qū)W習(xí)和存儲(chǔ)大量輸入輸出模式的映射關(guān)系,而無需事先揭示描述這種映射關(guān)系的數(shù)學(xué)方程。其基本原理是使用最速下降法,通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值,使網(wǎng)絡(luò)的誤差平方和最小。

以兩層BP神經(jīng)網(wǎng)絡(luò)為例,模型的訓(xùn)練過程可以總結(jié)為:

?系統(tǒng)自動(dòng)隨機(jī)賦予權(quán)值和偏差的初始值,隨機(jī)值的取值應(yīng)當(dāng)較小,以避免網(wǎng)絡(luò)出現(xiàn)加權(quán)輸入飽和的問題,除此之外,還要對(duì)期望誤差最小值、最大循環(huán)次數(shù)、權(quán)值的學(xué)習(xí)速率等參數(shù)進(jìn)行初始化處理。

?輸入樣本,計(jì)算網(wǎng)絡(luò)各層輸出及網(wǎng)絡(luò)誤差。

?計(jì)算各層逆向傳播的誤差變化,更新連接權(quán)值和閾值。

?利用修正值再次計(jì)算誤差平方和,與期望誤差進(jìn)行比較,達(dá)到訓(xùn)練結(jié)束條件則停止訓(xùn)練過程,否則重復(fù)上述過程繼續(xù)訓(xùn)練。

2)Hopfield神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)屬于前饋式網(wǎng)絡(luò)的一種,和BP神經(jīng)網(wǎng)絡(luò)同一時(shí)期出現(xiàn)的Hopfield神經(jīng)網(wǎng)絡(luò)也很經(jīng)典和重要,它是一種反饋式神經(jīng)網(wǎng)絡(luò),比BP的出現(xiàn)還要早一些,其基本思想為基于灌輸式的學(xué)習(xí),即網(wǎng)絡(luò)的權(quán)值不是通過訓(xùn)練求得的,而是按照一定的規(guī)則計(jì)算出來的。Hopfield神經(jīng)網(wǎng)絡(luò)就是采用了這種學(xué)習(xí)方式,其權(quán)值一旦確定就不再改變,但是網(wǎng)絡(luò)中各神經(jīng)元的狀態(tài)在運(yùn)行過程中是不斷更新的,當(dāng)網(wǎng)絡(luò)運(yùn)行到穩(wěn)定狀態(tài)時(shí),各神經(jīng)元的狀態(tài)便是問題的最終求解結(jié)論。

Hopfield神經(jīng)網(wǎng)絡(luò)模型可以分為離散型和連續(xù)型兩種,分別記為DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork),這里主要討論離散型網(wǎng)絡(luò)模型,如圖5-16所示。圖5-16離散Hopfield神經(jīng)網(wǎng)絡(luò)模型表示

輸出不斷地反饋到輸入端,使得Hopfield網(wǎng)絡(luò)的狀態(tài)在輸入的激勵(lì)下產(chǎn)生持續(xù)的變化,只要存在輸入,就可以獲得輸出信號(hào),而輸出又會(huì)被反饋到輸入以產(chǎn)生新的輸出,如此往復(fù)。如果Hopfield網(wǎng)絡(luò)是一個(gè)收斂的穩(wěn)定網(wǎng)絡(luò),那么反饋和迭代的變化就會(huì)越來越小,當(dāng)網(wǎng)絡(luò)的輸出為一個(gè)穩(wěn)定的恒值時(shí),證明網(wǎng)絡(luò)已經(jīng)達(dá)到平衡狀態(tài)可以停止訓(xùn)練。其實(shí),這種網(wǎng)絡(luò)是否成功的關(guān)鍵就在于如何在穩(wěn)定條件下確定網(wǎng)絡(luò)的權(quán)重系數(shù)。這里僅考慮串行工作方式下的神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟,串行(異步)工作方式的Hopfield神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟如圖5-17所示,除此之外,網(wǎng)絡(luò)的訓(xùn)練方式還有并行(同步)形式,在此不再贅述。圖5-17Hopfield神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟

3)Kohonet神經(jīng)網(wǎng)絡(luò)

1972年,芬蘭的Kohonet教授提出了自組織神經(jīng)網(wǎng)絡(luò),即Kohonet神經(jīng)網(wǎng)絡(luò)。這個(gè)自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)如圖5-18所示,該網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層和競爭層兩部分,輸入層一般是一個(gè)一維陣列,負(fù)責(zé)接收外界信息,并通過權(quán)向量將外界信息匯集到競爭層的各神經(jīng)元中;而競爭層神經(jīng)元排列的典型結(jié)構(gòu)是二維形式,通過計(jì)算競爭層的權(quán)值向量和輸入向量的距離,可以求取最小距離的神經(jīng)元。網(wǎng)絡(luò)訓(xùn)練中會(huì)不斷修改權(quán)值及輸出神經(jīng)元,直至其小于某個(gè)特定值時(shí)結(jié)束訓(xùn)練并計(jì)算輸出結(jié)果。圖5-18自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)

5.2.5-人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

1)監(jiān)督學(xué)習(xí)

監(jiān)督學(xué)習(xí)的主要思路是,根據(jù)已有的數(shù)據(jù)集、輸入輸出之間的關(guān)系,訓(xùn)練得到一個(gè)最優(yōu)的模型。

針對(duì)連續(xù)型變量和離散型變量,監(jiān)督學(xué)習(xí)可以分別實(shí)現(xiàn)分類和回歸兩種功能。例如,判斷花卉種類的訓(xùn)練集和測(cè)試集詳情如圖5-19所示。圖5-19判斷花卉種類

2)無監(jiān)督學(xué)習(xí)

在現(xiàn)實(shí)生活中,更為常見的情況是,由于缺乏足夠的先驗(yàn)知識(shí),使得監(jiān)督學(xué)習(xí)算法中需要的標(biāo)簽信息難以人工標(biāo)注或標(biāo)注成本過高,很自然地,人們就希望計(jì)算機(jī)能代替或者至少提供一些幫助來完成這項(xiàng)工作,無監(jiān)督學(xué)習(xí)模式隨之產(chǎn)生。

無監(jiān)督學(xué)習(xí)中最典型的算法就是聚類,聚類的目的是把相似的東西聚集在一起,但是并不關(guān)心具體的類別是什么,因此,聚類算法的核心是知道如何計(jì)算數(shù)據(jù)的相似度。舉個(gè)

簡單的例子,在識(shí)別貓的過程中,我們可以用聚類算法,如圖5-20所示,嘗試提取貓的毛皮、四肢趾爪、眼睛、耳朵、牙齒、胡須等特征,計(jì)算機(jī)通過對(duì)特征相同的動(dòng)物進(jìn)行聚類計(jì)算,就可以將貓或者貓科動(dòng)物聚類為一組。圖5-20無監(jiān)督學(xué)習(xí)的聚類應(yīng)用

3)強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)是用于描述和解決智能體在與環(huán)境交互的過程中通過學(xué)習(xí)策略來取得最大化的預(yù)期利益或?qū)崿F(xiàn)特定目標(biāo)的學(xué)習(xí)方法,其中,智能體以“試錯(cuò)”的方式進(jìn)行學(xué)習(xí),通過與環(huán)境進(jìn)行交互獲得的獎(jiǎng)賞指導(dǎo)行為,驅(qū)動(dòng)智能體向著獲得最大獎(jiǎng)賞的目標(biāo)不斷學(xué)習(xí)。強(qiáng)化學(xué)習(xí)與監(jiān)督學(xué)習(xí)的區(qū)別主要表現(xiàn)在強(qiáng)化信號(hào)上,監(jiān)督學(xué)習(xí)會(huì)提供特征和標(biāo)簽來建立二者之間的聯(lián)系,但是強(qiáng)化學(xué)習(xí)不會(huì)告訴強(qiáng)化學(xué)習(xí)系統(tǒng)如何去產(chǎn)生正確的動(dòng)作,而是由環(huán)境提供強(qiáng)化信號(hào),對(duì)產(chǎn)生動(dòng)作的好壞作出評(píng)價(jià)。由于外部環(huán)境提供的信息很少,系統(tǒng)必須依據(jù)自身的經(jīng)驗(yàn)來進(jìn)行學(xué)習(xí),在行動(dòng)—評(píng)價(jià)體系中不斷獲取知識(shí),動(dòng)態(tài)地調(diào)整模型參數(shù),從而得到最大的強(qiáng)化信號(hào)。

5.3基于神經(jīng)網(wǎng)絡(luò)的傳感器應(yīng)用

5.3.1應(yīng)用概述神經(jīng)網(wǎng)絡(luò)的信息處理任務(wù)主要可以概括為兩個(gè):(1)數(shù)學(xué)上的映射逼近。映射逼近即找到一種合適的映射函數(shù),以自組織的方式響應(yīng)對(duì)應(yīng)的樣本集。目標(biāo)識(shí)別、分類等問題的計(jì)算過程都可以抽象成這樣一種近似的數(shù)學(xué)上的映射逼近。

(2)聯(lián)想記憶。聯(lián)想記憶是指對(duì)模式狀態(tài)的恢復(fù)、內(nèi)容的完善以及相關(guān)模式的相互回憶等。模式識(shí)別技術(shù)的應(yīng)用通常會(huì)一定程度上受到噪聲干擾或輸入模式的部分缺失影響。

而神經(jīng)網(wǎng)絡(luò)的信息是以分布式狀態(tài)存儲(chǔ)于連接權(quán)系數(shù)中的,具有很高的容錯(cuò)性和魯棒性,神經(jīng)網(wǎng)絡(luò)的這一優(yōu)勢(shì)使其能夠成功地應(yīng)用于模式識(shí)別問題。

究其本質(zhì),基于神經(jīng)網(wǎng)絡(luò)的傳感信號(hào)處理主要涉及兩個(gè)重要的問題,即模式預(yù)處理變換和模式識(shí)別。模式預(yù)處理變換是指針對(duì)一種形式的模式,應(yīng)用神經(jīng)網(wǎng)絡(luò)將其轉(zhuǎn)換為更為

適用或可用形式的模式;模式識(shí)別則是指把一種模式映射到其他類型或類別的過程。因此,神經(jīng)網(wǎng)絡(luò)能夠在傳感信號(hào)處理中得到應(yīng)用,根本原因是神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近能力以及基于此的傳感器建模。神經(jīng)網(wǎng)絡(luò)函數(shù)逼近算法的研究非常廣泛,基于神經(jīng)網(wǎng)絡(luò)的傳感系統(tǒng)的建模方法主要有三種:直接逆系統(tǒng)建模法、正逆系統(tǒng)建模法與逆逆系統(tǒng)建模法。

(1)直接逆系統(tǒng)建模法。該方法是指將不同的設(shè)定信號(hào)作為未知傳感器的輸入u1,測(cè)量其相應(yīng)的輸出信號(hào)y1,基于這樣的輸入輸出數(shù)據(jù)來訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò),將未知傳感器的輸出y1作為網(wǎng)絡(luò)輸入u2,而根據(jù)網(wǎng)絡(luò)的輸出y2預(yù)測(cè)出未知傳感器的輸入,網(wǎng)絡(luò)訓(xùn)練的目標(biāo)就是使得這時(shí)的y2與u1誤差最小。

(2)正逆系統(tǒng)建模法。該方法也稱作正模型逆系統(tǒng)學(xué)習(xí)法,是指在未知傳感器的動(dòng)力學(xué)系統(tǒng)(正)模型的基礎(chǔ)上建立逆動(dòng)力學(xué)模型。比較典型的學(xué)習(xí)方法有兩種:另一種是傳感

器逆系統(tǒng)學(xué)習(xí)法,即直接利用設(shè)定給逆系統(tǒng)神經(jīng)網(wǎng)絡(luò)的期望輸入和未知傳感器的實(shí)際輸入之差來調(diào)節(jié)網(wǎng)絡(luò)的權(quán)重,這種方法在整體誤差的基礎(chǔ)上調(diào)節(jié)網(wǎng)絡(luò)權(quán)值時(shí),必須要知道傳感

器的模型;另一種是正模型逆系統(tǒng)學(xué)習(xí)法,首先利用一個(gè)神經(jīng)網(wǎng)絡(luò)建立起傳感器的(未知的)數(shù)學(xué)模型,接著利用設(shè)定給逆系統(tǒng)神經(jīng)網(wǎng)絡(luò)的期望輸入和傳感器(正)的神經(jīng)網(wǎng)絡(luò)模型的輸出之差來調(diào)節(jié)逆系統(tǒng)神經(jīng)網(wǎng)絡(luò)的權(quán)值,這種方法的逆系統(tǒng)模型準(zhǔn)確度直接與新建立的正模型精度相關(guān)。為了避免或改進(jìn)上述精度的相關(guān)性,可以將此方法優(yōu)化為直接利用設(shè)定給逆模型的期望輸入和傳感器的輸出之差來調(diào)節(jié)網(wǎng)絡(luò)的權(quán)值。

(3)逆逆系統(tǒng)建模法。該方法是指由兩個(gè)逆系統(tǒng)模型和未知傳感器一起構(gòu)成學(xué)習(xí)回路。在正通道上設(shè)置神經(jīng)網(wǎng)絡(luò)控制器,控制傳感器使之復(fù)現(xiàn)網(wǎng)絡(luò)的輸入,這種方法需要事先已

知傳感器的逆動(dòng)力學(xué)模型。

5.3.2應(yīng)用示例

1.非線性校正

傳感器作為系統(tǒng)重要的感知器件,其地位是舉足輕重的,雖然不同應(yīng)用場景下對(duì)傳感器的要求不盡相同,但無一例外的是,各種應(yīng)用場景都會(huì)要求保證傳感器的測(cè)量準(zhǔn)確度。大多數(shù)傳感器的輸入輸出關(guān)系中,由于傳感器轉(zhuǎn)換原理為非線性,使得出現(xiàn)一定程度的非線性誤差,這就導(dǎo)致傳感器的測(cè)量結(jié)果準(zhǔn)確性大幅降低。

外旋轉(zhuǎn)式濃度傳感器的輸入輸出特性存在明顯的非線性屬性,可以考慮使用神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)對(duì)其特性的校正,如圖5-21所示。圖5-21傳感器非線性校正

圖5-21的原理圖顯示,校正的基本思路是假設(shè)傳感器具有非線性輸入輸出特性y=f(x),對(duì)傳感器的輸出y利用神經(jīng)網(wǎng)絡(luò)進(jìn)行校正,如公式(5-16)所示,其中xann表示經(jīng)過人工神經(jīng)網(wǎng)絡(luò)優(yōu)化后的結(jié)果,因此,只要對(duì)神經(jīng)網(wǎng)絡(luò)F進(jìn)行訓(xùn)練,修正及優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值系數(shù),直至神經(jīng)網(wǎng)絡(luò)輸出值的估計(jì)誤差均方值足夠小,即可消除傳感器的非線性部分干擾。

2.自檢驗(yàn)與故障診斷

在常規(guī)應(yīng)用中,當(dāng)需要對(duì)生產(chǎn)過程進(jìn)行監(jiān)測(cè)、控制以及優(yōu)化時(shí),一般以過程變量的某些測(cè)量值(如溫度、流量、濃度等)為依據(jù),因此,如何從測(cè)量數(shù)據(jù)中獲得過程變量可靠、精

確、一致的估計(jì)值對(duì)生產(chǎn)過程至關(guān)重要。傳感器的過失誤差和故障可使