神經(jīng)網(wǎng)絡(luò)基礎(chǔ)輔導(dǎo)

神經(jīng)網(wǎng)絡(luò)基礎(chǔ)輔導(dǎo)中央電大理工部冼健生

2006年12月11日一、神經(jīng)網(wǎng)絡(luò)的基本特征與功能神經(jīng)網(wǎng)絡(luò)是對人腦生物神經(jīng)網(wǎng)絡(luò)的簡化、抽象與模擬，是一種模仿人腦結(jié)構(gòu)及功能的信息處理系統(tǒng)，它可呈現(xiàn)出人腦的許多特征，并具有人腦的一些基本功能。1．基本特征（1）結(jié)構(gòu)特征1）并行處理神經(jīng)網(wǎng)絡(luò)是由大量簡單處理元件相互連接構(gòu)成的高度并行的非線性系統(tǒng)，具有大規(guī)模并行性處理特征。2）分布式存儲結(jié)構(gòu)上的并行性使神經(jīng)網(wǎng)絡(luò)的信息存儲必然采用分布式方式，分布在網(wǎng)絡(luò)所有的連接權(quán)中。3）容錯性神經(jīng)網(wǎng)絡(luò)的容錯性表現(xiàn)為兩個方面：其一，網(wǎng)絡(luò)中部分神經(jīng)元損壞時不會對系統(tǒng)的整體性能造成影響；其二，神經(jīng)網(wǎng)絡(luò)能通過聯(lián)想恢復(fù)完整的記憶，實現(xiàn)對不完整輸入信息的正確識別。（2）能力特征1）自學(xué)習(xí)能力神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)能力是指當外界環(huán)境發(fā)生變化時，經(jīng)過一段時間的訓(xùn)練或感知，神經(jīng)網(wǎng)絡(luò)能通過自動調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，使得對于給定輸入能產(chǎn)生期望的輸出。2）自組織能力神經(jīng)網(wǎng)絡(luò)的自組織能力是指神經(jīng)系統(tǒng)能在外部刺激下按一定規(guī)則調(diào)整神經(jīng)網(wǎng)絡(luò)元之間的突觸連接，逐漸構(gòu)建起神經(jīng)網(wǎng)絡(luò)。3）自適應(yīng)性神經(jīng)系統(tǒng)的自適應(yīng)性是指神經(jīng)系統(tǒng)通過改變自身的性能以適應(yīng)環(huán)境變化的能力。實際上自適應(yīng)性包含了自學(xué)習(xí)和自組織兩層含義，它是通過自學(xué)習(xí)和自組織實現(xiàn)的。2．主要功能人工神經(jīng)網(wǎng)絡(luò)具有人腦生物神經(jīng)系統(tǒng)的某些智能特點：（1）聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)具有分布存儲信息和并行計算的性能，因此它具有對外界刺激信息和輸入模式進行聯(lián)想記憶的能力。（2）非線性映射設(shè)計合理的神經(jīng)網(wǎng)絡(luò)通過對系統(tǒng)輸入輸出樣本對照進行自動學(xué)習(xí)，能夠以任意精度逼近任意復(fù)雜的非線性映射。（3）分類與識別由于神經(jīng)網(wǎng)絡(luò)可以很好地解決對非線性曲面的逼近，因此對于在樣本空間上區(qū)域分割曲面十分復(fù)雜的事物，神經(jīng)網(wǎng)絡(luò)具有很強的識別和分類能力。（4）優(yōu)化計算優(yōu)化計算指在已知的約束條件下，尋找一組參數(shù)組合，使由該組合確定的目標函數(shù)達到最小值。神經(jīng)網(wǎng)絡(luò)將目標函數(shù)設(shè)計為網(wǎng)絡(luò)的能量函數(shù)，無需對目標函數(shù)求導(dǎo)即可求解。（5）知識處理與人腦類似，神經(jīng)網(wǎng)絡(luò)可以從對象的輸入輸出信息中抽取規(guī)律而獲得關(guān)于對象的知識，并將知識分布在網(wǎng)絡(luò)的連接中予以存儲。二、生物神經(jīng)及其信息處理的控制1．生物神經(jīng)元的結(jié)構(gòu)生物神經(jīng)元在結(jié)構(gòu)上由細胞體、樹突、軸突和突觸四部分組成。（1）細胞體細胞體是神經(jīng)元的主體。神經(jīng)元中信息的產(chǎn)生和整合是由細胞體完成的。（2）樹突樹突是從細胞體向外延伸出的多支神經(jīng)纖維。神經(jīng)元靠樹突接受來自其他神經(jīng)元的輸入信號，相當于細胞體的輸入端。（3）軸突由細胞體伸出的最長的一條突起稱為軸突，用來傳出細胞體產(chǎn)生的輸出電化學(xué)信號，相當于細胞體的輸出端。（4）突觸神經(jīng)元之間通過軸突末梢或樹突進行通信連接，這種連接相當于神經(jīng)元之間的輸入輸出接口，稱為突觸。多個神經(jīng)元以突觸連接即形成神經(jīng)網(wǎng)絡(luò)。2．生物神經(jīng)元的信息處理機制在神經(jīng)元中，突觸為輸入輸出接口，樹突和細胞體為輸入端，接受突觸點的輸入信號；細胞體相當于一個微型處理器，對各樹突和細胞體各部位收到的來自其他神經(jīng)元的輸入信號進行組合，并在一定條件下觸發(fā)，產(chǎn)生一輸出信號；輸出信號沿軸突傳至末梢，軸突末梢作為輸出端通過突觸將這一輸出信號傳向其他神經(jīng)元的樹突和細胞體。神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動。神經(jīng)元產(chǎn)生的信息是具有電脈沖形式的神經(jīng)沖動，信息的傳遞和接收、信息的整合也是通過這些電脈沖信號在神經(jīng)元之間的輸入、輸出而完成的。

三、人工神經(jīng)元模型以及神經(jīng)網(wǎng)絡(luò)模型1．人工神經(jīng)元模型（1）圖解模型人工神經(jīng)元是對生物神經(jīng)元的一種模擬，其圖解模型應(yīng)具有生物神經(jīng)元的四個功能：神經(jīng)元具有多輸入信號；每一個輸入都有一個加權(quán)系數(shù)wij，反映突觸的不同連接強度；組合輸入信號的“總和值”，相應(yīng)于生物神經(jīng)元的膜電位；人工神經(jīng)元的輸出與輸入之間的對應(yīng)關(guān)系可用某種函數(shù)來表示。（2）數(shù)學(xué)模型神經(jīng)元數(shù)學(xué)模型的簡化形式為式中Oj表示神經(jīng)元的輸出；Wj表示權(quán)重向量；X為輸入向量；f為神經(jīng)元轉(zhuǎn)移函數(shù)的符號。（3）轉(zhuǎn)移函數(shù)神經(jīng)元的轉(zhuǎn)移函數(shù)決定了神經(jīng)元的信息處理特性，它反映了神經(jīng)元輸出與其激活狀態(tài)之間的關(guān)系。常用的轉(zhuǎn)移函數(shù)有閾值型轉(zhuǎn)移函數(shù)、非線性轉(zhuǎn)移函數(shù)和分段線性轉(zhuǎn)移函數(shù)三種。2．人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型有兩種分類方式。按照神經(jīng)元的的連接方式，神經(jīng)網(wǎng)絡(luò)可分為層次型網(wǎng)絡(luò)結(jié)構(gòu)和全互連型網(wǎng)絡(luò)結(jié)構(gòu)兩類。根據(jù)網(wǎng)絡(luò)信息流量不同，神經(jīng)網(wǎng)絡(luò)又可分為前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)兩類。如教材圖3-9所示，單純前饋型網(wǎng)絡(luò)的結(jié)構(gòu)與層次型網(wǎng)絡(luò)是一致的，信息的處理具有逐層傳遞的方向性；圖3-10是單純反饋型網(wǎng)絡(luò)的結(jié)構(gòu)示意，它與全互連型網(wǎng)絡(luò)一致，網(wǎng)絡(luò)中所有節(jié)點都具有信息處理功能。3．人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)的功能特性由其連接的拓撲結(jié)構(gòu)和突觸連接強度，即連接權(quán)值決定。神經(jīng)網(wǎng)絡(luò)能夠通過對樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓撲結(jié)構(gòu)，以使網(wǎng)絡(luò)的實際輸出不斷地接近所期望的輸出。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式改變權(quán)值的規(guī)則稱為學(xué)習(xí)規(guī)則或?qū)W習(xí)算法。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法一類是有導(dǎo)師學(xué)習(xí)，一類為無導(dǎo)師學(xué)習(xí)。有導(dǎo)師學(xué)習(xí)在學(xué)習(xí)訓(xùn)練過程中需要不斷給網(wǎng)絡(luò)成對提供一個輸入模式和一個期望網(wǎng)絡(luò)正確輸出的模式，稱為“教師信號”。當網(wǎng)絡(luò)的輸出與期望的教師信號不符時，則調(diào)整權(quán)值，能產(chǎn)生所期望的輸出。無導(dǎo)師學(xué)習(xí)需要不斷給網(wǎng)絡(luò)提供動態(tài)輸入信息，網(wǎng)絡(luò)能根據(jù)自有的學(xué)習(xí)規(guī)則和這些輸入信息調(diào)整權(quán)值。這種模式中，網(wǎng)絡(luò)的權(quán)值調(diào)整不取決于外來教師信號的影響，網(wǎng)絡(luò)的學(xué)習(xí)評價標準隱含于網(wǎng)絡(luò)的內(nèi)部。四、多層前饋神經(jīng)網(wǎng)絡(luò)1．單層感知器及其功能單層感知器是只有一層處理單元的感知器，包括輸入層在內(nèi)，應(yīng)為兩層。從對一個最簡單的單計算節(jié)點感知器分析，可知單層感知器具有分類功能。但它只能解決線性可分問題，而不可能用于解決線性不可分問題。這是單層感知器的局限性。2．BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)是指基于誤差反向傳播算法的多層前饋神經(jīng)網(wǎng)絡(luò)。反向傳播算法的基本思路：學(xué)習(xí)過程由信號的正向傳播和反向傳播兩個過程組成。正向傳播時，輸入樣本由輸入層進入，經(jīng)隱層處理后傳向輸出層。若實際輸出與教師信號不符，則轉(zhuǎn)入誤差的反向傳播階段。輸出誤差將通過隱層向輸入層逐層反傳，并把誤差分攤而得到各層單元的誤差信號，作為修正各單元權(quán)值的依據(jù)。權(quán)值的調(diào)整過程即BP網(wǎng)絡(luò)的學(xué)習(xí)過程，直到網(wǎng)絡(luò)輸出精度滿足要求為止。優(yōu)點：將BP算法用于具有非線性轉(zhuǎn)移函數(shù)的三層前饋網(wǎng)，可以以任意精度逼近非線性函數(shù)。缺點：易形成局部極小而得不到全局最優(yōu)。訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢。五、離散型反饋神經(jīng)網(wǎng)絡(luò)DHNN1．DHNN網(wǎng)絡(luò)結(jié)構(gòu)DHNN網(wǎng)絡(luò)結(jié)構(gòu)為單層全反饋網(wǎng)絡(luò)。每個神經(jīng)元都通過連接權(quán)接收所有神經(jīng)元輸出反饋回來的信息，其目的是為了讓任一個神經(jīng)元的輸出都能受所有神經(jīng)元輸出的控制，從而使各神經(jīng)元的輸出能相互制約。2．DHNN的穩(wěn)定性DHNN網(wǎng)是一個離散的非線性動力學(xué)系統(tǒng)。網(wǎng)絡(luò)從初態(tài)X（0）開始，若能經(jīng)有限次遞歸