神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

1、主要內(nèi)容 3.1 3.1 概述概述 3.2 3.2 前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò) 1 3.1.1生物神經(jīng)元模型 人腦大約包含1012個(gè)神經(jīng)元，分成約1000種 類型，每個(gè)神經(jīng)元大約與102104個(gè)其他神 經(jīng)元相連接，形成極為錯(cuò)綜復(fù)雜而又靈活多 變的神經(jīng)網(wǎng)絡(luò)。每個(gè)神經(jīng)元雖然都十分簡(jiǎn)單， 但是如此大量的神經(jīng)元之間、如此復(fù)雜的連 接卻可以演化出豐富多彩的行為方式。同時(shí)， 如此大量的神經(jīng)元與外部感受器之間的多種 多樣的連接方式也蘊(yùn)含了變化莫測(cè)的反應(yīng)方 式。 2 3 3.1.2 人工神經(jīng)元模型 人工神經(jīng)元是利用物理器件對(duì)生物神經(jīng)元的一種模擬 與簡(jiǎn)化。它是神經(jīng)網(wǎng)絡(luò)的基本處理單元。如圖所示為 一種簡(jiǎn)化的人工神經(jīng)

2、元結(jié)構(gòu)。它是一個(gè)多輸入、單輸 出的非線性元件。 4 5 其輸入、輸出關(guān)系可描述為 其中， 是從其他神經(jīng)元傳來(lái)的輸入信號(hào)； 表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)系數(shù)； 為閾值； 稱為輸出變換函數(shù)。 6 n j ijiji xwI 1 )( ii Ify )n ,j(xj 21 ij w i )(f 輸出變換函數(shù) 決定了神經(jīng)元（節(jié)點(diǎn)）的輸出。該輸出 為1或0，取決于其輸入之和大于或小于內(nèi)部閾值 。函數(shù) 一般具有非線性特性。下圖表示了幾種常見(jiàn)的激發(fā) 函數(shù)。 7 )(f i )(f 8 3.1.3 人工神經(jīng)網(wǎng)絡(luò)模型 人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來(lái)模擬人腦神經(jīng)元網(wǎng) 絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元可以構(gòu)

3、成各 種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)的一 種模擬和近似。就神經(jīng)網(wǎng)絡(luò)的主要連接型式而言，目 前已有數(shù)十種不同的神經(jīng)網(wǎng)絡(luò)模型，其中前饋型網(wǎng)絡(luò) 和反饋型網(wǎng)絡(luò)是兩種典型的結(jié)構(gòu)模型。 9 人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng) 絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)一般由許多個(gè)神經(jīng)元組成， 每個(gè)神經(jīng)元有一個(gè)單一的輸出，它可以連接到很 多其他的神經(jīng)元，其輸入有多個(gè)連接通路，每個(gè) 連接通路對(duì)應(yīng)一個(gè)連接權(quán)系數(shù)。 嚴(yán)格來(lái)說(shuō)，神經(jīng)網(wǎng)絡(luò)是一個(gè)具有如下性質(zhì)的有向 圖。 （1）對(duì)于每個(gè)結(jié)點(diǎn)有一個(gè)狀態(tài)變量 ； （2）結(jié)點(diǎn)i到結(jié)點(diǎn)j有一個(gè)連接權(quán)系數(shù) ； （3）對(duì)于每個(gè)結(jié)點(diǎn)有一個(gè)閾值 ； （4）對(duì)于每個(gè)結(jié)點(diǎn)定義一個(gè)變換函數(shù) 。

4、10 j x ij w i )(f 3.2 前饋型神經(jīng)網(wǎng)絡(luò) 前饋型神經(jīng)網(wǎng)絡(luò)如圖所示，神經(jīng)元分層排列，有輸入 層、隱層（可有若干層）和輸出層，其信息從輸入層 依次向上傳遞，直至輸出層。每一層的神經(jīng)元只接受 前一層神經(jīng)元的輸入。 從學(xué)習(xí)的觀點(diǎn)來(lái)看，前饋網(wǎng)絡(luò)是一種強(qiáng)有力的學(xué)習(xí)系 統(tǒng)，其結(jié)構(gòu)簡(jiǎn)單而易于編程；從系統(tǒng)的觀點(diǎn)看，前饋 網(wǎng)絡(luò)是一靜態(tài)非線性映射，通過(guò)簡(jiǎn)單非線性處理單元 的復(fù)合映射，可獲得復(fù)雜的非線性處理能力。但從計(jì) 算的觀點(diǎn)看，缺乏豐富的動(dòng)力學(xué)行為。大部分前饋網(wǎng) 絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們的分類能力和模式識(shí)別能力一 般都強(qiáng)于反饋網(wǎng)絡(luò)，典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、 BP 網(wǎng)絡(luò)等。 11 12 3.2.1

5、 感知器網(wǎng)絡(luò) 感知器（perceptrvon）是一個(gè)具有單層神經(jīng)元的神經(jīng) 網(wǎng)絡(luò)，并由線性閾值元件組成，是最簡(jiǎn)單的前向網(wǎng)絡(luò)。 它主要用于模式分類，單層的感知器網(wǎng)絡(luò)結(jié)構(gòu)如下圖所 示。 13 14 感知器的一種學(xué)習(xí)算法： 隨機(jī)地給定一組連接權(quán) ，k=0; 輸入任取的一組樣本和期望的輸出（亦稱之為教師信 號(hào)），計(jì)算 計(jì)算感知器實(shí)際輸出 調(diào)整連接權(quán) 選取另外一組樣本，重復(fù)上述2）4）的過(guò)程，直 到權(quán)值對(duì)一切樣本均穩(wěn)定不變?yōu)橹?，學(xué)習(xí)過(guò)程結(jié)束。 15 0 i w n i pii xws 1 1 1 )s(fy p 3.2.2 BP網(wǎng)絡(luò) 誤差反向傳播神經(jīng)網(wǎng)絡(luò)，簡(jiǎn)稱BP網(wǎng)絡(luò)（Back Propagation），

6、是一種單向傳播的多層前向網(wǎng)絡(luò)。在 模式識(shí)別、圖像處理、系統(tǒng)辨識(shí)、函數(shù)擬合、優(yōu)化計(jì)算、 最優(yōu)預(yù)測(cè)和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。如 圖是BP網(wǎng)絡(luò)的示意圖。 下面要介紹的多層前饋網(wǎng)的神經(jīng)元變換函數(shù)采用S型函 數(shù)，因此輸出量是0到1之間的連續(xù)量，它可以實(shí)現(xiàn)從 輸入到輸出的任意的非線性映射。 16 17 誤差反向傳播的BP算法簡(jiǎn)稱BP算法，其基本 思想是最小二乘算法。它采用梯度搜索技術(shù)， 以期使網(wǎng)絡(luò)的實(shí)際輸出值與期望輸出值的誤差 均方值為最小。 BP算法的學(xué)習(xí)過(guò)程由正向傳播和反向傳播組成。 在正向傳播過(guò)程中，輸入信息從輸入層經(jīng)隱含 層逐層處理，并傳向輸出層，每層神經(jīng)元（節(jié) 點(diǎn)）的狀態(tài)只影響下一層

7、神經(jīng)元的狀態(tài)。如果 在輸出層不能得到期望的輸出，則轉(zhuǎn)人反向傳 播，將誤差信號(hào)沿原來(lái)的連接通路返回，通過(guò) 修改各層神經(jīng)元的權(quán)值，使誤差信號(hào)最小。 18 BP學(xué)習(xí)算法的計(jì)算步驟 1). 初始化 置所有權(quán)值為較小的隨機(jī)數(shù) 2). 提供訓(xùn)練集 3). 計(jì)算實(shí)際輸出，計(jì)算隱含層、輸出層各神經(jīng)元輸出 4). 計(jì)算目標(biāo)值與實(shí)際輸出的偏差E 5). 計(jì)算 6). 計(jì)算 7). 返回“2）”重復(fù)計(jì)算，直到誤差滿足要求為止 19 jkpw ijpw 20 在使用BP算法時(shí)，應(yīng)注意的幾個(gè)問(wèn)題是： 1). 學(xué)習(xí)開(kāi)始時(shí)，各隱含層連接權(quán)系數(shù)的初值應(yīng) 以設(shè)置較小的隨機(jī)數(shù)較為適宜。 2). 采用S型激發(fā)函數(shù)時(shí)，由于輸出層各神

8、經(jīng)元 的輸出只能趨于1或0，不能達(dá)到1或0。在設(shè)置 各訓(xùn)練樣本時(shí)，期望的輸出分量dpk不能設(shè)置為 1或0，以設(shè)置為或0，1較為適宜。 3). 學(xué)習(xí)速率的選擇，在學(xué)習(xí)開(kāi)始階段，選 較大的值可以加快學(xué)習(xí)速度。學(xué)習(xí)接近優(yōu)化區(qū) 時(shí)，值必須相當(dāng)小，否則權(quán)系數(shù)將產(chǎn)生振蕩 而不收斂。平滑因子的選值在左右。 21 3.2.3 BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn) 1多層前向BP網(wǎng)絡(luò)的優(yōu)點(diǎn)： 1). 網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個(gè)從輸入到輸出的映 射功能，而數(shù)學(xué)理論已證明它具有實(shí)現(xiàn)任何 復(fù)雜非線性映射的功能。這使得它特別適合 于求解內(nèi)部機(jī)制復(fù)雜的問(wèn)題； 2). 網(wǎng)絡(luò)能通過(guò)學(xué)習(xí)帶正確答案的實(shí)例集自動(dòng) 提取“合理的”求解規(guī)則，即具有自學(xué)習(xí)

9、能 力； 22 2多層前向BP網(wǎng)絡(luò)的問(wèn)題： 1). BP算法的學(xué)習(xí)速度很慢 2). 網(wǎng)絡(luò)訓(xùn)練失敗的可能性較大 3). 難以解決應(yīng)用問(wèn)題的實(shí)例規(guī)模和網(wǎng)絡(luò)規(guī)模間的矛 盾 4). 網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無(wú)一種統(tǒng)一而完整的理論指導(dǎo)， 一般只能由經(jīng)驗(yàn)選定 5). 新加入的樣本要影響已學(xué)習(xí)成功的網(wǎng)絡(luò)，而且刻 畫(huà)每個(gè)輸入樣本的特征的數(shù)目也必須相同 6). 網(wǎng)絡(luò)的預(yù)測(cè)能力（也稱泛化能力、推廣能力）與 訓(xùn)練能力（也稱逼近能力、學(xué)習(xí)能力）的矛盾 23 3BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn) 1). 增加“慣性項(xiàng) 2). 采用動(dòng)態(tài)步長(zhǎng) 3). 與其他全局搜索算法相結(jié)合 4). 模擬退火算法 目前在神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中，基于梯度的算法都不能

10、從理 論上保證收斂結(jié)果是全局最優(yōu)的。 24 3.2.4 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 可以任意逼近一個(gè)緊集上的任意函數(shù)這一特點(diǎn)是神 經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用的理論基礎(chǔ)。但是，在實(shí)際應(yīng)用中， 目前尚未找到較好的網(wǎng)絡(luò)構(gòu)造方法，確定網(wǎng)絡(luò)的結(jié)構(gòu) 和權(quán)值參數(shù)，來(lái)描述給定的映射或逼近一個(gè)未知的映 射，只能通過(guò)學(xué)習(xí)來(lái)得到滿足要求的網(wǎng)絡(luò)模型。 25 神經(jīng)網(wǎng)絡(luò)訓(xùn)練的具體步驟如下 1獲取訓(xùn)練樣本集 獲取訓(xùn)練樣本集合是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的第一步，也是十分重 要和關(guān)鍵的一步。它包括訓(xùn)練數(shù)據(jù)的收集、分析、選擇和 預(yù)處理等 2選擇網(wǎng)絡(luò)類型與結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)的類型很多，需要根據(jù)任務(wù)的性質(zhì)和要求來(lái)選擇 合適的網(wǎng)絡(luò)類型。 3訓(xùn)練與測(cè)試 最后一步是利用獲取的訓(xùn)

11、練樣本對(duì)網(wǎng)絡(luò)進(jìn)行反復(fù)訓(xùn)練，直 至得到合適的映射結(jié)果。 26 3.1.1生物神經(jīng)元模型 人腦大約包含1012個(gè)神經(jīng)元，分成約1000種 類型，每個(gè)神經(jīng)元大約與102104個(gè)其他神 經(jīng)元相連接，形成極為錯(cuò)綜復(fù)雜而又靈活多 變的神經(jīng)網(wǎng)絡(luò)。每個(gè)神經(jīng)元雖然都十分簡(jiǎn)單， 但是如此大量的神經(jīng)元之間、如此復(fù)雜的連 接卻可以演化出豐富多彩的行為方式。同時(shí)， 如此大量的神經(jīng)元與外部感受器之間的多種 多樣的連接方式也蘊(yùn)含了變化莫測(cè)的反應(yīng)方 式。 27 3.1.2 人工神經(jīng)元模型 人工神經(jīng)元是利用物理器件對(duì)生物神經(jīng)元的一種模擬 與簡(jiǎn)化。它是神經(jīng)網(wǎng)絡(luò)的基本處理單元。如圖所示為 一種簡(jiǎn)化的人工神經(jīng)元結(jié)構(gòu)。它是一個(gè)多輸入、單輸 出的非線性元件。 28 其輸入、輸出關(guān)系可描述為 其中， 是從其他神經(jīng)元傳來(lái)的輸入信號(hào)； 表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)系數(shù)； 為閾值； 稱為輸出變換函數(shù)。 29 n j ijiji xwI 1 )( ii Ify )n ,j(xj 21 ij w i )(f 30 3.1.3 人工神經(jīng)網(wǎng)絡(luò)模型 人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來(lái)模擬人腦神經(jīng)元網(wǎng) 絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元可以構(gòu)成各 種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)的一 種模擬和近似。就神經(jīng)網(wǎng)絡(luò)的主要連接型式而言，目 前