BP算法的程序?qū)崿F(xiàn)課件

3.4.3BP算法的程序?qū)崿F(xiàn)(1)初始化；

(4)計(jì)算各層誤差信號；

(5)調(diào)整各層權(quán)值；

(6)檢查是否對所有樣本完成一次輪訓(xùn)；(7)檢查網(wǎng)絡(luò)總誤差是否達(dá)到精度要求。(2)輸入訓(xùn)練樣本對X

Xp、d

dp計(jì)算各層輸出；(3)計(jì)算網(wǎng)絡(luò)輸出誤差；13.4.3BP算法的程序?qū)崿F(xiàn)(1)初始化；(4)計(jì)算各3.4.3BP算法的程序?qū)崿F(xiàn)然后根據(jù)總誤差計(jì)算各層的誤差信號并調(diào)整權(quán)值。

另一種方法是在所有樣本輸入之后，計(jì)算網(wǎng)絡(luò)的總誤差：23.4.3BP算法的程序?qū)崿F(xiàn)然后根據(jù)總誤差計(jì)算各層的誤差信3.4.4多層前饋網(wǎng)(感知器)的主要能力(1)非線性映射能力

多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對供BP網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。33.4.4多層前饋網(wǎng)(感知器)的主要能力(1)非線性映射能3.4.4多層前饋網(wǎng)(感知器)的主要能力(2)泛化能力

當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網(wǎng)的泛化能力。(3)容錯能力

輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。43.4.4多層前饋網(wǎng)(感知器)的主要能力(2)泛化能力3.4.5誤差曲面與BP算法的局限性

誤差函數(shù)的可調(diào)整參數(shù)的個數(shù)nw等于各層權(quán)值數(shù)加上閾值數(shù)，即：誤差E是nw+1維空間中一個形狀極為復(fù)雜的曲面，該曲面上的每個點(diǎn)的“高度”對應(yīng)于一個誤差值，每個點(diǎn)的坐標(biāo)向量對應(yīng)著nw個權(quán)值，因此稱這樣的空間為誤差的權(quán)空間。53.4.5誤差曲面與BP算法的局限性誤差函數(shù)3.4.5誤差曲面與BP算法的局限性誤差曲面的分布有兩個特點(diǎn)：特點(diǎn)之一：存在平坦區(qū)域

63.4.5誤差曲面與BP算法的局限性誤差曲面的分布有兩個特點(diǎn)3.4.5誤差曲面與BP算法的局限性特點(diǎn)之二：存在多個極小點(diǎn)

多數(shù)極小點(diǎn)都是局部極小，即使是全局極小往往也不是唯一的，但其特點(diǎn)都是誤差梯度為零。

誤差曲面的平坦區(qū)域會使訓(xùn)練次數(shù)大大增加，從而影響了收斂速度；而誤差曲面的多極小點(diǎn)會使訓(xùn)練陷入局部極小，從而使訓(xùn)練無法收斂于給定誤差。73.4.5誤差曲面與BP算法的局限性特點(diǎn)之二：存在多個極小點(diǎn)3.5標(biāo)準(zhǔn)BP算法的改進(jìn)標(biāo)準(zhǔn)的BP算法在應(yīng)用中暴露出不少內(nèi)在的缺陷：⑴易形成局部極小而得不到全局最優(yōu)；⑵訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；⑶隱節(jié)點(diǎn)的選取缺乏理論指導(dǎo)；⑷訓(xùn)練時學(xué)習(xí)新樣本有遺忘舊樣本的趨勢。針對上述問題，國內(nèi)外已提出不少有效的改進(jìn)算法，下面僅介紹其中3種較常用的方法。83.5標(biāo)準(zhǔn)BP算法的改進(jìn)標(biāo)準(zhǔn)的BP算法在應(yīng)用中暴露出不少內(nèi)在3.5標(biāo)準(zhǔn)BP算法的改進(jìn)1增加動量項(xiàng)α為動量系數(shù)，一般有α∈(0，1)2自適應(yīng)調(diào)節(jié)學(xué)習(xí)率

設(shè)一初始學(xué)習(xí)率，若經(jīng)過一批次權(quán)值調(diào)整后使總誤差↑，則本次調(diào)整無效，且

=β

(β<1)；若經(jīng)過一批次權(quán)值調(diào)整后使總誤差↓，則本次調(diào)整有效，且

=θ

(θ>1)。93.5標(biāo)準(zhǔn)BP算法的改進(jìn)1增加動量項(xiàng)α為動量系數(shù)，一般有α3.5標(biāo)準(zhǔn)BP算法的改進(jìn)3引入陡度因子實(shí)現(xiàn)這一思路的具體作法是，在原轉(zhuǎn)移函數(shù)中引入一個陡度因子λ103.5標(biāo)準(zhǔn)BP算法的改進(jìn)3引入陡度因子實(shí)現(xiàn)3.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)一、訓(xùn)練樣本集的準(zhǔn)備1.輸入輸出量的選擇

輸出量代表系統(tǒng)要實(shí)現(xiàn)的功能目標(biāo)，例如系統(tǒng)的性能指標(biāo)，分類問題的類別歸屬，或非線性函數(shù)的函數(shù)值等等。

輸入量必須選擇那些對輸出影響大且能夠檢測或提取的變量，此外還要求各輸入變量之間互不相關(guān)或相關(guān)性很小，這是輸入量選擇的兩條基本原則。113.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)一、訓(xùn)練樣本集的準(zhǔn)備1.輸入輸出量3.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)一、訓(xùn)練樣本集的準(zhǔn)備1.輸入輸出量的選擇從輸入、輸出量的性質(zhì)來看，可分為兩類：一類是數(shù)值變量，一類是語言變量。數(shù)值變量的值是數(shù)值確定的連續(xù)量或離散量。語言變量是用自然語言表示的概念，其“語言值”是用自然語言表示的事物的各種屬性。當(dāng)選用語言變量作為網(wǎng)絡(luò)的輸入或輸出變量時，需將其語言值轉(zhuǎn)換為離散的數(shù)值量。123.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)一、訓(xùn)練樣本集的準(zhǔn)備1.輸入輸出量3.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)一、訓(xùn)練樣本集的準(zhǔn)備2.輸入量的提取與表示(1)文字符號輸入XC=(111100111)T

XI=(111100111)T

XT=(111100111)T133.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)一、訓(xùn)練樣本集的準(zhǔn)備2.輸入量的3.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)一、訓(xùn)練樣本集的準(zhǔn)備2.輸入量的提取與表示(2)曲線輸入p=1,2,…,P143.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)一、訓(xùn)練樣本集的準(zhǔn)備2.輸入量的3.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)一、訓(xùn)練樣本集的準(zhǔn)備2.輸入量的提取與表示(3)函數(shù)自變量輸入一般有幾個輸入量就設(shè)幾個分量，1個輸入分量對應(yīng)1個輸入層節(jié)點(diǎn)。(4)圖象輸入

在這類應(yīng)用中，一般先根據(jù)識別的具體目的從圖象中提取一些有用的特征參數(shù)，再根據(jù)這些參數(shù)對輸入的貢獻(xiàn)進(jìn)行篩選，這種特征提取屬于圖象處理的范疇。153.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)一、訓(xùn)練樣本集的準(zhǔn)備2.輸入量的(1)“n中取1”表示法

“n中取1”是令輸出向量的分量數(shù)等于類別數(shù)，輸入樣本被判為哪一類，對應(yīng)的輸出分量取1，其余n-1個分量全取0。例如，用0001、0010、0100和1000可分別表示優(yōu)、良、中、差4個類別。(2)“n-1”表示法

如果用n-1個全為0的輸出向量表示某個類別，則可以節(jié)省一個輸出節(jié)點(diǎn)。例如，用000、001、010和100也可表示優(yōu)、良、中、差4個類別。3.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)一、訓(xùn)練樣本集的準(zhǔn)備3.輸出量的表示(3)數(shù)值表示法

對于漸進(jìn)式的分類，可以將語言值轉(zhuǎn)化為二值之間的數(shù)值表示。數(shù)值的選擇要注意保持由小到大的漸進(jìn)關(guān)系，并要根據(jù)實(shí)際意義拉開距離。16(1)“n中取1”表示法“n中取1”是令輸3.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)二、輸入輸出數(shù)據(jù)的歸一化

歸一化也稱為或標(biāo)準(zhǔn)化，是指通過變換處理將網(wǎng)絡(luò)的輸入、輸出數(shù)據(jù)限制在[0，1]或[-1，1]區(qū)間內(nèi)。

進(jìn)行歸一化的主要原因：①網(wǎng)絡(luò)的各個輸入數(shù)據(jù)常常具有不同的物理意義和不同的量綱，歸一化給各輸入分量以同等重要的地位；②BP網(wǎng)的神經(jīng)元均采用Sigmoid轉(zhuǎn)移函數(shù)，變換后可防止因凈輸入的絕對值過大而使神經(jīng)元輸出飽和，繼而使權(quán)值調(diào)整進(jìn)入誤差曲面的平坦區(qū)；③Sigmoid轉(zhuǎn)移函數(shù)的輸出在0~1或-1~1之間。教師信號如不進(jìn)行歸一化處理，勢必使數(shù)值大的輸出分量絕對誤差大，數(shù)值小的輸出分量絕對誤差小。173.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)二、輸入輸出數(shù)據(jù)的歸一化3.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)二、輸入輸出數(shù)據(jù)的歸一化將輸入輸出數(shù)據(jù)變換為[0，1]區(qū)間的值常用以下變換式其中，xI代表輸入或輸出數(shù)據(jù)，xmin代表數(shù)據(jù)變化的最小值，xman代表數(shù)據(jù)的最大值。將輸入輸出數(shù)據(jù)變換為[-1，1]區(qū)間的值常用以下變換式其中，xmid代表數(shù)據(jù)變化范圍的中間值。183.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)二、輸入輸出數(shù)據(jù)的歸一化將輸入輸出數(shù)3.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)三、網(wǎng)絡(luò)訓(xùn)練與測試

網(wǎng)絡(luò)的性能好壞主要看其是否具有很好