BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)3頁(yè)

1、神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）又稱連接機(jī)模型，是在現(xiàn)代神經(jīng)學(xué)、生物學(xué)、心理學(xué)等學(xué)科研究的基礎(chǔ)上產(chǎn)生的，它反映了生物神經(jīng)系統(tǒng)處理外界事物的基本過(guò)程，是在模擬人腦神經(jīng)組織的基礎(chǔ)上發(fā)展起來(lái)的計(jì)算系統(tǒng)，是由大量處理單元通過(guò)廣泛互聯(lián)而構(gòu)成的網(wǎng)絡(luò)體系，它具有生物神經(jīng)系統(tǒng)的基本特征，在一定程度上反映了人腦功能的若干反映，是對(duì)生物系統(tǒng)的某種模擬，具有大規(guī)模并行、分布式處理、自組織、自學(xué)習(xí)等優(yōu)點(diǎn)，被廣泛應(yīng)用于語(yǔ)音分析、圖像識(shí)別、數(shù)字水印、計(jì)算機(jī)視覺(jué)等很多領(lǐng)域，取得了許多突出的成果。最近由于人工神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，它已經(jīng)成為模式識(shí)別的強(qiáng)有力的工具。神經(jīng)網(wǎng)絡(luò)的運(yùn)用展開(kāi)了新

2、的領(lǐng)域，解決其它模式識(shí)別不能解決的問(wèn)題，其分類功能特別適合于模式識(shí)別與分類的應(yīng)用。BP神經(jīng)網(wǎng)絡(luò)在人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史中，很長(zhǎng)一段時(shí)間里沒(méi)有找到隱層的連接權(quán)值調(diào)整問(wèn)題的有效算法。直到誤差反向傳播算法（BP算法）的提出，成功地解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡(luò)權(quán)重調(diào)整問(wèn)題。BP (Back Propagation)神經(jīng)網(wǎng)絡(luò)，即誤差反傳誤差反向傳播算法的學(xué)習(xí)過(guò)程，由信息的正向傳播和誤差的反向傳播兩個(gè)過(guò)程組成。輸入層各神經(jīng)元負(fù)責(zé)接收來(lái)自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負(fù)責(zé)信息變換，根據(jù)信息變化能力的需求，中間層可以設(shè)計(jì)為單隱層或者多隱層結(jié)構(gòu)；最后一個(gè)隱層傳遞到輸

3、出層各神經(jīng)元的信息，經(jīng)進(jìn)一步處理后，完成一次學(xué)習(xí)的正向傳播處理過(guò)程，由輸出層向外界輸出信息處理結(jié)果。當(dāng)實(shí)際輸出與期望輸出不符時(shí)，進(jìn)入誤差的反向傳播階段。誤差通過(guò)輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱層、輸入層逐層反傳。周而復(fù)始的信息正向傳播和誤差反向傳播過(guò)程，是各層權(quán)值不斷調(diào)整的過(guò)程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過(guò)程，此過(guò)程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。BP神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)模型包括其輸入輸出模型、作用函數(shù)模型、誤差計(jì)算模型和自學(xué)習(xí)模型。多層前向BP網(wǎng)絡(luò)是目前應(yīng)用最多的一種神經(jīng)網(wǎng)絡(luò)形式, 它具備神經(jīng)網(wǎng)絡(luò)的普遍優(yōu)點(diǎn)，但它也不是非常完美的, 為了更好

4、的理解應(yīng)用神經(jīng)網(wǎng)絡(luò)進(jìn)行問(wèn)題求解, 這里對(duì)它的優(yōu)缺點(diǎn)展開(kāi)一些討論。 首先BP神經(jīng)網(wǎng)絡(luò)具有以下優(yōu)點(diǎn)： 1) 非線性映射能力：BP神經(jīng)網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個(gè)從輸入到輸出的映射功能，數(shù)學(xué)理論證明三層的神經(jīng)網(wǎng)絡(luò)就能夠以任意精度逼近任何非線性連續(xù)函數(shù)。這使得其特別適合于求解內(nèi)部機(jī)制復(fù)雜的問(wèn)題，即BP神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的非線性映射能力。 2) 自學(xué)習(xí)和自適應(yīng)能力：BP神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，能夠通過(guò)學(xué)習(xí)自動(dòng)提取輸出、輸出數(shù)據(jù)間的“合理規(guī)則”，并自適應(yīng)的將學(xué)習(xí)內(nèi)容記憶于網(wǎng)絡(luò)的權(quán)值中。即BP神經(jīng)網(wǎng)絡(luò)具有高度自學(xué)習(xí)和自適應(yīng)的能力。 3) 泛化能力：所謂泛化能力是指在設(shè)計(jì)模式分類器時(shí)，即要考慮網(wǎng)絡(luò)在保證對(duì)所需分類對(duì)象進(jìn)行正確

5、分類，還要關(guān)心網(wǎng)絡(luò)在經(jīng)過(guò)訓(xùn)練后，能否對(duì)未見(jiàn)過(guò)的模式或有噪聲污染的模式，進(jìn)行正確的分類。也即BP神經(jīng)網(wǎng)絡(luò)具有將學(xué)習(xí)成果應(yīng)用于新知識(shí)的能力。 4) 容錯(cuò)能力：BP神經(jīng)網(wǎng)絡(luò)在其局部的或者部分的神經(jīng)元受到破壞后對(duì)全局的訓(xùn)練結(jié)果不會(huì)造成很大的影響，也就是說(shuō)即使系統(tǒng)在受到局部損傷時(shí)還是可以正常工作的。即BP神經(jīng)網(wǎng)絡(luò)具有一定的容錯(cuò)能力。 鑒于BP神經(jīng)網(wǎng)絡(luò)的這些優(yōu)點(diǎn)，國(guó)內(nèi)外不少研究學(xué)者都對(duì)其進(jìn)行了研究，并運(yùn)用網(wǎng)絡(luò)解決了不少應(yīng)用問(wèn)題。但是隨著應(yīng)用范圍的逐步擴(kuò)大，BP神經(jīng)網(wǎng)絡(luò)也暴露出了越來(lái)越多的缺點(diǎn)和不足，比如： 1) 局部極小化問(wèn)題：從數(shù)學(xué)角度看，傳統(tǒng)的 BP神經(jīng)網(wǎng)絡(luò)為一種局部搜索的優(yōu)化方法，它要解決的是一個(gè)復(fù)

6、雜非線性化問(wèn)題，網(wǎng)絡(luò)的權(quán)值是通過(guò)沿局部改善的方向逐漸進(jìn)行調(diào)整的，這樣會(huì)使算法陷入局部極值，權(quán)值收斂到局部極小點(diǎn)，從而導(dǎo)致網(wǎng)絡(luò)訓(xùn)練失敗。加上BP神經(jīng)網(wǎng)絡(luò)對(duì)初始網(wǎng)絡(luò)權(quán)重非常敏感，以不同的權(quán)重初始化網(wǎng)絡(luò)，其往往會(huì)收斂于不同的局部極小，這也是很多學(xué)者每次訓(xùn)練得到不同結(jié)果的根本原因。 2) BP 神經(jīng)網(wǎng)絡(luò)算法的收斂速度慢：由于BP神經(jīng)網(wǎng)絡(luò)算法本質(zhì)上為梯度下降法，它所要優(yōu)化的目標(biāo)函數(shù)是非常復(fù)雜的，因此，必然會(huì)出現(xiàn)“鋸齒形現(xiàn)象”，這使得BP算法低效；又由于優(yōu)化的目標(biāo)函數(shù)很復(fù)雜，它必然會(huì)在神經(jīng)元輸出接近0或1的情況下，出現(xiàn)一些平坦區(qū)，在這些區(qū)域內(nèi)，權(quán)值誤差改變很小，使訓(xùn)練過(guò)程幾乎停頓；BP神經(jīng)網(wǎng)絡(luò)模型中，為了

7、使網(wǎng)絡(luò)執(zhí)行BP算法，不能使用傳統(tǒng)的一維搜索法求每次迭代的步長(zhǎng)，而必須把步長(zhǎng)的更新規(guī)則預(yù)先賦予網(wǎng)絡(luò)，這種方法也會(huì)引起算法低效。以上種種，導(dǎo)致了BP神經(jīng)網(wǎng)絡(luò)算法收斂速度慢的現(xiàn)象。 3) BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇不一：BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇至今尚無(wú)一種統(tǒng)一而完整的理論指導(dǎo)，一般只能由經(jīng)驗(yàn)選定。網(wǎng)絡(luò)結(jié)構(gòu)選擇過(guò)大，訓(xùn)練中效率不高，可能出現(xiàn)過(guò)擬合現(xiàn)象，造成網(wǎng)絡(luò)性能低，容錯(cuò)性下降，若選擇過(guò)小，則又會(huì)造成網(wǎng)絡(luò)可能不收斂。而網(wǎng)絡(luò)的結(jié)構(gòu)直接影響網(wǎng)絡(luò)的逼近能力及推廣性質(zhì)。因此，應(yīng)用中如何選擇合適的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)重要的問(wèn)題。4) 應(yīng)用實(shí)例與網(wǎng)絡(luò)規(guī)模的矛盾問(wèn)題：BP神經(jīng)網(wǎng)絡(luò)難以解決應(yīng)用問(wèn)題的實(shí)例規(guī)模和網(wǎng)絡(luò)規(guī)模間的矛盾問(wèn)題，其涉及到網(wǎng)絡(luò)容量的可能性與可行性的關(guān)系問(wèn)題，即學(xué)習(xí)復(fù)雜性問(wèn)題。 5) 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)能力和訓(xùn)練能力的矛盾問(wèn)題：預(yù)測(cè)能力也稱泛化能力或者推廣能力，而訓(xùn)練能力也稱逼近能力或者學(xué)習(xí)能力。一般情況下，訓(xùn)練能力差時(shí)，預(yù)測(cè)能力也差，并且一定程度上，隨著訓(xùn)練能力地提高，預(yù)測(cè)能力會(huì)得到提高。但這種趨勢(shì)不是固定的，其有一個(gè)極限，當(dāng)達(dá)到此極限時(shí)，隨著訓(xùn)練能力的提高，預(yù)測(cè)能力反而會(huì)下降，也即出現(xiàn)所謂“過(guò)擬合”現(xiàn)象。出現(xiàn)該現(xiàn)象的原因是網(wǎng)絡(luò)學(xué)習(xí)了過(guò)多的樣本細(xì)節(jié)導(dǎo)致，學(xué)習(xí)出的模型已不能反映樣本內(nèi)含