BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用課件

BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用主要內(nèi)容BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介BP學(xué)習(xí)算法的不足兩種BP學(xué)習(xí)算法的改進(jìn)方法基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用主要內(nèi)容BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介1BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用中分為訓(xùn)練階段和使用階段訓(xùn)練階段，是使用適當(dāng)?shù)膶W(xué)習(xí)算法調(diào)整某種結(jié)構(gòu)的網(wǎng)絡(luò)的參數(shù)，使得被訓(xùn)練的網(wǎng)絡(luò)能夠?qū)颖居泻芎玫臄M合作用。BP神經(jīng)網(wǎng)絡(luò)也包括了訓(xùn)練和使用這兩個(gè)階段。它是前饋型神經(jīng)網(wǎng)絡(luò)，采用的是BP學(xué)習(xí)算法（后向傳播學(xué)習(xí)算法）。1BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用中分為訓(xùn)練階段和使用階1BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介BP神經(jīng)網(wǎng)絡(luò)（BackPropagationFeed-forwardNeuralNetwork），即后向傳播學(xué)習(xí)的前饋型神經(jīng)網(wǎng)絡(luò)前饋型網(wǎng)絡(luò)結(jié)構(gòu)：在處理樣本的時(shí)候，前一層的輸出即為下一層的輸入反向傳播：通過(guò)比較輸出層的實(shí)際輸出和預(yù)期的結(jié)果得到誤差，然后通過(guò)相關(guān)的誤差方程式調(diào)整最后一個(gè)隱含層到輸出層之間的網(wǎng)絡(luò)權(quán)重，之后是隱含層之間權(quán)重的調(diào)整，直到輸入層與第一隱含層之間的網(wǎng)絡(luò)權(quán)重調(diào)整為止1BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介BP神經(jīng)網(wǎng)絡(luò)（BackPropagat1BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程（誤差后向傳播學(xué)習(xí)算法）1BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程2BP學(xué)習(xí)算法的不足理論上BP網(wǎng)絡(luò)能夠逼近任意非線性函數(shù)，但由于神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)中許多參數(shù)的選擇沒(méi)有理論依據(jù)，使得實(shí)際中神經(jīng)網(wǎng)絡(luò)的應(yīng)用具有局限性2BP學(xué)習(xí)算法的不足理論上BP網(wǎng)絡(luò)能夠逼近任意非線性函數(shù)，2BP學(xué)習(xí)算法的不足BP算法存在局限性與缺點(diǎn)的主要原因是其本身存在很多不足之處，主要有：學(xué)習(xí)過(guò)程收斂速度慢所得到的網(wǎng)絡(luò)容錯(cuò)能力差誤差和函數(shù)可能有局部極小值學(xué)習(xí)率不穩(wěn)定（BP算法學(xué)習(xí)速度慢、容錯(cuò)能力差、算法不完備）2BP學(xué)習(xí)算法的不足BP算法存在局限性與缺點(diǎn)的主要原因是其2BP學(xué)習(xí)算法的不足學(xué)習(xí)過(guò)程收斂速度慢BP算法是采用對(duì)樣本集進(jìn)行逐一學(xué)習(xí)的方法。設(shè)樣本集K={r1=(x1,y1),r2=(x2,y2)……rm=(xm,ym)}，BP算法是先對(duì)r1

進(jìn)行學(xué)習(xí)，利用誤差反向傳播對(duì)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行調(diào)整，知道調(diào)整后的網(wǎng)絡(luò)對(duì)應(yīng)關(guān)系（f(x)=y）滿足：f(x1)=y1

為止。利用新得的權(quán)值和閾值以及下一個(gè)樣本繼續(xù)調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值。但由于所得新的權(quán)值和閾值并不能保證前一個(gè)f(xi)=yi

成立。為了克服著個(gè)缺點(diǎn)，BP算法采用不斷反復(fù)循環(huán)學(xué)習(xí)，希望求得正確的解。由于反復(fù)循環(huán)學(xué)習(xí)過(guò)程需要較長(zhǎng)時(shí)間，這樣就導(dǎo)致了算法學(xué)習(xí)收斂速度慢。2BP學(xué)習(xí)算法的不足學(xué)習(xí)過(guò)程收斂速度慢2BP學(xué)習(xí)算法的不足誤差和函數(shù)可能有局部極小值BP算法本質(zhì)上是以誤差平方和為目標(biāo)函數(shù)，用梯度法求其最小值的算法。因此只有誤差平法和函數(shù)是正定的函數(shù)時(shí)，才能找到最小值，其他情況必然產(chǎn)生局部極小值2BP學(xué)習(xí)算法的不足誤差和函數(shù)可能有局部極小值3兩種BP學(xué)習(xí)算法的改進(jìn)方法針對(duì)BP學(xué)習(xí)算法的不足，研究者提出了多種改進(jìn)的算法，其中典型的方法有：引入動(dòng)量項(xiàng)：在權(quán)值調(diào)節(jié)公式中加入一個(gè)動(dòng)量項(xiàng)。加入的動(dòng)量項(xiàng)相當(dāng)與阻尼項(xiàng)，它減小了學(xué)習(xí)過(guò)程中的震蕩趨勢(shì)，改善了收斂性能p為輸入元素,k為訓(xùn)練次數(shù)，mc為動(dòng)量因子3兩種BP學(xué)習(xí)算法的改進(jìn)方法針對(duì)BP學(xué)習(xí)算法的不足，研究者3兩種BP學(xué)習(xí)算法的改進(jìn)方法變步長(zhǎng)法：在BP學(xué)習(xí)算法中，學(xué)習(xí)率參數(shù)不易選擇，選擇太小，收斂太慢；選擇太大，容易引起震蕩甚至發(fā)散。為解決這個(gè)問(wèn)題，可采用變步長(zhǎng)方法，也可以稱為自適應(yīng)學(xué)習(xí)速率。當(dāng)一個(gè)較大的學(xué)習(xí)速率容能夠使網(wǎng)絡(luò)穩(wěn)定學(xué)習(xí)，使誤差持續(xù)下降，則增加學(xué)習(xí)速率，使其以更大的學(xué)習(xí)速率進(jìn)行學(xué)習(xí)。一旦學(xué)習(xí)速率調(diào)得過(guò)大，而不能保證誤差繼續(xù)下降，則減少學(xué)習(xí)速率直到使其學(xué)習(xí)過(guò)程穩(wěn)定為止。3兩種BP學(xué)習(xí)算法的改進(jìn)方法變步長(zhǎng)法：在BP學(xué)習(xí)算法中，學(xué)4基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用神經(jīng)網(wǎng)絡(luò)在車牌字符識(shí)別中的應(yīng)用一種基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的字符識(shí)別系統(tǒng)，克服傳統(tǒng)BP算法最終進(jìn)化至最優(yōu)解較慢和神經(jīng)網(wǎng)絡(luò)易陷入局部極小值的權(quán)限通過(guò)采用改進(jìn)的BP算法，大大提高了識(shí)別的速度和精確度4基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用神經(jīng)網(wǎng)絡(luò)在車牌字符識(shí)別中的應(yīng)用4基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用此應(yīng)用中采用的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和設(shè)計(jì)車牌字符的特點(diǎn)：漢字（1），字母（2），字母或數(shù)字（3,4），數(shù)字（5-7）。根據(jù)此特點(diǎn)，構(gòu)造4個(gè)含一個(gè)隱含層的三層BP神經(jīng)網(wǎng)絡(luò)，分別用來(lái)識(shí)別車牌的四部分漢字：13個(gè)輸入節(jié)點(diǎn)，6個(gè)輸出節(jié)點(diǎn)字母：13個(gè)輸入節(jié)點(diǎn)，10個(gè)輸出（實(shí)際收集的樣本較少）字母或數(shù)字：13個(gè)輸入節(jié)點(diǎn)，20個(gè)輸出節(jié)點(diǎn)（10個(gè)字母，10個(gè)數(shù)字）數(shù)字：13個(gè)輸入節(jié)點(diǎn)，10個(gè)輸入節(jié)點(diǎn)4基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用此應(yīng)用中采用的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)4基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用采用13特征提取法來(lái)提取樣本的特征向量作為BP網(wǎng)絡(luò)的輸入，提取步驟：把字符平均分成8分，統(tǒng)計(jì)每一份中黑色像素點(diǎn)的個(gè)數(shù)作為8個(gè)特征統(tǒng)計(jì)水平方向中間兩列和豎直方向兩列的黑色像素點(diǎn)的個(gè)數(shù)作為4個(gè)特征統(tǒng)計(jì)所有黑的像素點(diǎn)的個(gè)數(shù)作為第13個(gè)特征4基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用采用13特征提取法來(lái)提取樣本的4基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用樣本的選擇與處理采集多個(gè)車牌圖片，選擇一部分作為訓(xùn)練樣本，剩余部分作為測(cè)試樣本將所有圖片進(jìn)行定位、預(yù)處理、分割以及歸一化等操作，使得各原始圖片變成大小都為16×16的字符圖像利用13特征法進(jìn)行特征提取，將其作為網(wǎng)絡(luò)的輸入4基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用樣本的選擇與處理4基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用識(shí)別數(shù)字的BP神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)為三層：只包含一層隱含層隱含層的神經(jīng)元數(shù)目：三層BP神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)s的經(jīng)驗(yàn)參考公式：

n,m分別為輸入輸出神經(jīng)元個(gè)數(shù)；a為1~10之間的數(shù)字4基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用識(shí)別數(shù)字的BP神經(jīng)網(wǎng)絡(luò)4基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用初始權(quán)值、傳遞函數(shù)以及參數(shù)的設(shè)定網(wǎng)絡(luò)的初始權(quán)值和閾值采用隨機(jī)選取的方式傳遞函數(shù)依次采用：transig、purelin采用附加動(dòng)量項(xiàng)法和變長(zhǎng)步法（自適應(yīng)學(xué)習(xí)效率調(diào)整法）改進(jìn)BP算法動(dòng)量因子采用：mc=0.954基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用初始權(quán)值、傳遞函數(shù)以及參數(shù)的設(shè)4基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用網(wǎng)絡(luò)輸出網(wǎng)絡(luò)的設(shè)計(jì)是為了使其輸出矢量在正確的位置上輸出為1，而在其他位置上輸出為0。然而噪聲輸入矢量可能導(dǎo)致網(wǎng)絡(luò)的1或0輸出不正確，或出現(xiàn)其他輸出值。0~9對(duì)應(yīng)的輸出表如下所示：4基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用網(wǎng)絡(luò)輸出BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用ppt課件參考文獻(xiàn)BP神經(jīng)網(wǎng)絡(luò)局限性及其改進(jìn)的研究神經(jīng)網(wǎng)絡(luò)在車牌字符識(shí)別中的應(yīng)用計(jì)算智能清華大學(xué)出版社參考文獻(xiàn)BP神經(jīng)網(wǎng)絡(luò)局限性及其改進(jìn)的研究學(xué)習(xí)動(dòng)物精神11、機(jī)智應(yīng)變的猴子：工作的流程有時(shí)往往是一成不變的，新人的優(yōu)勢(shì)在于不了解既有的做法，而能創(chuàng)造出新的創(chuàng)意與點(diǎn)子。一味地接受工作的交付，只能學(xué)到工作方法的皮毛，能思考應(yīng)變的人，才會(huì)學(xué)到方法的