基于BP神經(jīng)網(wǎng)絡(luò)的英文字母識(shí)別

基于BP神經(jīng)網(wǎng)絡(luò)的英文字母識(shí)別摘要：本報(bào)告主要介紹了利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行英文字母的識(shí)別，并在模式識(shí)別的過(guò)程中考慮了噪聲干擾的存在，能夠使得網(wǎng)絡(luò)具有一定的容錯(cuò)能力，用MATLAB模擬實(shí)現(xiàn)英文字母的識(shí)別結(jié)果。關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)，模式識(shí)別，噪聲干擾，MATLAB1、 模式識(shí)別與BP神經(jīng)網(wǎng)絡(luò)1.1模式識(shí)別與神經(jīng)網(wǎng)絡(luò)的特點(diǎn)1.1.1 模式識(shí)別的基本原理模式識(shí)別系統(tǒng)的結(jié)構(gòu)如圖1所示，下面對(duì)各部分進(jìn)行簡(jiǎn)要說(shuō)明。圖1 模式識(shí)別系統(tǒng)的構(gòu)成（1）信息獲?。簽榱耸褂?jì)算機(jī)能夠?qū)Ω鞣N現(xiàn)象進(jìn)行分類(lèi)識(shí)別，要用計(jì)算機(jī)可以運(yùn)算的符號(hào)來(lái)表示所研究的對(duì)象。通常輸入對(duì)象的信息有二維圖像、一維波形、物理參量和邏輯值三種類(lèi)型。通過(guò)測(cè)量采樣和量化，可以用矩陣或向量表示二維圖像或一維波形。這就是數(shù)據(jù)獲取的過(guò)程。（2）預(yù)處理：去噪聲，提取有用信息，并對(duì)輸入測(cè)量?jī)x器或其它因素所造成的退化現(xiàn)象進(jìn)行復(fù)原（3）特征值提取與選擇：由圖像或波形所獲得的數(shù)據(jù)量是相當(dāng)大的。例如，一個(gè)文字圖像可以有幾千個(gè)數(shù)據(jù)，一個(gè)衛(wèi)星遙感圖像的數(shù)據(jù)量就更大。為了有效的實(shí)現(xiàn)分類(lèi)識(shí)別，就要對(duì)原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類(lèi)本質(zhì)的特征1。1.1.2 神經(jīng)網(wǎng)絡(luò)的特點(diǎn)（1） 它具有自組織和自學(xué)習(xí)能力，能夠直接輸入數(shù)據(jù)并進(jìn)行學(xué)習(xí)。（2） 神經(jīng)網(wǎng)絡(luò)具有推廣能力。（3） 網(wǎng)絡(luò)是非線(xiàn)性的，即它可以找到系統(tǒng)輸入變量之間復(fù)雜的相互作用。1.2 BP神經(jīng)網(wǎng)絡(luò)1.2.1 BP網(wǎng)絡(luò)簡(jiǎn)介20世紀(jì)80年代中期，學(xué)者Rumelhart、McClelland和他們的同事提出了多層前饋網(wǎng)絡(luò)MFNN(Mutltilayer Feedforward Neural Networks)的反向傳播學(xué)習(xí)算法，簡(jiǎn)稱(chēng)BP網(wǎng)絡(luò)(Back Propagation Network)學(xué)習(xí)算法2。BP 神經(jīng)網(wǎng)絡(luò)是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。其由輸入層、中間層、輸出層組成的階層型神經(jīng)網(wǎng)絡(luò)，中間層可擴(kuò)展為多層。相鄰層之間各神經(jīng)元進(jìn)行全連接，而每層各神經(jīng)元之間無(wú)連接，網(wǎng)絡(luò)按有教師示教的方式進(jìn)行學(xué)習(xí)，當(dāng)一對(duì)學(xué)習(xí)模式提供給網(wǎng)絡(luò)后，各神經(jīng)元獲得網(wǎng)絡(luò)的輸入響應(yīng)產(chǎn)生連接權(quán)值（Weight）。然后按減小希望輸出與實(shí)際輸出誤差的方向，從輸出層經(jīng)各中間層逐層修正各連接權(quán)，回到輸入層。此過(guò)程反復(fù)交替進(jìn)行，直至網(wǎng)絡(luò)的全局誤差趨向給定的極小值，即完成學(xué)習(xí)的過(guò)程。BP網(wǎng)絡(luò)主要作用于以下幾個(gè)方面：(1)函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個(gè)網(wǎng)絡(luò)來(lái)逼近一個(gè)函數(shù)；(2)模式識(shí)別：用一個(gè)特定的輸出矢量將它與輸入矢量聯(lián)系起來(lái)；(3)分類(lèi)：把輸入矢量以所定義的合適的方式進(jìn)行分類(lèi)；(4)數(shù)據(jù)壓縮：減少輸出矢量的維數(shù)以便于數(shù)據(jù)傳輸或存儲(chǔ)。1.2.2 BP網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)是一種單向傳播的多層前向網(wǎng)絡(luò)，每一層節(jié)點(diǎn)的輸出只影響下一層節(jié)點(diǎn)的輸出，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，其中X和Y分別為網(wǎng)絡(luò)輸入、輸出向量，每個(gè)節(jié)點(diǎn)表示一個(gè)神經(jīng)元。網(wǎng)絡(luò)是由輸入層、隱層和輸出層節(jié)點(diǎn)構(gòu)成，隱層節(jié)點(diǎn)可為一層或多層，同層節(jié)點(diǎn)沒(méi)有任何耦合，前層節(jié)點(diǎn)到后層節(jié)點(diǎn)通過(guò)權(quán)連接。輸入信號(hào)從輸入層節(jié)點(diǎn)依次傳過(guò)各隱層節(jié)點(diǎn)到達(dá)輸出層節(jié)點(diǎn)。圖2 BP神經(jīng)網(wǎng)絡(luò)模型1.2.3 BP網(wǎng)絡(luò)算法思想BP算法的基本思想是，學(xué)習(xí)過(guò)程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過(guò)程組成。正向傳播時(shí)，輸入樣本從輸入層傳入。經(jīng)各層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望的輸出（教師信號(hào)）不符，則轉(zhuǎn)入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過(guò)隱層向輸入層逐層反傳、并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)，此誤差信號(hào)即作為修正各單元權(quán)值的依據(jù)。這種信號(hào)正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過(guò)程，是周而復(fù)始的進(jìn)行的。權(quán)值不斷調(diào)整的過(guò)程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程。此過(guò)程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。2、 字母識(shí)別問(wèn)題的描述模式識(shí)別應(yīng)用的領(lǐng)域非常廣泛，其中字母識(shí)別是常研究的一個(gè)課題。而對(duì)英文字母的識(shí)別方法也很多，由于條件不同解決的方法也不同，這里討論利用BP神經(jīng)網(wǎng)絡(luò)對(duì)26個(gè)英文字母的識(shí)別。在對(duì)字母進(jìn)行識(shí)別之前，首先必須將字母進(jìn)行預(yù)處理3，即將待識(shí)別的26個(gè)字母中的每一個(gè)字母都通過(guò)的方格形式進(jìn)行數(shù)字化處理，其有數(shù)據(jù)的位置設(shè)為1，其他位置設(shè)為0。如圖2給出了字母A、B和C的數(shù)字化過(guò)程，然后用一個(gè)135的向量表示。例如圖3中字母A的數(shù)字化處理結(jié)果所得對(duì)應(yīng)的向量為：LetterA=01圖3 數(shù)字化字母由此可得每個(gè)字母由35個(gè)元素組成一個(gè)向量。由26個(gè)標(biāo)準(zhǔn)字母組成的輸入向量被定義為一個(gè)輸入向量矩陣alphabet，即神經(jīng)網(wǎng)絡(luò)的樣本輸入為一個(gè)3526的矩陣。其中alphabet=letterA，letterB，lettereC，letterZ。網(wǎng)絡(luò)樣本輸出需要一個(gè)對(duì)26個(gè)輸入字母進(jìn)行區(qū)分輸出向量，對(duì)于任意一個(gè)輸入字母，網(wǎng)絡(luò)輸出在字母對(duì)應(yīng)的順序位置上的值為1，其余為0，即網(wǎng)絡(luò)輸出矩陣為對(duì)角線(xiàn)上為1的2626的單位陣，定義為target=eye(26)。3、 網(wǎng)絡(luò)設(shè)計(jì) 進(jìn)行神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的首要任務(wù)就是網(wǎng)絡(luò)結(jié)構(gòu)的確定，一般情況下，網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)包括：輸入輸出神經(jīng)元個(gè)數(shù)、隱含層個(gè)數(shù)、隱含層中神經(jīng)元數(shù)目以及每層傳遞函數(shù)來(lái)確定。 （1）輸入層神經(jīng)元個(gè)數(shù) 輸入層神經(jīng)元個(gè)數(shù)根據(jù)待識(shí)別字符所提取的網(wǎng)格像素特征的維數(shù)大小確定。在本文中，要識(shí)別的字母是5*7布爾量的網(wǎng)格，因此輸入向量的元素應(yīng)該是35個(gè)。 不含噪聲的輸入向量的元素值應(yīng)該是0或1，26個(gè)不同的0、1組合代表不含噪聲的英語(yǔ)字母AZ，如不含噪的字母A，其輸入向量值為0 0 1 0 0 0 1 0 1 0 0 1 0 1 0 1 0 0 0 1 1 1 1 1 1 1 0 0 0 1 1 0 0 0 1，可用矩陣形式來(lái)示例字母A的布爾量網(wǎng)格。 （2）輸出層神經(jīng)元個(gè)數(shù) 如果神經(jīng)網(wǎng)絡(luò)用作分類(lèi)器，其類(lèi)別數(shù)為m個(gè)，那么輸出一般也就取m個(gè)神經(jīng)元。本設(shè)計(jì)是對(duì)26個(gè)英文字母進(jìn)行識(shí)別，故輸出層應(yīng)該為26個(gè)神經(jīng)元。（3）隱含層個(gè)數(shù)神經(jīng)網(wǎng)絡(luò)的許多特性正是由于隱含層的存在才具備，然而，具體取多少隱含層合適卻沒(méi)有確定的規(guī)律可循，不同的應(yīng)用對(duì)象，與其相適應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)差別很大。理論上已經(jīng)證明：具有偏差和至少一個(gè)S型隱含層加上一個(gè)線(xiàn)性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)，也即含有一個(gè)隱含層的三層BP網(wǎng)絡(luò)即可完成非線(xiàn)性函數(shù)的逼近。由于BP網(wǎng)絡(luò)的功能實(shí)際上是通過(guò)網(wǎng)絡(luò)輸入到網(wǎng)絡(luò)輸出的計(jì)算來(lái)完成的，所以多于一個(gè)隱含層的BP網(wǎng)絡(luò)雖然具有更快的訓(xùn)練速度，但在實(shí)際中需要較多的計(jì)算時(shí)間；另一方面，訓(xùn)練速度也可以通過(guò)增加隱含層神經(jīng)元數(shù)來(lái)達(dá)到。因此，可采用具有一個(gè)隱含層的三層BP神經(jīng)網(wǎng)絡(luò)。 （4）隱含層中神經(jīng)元數(shù)目在實(shí)際設(shè)計(jì)中，確定隱含層神經(jīng)元個(gè)數(shù)的辦法是:對(duì)于給定的輸入輸出模式，通過(guò)反復(fù)調(diào)試和對(duì)不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練對(duì)比得到合適的值。下面為隱含層神經(jīng)元個(gè)數(shù)選擇的經(jīng)驗(yàn)公式： 式中，h_num為隱藏層神經(jīng)元個(gè)數(shù)，i_num為輸入層神經(jīng)元個(gè)數(shù)，o_num為輸出層神經(jīng)元個(gè)數(shù)。由此公式可得本系統(tǒng)的隱含層神經(jīng)元個(gè)數(shù)h_num應(yīng)為31個(gè)。 （5）每層傳遞函數(shù)不同的神經(jīng)網(wǎng)絡(luò)其傳遞函數(shù)則不一樣，BP神經(jīng)網(wǎng)絡(luò)采用logsig函數(shù)作為傳遞函數(shù)，該函數(shù)不僅具有光滑、可微、非線(xiàn)性和飽和等特性，而且其導(dǎo)函數(shù)也很容易用本身來(lái)表達(dá)，簡(jiǎn)化了計(jì)算。其算法是： 4、 實(shí)驗(yàn)設(shè)計(jì)與驗(yàn)證 4.1實(shí)驗(yàn)設(shè)計(jì)4.1.1 生成網(wǎng)絡(luò)使用函數(shù)newff創(chuàng)建一個(gè)兩層網(wǎng)絡(luò)，具體程序?yàn)?alphabet,targets=prprob;R,Q = size(alphabet);S2,Q = size(targets);P=alphabet;S1 = 10;%隱層節(jié)點(diǎn)數(shù)net = newff(minmax(alphabet),S1 S2,logsig logsig,traingdx);net.LW2,1 = net.LW2,1*0.01;net.b2 = net.b2*0.01;T=targets;4.1.2 網(wǎng)絡(luò)訓(xùn)練為了使產(chǎn)生的網(wǎng)絡(luò)對(duì)輸入向量有一定的容錯(cuò)能力，最好的辦法是使用理想的信號(hào)（無(wú)噪聲）和帶有噪聲的信號(hào)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。使用不同信號(hào)的訓(xùn)練都是通過(guò)BP網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)的。因此，可首先進(jìn)行無(wú)噪聲網(wǎng)絡(luò)訓(xùn)練，再進(jìn)行有噪聲字母網(wǎng)絡(luò)訓(xùn)練，最后再次進(jìn)行無(wú)噪聲網(wǎng)絡(luò)訓(xùn)練4，具體程序如下：%無(wú)噪聲字符網(wǎng)絡(luò)的訓(xùn)練net.performFcn = sse; net.trainParam.goal = 0.1; net.trainParam.show = 20; net.trainParam.epochs = 5000; net.trainParam.mc = 0.95; P = alphabet;T = targets;net,tr = train(net,P,T);%具有噪聲字符網(wǎng)絡(luò)的訓(xùn)練netn=net; net.trainParam.goal = 0.6; net.trainParam.epochs = 300; T=targets targets targets targets; for pass=1:10P=alphabet+randn(R,Q)*0.1,alphabet+randn(R,Q)*0.2,alphabet+randn(R,Q)*0.1,alphabet+randn(R,Q)*0.2;netn,tr = train(netn,P,T);end%再次無(wú)噪聲網(wǎng)絡(luò)訓(xùn)練netn.trainParam.goal = 0.1; netn.trainParam.show = 5; net.trainParam.epochs = 500; P = alphabet;T = targets;netn,tr = train(netn,P,T);4.1.3 系統(tǒng)性能測(cè)試為了測(cè)試系統(tǒng)的可靠性，本文用了加入不同級(jí)別的噪聲的字母樣本作為輸入，來(lái)觀(guān)察用理想樣本和加噪樣本訓(xùn)練出來(lái)的網(wǎng)絡(luò)的性能，并繪制出誤識(shí)率曲線(xiàn)，如圖4所示。圖4 誤差識(shí)別曲線(xiàn)圖4中虛線(xiàn)代表用無(wú)噪聲訓(xùn)練網(wǎng)絡(luò)的出錯(cuò)率，實(shí)線(xiàn)代表有噪聲訓(xùn)練網(wǎng)絡(luò)的出錯(cuò)率。從圖4可以看出，在均值為00.1之間的噪聲環(huán)境下，兩個(gè)網(wǎng)絡(luò)都能夠準(zhǔn)確地進(jìn)行識(shí)別。當(dāng)所加的噪聲均值超過(guò)0.1時(shí)，待識(shí)別字符在噪聲作用下不再接近于理想字符，無(wú)噪聲訓(xùn)練網(wǎng)絡(luò)的出錯(cuò)率急劇上升，此時(shí)有噪聲訓(xùn)練網(wǎng)絡(luò)的性能較優(yōu)。系統(tǒng)性能測(cè)試程序詳見(jiàn)程序清單。4.2 實(shí)驗(yàn)驗(yàn)證對(duì)上面設(shè)計(jì)的系統(tǒng)進(jìn)行實(shí)驗(yàn)仿真驗(yàn)證，如對(duì)字母A、B、W進(jìn)行識(shí)別，識(shí)別結(jié)果如圖5所示，左側(cè)為含噪聲字母右側(cè)為成功識(shí)別的字母，程序詳見(jiàn)程序清單。圖5 字母A、B、W識(shí)別結(jié)果為更好地識(shí)別26個(gè)英文字母，測(cè)試時(shí)用加入比例為20%的噪聲的26個(gè)字母AZ作為輸入，并繪制出含有噪聲與成功識(shí)別的字母，程序詳見(jiàn)如下：noise_percent=0.2;for k=1:26 noisyChar=alphabet(:,k)+randn(35,1)*noise_percent; subplot(6,9,k+floor(k/9.5)*9); plotchar(noisyChar); de_noisyChar=sim(net,noisyChar); de_noisyChar=compet(de_noisyChar); answer=find(de_noisyChar=1); subplot(6,9,k+floor(k/9.5)*9+9); plotchar(alphabet(:,answer);endset(gcf,Position,10,60,900,700, color,w)程序運(yùn)行結(jié)果如圖6所示，奇數(shù)行是比例為20%噪聲下的字母，偶數(shù)行為成功識(shí)別的字母。圖6 英文字母識(shí)別結(jié)果圖五、結(jié)論利用BP網(wǎng)絡(luò)對(duì)有噪聲的字母進(jìn)行識(shí)別和仿真，結(jié)果表明BP神經(jīng)網(wǎng)絡(luò)既能完成特征提取又能完成分類(lèi)功能，經(jīng)過(guò)足夠多的原始樣本訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)，其容錯(cuò)性和識(shí)別性比較好。此網(wǎng)絡(luò)具有聯(lián)想記憶和抗干擾功能，對(duì)字母具有一定的辨識(shí)能力，是一種對(duì)字母識(shí)別的有效方法。參考文獻(xiàn)：1 邊肇祺,張學(xué)工等. 模式識(shí)別M. 北京: 清華大學(xué)出版, 2000.2 侯媛彬, 杜京義, 汪梅. 神經(jīng)網(wǎng)絡(luò)M.西安:西安電子科技大學(xué)出版社,2007.3 叢爽, 陸婷婷. 用于英文字母識(shí)別的三種人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)J. 儀器儀 表學(xué)報(bào), 2006,27(6):2242-2244.4 謝麗娟，丁正生，陳俏.基于BP 網(wǎng)絡(luò)的字母識(shí)別J.信息化縱橫，2009,18:68-74. 程序清單：%生成26個(gè)字母布爾值的樣本數(shù)據(jù)，使用neewff（）構(gòu)建兩層神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)取35-10-26的結(jié)構(gòu)。%（1）構(gòu)造網(wǎng)絡(luò)%*alphabet,targets=prprob;R,Q = size(alphabet);S2,Q = size(targets);P=alphabet;S1 = 10;%隱層節(jié)點(diǎn)數(shù)net = newff(minmax(alphabet),S1 S2,logsig logsig,traingdx);net.LW2,1 = net.LW2,1*0.01;net.b2 = net.b2*0.01;T=targets;%*%（2）神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)訓(xùn)練%*%無(wú)噪聲字符網(wǎng)絡(luò)的訓(xùn)練net.performFcn = sse; net.trainParam.goal = 0.1; net.trainParam.show = 20; net.trainParam.epochs = 5000; net.trainParam.mc = 0.95; P = alphabet;T = targets;net,tr = train(net,P,T);%具有噪聲字符網(wǎng)絡(luò)的訓(xùn)練netn=net; net.trainParam.goal = 0.6; net.trainParam.epochs = 300; T=targets targets targets targets; for pass=1:10P=alphabet+randn(R,Q)*0.1,alphabet+randn(R,Q)*0.2,alphabet+randn(R,Q)*0.1,alphabet+randn(R,Q)*0.2;netn,tr = train(netn,P,T);end%再次無(wú)噪聲網(wǎng)絡(luò)訓(xùn)練netn.trainParam.goal = 0.1; netn.trainParam.show = 5; net.trainParam.epochs = 500; P = alphabet;T = targets;netn,tr = train(netn,P,T);%*%（3）系統(tǒng)性能測(cè)試%*noise_range=0:.05:.5;max_test=100;network1=;network2=;T=targets;for noiselevel=noise_range %fprint(Testing networks with noise level of %.2fn,noiselevel); errors1=0; errors2=0; for i=1:max_test; P=alphabet+randn(35,26)*noiselevel; A=sim(net,P); AA=compet(A); errors1=errors1+sum(sum(abs(AA-T)/2; An=sim(netn,P); AAn=compet(An); errors2=errors2+sum(sum(abs(AAn-T)/2; end network1=network1 errors1/26/100; network2=network2 errors2/26/100;endecho onclfplot(noise_range,network1*100,-,noise_range,network2*100);title(識(shí)別誤差);xlabel(噪聲指標(biāo));ylabel(無(wú)噪聲訓(xùn)練網(wǎng)絡(luò)-有噪聲訓(xùn)練網(wǎng)絡(luò)-);%*%（4）系統(tǒng)仿真%*noisyJ = alphabet(:,1)+randn(35,1)*0.2;%對(duì)字母A加噪聲figureplotchar(noisyJ);%繪圖A2=sim