bp網(wǎng)絡(luò)學(xué)習(xí)算法研究及其圖像模式識別應(yīng)用_戴永偉

1、文章編號：1006-2475(2006)11-0067-()4bp網(wǎng)絡(luò)學(xué)習(xí)算法研究及其圖像模式識別應(yīng)用戴永偉，雷志勇(西安工業(yè)大學(xué)電信學(xué)院，陜西西安710032)摘要:bp神經(jīng)網(wǎng)絡(luò)的訓(xùn)練性能主要包括收斂速度和收斂精度等方而，該訓(xùn)練性能在很大程度上取決于所選擇的網(wǎng)絡(luò)學(xué)習(xí)算 法。本文針對模式識別應(yīng)用領(lǐng)域，通過實例，運用matlab編程對部分較好的網(wǎng)絡(luò)學(xué)習(xí)算法的訓(xùn)練性能進行了比較研究，給 出了模式識別應(yīng)用過程中bp網(wǎng)絡(luò)學(xué)習(xí)算法的選擇依據(jù)。在此基礎(chǔ)上，運用bp網(wǎng)絡(luò)編程實現(xiàn)了對常見單位符號圖像目標(biāo) 的模式識別，并通過識別算法的實現(xiàn)過程，分析了用bp網(wǎng)絡(luò)進行圖像目標(biāo)模式識別的具體思路和方法。關(guān)鍵詞:bp神

2、經(jīng)網(wǎng)絡(luò);學(xué)習(xí)算法;訓(xùn)練性能;模式識別；matlab編程中圖分類號:tp 183文獻標(biāo)識碼:aresearch on bp network learning algorithm and application in picture pattern-recognitiondai yong-wei ,lei zhi-yong(electronic and information institute , industry university of xi' an, xi1 an 710032, china)abstract:training performance of bp neural n

3、etwork includes convergence precision and convergence rate and depends on the learning algoriihm chosen to a great extenl.aiming al pallern-recognition application, with matlab programming tool , this paper studies the training performance of some learning algorithms through comparison and offers th

4、e choice basis of learning algorithms in pattern- reco莒nilion field on this basis , this paper offers a kind of programming realization of using bp network to recognize the picture objects of common unit symbols.furthcr, through the realization course of the recognition algorithm, this paper analyse

5、s the concrete thinking and method of using bp network in pattern-recognition application of picture objects.key words：bp neural network；leaming algorithm；training performance ；pattern-recognition ；m atlab programming1 bp神經(jīng)網(wǎng)絡(luò)算法原理1.1 bp網(wǎng)絡(luò)結(jié)構(gòu)及運算機制輸入層隔層 輸出層圖1三層bp神經(jīng)網(wǎng)絡(luò)bp網(wǎng)絡(luò)由輸入層i、隱含層j、輸出層k及各層之0引言bp神經(jīng)網(wǎng)絡(luò)是由眾多的

6、神經(jīng)元經(jīng)可調(diào)的連接權(quán)值 連接而成，其結(jié)構(gòu)簡單，可操作性強，能模擬任意的非 線性輸入輸出關(guān)系，廣泛應(yīng)用于函數(shù)逼近、模式識 別、分類、數(shù)據(jù)壓縮等領(lǐng)域。模式識別是指在面對某 一事物時將其正確地歸入某一類別。模式識別系統(tǒng)一 般都由設(shè)計和實現(xiàn)兩個過程組成。設(shè)計是指用一定量 的樣本進行分類器的設(shè)計，實現(xiàn)是指用所設(shè)計的分類 器對待識別的樣本進行分類決策。這兩個過程分別對 應(yīng)于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和識別應(yīng)用。在具體的模式識別 應(yīng)用訓(xùn)練過程中，bp網(wǎng)絡(luò)的學(xué)習(xí)收斂速度及收斂精 度跟所選擇的學(xué)習(xí)算法密切相關(guān)。間的節(jié)點連接權(quán)所組成，其拓撲結(jié)構(gòu)如圖1所示。網(wǎng)作者簡介:戴永偉(1981-),男，山東濟寧人 汕安工業(yè)大學(xué)電信學(xué)院

7、碩士研究:豈 研究方向:圖像處理，模式識別。21994-2014 china academic journal electronic publishing house. all rights reserved, 68絡(luò)的學(xué)習(xí)過程由信息正向傳播和誤差反向傳播構(gòu)成:(1) 正向傳播過程:輸入信息從輸入層經(jīng)隱含層逐層處理，傳 向輸出層。若輸岀層的實際輸出與期望的輸出不符，則轉(zhuǎn)入誤與現(xiàn)代化2006年笫11期rprop算法在進行權(quán)值的修止時，僅僅用到梯度的符號，而權(quán)值人小的改變?nèi)Q于與幅值無關(guān)的修止值。當(dāng)連續(xù)兩次迭代差的反向傳播。 輸入層:輸入值一般為樣本各分量輸入值，輸出值一般等 于輸入值。 隱含層:

8、對于節(jié)點j,其輸入值ne(j為其前一層各節(jié)點輸 出值o j的加權(quán)和；netj =wijoi(1)i輸出值為:oj =fs(netj)式中6(*)稱為激勵函數(shù)或作用函數(shù)，一般采用sigmoid 函數(shù)。隠含層可為一層或多層。 輸岀層:輸出層的輸入netk和輸出ok與隱含層類似。(2) 反向傳播過程:運用鏈導(dǎo)數(shù)法則將連接權(quán)關(guān)于誤差函數(shù)的 導(dǎo)數(shù)沿原來的連接通路返冋，通過修改各層的權(quán)值使得誤差函 數(shù)減小。設(shè)網(wǎng)絡(luò)輸入模式樣本為xp =xp.,期望輸出為tpk,對 于所有的學(xué)習(xí)樣本，系統(tǒng)的均方謀差為：19e= z(lpki> k為了達到學(xué)習(xí)目的，要根據(jù)誤差函數(shù)來相應(yīng)地調(diào)整網(wǎng)絡(luò)的 連接權(quán)值，標(biāo)準(zhǔn)bp學(xué)習(xí)

9、算法采用最速梯度下降法調(diào)整權(quán)值， 輸出層的權(quán)值調(diào)節(jié)公式：wjk(t+1 )=wjk(t)+awjk(4)wjk =-r)=r)6koj(5)wjk6k =(tk -ok)ok(l-ok)(6)式中:0 <r)< 1,稱為學(xué)習(xí)率。隱層權(quán)值調(diào)節(jié)公式與輸出層類似。1 .2 標(biāo)準(zhǔn)bp算法即最速梯度下降算法的不足 最速梯度下降算法，可以使權(quán)值和閾值向量得 到一個穩(wěn)定的解，但存在一些缺點，如收斂速度慢，網(wǎng) 絡(luò)易陷入局部極小，學(xué)習(xí)過程常常發(fā)生震蕩等。2 bp網(wǎng)絡(luò)改進學(xué)習(xí)算法1 動量bp算法。動量bp算法在梯度下降算法的基礎(chǔ)上引入動童因子，以 前一次的修正結(jié)果來影響本次修正量。-方而當(dāng)前一次的修正

10、 量過大時，算法使本次修正量減少，以保持修正方向向著收斂的 方向進行;另一方面，該算法總是加速同一梯度上的修正量。2 .學(xué)習(xí)率可變的bp算法。在訓(xùn)練的過程中，該算法使學(xué)習(xí)的步長盡童地大，學(xué)習(xí)率則 根據(jù)局部i吳差曲面進行和應(yīng)的調(diào)整。當(dāng)蟆差以減小的方式趨于 目標(biāo)時，學(xué)習(xí)率增加，進而步長增加;而當(dāng)誤差增加超過事先設(shè) 定值時，該算法使學(xué)習(xí)率減少，從而步長減小，同時舍去前一次 修正過程。3 .彈性bp算法。小，從而克服梯度幅度偏導(dǎo)的不利影響。4 .變梯度算法。最速梯度下降算法是沿著梯度最陡卜降方向修止權(quán)值的，輸入為印刷體數(shù)字8x8的二值圖像，輸出為09的數(shù) 值量，毎個數(shù)字的訓(xùn)練集均包含有不同字體、字號的

11、9個訓(xùn)練 樣木;待識別職包會64個輸入兀，嚴(yán)警神經(jīng)網(wǎng)絡(luò),隱這時，雖然誤差函數(shù)的誤差值減小的速度是最快的，但收斂的速 度不一定是最快的。而變梯度算法，沿著變化的方向進行搜索, 使其收斂速度更快。變梯度算法的第一次迭代沿最陡梯度下降 方向開始搜索，然后，決定最佳距離的線性搜索沿著當(dāng)前搜索的 方向進行。當(dāng)前的搜索方向，由上一次迭代的梯度和搜索方向 共同決定。5 .擬牛頓算法。牛頓法是一種棊于二階泰勒級數(shù)的快速優(yōu)化算法。其慕本 方法是：x(t+l)=x(t)-a_1(t)g(t)(7)式中:a為謀差性能函數(shù)在當(dāng)前權(quán)值和閾值下的矩陣(二階 導(dǎo)數(shù))。牛頓法需要計算hessian矩陣，付出的代價比較大。擬牛

12、 頓法，用近似值來修止hessian矩陣，修止值被看成梯度的函數(shù), 從而節(jié)省了計算時間。6 .lm算法。當(dāng)誤差性能函數(shù)具有平方和誤差的形式時，hessian矩陣 可以近似表示為：th=j j(8)梯度的計算表達式為：g=j'e(9)式中:h是包含網(wǎng)絡(luò)誤差性能函數(shù)對權(quán)值和閾值一階導(dǎo) 數(shù)的雅可比矩陣，是網(wǎng)絡(luò)的誤差向量。lm算法用上述近似 hessian矩陣按下式進行修正：t -i tx(t+l)=x(t)-j j+pi j c(10)3基于模式識別應(yīng)用域的bp學(xué)習(xí)算法 訓(xùn)練性能分析下面通過實例，對上述bp網(wǎng)絡(luò)學(xué)習(xí)算法在模式識 別應(yīng)用域的訓(xùn)練性能進行比較分析研究。為了體現(xiàn)比較 的全面性和通用

13、性，本文依據(jù)網(wǎng)絡(luò)規(guī)模選取了三類模式 識別實例，第一類網(wǎng)絡(luò)包含有兒十個權(quán)值，第二類網(wǎng)絡(luò) 包含有數(shù)百個權(quán)值，第三類包含有數(shù)千個權(quán)值。下面對 各實驗的實驗條件及結(jié)果分別介紹如下：實例一兩類模式識別。輸入目標(biāo)向量為：1 2 14 ；-1 1 2 4；-2 1 2 3；-4 0 2 5；輸出目標(biāo)向量為:0 .2 0.8 0.8 0 .2；待識別向最包含4個輸入元素，選用炳層神經(jīng)網(wǎng)絡(luò)，隱層 神經(jīng)元個數(shù)為9 ,輸出層神經(jīng)元個數(shù)為1 ；隱層和輸出層采川 的傳輸函數(shù)均為logsig ,蟆差性能函數(shù)為均方謀差性能函數(shù)，權(quán) 值和閾值的調(diào)整函數(shù)為trains；訓(xùn)練的最大步長值為5000,誤差 性能目標(biāo)值為0.001

14、,學(xué)習(xí)率為0 .08。實例二卬刷體字符09的識別。2006年第11期戴永偉等:bp網(wǎng)絡(luò)學(xué)習(xí)算法研究及其圖像模式識別應(yīng)用層神經(jīng)元個數(shù)為1&輸出層神經(jīng)元個數(shù)為1；隱層和輸出層采用 的傳輸函數(shù)分別為sigmoid和pureline .謀差性能函數(shù)為均方的待識別單位符號集具體為£ $ £ cc問kf面將具體介紹識別算69°c %o 莎mglectronic publishii謀差性能函數(shù)，權(quán)值和閾值的調(diào)整函數(shù)為trains；vii練的最大步 長值為250(),課差性能目標(biāo)值為0.001,學(xué)習(xí)率為0 .05。實例三印刷體大寫英文字母az的識別。輸入為印刷體大寫英文字

15、母16 xi6的二值圖像，輸岀為025的數(shù)值量，每個符號的訓(xùn)練集均包含有不同字體、字號的9個訓(xùn)練樣本;待識別向量包含256個輸入元素，選川兩層神經(jīng)網(wǎng)絡(luò)，隱層神經(jīng)元個數(shù)為25,輸出層神經(jīng)元個數(shù)為1 ；其他實驗 條件同實例二。三個實例的實驗結(jié)果總結(jié)如表1所示。表1模式識別應(yīng)用中bp學(xué)習(xí)算法訓(xùn)練性能實驗對比訓(xùn)練函數(shù)bp算法實例-實例二實例三收斂精度s收斂精度訓(xùn)練 次數(shù)traingd標(biāo)準(zhǔn)bp34110 .99%o25000 .9x%o235o.96%otraingdm動雖bp3200 .99%o25002 .87%o250()397%otraingda變學(xué)習(xí)率標(biāo)準(zhǔn)bp800 .96%o240()0 .

16、99%o2750 .99%otraingdx變學(xué)習(xí)率動雖bp830 .95%o5210 .99%o1210 .97%otrainrp艸性bp160 .51%o1120 .99%o28o.52%otraincgf變梯度f-r修正70 .5x%o670 .96%o320 .7()%otrainscg變梯度scg算法50 .42%o700 .9()%o3()o.88%otrainbfg擬牛頓bfgs算法150 .59%o510 .97%o訓(xùn)練失敗無trainoss擬牛頓oss算法150 .8x%o1190 .99%o500 99%0trainlmlm算法605%o110 .26%o訓(xùn)練失敗無由上述實

17、驗數(shù)據(jù)可知，在模式識別領(lǐng)域，所選 擇的學(xué)習(xí)算法的訓(xùn)練性能不僅和學(xué)習(xí)算法的類別有 關(guān),而且和所構(gòu)造bp網(wǎng)絡(luò)的網(wǎng)絡(luò)規(guī)模密切相關(guān)。 在網(wǎng)絡(luò)規(guī)模比較小時，彈性bp算法、變梯度算 法、擬牛頓算法和lm算法都有較好的訓(xùn)練性 能。但隨著網(wǎng)絡(luò)規(guī)模的變大，彈性bp算法和變梯 度算法的性能依舊比較好，而擬牛頓算法和lm算 法的訓(xùn)練性能則開始下降甚至訓(xùn)練失敗。本文分析 認為，擬牛頓算法和lm算法的訓(xùn)練性能之所以隨 著網(wǎng)絡(luò)規(guī)模的變大而開始下降，這是與它們的算法 原理分不開的，這兩種算法都是以近似二階訓(xùn)練速 率對權(quán)值進行修正，它們雖然用近似值的計算來代 替了 hessian矩陣的計算，但其近似值的計算量仍 比較大，而且

18、對存儲空間的要求較高。網(wǎng)絡(luò)規(guī)模越 大，它們的這種存儲和計算需求也越明顯。4常見單位符號的圖像冃標(biāo)模式識別算 法matlab編程實現(xiàn)依據(jù)上述bp學(xué)習(xí)算法訓(xùn)練性能的比較結(jié)論, 本文選用彈性bp算法設(shè)計并編程實現(xiàn)了常見單位 符號圖像目標(biāo)的神經(jīng)網(wǎng)絡(luò)模式識別算法。本文選取法的原理及實現(xiàn)步驟，與此同時分析并闡述用bp 網(wǎng)絡(luò)進行圖像目標(biāo)模式識別的具體思路和方法。(1) 圖像的預(yù)處理。預(yù)處理是為圖像目標(biāo)特征的提取做準(zhǔn)備，所選用的圖像目 標(biāo)識別特征不同，所用的圖像預(yù)處理算法也不同。本識別并法 選取了單位符號圖像li標(biāo)的灰度特征作為識別特征，其所采用 的棊本預(yù)處理方法為:將待識別圖像轉(zhuǎn)化為灰度圖像，對圖像進行 二

19、值化，分離出背景和圖像目標(biāo)，截取圖像目標(biāo)的最大矩形區(qū)域, 將此區(qū)域的圖像經(jīng)過集合變換，使之變成n x n的二值圖像 (其中n值可根據(jù)圖像具體情況進行選取，它決定了圖像目標(biāo)特 征集的維數(shù)，木算法中選取n為16)；該部分的主要實現(xiàn)代碼如下：x=imread(m，bmp');bw =im2bw(x , 0 .5)；i, j =find(bw=o)；bwl=bw(imin：imax , jmin :jmax)；rate =n/max(size(bwl);bw 1 =imresize(bw 1 , rate);i, j =size(bwl);p1(i1 + 1:i1+i, jl + 1：j1+j

20、)=bwl ； p1=-1.*pl+ones(16, 16)；(2) 圖像冃標(biāo)特征的提取即網(wǎng)絡(luò)訓(xùn)練樣本集的構(gòu)建。對于圖 像目標(biāo)來說，它的圖像特征有許多種，諸如:色彩、亮度、面積、形狀、長寬比等，我們所選擇的識別特征矢量集 應(yīng)由圖像目標(biāo)的典型特征構(gòu)成，對于不同的應(yīng)用場合，其所選 取的圖像目標(biāo)的典型特征是不固定的。本算法選取了圖像目 標(biāo)的灰度特征作為識別特征，用n xn維的圖像目標(biāo)灰度值構(gòu) 成訓(xùn)練樣木集的輸入矢最;該部分的實現(xiàn)代碼如下：for m =0 :n-1p(m*n +l：(m+l)*n)=pl(l :n , m+1 )；t =m ；上述代碼只是提取了一個訓(xùn)練樣本，將上述算法應(yīng)用于不 同單位

21、符號的不同圖像的特征提取，便可以形成一個訓(xùn)練樣本 集；(3) 構(gòu)造bp神經(jīng)網(wǎng)絡(luò)，并根據(jù)訓(xùn)練樣木集對其進行訓(xùn)練。在構(gòu) 造bp神經(jīng)網(wǎng)絡(luò)時，訓(xùn)練函數(shù)根據(jù)第3部分的函數(shù)訓(xùn)練性能 實驗結(jié)論進行選取，對于網(wǎng)絡(luò)的傳輸函數(shù)、權(quán)值調(diào)節(jié)函 數(shù)、隱層神經(jīng)元個數(shù)以及訓(xùn)練參數(shù)等，它們的選取應(yīng)根據(jù)具體 的實際情況進行確定。本算法中選用兩層神經(jīng)網(wǎng)絡(luò):隱層神經(jīng) 元個數(shù)為25,輸出層神經(jīng)元個數(shù)為1 ；隱層和輸出層采用的傳 輸函數(shù)分別為sigmoid和pureline ,謀差性能函數(shù)為均方謀差 性能函數(shù)，權(quán)值和閾值的調(diào)整函數(shù)為trains；ijll練的最大步長值 為2500,誤差性能冃標(biāo)值為0 .001 ,學(xué)習(xí)率為0 .05。該

22、 部分的主要實現(xiàn)代碼如下：net = newit (pr , i 25 , ,logsighpurelin/trainq?7 learngdm');net .trainparain .epochs=2500；net .trainparam .goal =0.001 ；net =train(net, p, t)；save netl net;house. air ghts reserved, 70(4) bp神經(jīng)網(wǎng)絡(luò)的識別應(yīng)用。將待識別的測試樣本向屋輸入己訓(xùn)練完畢的bp網(wǎng)絡(luò)，輸 出識別結(jié)杲；a , pf, af =sim(net, p)；a =round(a)上面便是整個算法的matlab

23、編程實現(xiàn)過程。對該算法程 序進行識別仿真實驗后發(fā)現(xiàn)，該算法對常見單位符號測試樣本 集具有良好的識別效杲，特別是對印刷體符號測試樣木，識別率 達到了 95%,對非印刷體測試樣本識別率也達到85%以上。5總結(jié)與展望本文對模式識別領(lǐng)域bp學(xué)習(xí)算法的訓(xùn)練性能給 出了比較性結(jié)論，在此基礎(chǔ)上編程實現(xiàn)了常見單位符 號圖像冃標(biāo)的bp網(wǎng)絡(luò)識別算法，并結(jié)合該算法對應(yīng) 用bp網(wǎng)絡(luò)進行圖像目標(biāo)模式識別的具體思路和方法 進行了分析和闡述。對于圖像目標(biāo)的模式識別來說， 它是一個整體性的實現(xiàn)過程，包括圖像預(yù)處理、特征 空間選擇與提取、識別算法等環(huán)節(jié)，各個環(huán)節(jié)相互依 賴，相互協(xié)作，而其中乂以識別算法的選擇為中心應(yīng)用 環(huán)節(jié)。對

24、于bp神經(jīng)網(wǎng)絡(luò)來說，它是整體性的網(wǎng)絡(luò)系 統(tǒng)，其網(wǎng)絡(luò)的整體性能決定于網(wǎng)絡(luò)結(jié)構(gòu)、隱層結(jié)點數(shù)、學(xué)習(xí)函數(shù)選擇等許多方面，而英中又以學(xué) 習(xí)函數(shù)的選擇最為核心關(guān)鍵。我們在研究圖像目標(biāo) bp網(wǎng)絡(luò)模式識別算法的過程中，應(yīng)當(dāng)根據(jù)具體應(yīng) 用背景與條件，將模式識別過程的整體性和網(wǎng)絡(luò)性能 的整體性結(jié)合起來進行考慮。本文從網(wǎng)絡(luò)訓(xùn)練性能 的角度出發(fā)，研究比較了 bp學(xué)習(xí)算法的性能，下 一步還需從提高網(wǎng)絡(luò)系統(tǒng)的整體性能著手，突出解 決網(wǎng)絡(luò)結(jié)構(gòu)、隱層結(jié)點數(shù)、學(xué)習(xí)函數(shù)選擇等環(huán)節(jié)的 組合協(xié)作及優(yōu)化問題。參考文獻：i 周開紅，康縫紅神經(jīng)網(wǎng)絡(luò)模型及其matlab仿真程序設(shè)計m.北京:清華大學(xué)出版社，2005 .2 r hecht n

25、ielsen.theory of the back propagation neural net work j .proc .of ijcnn , 1989(1).3 邊肇祺，張學(xué)工.模式識別m.北京:清華大學(xué)出版社， 1999.4 王永驥，涂鍵.神經(jīng)元網(wǎng)絡(luò)控制m.北京:機械工業(yè)出版tt, 1998.5 樓順天，施陽.基于matlab的系統(tǒng)分析與設(shè)計神經(jīng)網(wǎng)絡(luò)m.西安灑安電子科技大學(xué)出版社，1998 .4結(jié)束語2006年笫11期(上接第32頁)新加入的peer使川該peer的身份標(biāo)識uuid作為管道的名字 創(chuàng)建jxtascrvcrsockct等待莫他peer的連接。將該管道廣 告進行本地和遠程發(fā)布。(2) 新加入的peer使用點組成員資格服務(wù)獲得點組其他成員 的名字，和成員對應(yīng)的身份標(biāo)識。(3) 選擇希望建立群體通信的成員，使用對應(yīng)成員的身份標(biāo)識 也就是該成員創(chuàng)建的管道建立和其他希望建立群體通信的成員 之間的雙向通信。(4) 將需要發(fā)送的消息按照預(yù)先規(guī)定的協(xié)議格式化處理并發(fā) 送。圖4反映了點組內(nèi)多個成員使用上血群組通信 的算法進行協(xié)同繪圖。chat drawmoved af 138,87-lai x|moved at (138.87|圖4點組成員協(xié)同繪圖和開放性等特點,jxta的應(yīng)用越來越廣，更加突出了 jx