（計算機軟件與理論專業(yè)論文）madaline網絡學習算法改進.pdf

摘要人工神經網絡走過了半個多世紀的曲折歷程，吸引了許多科學家在這個領域研究，成為現(xiàn)代腦神經科學，數(shù)理科學以及信息科學等綜合研究領域的共同的科學前沿之一。二進前向網絡是典型的人工神經網絡模型之一，是在模式識別和分類方面發(fā)展得最早，應用非常廣泛的一類人工神經網絡。本文首先介紹了神經網絡結構和學習算法的基本知識，進一步系統(tǒng)介紹了二進前向網絡的結構和算法研究的現(xiàn)狀。由于對二進前向網絡進行訓練的學習算法要求每層的輸入輸出均是二值，這樣就使均方誤差函數(shù)中存在許多不連續(xù)點，它們是不可導的，所以不能直接使用較為成熟的用于連續(xù)函數(shù)的l m s 算法和b p 算法等。對m a d a l i n e 這種典型的多層二進前向網絡，6 0 年代w i d r o w 和w i n t e r 提出的針對m a d a l i n e 網絡特點的m r i i( m a d a ii n er u l ei i ) 算法，本文對m r i i 算法作了深入的分析和研究，雖然m r i j 算法根據最小干擾原則思想解決了一些收斂率及收斂速度慢等不足，但還存在著權值修改公式參數(shù)較多不容易協(xié)調，經驗取值缺乏理論依據不夠靈活等缺點。針對m a d a l i n e 其輸入輸出均為離散二進制這一顯著特點，本文提出了改進后的感知機學習算法，在感知機學習規(guī)則上引入學習速率的概念，簡化了m r i i 算法權值修改公式的計算量，并對它的作用和所帶來的變化作了全面系統(tǒng)的分析研究，對學習速率與網絡收斂能力的關系，網絡收斂能力與網絡結構的關系，學習速率與信任度的關系，學習速率與結點翻轉迭代次數(shù)的關系，以及學習速率與最小干擾原則的實現(xiàn)等都做了深入仔細的探討。用c 語言編程驗證比較了改進后的算法與原m r i i 算法的學習效果，實驗結果表明本文的算法具有更好的收斂性和成功率。關鍵詞：二迸前向網絡，m a d a l i n e 網絡，m r i i 學習算法，感知機學習算法a b s t r a c tt h es t u d y o f n e u r a ln e t w o r k s h a sb e e ne v o l v i n g f o r m o r e t h a n h a l f ac e n t u r ya n d i t h a sa t t r a c t e dal a r g en a m b e ro fr e s e a r c h e r si nm a n yd i f f e r e n ta r e a s n o wn e u r a ln e t w o r k sh a v eb e c o m eac o m m o nf r o n t i e ro fe n c e p h a l o n e u r a ls c i e n c e ，m a t h e m a t i c sa n di n f o r m a t i o ns c i e n c e t h eb i n a r yf e e d f o r w a r dn e u r a ln e t w o r ki so n eo ft h em o s ti m p o r t a n tt y p e so fn e u r a ln e t w o r k s 。i tf i n d sw i d ea p p l i c a t i o ni ne n g i n e e r i n g ，s u c ha sp a t t e r nc l a s s i f i c a t i o na n dp a t t e r nr e c o g n i t i o n t h i st h e s i sf i r s ti n t r o d u c e st h eb a s i ck n o w l e d g ea b o u tt h eb i n a r yf e e d f o r w a r dn e u r a ln e t w o r k ss t r u c t u r e ，i t sl e a r n i n ga l g o r i t h ma n dt h ec u r r e n ts i t u a t i o n b e c a u s eb i n a r yf e e d f o r w a r dn e u r a ln e t w o r k sr e q u i r et h a tb o t ht h ei n p u ta n dt h eo u t p u ta r eb i n a r yt h em e a ns q u a r ee r r o rf u n c t i o nc a n tb ee m p l o y e dd u et om a n yu n c o n t i n u o u sp o i n t st h a tc a nn o tb ed i f f e r e n t i a t e d s ot h el m sa l g o r i t h ma n dt h eb pa l g o r i t h mc a nn o tb eu s e dd i r e c t l y a c c o r d i n gt ot h ec h a r a c t e r i s t i co ft h em a d e l i n e ，w i d r o wa n dw i n t e rp r e s e n tt h em r i a l g o r i t h mi n l 9 6 0 s t h et h e s i sa n a l y s e st h em r i ia l g o r i t h md e e p l ya n df i n d so u tt h a t t h ea l g o r i t h mi m p r o v et h el e a r n i n gc o n v e r g e n c ei ns o m ew a y sb yf o l l o w i n gt h ep r i n c i p l eo fm i n i m a ld i s t u r b a n c e ，b u tn o ta sas o l u t i o nt oe v e r yp r o b l e m t h ea d j u s tw e i g h tf o r m u l au s e di nm r i ia l g o r i t h mi n c l u d e sm a n yp a r a m e t e r s ，b u tm o s to ft h e mc o m ef r o me x p e r i e n c ei np r a c t i c ew i t h o u tt h e o r e t i c a lr e a s o n t h ep a r a m e t e r sa r et o om a n yt ob eh a r m o n i o u s l yc o n t r o l e d a c c o r d i n gt ot h ec h a r a c t e rt h a tb o t ht h ei n p u ta n dt h eo u t p u ta r eb i n a r y , t h et h e s i sp r e s e n t sa ni m p r o v e da l g o r i t h mt h a ti n t r o d u c e sl e a r n i n gr a t ei n t ot h ep e r c e p t i o nl e a r n i n gr u l ei no r d e rt or e d u c et h en u m b e ro ft h ep a r a m e t e r sa n ds i m p l i f yt h ec o m p u t a t i o n t h ea u t h o rs t u d i e dt h en e wa l g o r i t h mt h r o u g h l y ,i n c l u d i n gt h er e l a t i o n s h i pb e t w e e nt h el e a r n i n gr a t ea n dt h ea b i l i t yo ft h en e t w o r kc o n v e r g e n c e ，t h el e a r n i n gr a t ea n dt h en e t w o r ks t r u c t u r e ，t h el e a r n i n gr a t ea n dt h ec o n f i d e n c e ，t h el e a r n i n gr a t ea n dt h er e v e r s i o nt i m e so fn e u r o n so u t p u t ，a n dt h el e a r n i n gr a t ea n dt h ep r i n c i p l eo fm i n i m a ld i s t u r b a n c e t h ea u t h o ra l s oi m p l e m e n t st h ea l g o r i t h mi ncp r o g r a m m i n gl a n g u a g et oc o m p a r et h ep e r f o r m a n c eo ft h em r l la l g o r i t h ma n dt h en e wi m p r o v e da l g o r i t h m ，t h ee x p e r i m e n t a lr e s u l t si n d i c a t et h a tt h en e wa l g o r i t h mo b t a i n sb e t t e rp e r f o r m a n c ei nc o n v e r g e n c ea n ds u c c e s sr a t e k e y w o r d s ：b i n a r yf e e d f o r w a r dn e u r a lp e r c e p t r o nn e t w o r k s ，m a d a l i n en e t w o r k s ，m r i ia l g o r i t h m ，1 e a r n i n ga l g o r i t h m 學位論文獨創(chuàng)性聲明：本人所呈交的學位論文是我個人在導師指導下進行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標注和致謝的地方外，論文中不包含其他人已經發(fā)表或撰寫過的研究成果。與我一同工作的同事對本研究所做的任何貢獻均已在論文中作了明確的說明并表示了謝意。如不實，本人負全部責任。論文作者( 簽名) ：學位論文使用授權說明威匆鱷6 年6 月，y 日河海大學、中國科學技術信息研究所、國家圖書館、中國學術期刊( 光盤版) 電子雜志社有權保留本人所送交學位論文的復印件或電子文檔，可以采用影印、縮印或其他復制手段保存論文。本人電子文檔的內容和紙質論文的內容相一致。除在保密期內的保密論文外，允許論文被查閱和借閱。論文全部或部分內容的公布( 包括刊登) 授權河海大學研究生院辦理。論文作者( 簽名) 威鱷邳年占月咖第一章引言人工神經網絡是基于人類大腦的結構和功能而建立起來的新學科。它能在一定程度上模仿生物神經系統(tǒng)的功能，使得它在信息處理和智能學科中有著及其重要的地位。多層前向網絡是典型的人工神經網絡模型之一，也是在模式識別和分類方面發(fā)展得最早，應用非常廣泛的一類人工神經網絡模型。1 1論文的選題背景1 1 1研究的意義與動機人的智能是人自身某種屬性的體現(xiàn)，也就是說，這種屬性一定能夠從人體的結構中找到答案。人工神經網絡就是模擬人腦神經網絡的構成，以解決某些智能問題( 如識別問題) 的一種方法。神經網絡的研究對神經網絡系統(tǒng)從理論和實現(xiàn)上進行了探討和分析，已經獲得許多方面的進展和成果，提出了許多網絡模型和學習算法。對神經網絡研究，主要是確定合適的網絡結構和設計學習速度快、收斂性好的學習算法。一般來說，結構是根據所研究的領域及要解決的問題來確定的，因此對學習算法的研究就顯得更有價值。所謂學習算法就是在網絡學習過程中，不斷地調整網絡參數(shù)，直到輸出結果滿足給定的要求。一個適合網絡模型的學習算法將有效降低它的計算復雜度，提高網絡的學習能力，這無疑具有重要的理論和現(xiàn)實意義。然而，學習算法仍存在眾多不明確、不完善的地方，理論研究也有待突破。神經網絡算法能否達到全局收斂及收斂速度快慢，與算法及算法參數(shù)的選取有直接關系，而目前，大多數(shù)算法不能給出參數(shù)選定的依據。二進前向網絡是典型的人工神經網絡模型之一，是應用非常廣泛的一類人工神經網絡，在模式識別和分類方面都有較早的應用。雖然連續(xù)激活函數(shù)具有較強的計算能力，離散的激活函數(shù)在許多范圍內受到局限，然而，多層離散網絡因為能夠處理一些二值的函數(shù)而顯示出它對離散數(shù)據處理的重要性。它的計算比連續(xù)函數(shù)簡單，給神經網絡的研究提供了一個很好的起點。離散的激活函數(shù)可使得神經網絡在硬件實現(xiàn)方面的復雜度降低，從而降低了構造開銷，另外對外部噪音和對內部干擾的承受能力都較強。但是由于二進前向網絡的每一個神經元都是采用硬限幅( 非線性) 激活函數(shù)，即隱層神經元和輸出神經元都具有硬限幅特性，這些神經元的組合構成的二進前向網絡具有強非線性性質。目前，就是對于一般非線性問題，也沒有一種較好的通用的求解方法“1 。因此，二進前向網絡的學習算法1表現(xiàn)出收斂速度慢，成功機率低等缺點，仍值得進一步探討和研究。1 1 2研究的主要內容m a d a l i n e 是一種多層二進前向網絡，每層的權值是可調的，且每層的輸入輸出均是二值。這樣就使均方誤差函數(shù)中存在許多的不連續(xù)點，它們是不可導的，因此不能再用l m s 算法來解決，也不能用最速下降法來進行權系數(shù)調整。6 0 年代w i d r o w 和w i n t e r “提出的針對m a d a l i n e 網絡特點的m r i i ( m a d a l i n er u l ei i ) 算法，其重點在于最小干擾原則的提出，調權的方法延用m r i 中的由m a y s 給出的公式，公式中參數(shù)較多，對這些參數(shù)文中給出了經驗值，但是非常籠統(tǒng)，使這些參數(shù)的設置失去了靈活修改權值的意義，算法在實現(xiàn)控制上的許多細節(jié)也未作交代；另外，對于大樣本集且要求樣本合格率較高時，m r i i 算法的收斂能力和收斂速度都不理想，訓練時間長難收斂。國內的文獻很少提n m r i i 算法，即使在引用m r i i 算法時，也未作詳細闡述。胡守仁和張立明“2 3 文獻中提到的m r i i 算法是用l m s 調權，但是由于l m s 算法只適用于連續(xù)值，而m r i i 在比較誤差時用的是輸出層的出錯個數(shù)，而不是出錯誤差的大小，這就使得l m s 算法的使用受到很大的局限；并且l m s算法的步幅a 的選擇有一定的隨機性，若選擇不當，收斂速度很慢，甚至出現(xiàn)振蕩現(xiàn)象。對二進前向網絡的訓練算法都存在著( 1 ) 無法保證訓練的收斂性，訓練有可能陷入局部極小或產生振蕩，從而難以訓練出滿足性能要求的網絡；( 2 ) 即使收斂，訓練速度也可能非常慢?；谝陨系脑?，我們提出用感知機學習規(guī)則來更新權值，翻轉f h m r i i 算法確定的隱層中需要翻轉的a d a l i n e s 的輸出，保持網絡各層的輸入輸出均用二值的數(shù)字量進行計算和傳遞，大大降低了計算的復雜性。為了使前個樣本學習所調整的權值對后一樣本學習的影響盡量小，我們在感知機學習規(guī)則中引入學習速率這一概念，使每次權值的改變步幅靈活可調，使它小于感知機學習規(guī)則所要求的權值的改變，進一步實現(xiàn)了最小干擾原則思想，降低了樣本學習之間的互相影響，有效提高了網絡學習效率。實驗驗證了改進算法的優(yōu)越性，它不僅增加了網絡收斂的概率還使網絡的學習速度有了明顯提高。論文還討論了新算法中各個參數(shù)問的關系，探討提高網絡學習收斂速度的可能途徑。1 2 論文的組織結構第二章首先介紹了a d m i n e 的結構和它的分類機制，接著介紹m a d a l i n e 網絡基本構成，對m a d a l i n e 網絡學習算法的研究現(xiàn)狀作了介紹，給出了幾個該領域較常見的算法設計思想。通過對m a d a l i n e系統(tǒng)給出了m r i i 算法思想的實現(xiàn)步驟，則作了分析對比。網絡由來和m r ii 算法思想發(fā)展的介紹，并對m r i i 中的調權方法和感知機學習規(guī)第三章討論了對m r i i 算法改進的思路，通過介紹最小干擾原則說明算法改進的意義，給出算法改進的方法。對算法中影響學習收斂的各個參數(shù)做了介紹，包括它們之間相互作用和相互影響的關系。第四章介紹用c 語言實現(xiàn)m r i i 算法和改進后的算法，比較它們在不同參數(shù)下的收斂性和收斂速度。第五章對論文進行總結，闡述論文的的研究成果及創(chuàng)新點，對進一步的研究提出展望。第二章m a d e li n e 網絡結構和m r i i 算法2 1a d a li n e 結構和分類機制2 1 1a d a l i n e 結構人工神經元的主要結構包含輸入、綜合處理和輸出。人工神經元之間通過互相連接形成網絡，即人工神經網絡。目前多數(shù)人工神經網絡的構造大體上都采用如下一些的原則：( 1 ) 有一定數(shù)量的基本單元分層聯(lián)接構成；( 2 ) 每個單元的輸入、輸出信號以及綜合處理內容都比較簡單；( 3 ) 網絡的學習和知識存儲體現(xiàn)在各單元之間的聯(lián)接強度上。一組連接作為神經網絡的基本單元的神經元模型，它有三個基本要素：刪1 神經兀模型( 1 ) 一組連接( 對應于生物神經元的突觸) ，連接強度有個連接上的權值表示，權值為正表示激活，為負表示抑制。( 2 ) 一個求和單元，用于求取各輸入信號的加權和( 線性組合) 。( 3 ) 一個激活函數(shù)，起映射作用并將神經元輸出幅度限制在一定范圍內。此外還有一個閾值( 或偏置) 。一般_ ，t ，為輸入信號，l ，：，”k 為神經元k 的權值，q k 為閩值，f ( ) 為激活函數(shù)，y k 為神經元k 的輸出。激活函數(shù)f ( ) 通常有以下幾種形式：( 1 ) 硬極限函數(shù)：當函數(shù)的自變量小于0 時輸出為一1 或0 ，當函數(shù)的自變量大于0時輸出為1 。( 2 ) 線性函數(shù)：線性函數(shù)的輸出等于輸入。( 3 ) s i g m o i d 函數(shù)：最常用的函數(shù)形式為，參數(shù)n o 可控制其斜率。( 4 ) 雙曲正切函數(shù)。41 9 6 0 年美國學者w i d r o w 和h o f f 提出a d a l i n e ( a d a p t i y e1 i n e a re l e m e n t ) 網絡，這種網絡實際上是一種自適應閾值邏輯元件，即其采用的激活函數(shù)是硬極限函數(shù)。神經元a d n i n e 是神經網絡m a d a l i n e 的基本構造元素，構成網絡中的一個節(jié)點，也是m a d n i n e n 絡的最簡單形式。如圖( 2 ) 。其中，輸入表示為向量，x = ( x 。x ：，x 。x 。) t ，與之相關聯(lián)的權記為，w = ( w 。，w ：，w 。w 。) t ，x 。是閾值，q 是輸出。這些參數(shù)中，輸入元素和輸出是二值的離散量，其余可以是任意的實數(shù)。a d a l i n e的輸出分為模擬輸出和數(shù)字輸出兩種。其模擬輸出量定義為該神經元的權向量與輸入向量的內積s d y 。w k t x 。，數(shù)字輸出量為這個和經過一個邏輯裝置得到的二進制值q 。= s g n ( y 。)( 當y 、 = 0 時q 。= 1 ；當y t o 時q k = 一1 或0 ，本文采用一1 ) 。a d a l in e 的訓練過程是：將訓練集中的一個樣本x 。及其理想響應信號d 。送入a d a l i n e 中，得到樣本矢量和權矢量的點積之后經激活函數(shù)激活的數(shù)字輸出量q n ，將它與d 。進行比較，并將差值送到學習機制中，以調整權向量w 。，使得q 。和所要求的輸出d 。相一致。若一致，就說明h d l i n e 對該樣本已訓練完畢。_ 一i ：。一1 蕊晶函一ju一圖2 一個a d a l i n e 神經兀梗型a d a l i n e 的輸入模式有n 維變量，輸入維數(shù)加上一個其權值恒為1 的偏置構成了一個( n + i ) 維的輸入矢量。權值是實數(shù)，可由算法調整，我們假設這樣的權值是神經網絡的硬件所能夠得到的。a d a l i n e 的二進制值是由輸入和權值決定的，它的一個劃分平面可由它的模擬量方程y = 0 來得到的，即y k = w x t x 。x k t w t = o 。在這個平面的一邊權矢量和輸入矢量的內積大于0 ，另一邊就是這個權矢量和輸入矢量的5內積小于0 。2 1 2a d a l i n e 的線性不可分問題感知機學習規(guī)則和l m s 算法是設計用來訓練單層的類似感知器的網絡的，只能解決線性可分的分類問胚。一般來說，對于n 維空間，凡可以n l 維超平面進行適當分割的點集稱為線性可分集合，只要輸入模式屬于線性可分幾何就可以用感知機網絡對其進行正確的分類。對線性可分我們有定義如下：定義在二值函數(shù)的輸入輸出對為 ( x i ，y i ) ，i = l ，2 ，i i l 其中，x i 卜1 ，1 “，y i 卜1 ，l 。當存在w er n 和b r 使( x i l w + b ) = y i 對于i = l ，2 ，m 成立，則稱該二值函數(shù)為線性可分的。否則稱它為非線性可分或線性不可分。i蕊豁糕孰r l圖j弋yr)砭瓤r 10 謬圖3 線性可分類圖4 線性不可分類x我們先用輸入矢量作出矢量空間，然后將權矢量加到該矢量空間內，那么它的劃分平面就是一個通過原點的垂直于權矢量的超平面，它將輸入矢量空問分為兩半：在這個超平面的一側全是與該權矢量點積和為正的輸入矢量，另一側則是與該權矢量點積和為負的輸入矢量。反過來，我們也可以將輸入加入到權矢量空間內來考慮，假設輸入矢量有其理想的輸出，超平面通過原點垂直輸入矢量將權矢量空間一分為二，這個超平面的一側的權矢量是可以得到正確理想輸出的權矢量，如果這時加入第二個輸入矢量，它的理想輸出同樣會將權矢量空間分成兩半，其中的一半可以得到正確的結果，依次輸入每個樣本。將正確輸入矢量空間和正確權矢量空間和起來加以考慮，我們得到這兩個空間相交的那部分。為了滿足訓練集中所有樣本的輸入輸出要求，這個相交部分的權矢量必須由每個輸入矢量及其理想輸出確定。也許這兩個空間的交集為空，這意味著沒有權值矢量可以將輸入樣本分離得到正確的輸出。顯然，一個a d a l i n e 是無法將所有輸入進行正確分類的。因為輸入有i 1 維，就有2 。個不同的樣本，每個樣本的理想輸出可能是l 或者一1 ，也就是說對一個a d a l i n e有2 2 ”個輸出的可能，事實上，一個a d a l i n e 只能對一小部份輸入進行分類，電就是線性可分的那部分。當輸入維數(shù)較小時，我們可以用圖示法來說明一個a d a l i n e 的分類能力。假設有輸入輸出對如下：( + 1 ，+ 1 )+ 1( + 1 ，一1 )+ 1( 一l ，一1 )+ 1( 一l ，+ 1 )一l它的分類平面方程是：y ：爻7 博：“o + t ln i + z 2 2 ：0 即。2 = 一蘭1 。l 一塑t f ，2u 2這個方程是一條直線，橫軸是輸入樣本中的x 。，縱軸是輸入樣本中的x 2 ，直線的斜率是一w w ，x ：軸上的截距是一w 。w ：。輸入樣本空間是輸入矢量空間的予空間，它存在于輸入矢量空間的超平面中，當x 。等于+ 1 時，輸入矢量和權矢量是三維的，但輸入樣本是二維的，分類的超平面是二維的，包含樣本空間的超平面也是二維的，這些空間都存在于三維空間中，輸入矢量和權矢量也在這個空間中。圖( 5 )中，直線右邊的輸入使a d a l i n e 的模擬量為正，直線左邊的輸入使a d a l i n e 的模擬量為負，這樣這個a d a l i n e 就完成了從二維的樣本輸入到一維的輸出的映射。22 一；( - i ，4 - 1 )擴。器夕1 z 】響o0 0( - i ，1 )( + i ，1 )圖5 一個分莢買倒為調整權值，圖中的斜率和截距是可調的，如果改變權值的符號也將會改變這條直線兩邊的輸出結果的符號，因此改變權值將會引起輸入輸出映射關系的改變。我們將這個改變權值的機制稱為算法。算法中的輸入有理想的輸出，當樣本j , g x a d a l i n e 時，會得到它的模擬量輸出，在有限步的權值調整后，我們將得到正確的輸入輸出映射關系。當然，線性不可分問題是單個a d a li n e 無法解決的。從圖( 5 ) 中可知，對一個二維輸入樣本單個的a d a l i n e 給出了一條直線來對輸出作劃分，對多維輸入而言，就是一個超平面來作劃分。這里我們給出一個二維輸入的線性不可分的例子：( + 1 ，+ 1 )一l( + 1 ，一1 )+ 1( 一1 ，一1 )一1( 一l ，+ 1 )+ 1這是一個典型的線性不可分問題，也就是異或問題。我們無法找到這樣一條直線可以將這四個輸入進行分類到理想的輸出。因為n = 2 ，所以總共有2 2 “= 1 6 個二進制的輸入輸出映射對，其中1 4 個是線性可分的，目前，還沒有找到一個可以對任意值n 計算其線性可分個數(shù)的通用公式，但是，只要對n 稍作改變，線性可分數(shù)量的百分比將迅速下降。例如，當n = 5 時，在4 3 1 0 。個輸入輸出函數(shù)映射對中只有9 4 ，5 7 2 個是線性可分的。因此，在多維空間里，用一個a d a l i n e 來實現(xiàn)輸入輸出的函數(shù)映射關系是很有限的。2 2l a d e l i n e 網絡結構從層次結構看，人工神經網絡可分為單層神經網絡和多層神經網絡；從連接方式看，人工神經網絡主要有兩種：前饋型網絡和反饋型網絡。單層神經元網絡是將兩個或更多的簡單的神經元并聯(lián)起來，是每個神經元具有相同的輸入矢量x ，即可組成一個神經元層，其中每個神經元產生一個輸出，一般情況下，輸入向量維數(shù)r 與層神經元數(shù)目k 不相等。網絡模型的網絡權為矩陣，該網絡的輸出矢量為：幾。= f ( w 。， x 。十b 。) 。其中，f 0 表示激活函數(shù)，公式中的字母下標給出了矢量矩陣所具有的維數(shù)；權矩陣w 元素中的行表示神經元的位數(shù)，列表示輸入失量的位數(shù)，如w 。表示來自第2 個輸入元素到第1 個神經元之間的聯(lián)接權值。多層神經網絡是將兩個以上的單層神經網絡級聯(lián)起來則組成多層神經網絡。每層網絡都有一個權矩陣w ，一個偏差矢量b 和一個輸出矢量a 。多層網絡的每一層起著不同的作用，最后一層為網絡的輸出層，所有其它層稱為隱含層。在多層網絡中，每一隱含層的輸出都是下一層的輸入。特別值得強調的是，在設計多層網絡時，隱含層的激活網絡應采用非線性的，否則多層網絡的計算能力并不比單層網絡更強1 。前饋網絡的特點是：信號的流向是從輸入通向輸出。而反饋網絡的主要不同點表現(xiàn)在它的輸出信號通過與輸入連接而返回到輸入端。在反饋網絡中，由于將輸出8循環(huán)返回到輸入，所以每一時刻的網絡輸出不僅取決于當前的輸入，而且還取決于上一時刻的輸出，其輸出狀態(tài)由輸入矢量設定后，隨著網絡的不斷運行，從輸出反饋到輸入的信號不斷改變，使得輸出不斷變化，從而使網絡表現(xiàn)出暫態(tài)特性，使得反饋網絡表現(xiàn)出前向網絡所不具有的振蕩或收斂特性。由于本文采用的網絡屬于前向網絡模型，對前向網絡特介紹如下：( 1 ) 前饋式網絡：該種網絡結構是分層排列的，每一層的神經元輸出值和下一層神經元相連，這種網絡結構特別適用于人工神經網絡算法，現(xiàn)在已得到了廣泛應用。本文采用的正是這種網絡結構。( 2 ) 輸出反饋的前饋式網絡：該種網絡結構與前饋式網絡結構的不同之處在于這種網絡存在著一個從輸出層到輸入層的反饋回路。該種結構適用于順序型的模式識別問題。( 3 ) 前饋式內層互聯(lián)網絡：該層網絡結構中，同一層問存在的相互關聯(lián)，神經元之間有相互制約關系，從層與層之間的關系來看是前饋式的網絡結構，許多自組織神經網絡結構大多具有這種結構。y l ky 2 kx mx 2 k 瑪kx 啦x 5 k 蠔k輸出矢量y k輸出層a d a l i n e s第二層a d a l i n e s第一層a d a l i n e s輸入矢量x k圖6 一個m a d a l i n e 神經網絡模型m a d e l i n e 網絡是一種多層二進前向神經網絡，如前所述，有些輸入輸出映射關系是單個h d a l i n e 無法實現(xiàn)的，它和感知機受同樣的局限性影響：只能解決線性可分問題，為了克服了硬限幅函數(shù)只能對兩個線性可分集合或相交集合的分類，需要將多個a d a l i n e 聯(lián)結起來，即用多層自適應線性網m a d a l i n e ( m a n ya d a l i n e )來實現(xiàn)非線性可分的邏輯函數(shù)。m a d a l i n e 是一種離散型的多層前向網絡，它由許多層神經元組成，每一層的a d a l i n e 根據一定的規(guī)則連接而成，如圖( 6 ) 每一層的a d a l i n e 只和它前一層和后一層上的各個a d a l i n e 用權相連。每層的權值系數(shù)是可調9的，且每層的輸入和輸出均為二值，前一層的輸出將作為后一層的輸入，是神經網絡中應用最為典型和廣泛的網絡之一。其輸入寫成向量的形式x 。= i x 。孫，x 。k ，”x n t ，這個向量稱為a d a l i n e 的輸入信號向量或輸入模式向量。一組輸入信號相應的有一組權值w r = w 。，w i k ，w 礦w 。 7 ，這個向量稱為權向量。本文中，l 表示m a d a l i n e 的層數(shù)。第( 1 ，sl ) 層上有n 1 個a d a l i n e 。因此，可以用n o ，n 1 n 1 表示m a d a l i n e 的結構。在這里不僅從左至右代表包括輸入層在內的m a d a l i n e 各層，還指出了各層a d a l i n e 的個數(shù)。其中n o 是個例外，它代表輸入層并且指出輸入維數(shù)；n 代表輸出層。因為在第，一l 層上的a d a l i n e 個數(shù)就是該層的輸出維數(shù)，是它下一層，即第，層的輸入維數(shù)，所以第，層的輸入維數(shù)為n 。對第l 層的第i 個a d a l i n e 而言，輸入表示為向量x = ( ，x l 一) 。，與之相關聯(lián)的權記為彬7 = ( w f 。，屹。) 7 ，偏置為o j ，輸出為= f ( x + 彬。+ 糾) 。對第l 層而言，每個a d a l i n e 都有相同的輸入向量x ，它的權的集合為w 。= 彬，w ，t ) ，輸出向量為y 7 = 叫，y 。i ) 7 。對整個m a d a l i n e 而言，輸入向量記為x 1 或r ，權記為= 。u u ，輸出記為y 。2 3n t i i 算法學習是人類智能的主要標志和獲得智慧的基本手段。目前，人工神經網絡主要從結構上模擬人腦，所采用的學習方法也都是經過數(shù)學推導而求得的。事實上，人類學習是一種特定目的的知識獲取過程，其內部表現(xiàn)為新知識結構的建立和修改，而外部表現(xiàn)為性能的改善。具體地說，學習的目的、學習的要求、學習方法的選擇等是受人的意識行為所支配的：學習不僅是一種數(shù)學上漸近收斂的過程，而且應帶有一定的啟發(fā)性。學習算法是對問題解的尋優(yōu)過程?，F(xiàn)實中幾乎所有的系統(tǒng)或模型在實際應用前都需要根據輸入數(shù)據樣本來對自身進行學習或訓練，以便系統(tǒng)或模型能記住或熟悉所訓練的輸入模式，然后對未知的樣本模式進行測試和評判等。因此，學習算法研究是神經網絡技術研究中的一個非常重要的環(huán)節(jié)。2 3 1神經網絡學習算法通過向環(huán)境學習獲取知識并改進自身性能是神經網絡的一個重要特點。按環(huán)境所提供信息的多少，網絡的學習方式可分為三種：監(jiān)督學習：這種學習方式需要外界存在一個“教師”，它可對一組給定輸入提供應有的輸出結果( 正確答案) 。學習系統(tǒng)( 神經網絡) 可以根據己知輸出與實際輸出之間的差值( 誤差信號) 來1 n調節(jié)系統(tǒng)參數(shù)。非監(jiān)督學習：不存在外部“教師”，學習系統(tǒng)完全按照環(huán)境所提供數(shù)據的某些統(tǒng)計規(guī)律來調節(jié)自身參數(shù)或結構( 這是一種自組織過程) 。再勵學習：這種學習介于上述兩種情況之間，外部化境對系統(tǒng)輸出結果只給出評價( 獎或懲) ，而不是給出正確答案，學習系統(tǒng)通過強化那些受獎勵的動作來改善自身的性能。從學習形式上分可分為：誤差糾正學習：誤差糾正學習的最終目的是使某一基于誤差信號的目標函數(shù)達到最小，一是網絡中每一輸出單元的實際輸出在某種統(tǒng)計意義上最逼近應有輸出。一旦選定了目標函數(shù)形式，誤差糾正學習成為一個典型的最優(yōu)化問題。h e b b 學習：神經心理學家h e b b 提出的學習規(guī)則可歸結為“當某一突觸兩端的神經元的激活同步時，該連接的強度應增強，反之則應減弱”。描述這一思想最常用的一種數(shù)學表達式在感知機學習算法中有較好的體現(xiàn)。競爭學習：顧名思義，在競爭學習時網絡個輸出單元相互競爭，最后達到只有一個最強激活者。自1 9 4 4 年h e b b 提出改變神經元連接強度的h e b b 規(guī)則開始，即首次出現(xiàn)了“學習算法”的概念。1 9 5 7 年，r o s e n b l a t t 首次引進了感知器( p e r c e p t r o n )的概念，并正式引進了“學習算法”。1 9 6 2 年，w i d r o w 提出了自適應線性元件( a d li n e ) ，并提出了自適應最小均方( l m s ) 學習算法。1 9 7 4 年，w e r b o s 在其博士論文中第一次提出了能夠實現(xiàn)多層網絡訓練的反向傳播( b p ) 算法，可以沈是“學習算法”史上的一次革命。不過，由于b p 算法本質上就是l m s 算法，因而其存在局部極小值、訓練速度慢等缺陷。隨后，出現(xiàn)了大量改進的b p 算法，以及一些變型的學習算法等。( 一) 有監(jiān)督h e b b 算法：很多神經網絡的學習規(guī)則都可看作h e b b 學習規(guī)則的變形。h e b b 學習規(guī)則的數(shù)學描述：w i j 表示神經元x j 到x i 的突觸權值，x j 和x i 分別表示神經元j 和i 在一段時間內的平均值，在學習步驟為n 時對突觸權值的凋整為：w i j ( n ) = r l ( x j ( n ) 一x j ) ( x i ( n ) 一x i ) 有監(jiān)督h e b b 學習規(guī)則為：w i j ”k w i j “。+ t 。p ，。矩陣形式為：w o e = w “十t 。p 。( 二) 感知機學習規(guī)則：本章的改進算法正是在這一算法的基礎上進行。感知機學習規(guī)則是h e b b 學習規(guī)則的變形。h e b b 學習規(guī)則的數(shù)學描述：w 。表示神經元輸入p ，到輸出0 。的突觸權值，h e b b 假設意味著：如果一個正的輸入要產生一個正的輸出，就應該增加w 。這就是該假設的數(shù)學解釋，即：w 。，”= w i j 。l d + t p 。，t i 是第q個目標向量的第i 個元素。即神經元權值的改變與它兩邊的輸入輸出函數(shù)值的乘積成正比，因此，權值不僅在輸入輸出均為正時增加，而且在輸入輸出全為負時1 l也會增加。感知機學習規(guī)則也是遵循了這個基本數(shù)學思想。該算法是針對二進前向神經網絡的一個重要學習算法，其計算簡單有效應用廣泛?，F(xiàn)介紹如下：感知機學習規(guī)則：( 1 ) 選擇一組初始權值w i ( 0 ) ；( 2 ) 計算某一輸入模式對應的實際輸出與期望輸出的誤差e ：( 3 ) 如果e = o ，輸入下一個訓練樣本返回( 2 ) 否則繼續(xù)；( 4 ) 更新權值( 閩值可視為輸入匣為i 的一個權值) ：( 5 ) 返回( 2 ) ：重復，直到對所有訓練樣本模式，網絡輸出均能滿足要求。算法中e 是感知機的誤差變量，它是理想輸出t 與實際輸出a 之間差值，因此e的值會有以下三種情況( 我們假設它的數(shù)字量分別是i 干i 0 ) ：如果理想輸出是1 而實際輸出是o ，即e = 1 0 = 1如果理想輸出是0 而實際輸出是1 ，即e = o 一11如果理想輸出等于實際輸出b l j e = o這樣，我們把它的學習表達式分別寫成以下三條規(guī)則：當e = l 時，w i j “= w i j 。l d + p 當e = 一l 時，w i j ”= w i j 。l d _ p “當e = o 時，w ，j ”= w 。，“d _由此，它統(tǒng)一的權值更新計算可用以下表達式表示。1 ：w i ；”= w 。j 。l d + e p 。=w i j o l d + ( t - a ) p ，。( 理想輸出t ，實際輸出a ) 。雖然感知機的學習規(guī)則非常簡單，但它的功能卻十分強大，它的有效性早已得到廣泛驗證。( 三) 梯度( l m s ) 算法：梯度算法把神經元的激發(fā)函數(shù)改為可微分函數(shù)，例s i g m o i d函數(shù)。對于給定的樣本集x i ( i = l ，2 ，n ) ，梯度法的目的是尋找權系數(shù)w ，使得f w x i 與期望輸出y i 盡可能接近。要使誤差e 最小，可先求取e 的梯度，最后按負梯度方向修改權系數(shù)w ，權重變化率視情況不同而不同，一般取( o ，i ) 之間的小數(shù)。顯然，梯度法比原來感知器的學習算法進了一大步。關鍵在于：1 神經元的傳遞函數(shù)采用連續(xù)的s 型函數(shù)而不是階躍函數(shù)：2 對權系數(shù)的修改采用誤差的梯度去控制而不是采用誤差去控制。( 四) b p 算法：b p 網絡是采用誤差逆?zhèn)鞑ニ惴? e r r o r b a c k p r o p a g a t i o nt r a i n i n g )進行誤差校正的多層前饋網絡。1 9 8 9 年，r o b e r t h e c h t n i e l s o n 證明了一個隱含層的3 層b p 網絡可以有效的逼近任意連續(xù)函數(shù)，b p 網絡算法步驟主要有四部分組成：( 1 ) 輸入模式的正向傳播過程，即輸入數(shù)據從輸入層逐層向輸出層傳播，得到響1 應：( 2 ) 輸出誤差的反向傳播，即輸出的誤差由輸出層開始反向傳播到輸入層，而網絡各層的權值改變量則根據傳播該層的誤差來決定，即公式：氓，叩蒜e = = ( 并一砰) 2 2 ，( m 為樣本個數(shù)， 為期望輸出，t 為實際輸出，q 為輸出結點個數(shù)) ：( 3 ) 循環(huán)記憶訓練，即輸入模式的一向傳播與輸出誤差的反向傳播反復交替的計算過程：( 4 )學習結果的判別，即判定全局誤差是否小于預先設定的限定值。傳統(tǒng)的bp 網絡采用梯度下降算法，雖然具有很強的非線性映射能力，且網絡的中間層數(shù)、各層的處理單元數(shù)及網絡的學習系數(shù)等參數(shù)可以根據具體情況任意設定，靈活性較大。但是它也有一些缺點：學習收斂速度太慢：不能保證收斂到全局最小點，誤差較大。b p 算法實質是求取誤差函數(shù)的最小值問題。采用非線性規(guī)劃中的最速下降方法，按誤差函數(shù)的負梯度方向修改權系數(shù)。2 3 2二進前向網絡算法研究現(xiàn)狀b p 網絡為多層網絡，克服了線性不可分弊端。b p 算法與l m s 算法都是以最小均方誤差為準則，b p 算法使用的是在l m s 算法中用到的相同的近似最速下降法，區(qū)別：b p 算法用鏈法則來求偏導數(shù)，l m s 算法則用普通的求導法則。另外這幾種算法的傳遞函數(shù)不同。不同的網絡結構和網絡參數(shù)要求不同的網絡學習算法。m r i i 是多層h d a l i n e s 前向網絡的監(jiān)督學習算法，a d a l i n e 是一個模擬神經的處理單元，由權值和二進制輸入決定的一個二進制輸出單元，由于m a d a li n e 網絡的激活函數(shù)是不連續(xù)的，且網絡又是多層的，上面提到的幾個經典成熟的算法就無法直接使用，對二進前向網絡的學習算法許多研究者做了有益的探索和研究，在這里，我們先簡要介紹一下其它幾種算法，概括地將它們分為兩類，一類是代數(shù)法，一類是幾何法。代數(shù)法：由于m a d e l i i e 網絡的輸入輸出是離散值，它的函數(shù)關系式是不可導的，因此就無法直接使用b p 算法或l m s 算法，為了能夠利用現(xiàn)有成熟的連續(xù)可導算法，在連續(xù)函數(shù)與不連續(xù)函數(shù)之間建立關系，使不連續(xù)的m a d a l i n e 網絡轉變成為可以用連續(xù)網絡的算法，我們可以用代數(shù)法來達到這個目的，當邏輯為0 時用0 1 取代，當邏輯為l 時用0 9 取代。這里我舉兩個例子：方法一；由v p p l a g i a n a k o s ，g d m a g o u l a s ，n k n o u s i s ，和m n v r a h a t i s 在論文 2 中提出，其主要思想方法如下：n j 一n e c = 眩1 7 * t 。+ 彰當n e ，j 是激活后的數(shù)字量，即取值為當加權和大于等于0 叫等于1 ；否則y ；等于0 。s ( 彰) = 上1 + e - p r i n t )當b 足夠大時，上式的s i g m o i d 函數(shù)接近硬限幅函數(shù)。方法二：，( f ) = b s ( o + ( 1 6 ) 目( f )s ( 0 3 專一1o ( 0 = = ，當b = t 時，函數(shù)關系式是s i g m o i d 函數(shù)；當b = o 時，函數(shù)關系式是硬限幅函數(shù)。幾何法：感知機網絡的規(guī)則和非規(guī)則劃分學習算法是對l a d a li n e 網絡兩種幾何方法，主要針對下述問題：( 1 ) 訓練樣本為卜1 ，l 的輸入輸出對，事實上，超立方體頂點的二分類問題就是這一問題的特殊情況。( 2 l 所訓練的網絡為硬限幅特性神經元構成的網絡，且為單隱層網絡。一個分類超平面系對超立方體的頂點的規(guī)則劃分是滿足下述條件的劃分：1 1 ) 任何未被分類超平面劃分的頂點集均有相同的顏色。1 2 ) 每個分類超平面將不同顏色的樣本點分開。1 3 ) 任意兩個分類超平面互不相交。一個分類超平面系對超立方體的頂點的非規(guī)則劃分是滿足下述條件的劃分：1 1 ) 任何未被分類超平面劃分的頂點集均有相同的顏色。j 41 2 ) 每一個分類超平面將不同顏色的樣本點分開。以上是當前該領域中的一些算法思想概要。雖然，研究者們嘗試了許多不同的算法思路，但這些算法表現(xiàn)出收斂速度慢，成功率低和較差的泛化能力。6 0 年代w i d r o w 和w i n t e 一“提出的針對m a d a l i n e 網絡特點的算法m r i i ( m a d a l i n er u l ei i ) ，算法基于最小干擾原則，該原則使修正某個輸入樣本的錯誤輸出后改動的權值對其余樣本產生的影響盡量的小，在訓練過程中m r i i 用一系列的嘗試調整來修正輸出錯誤，這些嘗試首先要求權值的改動為最小