神經(jīng)網(wǎng)絡-ART網(wǎng)絡

自適應共振理論引言傳統(tǒng)神經(jīng)網(wǎng)絡遇到的問題在樣本數(shù)據(jù)訓練的過程中，無論是監(jiān)督式還是無監(jiān)督式的訓練，均會出現(xiàn)對新模式的學習，時刻面臨著新知識的學習記憶荷對舊知識的退化忘卻的問題在監(jiān)督式的訓練情況下，使網(wǎng)絡逐漸達到穩(wěn)定的記憶需要通過反復訓練，從而對已學習過的模式的部分甚至是全部的忘卻在無監(jiān)督情況下，對新的數(shù)據(jù)的學習同樣會產(chǎn)生對某種已經(jīng)記憶的典型矢量的修改，造成對已學習數(shù)據(jù)的部分忘卻理想情況能夠?qū)W會新的知識，同時對已學過的知識沒有不利影響在輸入矢量特別大的情況下，很難實現(xiàn)。通常只能在新舊知識的取舍上進行某種折衷，最大可能地接受新的知識并較少地影響原有知識ART網(wǎng)絡簡介自適應共振理論(AdaptiveResonanceTheory,ART)網(wǎng)絡可以較好地解決前述問題網(wǎng)絡和算法具有較大地靈活性，以適應新輸入的模式，同時極力避免對網(wǎng)絡先前學習過地模式的修改記憶容量可以隨樣本的增加而自動增加，可以在不破壞原記憶樣本的情況下學習新的樣本ART是美國波士頓大學的A.Carpenter和Grossberg提出。具有兩種形式ART1處理雙極性（或二進制）數(shù)據(jù)ART2處理連續(xù)數(shù)據(jù)自適應共振理論（ART）歷史1976年，美國Boston大學學者G.A.Carpenter提出自適應共振理論(AdaptiveResonanceTheory，縮寫為ART)，他多年來一直試圖為人類的心理和認知活動建立統(tǒng)一的數(shù)學理論，ART就是這一理論的核心部分。隨后G.A.Carpenter又與S.Grossberg提出了ATR網(wǎng)絡。共振現(xiàn)象的一些例子自適應共振理論共振現(xiàn)象魚洗寺院無人敲而響的磬軍隊過橋雪崩人類認知（圖像）當雙手策動力的頻率跟物體的固有頻率相等時，振幅最大，這種現(xiàn)象叫共振。水中發(fā)出的嗡鳴聲是銅盆腔內(nèi)的振動和摩擦頻率振動發(fā)生共振引起的。

自適應共振理論ART網(wǎng)絡學習算法的基本流程環(huán)境輸入模式與儲存的典型向量模式進行比較神經(jīng)網(wǎng)絡的連接權(quán)值選擇最相似的作為該模式的代表類，并調(diào)整與該類別相關(guān)的權(quán)值，以使以后與該模式相似的輸入再與該模式匹配時能得到更大的相似度。相似度的參考門限需要在網(wǎng)絡中設立一個新的模式類，同時建立與該模式類相連的權(quán)值，用以代表和存儲該模式以及后來輸入的所有同類模式。C——比較層R——識別層Reset

——復位信號G1和G2——邏輯控制信號4.5.1.1網(wǎng)絡系統(tǒng)結(jié)構(gòu)4.5.1ARTⅠ型網(wǎng)絡4.5.1.1網(wǎng)絡系統(tǒng)結(jié)構(gòu)(1)C層結(jié)構(gòu)

該層有n個節(jié)點，每個節(jié)點接受來自3個方面的信號：來自外界的輸入信號xi；來自R層獲勝神經(jīng)元的外星向量的返回信號Tj；來自G1的控制信號。C層節(jié)點的輸出ci是根據(jù)2/3的“多數(shù)表決”原則產(chǎn)生的，即輸出值ci與xi、tij、G13個信號中的多數(shù)信號值相同。G1=1，反饋回送信號為0，C層輸出應由輸入信號決定，有C=X。反饋回送信號不為0，G1=0，C層輸出應取決于輸入信號與反饋信號的比較情況，如果xi=tij，則ci=xi。否則ci=0。網(wǎng)絡系統(tǒng)結(jié)構(gòu)4.5.1.1網(wǎng)絡系統(tǒng)結(jié)構(gòu)（2）R層結(jié)構(gòu)R層有m個節(jié)點，用以表示m個輸入模式類。m可動態(tài)增長，以設立新模式類。由C層向上連接到R第j個節(jié)點的內(nèi)星權(quán)向量用Bj=（b1j，b2j，…,bnj）表示。C層的輸出向量C沿m個內(nèi)星權(quán)向量Bj(j=1,2,…,m)向前傳送，到達R層各個神經(jīng)元節(jié)點后經(jīng)過競爭在產(chǎn)生獲勝節(jié)點j*，指示本次輸入模式的所屬類別。獲勝節(jié)點輸出=1，其余節(jié)點輸出為0。R層各模式類節(jié)點的典型向量。網(wǎng)絡系統(tǒng)結(jié)構(gòu)4.5.1.2網(wǎng)絡運行原理相似程度可能出現(xiàn)的兩種情況：①相似度超過參考門限

選該模式類作為當前輸入模式的代表類。權(quán)值調(diào)整規(guī)則是，相似度超過參考門限的模式類調(diào)整其相應的內(nèi)外星權(quán)向量，以使其以后遇到與當前輸入模式接近的樣本時能得到更大的相似度；對其它權(quán)值向量則不做任何變動。②相似度不超過門限值需在網(wǎng)絡輸出端設立一個代表新模式類的節(jié)點，用以代表及存儲該模式，以便于參加以后的匹配過程。網(wǎng)絡運行原理模式網(wǎng)絡運行四個階段：匹配階段

網(wǎng)絡在沒有輸入模式之前處于等待狀態(tài)，此時輸入端X=0，因此信號G2=0，R0=0.當輸入不全為0的模式X時，G2=1，R0=0，使G1=G2R0=1.G1為1時，允許輸入模式直接從C層輸出，并向前傳至R層，與R層節(jié)點對應的所有內(nèi)星向量Bj進行匹配計算：

4.5.1.3網(wǎng)絡的學習算法ARTⅠ網(wǎng)絡可以用學習算法實現(xiàn)，學習算法從軟件角度體現(xiàn)了網(wǎng)絡的運行機制，與系統(tǒng)結(jié)構(gòu)圖并不一一對應。訓練可按以下步驟進行：(1)網(wǎng)絡初始化

從C層向R層的內(nèi)星權(quán)向量Bj賦予相同的較小數(shù)值，如(4.25)從R層到C層的外星權(quán)向量Tj各分量均賦1(4.26)注:用C#實現(xiàn)時,下標從0開始,i=0,1,2,…,n-1j=0,1,2,…,m-14.5.1.3網(wǎng)絡的學習算法(2)網(wǎng)絡接受輸入

給定一個輸入模式，X＝(x1,x2,…，xn)，

xi(0,1)n。(3)匹配度計算

對R層所有內(nèi)星向量Bj計算與輸入模式X的匹配度：，j=1,2,…，m。(4)選擇最佳匹配節(jié)點

在R層有效輸出節(jié)點集合J*內(nèi)選擇競爭獲勝的最佳匹配節(jié)點j*，使得(5)相似度計算

R層獲勝節(jié)點j*通過外星送回獲勝模式類的典型向量，C層輸出信號給出對向量和X的比較結(jié)果，i=1,2,…,n，由此結(jié)果可計算出兩向量的相似度為4.5.1.3網(wǎng)絡的學習算法(6)警戒門限檢驗

如果N0/N1<ρ，表明X與的相似程度不滿足要求，本次競爭獲勝節(jié)點無效，因此從R層有效輸出節(jié)點集合J*中取消該節(jié)點并使，訓練轉(zhuǎn)入步驟(7)；如果N0/N1>ρ，表明X應歸為代表的模式類，轉(zhuǎn)向步驟(8)調(diào)整權(quán)值。4.5.1.3網(wǎng)絡的學習算法(8)調(diào)整網(wǎng)絡權(quán)值修改R層節(jié)點j*對應的權(quán)向量，網(wǎng)絡的學習采用了兩種規(guī)則，外星向量的調(diào)整按以下規(guī)則:

i=1,2,…,n；j*J*(4.27)(7)搜索匹配模式類若有效輸出節(jié)點集合J*不為空，轉(zhuǎn)向步驟(4)重選匹配模式類；若J*為空集，需在R層增加一個節(jié)點。設新增節(jié)點的序號為nc，應使,i=1,2,…,n,此時有效輸出節(jié)點集合為J*={1,2,…,m,m+1,…,m+nc},轉(zhuǎn)向步驟(2)輸入新模式。內(nèi)星向量的調(diào)整按以下規(guī)則:

i=1,2,…,n(4.28)4.5.1.3網(wǎng)絡的學習算法

ART網(wǎng)絡的特點：

非離線學習即不是對輸入集樣本反復訓練后才開始運行，而是邊學習邊運行實時方式。每次最多只有一個輸出節(jié)點為l每個輸出節(jié)點可看成一類相近樣本的代表，當輸入樣本距某一個內(nèi)星權(quán)向量較近時，代表它的輸出節(jié)點才響應。

通過調(diào)整警戒門限的大小可調(diào)整模式的類數(shù)

小，模式的類別少，大則模式的類別多。4個輸入模式向量為：設=0.7，取初始權(quán)值bij=1/(1+n)=1/26,tij=1.例一模式分類例一模式分類4.5.1.4

ARTⅠ網(wǎng)絡的應用例一模式分類例一模式分類注意！ρ值的選擇對分類過程的影響很大。ρ值過大，導致分類劇增。ρ值太小，則不同的模式均劃為同一類別。例一模式分類例二帶噪聲模式分類例二帶噪聲模式分類ART網(wǎng)絡結(jié)構(gòu)從輸入矢量到輸出矢量的作用部分被稱為識別層或R層（R－Recognition）從輸出A作為輸入返回到輸入的層稱為比較層或C層（C－Comparison）從結(jié)構(gòu)上講R層為一個競爭網(wǎng)絡，具有s個節(jié)點，它代表了對輸入模式的分類。該節(jié)點數(shù)能夠動態(tài)地增長，以滿足設立新模式地需要。C層為一個Grossberg網(wǎng)絡ART運行過程將網(wǎng)絡的訓練與工作與工作過程有機技結(jié)合在一起自C層流向R層的識別階段：輸入新的矢量P，通過競爭得出輸出A自R層流向C層的比較階段按照一定地規(guī)則來確定這個新輸入是否屬于網(wǎng)絡衷已經(jīng)記憶地模式類別，判別標準為新輸入模式與所有已記憶模式之間相