《人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)及應(yīng)用》課件第四章ART

4.5自適應(yīng)共振理論思考并回答以下幾個(gè)問題神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和記憶特性學(xué)習(xí)過程的本質(zhì)？網(wǎng)絡(luò)將知識(shí)存儲(chǔ)（記憶）在什么地方？對(duì)于感知器/BP網(wǎng)絡(luò)/SOM網(wǎng)絡(luò)學(xué)習(xí)時(shí)，當(dāng)新樣本輸入時(shí)，權(quán)值的改變對(duì)舊樣本的影響是什么？自適應(yīng)共振理論（ART）歷史1976年，美國(guó)Boston大學(xué)學(xué)者G.A.Carpenter提出自適應(yīng)共振理論(AdaptiveResonanceTheory，縮寫為ART)，他多年來(lái)一直試圖為人類的心理和認(rèn)知活動(dòng)建立統(tǒng)一的數(shù)學(xué)理論，ART就是這一理論的核心部分。隨后G.A.Carpenter又與S.Grossberg提出了ATR網(wǎng)絡(luò)。共振現(xiàn)象的一些例子自適應(yīng)共振理論共振現(xiàn)象魚洗寺院無(wú)人敲而響的磬軍隊(duì)過橋雪崩人類認(rèn)知（圖像）當(dāng)雙手策動(dòng)力的頻率跟物體的固有頻率相等時(shí)，振幅最大，這種現(xiàn)象叫共振。水中發(fā)出的嗡鳴聲是銅盆腔內(nèi)的振動(dòng)和摩擦頻率振動(dòng)發(fā)生共振引起的。

自適應(yīng)共振理論ART網(wǎng)絡(luò)學(xué)習(xí)算法的基本流程環(huán)境輸入模式與儲(chǔ)存的典型向量模式進(jìn)行比較神經(jīng)網(wǎng)絡(luò)的連接權(quán)值選擇最相似的作為該模式的代表類，并調(diào)整與該類別相關(guān)的權(quán)值，以使以后與該模式相似的輸入再與該模式匹配時(shí)能得到更大的相似度。相似度的參考門限需要在網(wǎng)絡(luò)中設(shè)立一個(gè)新的模式類，同時(shí)建立與該模式類相連的權(quán)值，用以代表和存儲(chǔ)該模式以及后來(lái)輸入的所有同類模式。C——

比較層R——

識(shí)別層Reset

——復(fù)位信號(hào)G1和G2——邏輯控制信號(hào)4.5.1.1網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)4.5.1ARTⅠ型網(wǎng)絡(luò)4.5.1.1網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)(1)C層結(jié)構(gòu)

該層有n個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)接受來(lái)自3個(gè)方面的信號(hào)：來(lái)自外界的輸入信號(hào)xi；來(lái)自R層獲勝神經(jīng)元的外星向量的返回信號(hào)Tj；來(lái)自G1的控制信號(hào)。

C層節(jié)點(diǎn)的輸出ci是根據(jù)2/3的“多數(shù)表決”原則產(chǎn)生的，即輸出值ci與xi、tij

、G13個(gè)信號(hào)中的多數(shù)信號(hào)值相同。

G1=1，反饋回送信號(hào)為0，C層輸出應(yīng)由輸入信號(hào)決定，有C=X。反饋回送信號(hào)不為0，G1=0，C層輸出應(yīng)取決于輸入信號(hào)與反饋信號(hào)的比較情況，如果xi=，則ci=xi。否則ci=0。網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)4.5.1.1網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)（2）R層結(jié)構(gòu)R層有m個(gè)節(jié)點(diǎn)，用以表示m個(gè)輸入模式類。m可動(dòng)態(tài)增長(zhǎng)，以設(shè)立新模式類。由C層向上連接到R第j個(gè)節(jié)點(diǎn)的內(nèi)星權(quán)向量用Bj=（b1j，b2j，…,bnj）表示。C層的輸出向量C沿m個(gè)內(nèi)星權(quán)向量Bj(j=1,2,…,m)向前傳送，到達(dá)R層各個(gè)神經(jīng)元節(jié)點(diǎn)后經(jīng)過競(jìng)爭(zhēng)在產(chǎn)生獲勝節(jié)點(diǎn)j*，指示本次輸入模式的所屬類別。獲勝節(jié)點(diǎn)輸出=1，其余節(jié)點(diǎn)輸出為0。R層各模式類節(jié)點(diǎn)的典型向量。網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)4.5.1.1網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)(3)控制信號(hào)

控制信號(hào)G2的作用是檢測(cè)輸入模式X是否為0，它等于X各分量的邏輯“或”，如果xi(i=1,2,…,n)為全0，則G2=0，否則G2=1?？刂菩盘?hào)G1的作用是在網(wǎng)絡(luò)開始運(yùn)行時(shí)為1，以使C=X，其后為0以使C值由輸入模式和反饋模式的比較結(jié)果決定。設(shè)R層輸出向量各分量的邏輯“或”用R0表示，則信號(hào)G1=，當(dāng)R層輸出向量R的各分量為全0而輸入向量X不是零向量時(shí)，G1=1，否則G1=0?？刂菩盘?hào)Reset的作用是使R層競(jìng)爭(zhēng)獲勝神經(jīng)元無(wú)效，如果根據(jù)某種事先設(shè)定的測(cè)量標(biāo)準(zhǔn)，與X未達(dá)到預(yù)先設(shè)定的相似度ρ，表明兩者未充分接近，于是系統(tǒng)發(fā)出Reset信號(hào)使競(jìng)爭(zhēng)獲勝神經(jīng)元無(wú)效。網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)4.5.1.2網(wǎng)絡(luò)運(yùn)行原理相似程度可能出現(xiàn)的兩種情況：①相似度超過參考門限

選該模式類作為當(dāng)前輸入模式的代表類。權(quán)值調(diào)整規(guī)則是，相似度超過參考門限的模式類調(diào)整其相應(yīng)的內(nèi)外星權(quán)向量，以使其以后遇到與當(dāng)前輸入模式接近的樣本時(shí)能得到更大的相似度；對(duì)其它權(quán)值向量則不做任何變動(dòng)。②相似度不超過門限值 需在網(wǎng)絡(luò)輸出端設(shè)立一個(gè)代表新模式類的節(jié)點(diǎn)，用以代表及存儲(chǔ)該模式，以便于參加以后的匹配過程。網(wǎng)絡(luò)運(yùn)行原理4.5.1.2網(wǎng)絡(luò)運(yùn)行原理對(duì)于每一個(gè)輸入，模式網(wǎng)絡(luò)運(yùn)行過程可歸納為四個(gè)階段：(1)匹配階段網(wǎng)絡(luò)在沒有輸入之前處于等待狀態(tài)，此時(shí)輸入端X＝0，因此信號(hào)G2＝0，R0=0。當(dāng)輸入不全為0的模式X時(shí)，G2＝1，R0=0，使得G1==1。G1為1時(shí)允許輸入模式直接從C層輸出，并向前傳至R層，與R層節(jié)點(diǎn)對(duì)應(yīng)的所有內(nèi)星向量Bj進(jìn)行匹配計(jì)算：

j=1,2,…，m(4.22)選擇具有最大匹配度(即具有最大點(diǎn)積)的競(jìng)爭(zhēng)獲勝節(jié)點(diǎn)：使獲勝節(jié)點(diǎn)輸出=1，其它節(jié)點(diǎn)輸出為0。網(wǎng)絡(luò)運(yùn)行原理(2)比較階段

R層輸出信息通過外星向量返回到C層。R層獲勝節(jié)點(diǎn)所連的外星權(quán)向量激活，從節(jié)點(diǎn)j*發(fā)出的n個(gè)權(quán)值信號(hào)返回到C層的n個(gè)節(jié)點(diǎn)。此時(shí)，R層輸出不全為零，R0=1，而G1==0，所以C層最新輸出狀態(tài)C’取決于由R層返回的外星權(quán)向量和網(wǎng)絡(luò)輸入模式X的比較結(jié)果，即，i=1,2,…,n。由于外星權(quán)向量是R層模式類的典型向量，該比較結(jié)果C’反映了在匹配階段R層競(jìng)爭(zhēng)排名第一的模式類的典型向量與當(dāng)前輸入模式X的相似程度。相似程度的大小可用相似度N0反映，定義為：設(shè)輸入模式樣本中的非零分量數(shù)為：網(wǎng)絡(luò)運(yùn)行原理4.5.1.2網(wǎng)絡(luò)運(yùn)行原理4.5.1.2網(wǎng)絡(luò)運(yùn)行原理(2)比較階段

用于比較的警戒門限為ρ，在0～1范圍取值。檢查輸入模式與模式類典型向量之間的相似性是否低于警戒門限，如果有N0/N1<ρ則X與的相似程度不滿足要求，網(wǎng)絡(luò)發(fā)出Reset

信號(hào)使第一階段的匹配失敗，競(jìng)爭(zhēng)獲勝節(jié)點(diǎn)無(wú)效，網(wǎng)絡(luò)進(jìn)入搜索階段。如果有N0/N1>ρ表明X與獲勝節(jié)點(diǎn)對(duì)應(yīng)的類別模式非常接近，稱X與

發(fā)生“共振”，第一階段的匹配結(jié)果有效，網(wǎng)絡(luò)進(jìn)入學(xué)習(xí)階段。網(wǎng)絡(luò)運(yùn)行原理4.5.1.2網(wǎng)絡(luò)運(yùn)行原理(3)搜索階段網(wǎng)絡(luò)發(fā)出Reset重置信號(hào)后即進(jìn)入搜索階段，重置信號(hào)的作用是使前面通過競(jìng)爭(zhēng)獲勝的神經(jīng)元受到抑制，并且在后續(xù)過程中受到持續(xù)的抑制，直到輸入一個(gè)新的模式為止。由于R層中的競(jìng)爭(zhēng)獲勝的神經(jīng)元被抑制，從而再度出現(xiàn)R0=0，G1=1，因此網(wǎng)絡(luò)又重新回到起始的匹配狀態(tài)。由于上次獲勝的節(jié)點(diǎn)受到持續(xù)的抑制，此次獲勝的必然是上次匹配程度排在第二的節(jié)點(diǎn)，將該節(jié)點(diǎn)對(duì)應(yīng)的外星權(quán)向量與輸入模式進(jìn)行匹配計(jì)算。如果對(duì)R層所有的模式類，在比較階段的相似度檢查中相似度都不能滿足要求，說明當(dāng)前輸入模式無(wú)類可歸，需要在網(wǎng)絡(luò)輸出層增加一個(gè)節(jié)點(diǎn)來(lái)代表并存儲(chǔ)該模式類，為此將其內(nèi)星向量設(shè)計(jì)成當(dāng)前輸入模式向量，外星向量各分量全設(shè)為1。網(wǎng)絡(luò)運(yùn)行原理(4)學(xué)習(xí)階段

在學(xué)習(xí)階段要對(duì)發(fā)生共振的獲勝節(jié)點(diǎn)對(duì)應(yīng)的模式類加強(qiáng)學(xué)習(xí)，使以后出現(xiàn)與該模式相似的輸入樣本時(shí)能獲得更大的共振。

ART網(wǎng)絡(luò)運(yùn)行中存在兩種記憶方式：短期記憶：C層和R層輸出信號(hào)稱為短期記憶，用STM（Shorttimememory）表示，短期記憶在運(yùn)行過程中會(huì)不斷發(fā)生變化；長(zhǎng)期記憶：兩層之間的內(nèi)外星權(quán)向量稱為長(zhǎng)期記憶，用LTM(Longtimememory)表示，長(zhǎng)期記憶在運(yùn)行過程中不會(huì)變化。網(wǎng)絡(luò)運(yùn)行原理4.5.1.2網(wǎng)絡(luò)運(yùn)行原理4.5.1.3網(wǎng)絡(luò)的學(xué)習(xí)算法ARTⅠ網(wǎng)絡(luò)可以用學(xué)習(xí)算法實(shí)現(xiàn)，學(xué)習(xí)算法從軟件角度體現(xiàn)了網(wǎng)絡(luò)的運(yùn)行機(jī)制，與系統(tǒng)結(jié)構(gòu)圖并不一一對(duì)應(yīng)。訓(xùn)練可按以下步驟進(jìn)行：(1)網(wǎng)絡(luò)初始化

從C層向R層的內(nèi)星權(quán)向量Bj賦予相同的較小數(shù)值，如

(4.25)從R層到C層的外星權(quán)向量Tj各分量均賦1(4.26)4.5.1.3網(wǎng)絡(luò)的學(xué)習(xí)算法(2)網(wǎng)絡(luò)接受輸入

給定一個(gè)輸入模式，X＝(x1,x2,…，xn)，

xi

(0,1)n。(3)匹配度計(jì)算

對(duì)R層所有內(nèi)星向量Bj計(jì)算與輸入模式X的匹配度：，j=1,2,…，m。(4)選擇最佳匹配節(jié)點(diǎn)

在R層有效輸出節(jié)點(diǎn)集合J*內(nèi)選擇競(jìng)爭(zhēng)獲勝的最佳匹配節(jié)點(diǎn)j*，使得(5)相似度計(jì)算

R層獲勝節(jié)點(diǎn)j*通過外星送回獲勝模式類的典型向量，C層輸出信號(hào)給出對(duì)向量和X的比較結(jié)果，i=1,2,…,n，由此結(jié)果可計(jì)算出兩向量的相似度為4.5.1.3網(wǎng)絡(luò)的學(xué)習(xí)算法(6)警戒門限檢驗(yàn)

如果N0/N1<ρ，表明X與的相似程度不滿足要求，本次競(jìng)爭(zhēng)獲勝節(jié)點(diǎn)無(wú)效，因此從R層有效輸出節(jié)點(diǎn)集合J*中取消該節(jié)點(diǎn)并使，訓(xùn)練轉(zhuǎn)入步驟(7)；如果N0/N1>ρ，表明X應(yīng)歸為代表的模式類，轉(zhuǎn)向步驟(8)調(diào)整權(quán)值。4.5.1.3網(wǎng)絡(luò)的學(xué)習(xí)算法(8)調(diào)整網(wǎng)絡(luò)權(quán)值修改R層節(jié)點(diǎn)j*對(duì)應(yīng)的權(quán)向量，網(wǎng)絡(luò)的學(xué)習(xí)采用了兩種規(guī)則，外星向量的調(diào)整按以下規(guī)則:

i=1,2,…,n；j*

J*(4.27)(7)搜索匹配模式類若有效輸出節(jié)點(diǎn)集合J*不為空，轉(zhuǎn)向步驟(4)重選匹配模式類；若J*為空集，需在R層增加一個(gè)節(jié)點(diǎn)。設(shè)新增節(jié)點(diǎn)的序號(hào)為nc，應(yīng)使,i=1,2,…,n,此時(shí)有效輸出節(jié)點(diǎn)集合為J*={1,2,…,m,m+1,…,m+nc},轉(zhuǎn)向步驟(2)輸入新模式。內(nèi)星向量的調(diào)整按以下規(guī)則:

i=1,2,…,n(4.28)4.5.1.3網(wǎng)絡(luò)的學(xué)習(xí)算法

ART網(wǎng)絡(luò)的特點(diǎn)：

非離線學(xué)習(xí)即不是對(duì)輸入集樣本反復(fù)訓(xùn)練后才開始運(yùn)行，而是邊學(xué)習(xí)邊運(yùn)行實(shí)時(shí)方式。

每次最多只有一個(gè)輸出節(jié)點(diǎn)為l

每個(gè)輸出節(jié)點(diǎn)可看成一類相近樣本的代表，當(dāng)輸入樣本距某一個(gè)內(nèi)星權(quán)向量較近時(shí)，代表它的輸出節(jié)點(diǎn)才響應(yīng)。

通過調(diào)整警戒門限的大小可調(diào)整模式的類數(shù)

小，模式的類別少，

大則模式的類別多。4個(gè)輸入模式向量為：設(shè)

=0.7，取初始權(quán)值bij=1/(1+n)=1/26,tij=1.例一模式分類例一模式分類4.5.1.4

ARTⅠ網(wǎng)絡(luò)的應(yīng)用第1步：輸入模式XA，將R層的4個(gè)節(jié)點(diǎn)中輸出最大的一個(gè)命名為節(jié)點(diǎn)1，有j*=1。由于初始化后tij=1，所以相似度N0/N1=1，大于警戒門限

，故第一個(gè)模式被命名為第一類模式。按式(4.27)修改節(jié)點(diǎn)1的內(nèi)星權(quán)向量，得按式(4.28)修改節(jié)點(diǎn)1的外星權(quán)向量，得其余仍為初始值1/26。對(duì)比輸入模式X

A，可以看出，以上調(diào)整結(jié)果將模式X

A存儲(chǔ)在神經(jīng)元1的內(nèi)外星權(quán)向量中。例一模式分類第2步：輸入模式X

B

時(shí)，R層只有一個(gè)已存儲(chǔ)模式，故不存在類別歸屬的競(jìng)爭(zhēng)，只需判斷該模式與已存儲(chǔ)模式T1=X

A

的相似度，得N0/N1=5/9<

=0.7。從相似度可以看出，模式XB有9個(gè)黑象素，而XA與XB只有5個(gè)黑象素完全重合，故相似度檢驗(yàn)不合格。由于R層已沒有其它已存儲(chǔ)模式類可供選擇，需動(dòng)用一個(gè)新節(jié)點(diǎn)，命名為節(jié)點(diǎn)2，用以代表新模式X

B。節(jié)點(diǎn)2的外星權(quán)向量為T2=X

B，內(nèi)星權(quán)向量為其余分量均為初始值。例一模式分類第3步：輸入模式XC時(shí)，節(jié)點(diǎn)1和節(jié)點(diǎn)2進(jìn)行競(jìng)爭(zhēng)

節(jié)點(diǎn)1凈輸入為1.217>

節(jié)點(diǎn)2凈輸入為1.101節(jié)點(diǎn)1獲勝。計(jì)算T1與X的相似度，得N0/N1=5/13<

=0.7節(jié)點(diǎn)1失效后，網(wǎng)絡(luò)應(yīng)在其余的存儲(chǔ)模式類節(jié)點(diǎn)中搜索，對(duì)于本例，只能取節(jié)點(diǎn)2作為獲勝節(jié)點(diǎn)。于是計(jì)算XC與代表XB的T2的相似度，得N0/N1=9/13<

=0.7該結(jié)果仍不能滿足要求，只能把模式視為第3類模式。并按式(4.27)和式(4.28)修改節(jié)點(diǎn)3的內(nèi)外星權(quán)向量。例一模式分類第4步：輸入模式X

D后，節(jié)點(diǎn)1、節(jié)點(diǎn)2和節(jié)點(diǎn)3參加競(jìng)爭(zhēng)，結(jié)果是節(jié)點(diǎn)3

獲勝，計(jì)算模式X

D與X

C的相似度，得N0/N1=13/17=0.765〉

=0.7于是X

D歸入已存儲(chǔ)的X

C類，并按式(4.27)和式(4.28)修改節(jié)點(diǎn)3的內(nèi)外星權(quán)向量。例一模式分類例一模式分類例一模式分類注意！ρ值的選擇對(duì)分類過程的影響很大。ρ值過大，導(dǎo)致分類劇增。ρ值太小，則不同的模式均劃為同一類別。例一模式分類例二帶噪聲模式分類例二帶噪聲模式分類4.6本章小結(jié)4.6本章小結(jié)(1)競(jìng)爭(zhēng)學(xué)習(xí)策略

競(jìng)爭(zhēng)學(xué)習(xí)是自組織網(wǎng)絡(luò)中最常采用的一種學(xué)習(xí)策略，勝者為王是競(jìng)爭(zhēng)學(xué)習(xí)的基本算法。該算法將輸入模式向量同競(jìng)爭(zhēng)層所有節(jié)點(diǎn)對(duì)應(yīng)的權(quán)向量進(jìn)行比較，將歐式距離最小的判為競(jìng)爭(zhēng)獲勝節(jié)點(diǎn)，并僅允許獲勝節(jié)點(diǎn)調(diào)整權(quán)值。按照勝者為王的競(jìng)爭(zhēng)學(xué)習(xí)算法訓(xùn)練競(jìng)爭(zhēng)層的結(jié)果必將使各節(jié)點(diǎn)的權(quán)向量成為輸入模式的聚類中心。4.6本章小結(jié)(2)SOM神經(jīng)網(wǎng)絡(luò)SOM

網(wǎng)絡(luò)模型中的競(jìng)爭(zhēng)機(jī)制具有生物學(xué)基礎(chǔ)。SOM網(wǎng)的結(jié)構(gòu)特點(diǎn)是輸出層神經(jīng)元可排列成線陣或平面陣。在網(wǎng)絡(luò)訓(xùn)練階段，對(duì)某個(gè)特定的輸入模式，輸出層會(huì)有某個(gè)節(jié)點(diǎn)產(chǎn)生最大響應(yīng)而獲勝。獲勝節(jié)點(diǎn)及其優(yōu)勝鄰域內(nèi)的所有節(jié)點(diǎn)所連接的權(quán)向量均向輸入向量的方向作不同程度的調(diào)整，調(diào)整力度依鄰域內(nèi)各節(jié)點(diǎn)距獲勝節(jié)點(diǎn)的遠(yuǎn)近而逐漸衰減。網(wǎng)絡(luò)通過自組織方式，用大量訓(xùn)練樣本調(diào)整網(wǎng)絡(luò)的權(quán)值，最后使輸出層各節(jié)點(diǎn)成為對(duì)特定模式類敏感的神經(jīng)細(xì)胞，對(duì)應(yīng)的內(nèi)星權(quán)向量成為各輸入模式類的中心向量。當(dāng)兩個(gè)模式類的特征接近時(shí)，代表這兩類的節(jié)點(diǎn)在位置上也接近。從而在輸出層形成能夠反映樣本模式類分布情況的有序特征圖。4.6本章小結(jié)(3)CPN神經(jīng)網(wǎng)絡(luò)

CPN神經(jīng)網(wǎng)絡(luò)是由Kohonen的自組織網(wǎng)和Grossberg的外星網(wǎng)組合而成的，其拓?fù)浣Y(jié)構(gòu)與三層BP網(wǎng)相同。CPN網(wǎng)的隱層為競(jìng)