神經(jīng)網(wǎng)絡(luò)ART課件

第8章

自適應(yīng)共振理論

一、競(jìng)爭(zhēng)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)1、采用有導(dǎo)師學(xué)習(xí)規(guī)則的神經(jīng)網(wǎng)絡(luò)要求對(duì)所學(xué)習(xí)的樣本給出“正確答案”，以便網(wǎng)絡(luò)據(jù)此判斷輸出的誤差，根據(jù)誤差的大小改進(jìn)自身的價(jià)值，提高正確解決問(wèn)題的能力。然而在很多情況下，人在認(rèn)知過(guò)程中沒(méi)有預(yù)知的正確模式，人獲得大量知識(shí)常常是靠“無(wú)師自通”，即通過(guò)對(duì)客觀事實(shí)的反復(fù)觀察、分析與比較，自行揭示其內(nèi)在規(guī)律，并對(duì)具有共同特征的事物進(jìn)行正確歸類(lèi)。自組織神經(jīng)網(wǎng)絡(luò)的無(wú)導(dǎo)師學(xué)習(xí)方式更類(lèi)似于人類(lèi)大腦中生物神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，其最重要的特點(diǎn)是通過(guò)自動(dòng)尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。這種學(xué)習(xí)方式大大拓寬了神經(jīng)網(wǎng)絡(luò)在模式識(shí)別與分類(lèi)方面的應(yīng)用。輸入層負(fù)責(zé)接收外界信息并將輸入模式向競(jìng)爭(zhēng)曾傳遞，起“觀察”作用，競(jìng)爭(zhēng)層負(fù)責(zé)對(duì)該模式進(jìn)行“分析比較”，找出規(guī)律以正確歸類(lèi)。2、在神經(jīng)網(wǎng)絡(luò)應(yīng)用中，輸入樣本、輸入模式和輸入模式類(lèi)樣本這類(lèi)術(shù)語(yǔ)經(jīng)?；煊谩Ｒ话惝?dāng)神經(jīng)網(wǎng)絡(luò)涉及識(shí)別、分類(lèi)問(wèn)題時(shí)，常常用到輸入模式的概念。模式是對(duì)某些感興趣的客體的定量描述或結(jié)構(gòu)描述，模式類(lèi)是具有某些共同特征的模式的集合。分類(lèi)是在類(lèi)別知識(shí)等導(dǎo)師信號(hào)的指導(dǎo)下，將待識(shí)別的輸入模式分配到各自的模式類(lèi)中去。無(wú)導(dǎo)師指導(dǎo)的分類(lèi)稱(chēng)為聚類(lèi)，聚類(lèi)的目的是將相似的模式樣本劃歸一類(lèi)，而將不相似的分離開(kāi)，其結(jié)果實(shí)現(xiàn)了模式樣本的類(lèi)內(nèi)相似性和類(lèi)間分離性。通過(guò)聚類(lèi)，可以發(fā)現(xiàn)原始樣本的分布與特性。由于無(wú)導(dǎo)師學(xué)習(xí)的訓(xùn)練樣本中不含有期望輸出，因此對(duì)于某一輸入模式樣本應(yīng)屬于哪一類(lèi)并沒(méi)有任何先驗(yàn)知識(shí)。對(duì)于一組輸入模式，只能根據(jù)它們之間的相似程度分為若干類(lèi)，因此相似性是輸入模式的聚類(lèi)依據(jù)。3.1、歐式距離法3.2、余弦法描述兩個(gè)模式向量的另一個(gè)常用方法是計(jì)算其夾角的余弦。4、側(cè)抑制與競(jìng)爭(zhēng)實(shí)驗(yàn)表明，人眼的視網(wǎng)膜、脊髓和海馬中存一種側(cè)抑制現(xiàn)象，即當(dāng)一個(gè)神經(jīng)細(xì)胞興奮后，會(huì)對(duì)其周?chē)纳窠?jīng)細(xì)胞產(chǎn)生抑制作用。這種側(cè)抑制使神經(jīng)細(xì)胞之間呈現(xiàn)出競(jìng)爭(zhēng)，開(kāi)始時(shí)可能多個(gè)細(xì)胞同時(shí)興奮，但一個(gè)興奮程度最強(qiáng)的神經(jīng)細(xì)胞對(duì)周?chē)窠?jīng)細(xì)胞的抑制作用也最強(qiáng)，其結(jié)果使其周?chē)窠?jīng)細(xì)胞興奮程度減弱，從而該神經(jīng)細(xì)胞是這次競(jìng)爭(zhēng)的“勝者”，其他神經(jīng)細(xì)胞在競(jìng)爭(zhēng)中失敗。自組織網(wǎng)絡(luò)（競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)）構(gòu)成的基本思想是網(wǎng)絡(luò)的競(jìng)爭(zhēng)層各神經(jīng)元競(jìng)爭(zhēng)對(duì)輸入模式相應(yīng)的機(jī)會(huì)，最后僅有一個(gè)神經(jīng)元成為競(jìng)爭(zhēng)的“勝者”，這一獲勝神經(jīng)元?jiǎng)t表示對(duì)輸入模式的識(shí)別——體現(xiàn)了生物神經(jīng)細(xì)胞的側(cè)抑制競(jìng)爭(zhēng)機(jī)制。二、競(jìng)爭(zhēng)學(xué)習(xí)原理網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競(jìng)爭(zhēng)以求被激活，結(jié)果在每一時(shí)刻只有一個(gè)輸出神經(jīng)元被激活。這個(gè)被激活的神經(jīng)元稱(chēng)為競(jìng)爭(zhēng)獲勝神經(jīng)元，而其他神經(jīng)元的狀態(tài)被抑制，故稱(chēng)為WinnerTakeAll.

在競(jìng)爭(zhēng)學(xué)習(xí)策略中采用的典型學(xué)習(xí)規(guī)則稱(chēng)為勝者為王。該算法可分為3個(gè)步驟：1、向量歸一化首先將自組織網(wǎng)絡(luò)中的當(dāng)前輸入模式向量X和競(jìng)爭(zhēng)層中各神經(jīng)元對(duì)應(yīng)的內(nèi)星向量Wj（j=1,2，...，m）全部進(jìn)行歸一化處理，得到和（j=1,2，...,m）2、尋找獲勝神經(jīng)元當(dāng)網(wǎng)絡(luò)得到一個(gè)輸入模式向量時(shí)，競(jìng)爭(zhēng)層的所有神經(jīng)元對(duì)應(yīng)的內(nèi)星權(quán)向量（j=1,2，...，m）均與進(jìn)行相似性比較，將與最相似的內(nèi)星權(quán)向量判為競(jìng)爭(zhēng)獲勝神經(jīng)元，其權(quán)向量記為，測(cè)量相似性的方法是對(duì)和計(jì)算歐式距離（余弦法）：

只有獲勝神經(jīng)元才有權(quán)調(diào)整其權(quán)向量，調(diào)整后權(quán)向量為：

為學(xué)習(xí)率，屬于（0,1），一般其隨著學(xué)習(xí)思維進(jìn)展而減小。二、ART神經(jīng)網(wǎng)絡(luò)自適應(yīng)共振理論ART(AdaptiveResonanceTheory)模型是美國(guó)Boston大學(xué)的S．Grossberg和A．Carpenet在1976年提出的。ART是一種自組織神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，是無(wú)教師的學(xué)習(xí)網(wǎng)絡(luò)。當(dāng)在神經(jīng)網(wǎng)絡(luò)和環(huán)境有交互作用時(shí)，對(duì)環(huán)境信息的編碼會(huì)自發(fā)地在神經(jīng)網(wǎng)中產(chǎn)生，則認(rèn)為神經(jīng)網(wǎng)絡(luò)在進(jìn)行自組織活動(dòng)。ART就是這樣一種能自組織地產(chǎn)生對(duì)環(huán)境認(rèn)識(shí)編碼的神經(jīng)網(wǎng)絡(luò)理論模型。ART網(wǎng)絡(luò)及算法在適應(yīng)新的輸入模式方面具有較大的靈活性，同時(shí)能夠避免對(duì)網(wǎng)絡(luò)先前所學(xué)模式的修改。當(dāng)網(wǎng)絡(luò)接受來(lái)自環(huán)境的輸入時(shí)，按預(yù)先設(shè)計(jì)得參考門(mén)限檢查該輸入模式與所有存儲(chǔ)模式類(lèi)典型向量之間的匹配程度，以確定相似度。對(duì)相似度超過(guò)參考門(mén)限的所有模式類(lèi)，選擇最相似的作為該模式的代表類(lèi)，并調(diào)整與該類(lèi)別相關(guān)的權(quán)值，以使最后與該模式相似的輸入再與該模式匹配時(shí)能得到更大的相似度。若相似度都不超過(guò)參考門(mén)限，就需要在網(wǎng)絡(luò)中設(shè)立一個(gè)新的模式類(lèi)，同時(shí)建立與該模式類(lèi)相連的權(quán)值，用以代表和存儲(chǔ)該模式以及后來(lái)輸入的所有同類(lèi)模式。三、ART1神經(jīng)網(wǎng)絡(luò)1、ART1神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)ART1網(wǎng)絡(luò)由兩層神經(jīng)元構(gòu)成兩個(gè)子系統(tǒng)，分別稱(chēng)為比較層C和識(shí)別層R。另外還有3種控制信號(hào)：復(fù)位信號(hào)（Reset）,邏輯控制信號(hào)G1和G2.2、C層結(jié)構(gòu)C層展開(kāi)后的結(jié)構(gòu)如下圖：該層有n個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)接受來(lái)自3個(gè)方面的信號(hào)：一個(gè)是來(lái)自外界的輸入信號(hào)xi；另一個(gè)是來(lái)自R層獲勝神經(jīng)元的外向向量Tj的返回信號(hào)tij，還有一個(gè)是來(lái)自G1的控制信號(hào)。C層節(jié)點(diǎn)的輸出是根據(jù)2/3的“多數(shù)表決”原則產(chǎn)生的，即輸出值ci與xi、tij、G13個(gè)信號(hào)中的多數(shù)信號(hào)值相同。2、R層結(jié)構(gòu)R層展開(kāi)后的結(jié)構(gòu)如下圖：其功能相當(dāng)于一種前饋競(jìng)爭(zhēng)網(wǎng)設(shè)R層有m個(gè)節(jié)點(diǎn)，用以表示m個(gè)輸入模式類(lèi)。m可動(dòng)態(tài)增長(zhǎng)，以設(shè)立新模式類(lèi)。由C層向上連接到R第j個(gè)節(jié)點(diǎn)的內(nèi)星權(quán)向量用Bj=（b1j，b2j，...bnj）表示。C層的輸出向量C沿m個(gè)內(nèi)星權(quán)向量Bj（j=1,2，...，m）向前傳送，到達(dá)R層各個(gè)神經(jīng)元節(jié)點(diǎn)后經(jīng)過(guò)競(jìng)爭(zhēng)再產(chǎn)生獲勝節(jié)點(diǎn)j，指示本次輸入模式的所屬類(lèi)別。獲勝節(jié)點(diǎn)輸出rj=1，其余節(jié)點(diǎn)輸出為0.R層的每個(gè)神經(jīng)元都對(duì)應(yīng)兩個(gè)權(quán)向量：一個(gè)是將C層前饋信號(hào)匯聚到R層的內(nèi)星權(quán)向量Bj；另一個(gè)是將R層反饋信號(hào)散發(fā)到C層的外星權(quán)向量Tj，該向量為對(duì)應(yīng)與R層各模式類(lèi)節(jié)點(diǎn)的典型向量。3、控制信號(hào)3個(gè)控制信號(hào)的作用分別是：G2：信號(hào)G2檢測(cè)輸入模式X是否為0，它等于X各分量的邏輯‘或’，如果xi（i=1,2，...，n）全為0，則G2=0，否則G2=1.G1：設(shè)輸入模式X各元素的邏輯“或”為X0，R各元素的邏輯“或非”為R0，則G1=X0R0，即只有在R層輸出向量R為全0，而輸入X不為全0時(shí)，G1=1，其他情況下G1=0.Reset信號(hào)：的作用是使R層競(jìng)爭(zhēng)獲勝神經(jīng)元無(wú)效，如果根據(jù)某種事先設(shè)定的測(cè)量標(biāo)準(zhǔn)，Tj與X未達(dá)到預(yù)先設(shè)定的相似度，表明兩者未充分接近，于是系統(tǒng)發(fā)出Reset信號(hào)使競(jìng)爭(zhēng)獲勝神經(jīng)元無(wú)效。四、網(wǎng)絡(luò)運(yùn)行原理網(wǎng)絡(luò)運(yùn)行時(shí)接受來(lái)自環(huán)境的輸入模式，并檢查輸入模式與R層所有模式類(lèi)之間的匹配程度。對(duì)于匹配程度最高的模式類(lèi)，網(wǎng)絡(luò)要繼續(xù)考察該模式的典型向量與當(dāng)前輸入模式的相似程度。相似程度按照預(yù)先設(shè)計(jì)的參考門(mén)限來(lái)考察，可能出現(xiàn)的情況無(wú)非有兩種：1、如果相似度超過(guò)參考門(mén)限，選該模式類(lèi)作為當(dāng)前輸入模式的代表類(lèi)。權(quán)值調(diào)整規(guī)則是，相似度超過(guò)參考門(mén)限的模式類(lèi)調(diào)整其相應(yīng)的內(nèi)外星權(quán)向量，以使其以后遇到與當(dāng)前輸入模式接近的樣本時(shí)能得到更大的相似度，對(duì)其他權(quán)值向量則不作任何變動(dòng)。2、如果相似度不超過(guò)門(mén)限值，則對(duì)R層匹配程度次高的模式類(lèi)進(jìn)行相似程度考察，若超過(guò)參考門(mén)限網(wǎng)絡(luò)的運(yùn)行回到情況1，否則仍然回到情況2。可以想到，運(yùn)行反復(fù)回到情況2意味著最終所有的模式類(lèi)與當(dāng)前輸入模式的相似度都沒(méi)有超過(guò)參考門(mén)限，此時(shí)需在網(wǎng)絡(luò)輸出端設(shè)立一個(gè)代表新模式類(lèi)的節(jié)點(diǎn)，用以代表及存儲(chǔ)該模式，以便于參加以后的匹配過(guò)程。網(wǎng)絡(luò)對(duì)所接收的每個(gè)新輸入樣本，都進(jìn)行上面的運(yùn)行過(guò)程。對(duì)于每一個(gè)輸入，模式網(wǎng)絡(luò)運(yùn)行過(guò)程可歸納為四個(gè)階段。1、識(shí)別階段在網(wǎng)絡(luò)沒(méi)有輸入模式之前，網(wǎng)絡(luò)處于等待狀態(tài)。此時(shí)，輸入端X=0，并置控制信號(hào)G2=0.所以，R層單元輸出全是0，在競(jìng)爭(zhēng)中有同等的獲勝機(jī)會(huì)。當(dāng)網(wǎng)絡(luò)輸入不全為0時(shí)，置G2=1.信息自下而上流動(dòng)，G1=G2R0=1，有2/3規(guī)則可知，此時(shí)C層輸出C=X，且C向上饋送，與向上權(quán)向量B進(jìn)行作用，產(chǎn)生向量T，T向上送入R層，使R層內(nèi)部開(kāi)始競(jìng)爭(zhēng)。假設(shè)獲勝節(jié)點(diǎn)為j,則R層輸Rj=1而其他節(jié)點(diǎn)輸出為0.2、比較階段R層輸出信息自上而下返回C層，Rj=1使R層j節(jié)點(diǎn)所連接的自上而下的Tj被激活，并向下返回C層。此時(shí)，R層輸出不為全0，并且G1=0，所以，C層下一次輸出C'取決于由R層自上而下的權(quán)向量Tj及網(wǎng)絡(luò)的輸入模式X。用事先指定的門(mén)限對(duì)相似度進(jìn)行測(cè)試，若C’給出了足夠相似的信息，則表示競(jìng)爭(zhēng)正確。反之，則表示競(jìng)爭(zhēng)結(jié)果不符合要求，就發(fā)Reset信號(hào)以置上次獲勝的節(jié)點(diǎn)無(wú)效，并使其在本此模式的匹配過(guò)程中不能再獲勝。然后進(jìn)入搜索階段。3、搜索階段由Reset信號(hào)置獲勝階段無(wú)效開(kāi)始，網(wǎng)絡(luò)進(jìn)入搜索階段，此時(shí)R為全0，G1=1，在C層輸出端又得到了本次的輸入模式X。因此，網(wǎng)絡(luò)又進(jìn)入識(shí)別及比較階段，得到新的獲勝節(jié)點(diǎn)（以前的獲勝節(jié)點(diǎn)不參加競(jìng)爭(zhēng)）。這樣重復(fù)直至搜索到某一個(gè)獲勝節(jié)點(diǎn)K，它與輸入向量X充分匹配達(dá)到滿(mǎn)足的要求為止，模式X編制到R層K節(jié)點(diǎn)所連的模式類(lèi)別中，即按一定方法修改K節(jié)點(diǎn)的自下而上和自上而下的權(quán)向量，使網(wǎng)絡(luò)以后再遇到X或與X相近的模式時(shí)，R層K節(jié)點(diǎn)能很快取得競(jìng)爭(zhēng)的勝利。若搜索了所有的R層輸出節(jié)點(diǎn)而沒(méi)有發(fā)現(xiàn)有與X充分接近的模式，則增設(shè)一個(gè)R層節(jié)點(diǎn)以表示X或與X相近的模式。若成立，則接受j為獲勝節(jié)點(diǎn)，轉(zhuǎn)7，否則發(fā)出Reset信號(hào)，置j為0（不允許其參加競(jìng)爭(zhēng)），開(kāi)始搜索階段，轉(zhuǎn)37、修改R層節(jié)點(diǎn)自下而上及自上而下的權(quán)向量，使其以后對(duì)于X相似的輸入更容易獲得，且具有更高的相似性。其中l(wèi)為大于1的常數(shù)8、恢復(fù)由Reset信號(hào)抑制的R層節(jié)點(diǎn)，轉(zhuǎn)到2以迎接下一次的輸入。五、ART1型網(wǎng)絡(luò)的應(yīng)用ART1型網(wǎng)絡(luò)對(duì)含噪聲模式的分類(lèi)，如圖所示

在第一行的4個(gè)無(wú)噪聲字符A,B,C,D中，用單級(jí)性二進(jìn)制描述，每字符為5*5點(diǎn)陣。首先用4個(gè)無(wú)噪聲模式訓(xùn)練網(wǎng)絡(luò)，當(dāng)值較大（0.85-0.95）時(shí)，4個(gè)模式被分成4類(lèi)。此后，若將圖中的5號(hào)樣本即帶有噪聲的模式A輸入網(wǎng)絡(luò)，由表2可以看出，只有當(dāng)<