第四章：自組織神經(jīng)網(wǎng)絡(1)

1、 提要：提要： 1.1.自組織競爭自組織競爭ANNANN的簡介的簡介 2.2.競爭型自組織網(wǎng)絡競爭型自組織網(wǎng)絡 3.3.自適應共振理論神經(jīng)網(wǎng)絡（自適應共振理論神經(jīng)網(wǎng)絡（ARTART） 4.4.自組織特征映射網(wǎng)絡（自組織特征映射網(wǎng)絡（SOFMSOFM） 5.5.對向傳播網(wǎng)絡（對向傳播網(wǎng)絡（CPCP）自組織神經(jīng)網(wǎng)絡的典型結構自組織神經(jīng)網(wǎng)絡的典型結構 競爭層競爭層輸入層輸入層自組織學習自組織學習(self-organized learning) (self-organized learning) ： 通過自動尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬通過自動尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自適應地改變網(wǎng)絡

2、參數(shù)與結構。性，自組織、自適應地改變網(wǎng)絡參數(shù)與結構。 自組織網(wǎng)絡的自組織功能是通過競爭學習自組織網(wǎng)絡的自組織功能是通過競爭學習（competitive learningcompetitive learning）實現(xiàn)的。）實現(xiàn)的。 基本概念基本概念 分類分類分類是在類別知識等導師信號的分類是在類別知識等導師信號的指導下，將待識別的輸入模式分配到各自的模指導下，將待識別的輸入模式分配到各自的模式類中去。式類中去。 聚類聚類無導師指導的分類稱為聚類，聚無導師指導的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類，而將類的目的是將相似的模式樣本劃歸一類，而將不相似的分離開不相似的分離開。 相似性測量

3、相似性測量歐式距離法歐式距離法)()(iTiiXXXXXX 類 1 類 2 類 1 類 2 T T (a )基 于 歐 式 距 離 的 相 似 性 測 量 (b )基 于 余 弦 法 的 相 似 性 測 量 相似性測量相似性測量余弦法余弦法iiTXXXXcos 類 1 類 2 類 1 類 2 T T (a )基 于 歐 式 距 離 的 相 似 性 測 量 (b )基 于 余 弦 法 的 相 似 性 測 量競爭學習規(guī)則競爭學習規(guī)則Winner-Take-All 網(wǎng)絡的輸出神經(jīng)元之間相互競爭以求被網(wǎng)絡的輸出神經(jīng)元之間相互競爭以求被激活，結果在每一時刻只有一個輸出神經(jīng)元激活，結果在每一時刻只有一個輸

4、出神經(jīng)元被激活。這個被激活的神經(jīng)元稱為競爭獲勝被激活。這個被激活的神經(jīng)元稱為競爭獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為為Winner Take AllWinner Take All。向量歸一化向量歸一化Tnjjnnjjxxxx12121.XXX向量歸一化之向量歸一化之 * * * * * * * * 向量歸一化之向量歸一化之 * * * * * * * * * * 尋找獲勝神經(jīng)元：當網(wǎng)絡得到一個輸入模式尋找獲勝神經(jīng)元：當網(wǎng)絡得到一個輸入模式向量時，競爭層的所有神經(jīng)元對應的權向量向量時，競爭層的所有神經(jīng)元對應的權向量均與其進行相似性比較，并將最相似的權

5、向均與其進行相似性比較，并將最相似的權向量判為競爭獲勝神經(jīng)元。量判為競爭獲勝神經(jīng)元。欲使兩單位向量最相似，須使其點積最大。欲使兩單位向量最相似，須使其點積最大。即：即：)(max,.,2, 1*XWXWTjmjTj 從上式可以看出，欲使兩單位向量的歐式距離從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩向量的點積最大。即：最小，須使兩向量的點積最大。即：)(max,.,2, 1*XWXWTjmjTjjmjjWXWXmin,.,2,1*)()(*jTjjWXWXWXTjTjTjT*2WWXWXX)1(2*XWTj自組織的生物學基礎自組織的生物學基礎 神經(jīng)細胞的興奮、抑制和競爭，從而從外界大神

6、經(jīng)細胞的興奮、抑制和競爭，從而從外界大 量反復的刺激中提取出事物的本質(zhì)特征。量反復的刺激中提取出事物的本質(zhì)特征。興興 奮奮：神經(jīng)元的幅值增高，不同神經(jīng)元興奮的程：神經(jīng)元的幅值增高，不同神經(jīng)元興奮的程 度不同，程度高的最后獲勝。度不同，程度高的最后獲勝。抑抑 制制：該神經(jīng)元興奮，對其它所有元均抑制。：該神經(jīng)元興奮，對其它所有元均抑制。側抑制側抑制：該神經(jīng)元興奮，對其臨近的元抑制，對遠：該神經(jīng)元興奮，對其臨近的元抑制，對遠 離它的神經(jīng)元不抑制。離它的神經(jīng)元不抑制。 在人類的認識過程中，除了從教師那里得在人類的認識過程中，除了從教師那里得到知識外，還有一種不需要通過教師自動的向到知識外，還有一種不需

7、要通過教師自動的向環(huán)境學習的能力，這種僅依靠環(huán)境刺激的環(huán)境學習的能力，這種僅依靠環(huán)境刺激的“無無師自通師自通”的功能又稱為自組織學習方法。的功能又稱為自組織學習方法。 在網(wǎng)絡結構上，它一般是由輸入層和競爭在網(wǎng)絡結構上，它一般是由輸入層和競爭層構成的兩層網(wǎng)絡。兩層之間各神經(jīng)元實現(xiàn)雙層構成的兩層網(wǎng)絡。兩層之間各神經(jīng)元實現(xiàn)雙向連接，而且網(wǎng)絡沒有隱含層。有的競爭層各向連接，而且網(wǎng)絡沒有隱含層。有的競爭層各神經(jīng)元之間還存在橫向連接。神經(jīng)元之間還存在橫向連接。 在學習算法上，它模擬生物神經(jīng)系統(tǒng)依靠在學習算法上，它模擬生物神經(jīng)系統(tǒng)依靠神經(jīng)元之間的神經(jīng)元之間的興奮、協(xié)調(diào)與抑制、競爭的作用興奮、協(xié)調(diào)與抑制、競爭

8、的作用來進行信息處理的動力學原來進行信息處理的動力學原理指導網(wǎng)絡的學習與工作，而不像大多數(shù)神經(jīng)網(wǎng)絡那樣是以理指導網(wǎng)絡的學習與工作，而不像大多數(shù)神經(jīng)網(wǎng)絡那樣是以網(wǎng)絡的誤差或能量函數(shù)作為算法的準則。網(wǎng)絡的誤差或能量函數(shù)作為算法的準則。 以競爭型神經(jīng)網(wǎng)絡為基礎可以構成一些具有自組織能力以競爭型神經(jīng)網(wǎng)絡為基礎可以構成一些具有自組織能力的網(wǎng)絡。如的網(wǎng)絡。如: : 自適應共振理論自適應共振理論（Adaptive Resonance TheoryAdaptive Resonance Theory）網(wǎng)絡）網(wǎng)絡, , 自組織特征映射自組織特征映射（Self-Organizing Feature MapSelf-

9、Organizing Feature Map）網(wǎng)絡，）網(wǎng)絡， 對向傳播對向傳播（Counter PropagationCounter Propagation）網(wǎng)絡。）網(wǎng)絡。自組織的概念自組織的概念 前面討論的網(wǎng)絡均為有指導學習前面討論的網(wǎng)絡均為有指導學習 離散離散HopHop網(wǎng)絡：網(wǎng)絡：HebbHebb規(guī)則規(guī)則無指導學習，但它不是一無指導學習，但它不是一種主動性學習。種主動性學習。 僅僅依靠外界環(huán)境的刺激自動向環(huán)境學習的方法，就稱僅僅依靠外界環(huán)境的刺激自動向環(huán)境學習的方法，就稱為自組織學習方法。為自組織學習方法。4.2 4.2 競爭型自組織網(wǎng)絡競爭型自組織網(wǎng)絡 競爭學習是指同一層神經(jīng)元層次上的

10、各個神經(jīng)競爭學習是指同一層神經(jīng)元層次上的各個神經(jīng)元相互進行競爭，元相互進行競爭，競爭勝利的神經(jīng)元修改與其相連競爭勝利的神經(jīng)元修改與其相連的連接權值的連接權值。這種機制可以用來進行。這種機制可以用來進行模式聚類模式聚類。競。競爭學習是一種無監(jiān)督的學習。在無監(jiān)督學習中，只爭學習是一種無監(jiān)督的學習。在無監(jiān)督學習中，只向網(wǎng)絡提供一些學習樣本，而沒有期望的輸出。網(wǎng)向網(wǎng)絡提供一些學習樣本，而沒有期望的輸出。網(wǎng)絡根據(jù)輸入樣本進行自組織，并將其劃分到相應的絡根據(jù)輸入樣本進行自組織，并將其劃分到相應的模式類別中。由于不需要提供理想輸出，因而推廣模式類別中。由于不需要提供理想輸出，因而推廣了有監(jiān)督模式分類方法。競

11、爭勝利的神經(jīng)元就代表了有監(jiān)督模式分類方法。競爭勝利的神經(jīng)元就代表著當前輸入樣本的分類模式。著當前輸入樣本的分類模式。4.2 4.2 競爭型自組織網(wǎng)絡競爭型自組織網(wǎng)絡 競爭型神經(jīng)網(wǎng)絡由多種形式和算法，常用的一競爭型神經(jīng)網(wǎng)絡由多種形式和算法，常用的一種基本結構如下圖種基本結構如下圖4.14.1所示。其中輸入層有所示。其中輸入層有n n個神經(jīng)個神經(jīng)元，輸出層有元，輸出層有m m個神經(jīng)元。網(wǎng)絡的連接權個神經(jīng)元。網(wǎng)絡的連接權W W。圖圖0 0 競爭學習網(wǎng)絡競爭學習網(wǎng)絡 神經(jīng)網(wǎng)絡的學習和記憶特性 學習過程的本質(zhì)？ 網(wǎng)絡將知識存儲（記憶）在什么地方？ 對于感知器/BP網(wǎng)絡/SOM網(wǎng)絡學習時，當新樣本輸入時，

12、權值的改變對舊樣本的影響是什么？環(huán)境變化環(huán)境變化網(wǎng)絡的可塑性分析網(wǎng)絡的可塑性分析新添樣本新添樣本訓練訓練合并合并重新訓練重新訓練應用應用新環(huán)境下的應用新環(huán)境下的應用樣本集樣本集網(wǎng)絡的可塑性需要的網(wǎng)絡的可塑性需要的4 4項功能項功能樣本的分類功能樣本的分類功能分類的識別功能分類的識別功能比較功能比較功能 類的建立功能類的建立功能 穩(wěn)定性與可塑性是不同的穩(wěn)定性與可塑性是不同的 保證可塑性的操作要求分析保證可塑性的操作要求分析不匹配的現(xiàn)存不匹配的現(xiàn)存模式不被修改模式不被修改新輸入向量新輸入向量與現(xiàn)存模式與現(xiàn)存模式 相似：修改相匹配的模式相似：修改相匹配的模式不相似：建立一個新模式不相似：建立一個新模

13、式 歷史 1976年，美國Boston大學學者G.A.Carpenter提出自適應共振理論(Adaptive Resonance Theory，縮寫為ART)，他多年來一直試圖為人類的心理和認知活動建立統(tǒng)一的數(shù)學理論，ART就是這一理論的核心部分。隨后G.A.Carpenter又與S.Grossberg提出了ATR網(wǎng)絡。 共振現(xiàn)象的一些例子 魚洗 寺院無人敲而響的磬 軍隊過橋 雪崩 人類認知（圖像）當雙手策動力的頻率跟物體的固有頻率相等時，振幅最大，這種現(xiàn)象叫共振。水中發(fā)出的嗡鳴聲是銅盆腔內(nèi)的振動和摩擦頻率振動發(fā)生共振引起的。 ART = Adaptive Resonance TheoryTh

14、e ART network is proposed by Grossberg in 1976.There are two commonly used models: - ART1：this model takes only binary input - ART2：this model takes continuous or binary input 算法基礎算法基礎格勞斯貝格格勞斯貝格(SGrossberg)提出了兩種類型的神經(jīng)元模型：提出了兩種類型的神經(jīng)元模型：內(nèi)星與外星，用以來解釋人類及動物的學習現(xiàn)象內(nèi)星與外星，用以來解釋人類及動物的學習現(xiàn)象. 內(nèi)星可以被訓練來內(nèi)星可以被訓練來識別矢量識別

15、矢量； 外星可以被訓練來外星可以被訓練來產(chǎn)生矢量產(chǎn)生矢量. 算法基礎算法基礎圖圖1 格勞斯貝格內(nèi)星模型圖格勞斯貝格內(nèi)星模型圖 內(nèi)星是通過聯(lián)接權矢量內(nèi)星是通過聯(lián)接權矢量W接受一組輸入信號接受一組輸入信號P 算法基礎算法基礎圖圖2 格勞斯貝格外星模型圖格勞斯貝格外星模型圖 外星則是通過聯(lián)接權矢量向外輸出一組信號外星則是通過聯(lián)接權矢量向外輸出一組信號A. 它們之所以被稱為內(nèi)星和外星，主要是因為其網(wǎng)絡的它們之所以被稱為內(nèi)星和外星，主要是因為其網(wǎng)絡的結構像星形，且內(nèi)星的信號流向星的內(nèi)部；而外星的結構像星形，且內(nèi)星的信號流向星的內(nèi)部；而外星的信號流向星的外部信號流向星的外部. 環(huán)環(huán)境境輸輸入入模模式式與儲

16、存與儲存的典型的典型向量模向量模式進行式進行比較比較神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡的連接權值連接權值選擇最相似的作為該模式的代表選擇最相似的作為該模式的代表類，并調(diào)整與該類別相關的權值，類，并調(diào)整與該類別相關的權值，以使以后與該模式相似的輸入再以使以后與該模式相似的輸入再與該模式匹配時能得到更大的相與該模式匹配時能得到更大的相似度。似度。相似度的參考門限相似度的參考門限需要在網(wǎng)絡中設立一個新的模需要在網(wǎng)絡中設立一個新的模式類，同時建立與該模式類相式類，同時建立與該模式類相連的權值，用以代表和存儲該連的權值，用以代表和存儲該模式以及后來輸入的所有同類模式以及后來輸入的所有同類模式。模式。 G2 R 門限 G

17、1 C Reset 輸入 XC 比較層比較層R 識別層識別層Reset 復位信號復位信號G1和和G2 邏輯控制信號邏輯控制信號網(wǎng)絡系統(tǒng)結構網(wǎng)絡系統(tǒng)結構 R 層 t1j tij tnj c1 ci cn G1 x1 xI xn(1)C (1)C 層結構層結構 該層有該層有n n個節(jié)點，每個節(jié)點接受來自個節(jié)點，每個節(jié)點接受來自3 3個個方面的信號：方面的信號：來自外界的輸入信號來自外界的輸入信號x xi i；來自來自R R 層獲勝神經(jīng)元的外星向量的返回信層獲勝神經(jīng)元的外星向量的返回信號號T Tj j；來自來自G G1 1的控制信號。的控制信號。 C C 層節(jié)點的輸出層節(jié)點的輸出c ci i是根據(jù)是

18、根據(jù)2/32/3的的“多數(shù)表多數(shù)表決決”原則產(chǎn)生的，即輸出值原則產(chǎn)生的，即輸出值c ci i與與x xi i、t tijij 、G G1 1 3 3個信號中的多數(shù)信號值相同。個信號中的多數(shù)信號值相同。 G G1 1=1=1，反饋回送信號為，反饋回送信號為0 0，C C層輸出應由層輸出應由輸入信號決定，有輸入信號決定，有C=XC=X。 反饋回送信號不為反饋回送信號不為0 0，G G1 1=0=0，C C層輸出應層輸出應取決于輸入信號與反饋信號的比較情況，如取決于輸入信號與反饋信號的比較情況，如果兩者符號相同，則果兩者符號相同，則c ci i= =x xi i。否則。否則c ci i=0=0。網(wǎng)絡

19、系統(tǒng)結構網(wǎng)絡系統(tǒng)結構r1 rj rm b1 1 b1j b1m bn1 bnj bnm bi1bijbim C 層（2 2）R R層結構層結構vR R 層有層有m m 個節(jié)點，用以表示個節(jié)點，用以表示m m 個輸入個輸入模式類。模式類。m m可動態(tài)增長，以設立新模式可動態(tài)增長，以設立新模式類。類。v由由C C 層向上連接到層向上連接到R R 第第j j 個節(jié)點的內(nèi)個節(jié)點的內(nèi)星權向量用星權向量用B Bj j= =（b b1j1j，b b2j2j，,b,bnjnj）表示）表示。vC C 層的輸出向量層的輸出向量C C 沿沿m m個內(nèi)星權向量個內(nèi)星權向量B Bj j( (j=1,2,j=1,2,m,

20、m) )向前傳送，到達向前傳送，到達R R 層各層各個神經(jīng)元節(jié)點后經(jīng)過競爭在產(chǎn)生獲勝節(jié)個神經(jīng)元節(jié)點后經(jīng)過競爭在產(chǎn)生獲勝節(jié)點點j j* *，指示本次輸入模式的所屬類別。，指示本次輸入模式的所屬類別。v獲勝節(jié)點輸出獲勝節(jié)點輸出=1=1，其余節(jié)點輸出為，其余節(jié)點輸出為0 0。R R 層表示各模式類節(jié)點的典型向量。層表示各模式類節(jié)點的典型向量。網(wǎng)絡系統(tǒng)結構網(wǎng)絡系統(tǒng)結構(3)(3)控制信號控制信號 控制信號控制信號G2的作用的作用是檢測輸入模式是檢測輸入模式X 是否為是否為0 0，它等于，它等于X 各分量的各分量的邏輯邏輯“或或”，如果，如果xi(i =1,2,n)為全為全0 0，則，則G2=0，否則，

21、否則G2=1。控制信號控制信號G1的作用的作用是在網(wǎng)絡開始運行時為是在網(wǎng)絡開始運行時為1 1，以使，以使C=X，其后為，其后為0 0以使以使C 值由輸入模式和反饋模式的比較結果決定。設值由輸入模式和反饋模式的比較結果決定。設R 層輸出向量層輸出向量各分量的邏輯各分量的邏輯“或或”用用R0表示，則信號表示，則信號G1= = ，當，當R 層輸出向量層輸出向量R 的各分量為全的各分量為全0 0而輸入向量而輸入向量X不是零向量時，不是零向量時，G1=1，否則，否則G1=0?？刂菩盘柨刂菩盘朢eset的作用的作用是使是使R層競爭獲勝神經(jīng)元無效，如果根據(jù)某層競爭獲勝神經(jīng)元無效，如果根據(jù)某種事先設定的測量標

22、準，與種事先設定的測量標準，與X未達到預先設定的相似度未達到預先設定的相似度，表明兩，表明兩者未充分接近，于是系統(tǒng)發(fā)出者未充分接近，于是系統(tǒng)發(fā)出Reset信號使競爭獲勝神經(jīng)元無效。信號使競爭獲勝神經(jīng)元無效。02RG網(wǎng)絡系統(tǒng)結構網(wǎng)絡系統(tǒng)結構網(wǎng)絡運行原理網(wǎng)絡運行原理相似程度可能出現(xiàn)的兩種情況：相似程度可能出現(xiàn)的兩種情況：相似度超過參考門限相似度超過參考門限 選該模式類作為當前輸入模式的代表類。權值調(diào)選該模式類作為當前輸入模式的代表類。權值調(diào)整規(guī)則是，整規(guī)則是，相似度超過參考門限的模式類調(diào)整其相應的相似度超過參考門限的模式類調(diào)整其相應的內(nèi)外星權向量，內(nèi)外星權向量，以使其以后遇到與當前輸入模式接近的以

23、使其以后遇到與當前輸入模式接近的樣本時能得到更大的相似度；樣本時能得到更大的相似度；對其它權值向量則不做任對其它權值向量則不做任何變動。何變動。相似度不超過門限值相似度不超過門限值需在網(wǎng)絡輸出端設立一個代表新模式類的節(jié)點，需在網(wǎng)絡輸出端設立一個代表新模式類的節(jié)點，用以代表及存儲該模式，以便于參加以后的匹配過程。用以代表及存儲該模式，以便于參加以后的匹配過程。對于每一個輸入，模式網(wǎng)絡運行過程可歸納為四個階段：對于每一個輸入，模式網(wǎng)絡運行過程可歸納為四個階段：(1)(1)匹配階段匹配階段 網(wǎng)絡在沒有輸入之前處于等待狀態(tài)，此時輸入端網(wǎng)絡在沒有輸入之前處于等待狀態(tài)，此時輸入端X0，因此，因此信號信號G

24、20，R0= 0。當輸入不全為。當輸入不全為0 0的模式的模式X 時，時，G21，R0=0，使得使得G1=1。G1為為1 1時允許輸入模式直接從時允許輸入模式直接從C層輸出，并向前傳至層輸出，并向前傳至R 層，與層，與R 層節(jié)點對應的所有內(nèi)星向量層節(jié)點對應的所有內(nèi)星向量Bj 進行匹配計算：進行匹配計算： j=1,2,，m (1)(1)選擇具有最大匹配度選擇具有最大匹配度( (即具有最大點積即具有最大點積) )的競爭獲勝節(jié)點：的競爭獲勝節(jié)點：使獲勝節(jié)點輸出使獲勝節(jié)點輸出 =1=1，其它節(jié)點輸出為，其它節(jié)點輸出為0 0。niiijTjjxbnet1XBmax*jjjnetnet*jr網(wǎng)絡運行原理網(wǎng)

25、絡運行原理(2)(2)比較階段比較階段 R層輸出信息通過外星向量返回到層輸出信息通過外星向量返回到C層。層。R 層獲勝節(jié)點所連的外星權向量激層獲勝節(jié)點所連的外星權向量激活，從節(jié)點活，從節(jié)點j j* * 發(fā)出的發(fā)出的n n個權值信號返回個權值信號返回到到C 層的層的n個節(jié)點。此時，個節(jié)點。此時，R層輸出不全層輸出不全為零，為零，R0=1，而，而G1=0，所以，所以C 層最新層最新輸出狀態(tài)輸出狀態(tài)C取決于由取決于由R 層返回的外星權層返回的外星權向量和網(wǎng)絡輸入模式向量和網(wǎng)絡輸入模式X的比較結果。由的比較結果。由于外星權向量是于外星權向量是R 層模式類的典型向量層模式類的典型向量，該比較結果，該比較

26、結果C反映了在匹配階段反映了在匹配階段R 層層競爭排名第一的模式類的典型向量與當競爭排名第一的模式類的典型向量與當前輸入模式前輸入模式X 的相似程度。相似程度的的相似程度。相似程度的大小可用相似度大小可用相似度N0 反映，定義為：反映，定義為： R 層 t1j tij tnj c1 ci cn G1 x1 xI xnniiniiijjTcxtN110*tX設輸入模式樣本中的非零分量數(shù)為：設輸入模式樣本中的非零分量數(shù)為：niixN11網(wǎng)絡運行原理網(wǎng)絡運行原理(2)(2)比較階段比較階段 用于比較的警戒門限為用于比較的警戒門限為，在，在0 01 1范圍取值范圍取值。檢查輸入模式與模式類典。檢查輸入

27、模式與模式類典型向量之間的相似性是否低于警戒門限，如果有型向量之間的相似性是否低于警戒門限，如果有N0/N1表明表明X X與獲勝節(jié)點對應的類別模式非常接近，稱與獲勝節(jié)點對應的類別模式非常接近，稱X X 與與 發(fā)生發(fā)生“共振共振”，第一第一階段的匹配結果有效，網(wǎng)絡進入學習階段。階段的匹配結果有效，網(wǎng)絡進入學習階段。*jT網(wǎng)絡運行原理網(wǎng)絡運行原理(3)(3)搜索階段搜索階段 網(wǎng)絡發(fā)出網(wǎng)絡發(fā)出Reset Reset 重置信號后即進入搜索階段，重置信號的作用是使前重置信號后即進入搜索階段，重置信號的作用是使前面通過競爭獲勝的神經(jīng)元受到抑制，并且在后續(xù)過程中受到持續(xù)的抑制，面通過競爭獲勝的神經(jīng)元受到抑制

28、，并且在后續(xù)過程中受到持續(xù)的抑制，直到輸入一個新的模式為止。由于直到輸入一個新的模式為止。由于R R 層中的競爭獲勝的神經(jīng)元被抑制，從層中的競爭獲勝的神經(jīng)元被抑制，從而再度出現(xiàn)而再度出現(xiàn)R0=0，G1=1，因此網(wǎng)絡又重新回到起始的匹配狀態(tài)。，因此網(wǎng)絡又重新回到起始的匹配狀態(tài)。 由于上次獲勝的節(jié)點受到持續(xù)的抑制，此次獲勝的必然是上次匹配程由于上次獲勝的節(jié)點受到持續(xù)的抑制，此次獲勝的必然是上次匹配程度排在第二的節(jié)點，將該節(jié)點對應的外星權向量與輸入模式進行匹配計算度排在第二的節(jié)點，將該節(jié)點對應的外星權向量與輸入模式進行匹配計算。如果對。如果對R R層所有的模式類，在比較階段的相似度檢查中相似度都不能

29、滿層所有的模式類，在比較階段的相似度檢查中相似度都不能滿足要求，說明當前輸入模式無類可歸，需要在網(wǎng)絡輸出層增加一個節(jié)點來足要求，說明當前輸入模式無類可歸，需要在網(wǎng)絡輸出層增加一個節(jié)點來代表并存儲該模式類，為此將其內(nèi)星向量代表并存儲該模式類，為此將其內(nèi)星向量 設計成當前輸入模式向量，設計成當前輸入模式向量，外星向量外星向量 各分量全設為各分量全設為1 1。*jB*jT網(wǎng)絡運行原理網(wǎng)絡運行原理(4)(4)學習階段學習階段 在學習階段要對發(fā)生共振的獲勝節(jié)點對應的模式類加強學習，使在學習階段要對發(fā)生共振的獲勝節(jié)點對應的模式類加強學習，使以后出現(xiàn)與該模式相似的輸入樣本時能獲得更大的共振。以后出現(xiàn)與該模式

30、相似的輸入樣本時能獲得更大的共振。 ARTART網(wǎng)絡運行中存在兩種記憶方式網(wǎng)絡運行中存在兩種記憶方式：短期記憶短期記憶：C C 層和層和R R 層輸出信號稱為短期記憶，用層輸出信號稱為短期記憶，用STMSTM（Short time memory）表示，短期記憶在運行過程中會不斷發(fā)生變化；）表示，短期記憶在運行過程中會不斷發(fā)生變化；長期記憶長期記憶：兩層之間的內(nèi)外星權向量稱為長期記憶，用兩層之間的內(nèi)外星權向量稱為長期記憶，用LTM(Long time memory) )表示，長期記憶在運行過程中不會變化。表示，長期記憶在運行過程中不會變化。網(wǎng)絡運行原理網(wǎng)絡運行原理網(wǎng)絡的學習算法網(wǎng)絡的學習算法 A

31、RTART網(wǎng)絡可以用學習算法實現(xiàn)，學習算法從軟件角度體現(xiàn)了網(wǎng)絡可以用學習算法實現(xiàn)，學習算法從軟件角度體現(xiàn)了網(wǎng)絡的運行機制，與系統(tǒng)結構圖并不一一對應。網(wǎng)絡的運行機制，與系統(tǒng)結構圖并不一一對應。訓練可按以下步驟進行：訓練可按以下步驟進行：(1)(1)網(wǎng)絡初始化網(wǎng)絡初始化 從從C C 層向?qū)酉騌 R 層的內(nèi)星權向量層的內(nèi)星權向量B Bj j 賦予相同的較小數(shù)賦予相同的較小數(shù)值，如值，如 (2)(2)從從R R 層到層到C C 層的外星權向量層的外星權向量T Tj j 各分量均賦各分量均賦1 1 (3) (3)nbij11)0(mjni,.,2,1,.,2,11ijtmjni,.,2,1,.,2,14

32、3(2)(2)網(wǎng)絡接受輸入網(wǎng)絡接受輸入 給定一個輸入模式，給定一個輸入模式，X X( (x x1 1,x,x2 2, ,，x xn n) )， x xi i ( (0,10,1) )n n。(3)(3)匹配度計算匹配度計算 對對R層所有內(nèi)星向量層所有內(nèi)星向量B Bj j計算與輸入模式計算與輸入模式X X的匹配度：的匹配度： ， j=1,2,j=1,2,，m m。niiijTjxb1XB(4)(4)選擇最佳匹配節(jié)點選擇最佳匹配節(jié)點 在在R R層有效輸出節(jié)點集合層有效輸出節(jié)點集合J J* *內(nèi)選擇競爭內(nèi)選擇競爭獲勝的最佳匹配節(jié)點獲勝的最佳匹配節(jié)點j j* *，使得，使得*01jjjjrj網(wǎng)絡的學習

33、算法網(wǎng)絡的學習算法(5)(5)相似度計算相似度計算 R R 層獲勝節(jié)點層獲勝節(jié)點j j* *通過外星送回獲勝模式類的典通過外星送回獲勝模式類的典型向量，型向量，C C層輸出信號給出對向量和層輸出信號給出對向量和X X的比較結果，的比較結果，i=1,2,i=1,2,n,n，由，由此結果可計算出兩向量的相似度為此結果可計算出兩向量的相似度為niicN10niixN11(6)(6)警戒門限檢驗警戒門限檢驗 如果如果N N0 0/N/N1 1，表明表明X X應歸為代表的應歸為代表的模式類，轉向步驟模式類，轉向步驟(8)(8)調(diào)整權值。調(diào)整權值。網(wǎng)絡的學習算法網(wǎng)絡的學習算法(7)(7)搜索匹配模式類搜索

34、匹配模式類 若有效輸出節(jié)點集合若有效輸出節(jié)點集合J J* *不為空不為空，轉向步驟，轉向步驟(4)(4)重選匹配模式類；若重選匹配模式類；若J J* *為空集為空集，需在，需在R R層增加一個節(jié)點。設新增節(jié)點的層增加一個節(jié)點。設新增節(jié)點的序號為序號為n nc c，應使，應使 , ,i=1,2,i=1,2,n,n, ,此時有效輸出節(jié)點集合此時有效輸出節(jié)點集合為為J J* *=1,2,1,2,m,m+1,m,m+1,m+n,m+nc c,轉向步驟轉向步驟(2)(2)輸入新模式。輸入新模式。1,ccinntXB網(wǎng)絡的學習算法網(wǎng)絡的學習算法(8)(8)調(diào)整網(wǎng)絡權值調(diào)整網(wǎng)絡權值 修改修改R R層節(jié)點層節(jié)點j j* * 對應的權向量，網(wǎng)絡的學習采用對應的權向量，網(wǎng)絡的學習采用了了 兩種規(guī)則