自組織神經(jīng)網(wǎng)絡(luò)資料

人工神經(jīng)網(wǎng)絡(luò)及其應用第五講自組織神經(jīng)網(wǎng)絡(luò)第五講自組織神經(jīng)網(wǎng)絡(luò)主講內(nèi)容◆

§5.1競爭學習機制◆

§5.2自組織特征映射網(wǎng)絡(luò)◆

§5.3

學習矢量量化LVQ網(wǎng)絡(luò)◆§5.4自適應諧振理論網(wǎng)絡(luò)§5.1競爭學習機制5.1.1神經(jīng)元的側(cè)向交互原理5.1.2二層結(jié)構(gòu)的競爭網(wǎng)絡(luò)與競爭學習5.1.3競爭子網(wǎng)絡(luò)中連接權(quán)調(diào)整5.1.4層間連接權(quán)的幾種學習規(guī)則§5.1競爭學習機制基本概念(1)自組織學習

通過自動尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自適應地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。自組織網(wǎng)絡(luò)的自組織功能是通過競爭學習實現(xiàn)的。(2)分類是在類別知識等導師信號的指導下，將待識別的輸入模式分配到各自的模式類中去。(3)聚類無導師指導的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類，而將不相似的分離開。(4)相似性度量歐式距離§5.1競爭學習機制競爭學習原理

網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競爭以求被激活，結(jié)果在每一時刻只有一個輸出神經(jīng)元被激活。這個被激活的神經(jīng)元稱為競爭獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為WinnerTakeAll（競爭學習規(guī)則）。1.向量歸一化2.尋找獲勝神經(jīng)元3.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整§5.1競爭學習機制5.1.1神經(jīng)元的側(cè)向交互原理→大腦是由大量協(xié)同作用的神經(jīng)元群組成的→大腦的神經(jīng)網(wǎng)絡(luò)是一個十分復雜的反饋系統(tǒng):整體反饋，局部反饋，化學交互作用→聚類：大腦處理信息的過程中極其重要的功能，大腦通過聚類過程從而識別外界信號，并產(chǎn)生自組織過程

§5.1競爭學習機制5.1.1神經(jīng)元的側(cè)向交互原理①大腦皮層中神經(jīng)元呈二維空間排列,包括外部區(qū)域輸入和同一區(qū)域的反饋輸入②側(cè)向交互原則(鄰近神經(jīng)元信息的側(cè)向交互方式)⑴以發(fā)出信號的神經(jīng)元為圓心,對近鄰神經(jīng)元交互作用表現(xiàn)為興奮性側(cè)反饋━━近鄰者相激勵（半徑約為50—500μm左右的神經(jīng)元）⑵以發(fā)出信號的神經(jīng)元為圓心,對遠鄰的神經(jīng)元交互作用表現(xiàn)為抑制性側(cè)反饋━━遠鄰者相抑制,更遠的神經(jīng)元為弱激勵（半徑為200μm—2mm左右的神經(jīng)元）

經(jīng)由側(cè)向交互作用,使得鄰近的神經(jīng)元之間產(chǎn)生競爭,從而針對每個神經(jīng)元自適應地形成具有特殊信息的組織結(jié)構(gòu)━━特殊的信號檢測器交互作用近距離的側(cè)激勵區(qū)側(cè)向距離稍遠些的抑制作用環(huán)弱激勵區(qū)(可忽略不計)側(cè)向交互作用模式(墨西哥帽表示)§5.1競爭學習機制5.1.2二層結(jié)構(gòu)的競爭網(wǎng)絡(luò)與競爭學習①匹配層子網(wǎng)絡(luò)輸入模式與已存的m類模式按某種規(guī)則(比如各節(jié)點受到的刺激大小)進行匹配計算與比較,實現(xiàn)信息的饋送。②競爭子網(wǎng)絡(luò)（輸出節(jié)點之間競爭）各輸出節(jié)點之間產(chǎn)生相互抑制（連接權(quán)為負），單個節(jié)點產(chǎn)生興奮（自身連接權(quán)為正），以實現(xiàn)節(jié)點之間的相互競爭━━采用的是橫向自興奮和鄰抑制連接。匹配子網(wǎng)絡(luò)競爭子網(wǎng)絡(luò)………………m類模式n

輸入模式與存儲模式之間的匹配………………+++------競爭層匹配層層間連接權(quán)(自組織學習調(diào)整)競爭網(wǎng)絡(luò)輸入層輸出層(側(cè)抑制)§5.1競爭學習機制§5.1競爭學習機制5.1.3競爭子網(wǎng)絡(luò)中連接權(quán)調(diào)整5.1.1.1連接權(quán)調(diào)整原則①輸入模式樣本充分大，使競爭子網(wǎng)絡(luò)得到充分訓練；②獲勝節(jié)點才調(diào)整其連接權(quán)，未獲勝節(jié)點連接權(quán)不調(diào)整；③連接權(quán)的調(diào)整使與該類模式輸入相近的輸入模式獲勝的可能性更大。5.1.1.2連接權(quán)調(diào)整方法這樣相近的輸入模式肯定會得到激活、獲勝?！?.1競爭學習機制5.1.4層間連接權(quán)的幾種學習規(guī)則

在不同的自組織網(wǎng)絡(luò)中采用不同的學習規(guī)則。5.1.4.2微分Hebb學習律§5.1競爭學習機制5.1.4.3競爭學習規(guī)律5.1.4.4微分競爭學習規(guī)律§5.2自組織特征映射網(wǎng)絡(luò)5.2.1二維陣列的SOM模型5.2.2自組織特征映射SOM模型的學習算法5.2.3SOM模型學習的具體步驟5.2.4SOM模型學習的缺點§5.2自組織特征映射網(wǎng)絡(luò)5.2.1二維陣列的SOM模型基于大腦皮層中神經(jīng)元的側(cè)向交互作用，使鄰近神經(jīng)元相互競爭，Kohonen（1981年）提出了自組織特征映射模型SOM。Kohonen認為人的大腦有如下特點:◆大腦的神經(jīng)元雖然在結(jié)構(gòu)上相同，但是它們的排序不同。排序不是指神經(jīng)元位置的移動，而是指神經(jīng)元的有關(guān)參數(shù)在神經(jīng)網(wǎng)絡(luò)受外部輸入刺激而識別事物的過程中產(chǎn)生變動；◆大腦中神經(jīng)元參數(shù)在變動之后形成特定的參數(shù)組織；具有這種特定參數(shù)組織的神經(jīng)網(wǎng)絡(luò)對外界的特定事物特別敏感；◆根據(jù)生物學和神經(jīng)生理學，大腦皮層分成多種不同的局部區(qū)域，各個區(qū)域分別管理某種專門的功能，比如聽覺、視覺、思維等；◆大腦中神經(jīng)元的排序受遺傳決定，但會在外界信息的刺激下，不斷接受傳感信號，不斷執(zhí)行聚類過程，形成經(jīng)驗信息，對大腦皮層的功能產(chǎn)生自組織作用，形成新功能。Kohonen的思想在本質(zhì)上是希望解決有關(guān)外界信息在人腦中自組織地形成概念的問題。對于一個系統(tǒng)來說，就是要解決一個系統(tǒng)在受外界信息作用時在內(nèi)部自組織地形成對應表示形式。這包括神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)調(diào)整?！?.2自組織特征映射網(wǎng)絡(luò)二維陣列SOM模型……輸入層競爭層（輸出層）§5.2自組織特征映射網(wǎng)絡(luò)5.2.2自組織特征映射SOM模型的學習算法

SOM模型的自組織功能是通過調(diào)整連接權(quán)來實現(xiàn)的，并使神經(jīng)元網(wǎng)絡(luò)收斂于一種“表示形態(tài)”，這樣的神經(jīng)元只對特別的輸入模式敏感，也就是自組織映射使神經(jīng)元的連接權(quán)的表示形態(tài)間接模擬輸入信號模式。（連接權(quán)向量對應于某一輸入模式）

SOM模型的學習算法由兩部分組成§5.2自組織特征映射網(wǎng)絡(luò)5.2.2.1最優(yōu)匹配神經(jīng)元的選擇就是選擇特定輸入模式對應的中心神經(jīng)元C?！皻馀荨贝_定：

§5.2自組織特征映射網(wǎng)絡(luò)5.2.2.2網(wǎng)絡(luò)中神經(jīng)元連接權(quán)系數(shù)的自組織過程

①連續(xù)系統(tǒng)的連接權(quán)系數(shù)調(diào)整方程輸出層第j個神經(jīng)元輸出連接權(quán)系數(shù)自組織學習時，連接權(quán)系數(shù)調(diào)整方程：§5.2自組織特征映射網(wǎng)絡(luò)§5.2自組織特征映射網(wǎng)絡(luò)②離散系統(tǒng)的連接權(quán)系數(shù)調(diào)整方程

§5.2自組織特征映射網(wǎng)絡(luò)③鄰域

的選擇剛開始時，鄰域選擇較寬，可設(shè)為網(wǎng)絡(luò)寬度的一半，隨著t增加，向以C為中心的小范圍單調(diào)變小，最后終結(jié)于神經(jīng)元C處，，即為處于氣泡中心位置。C鄰域的動態(tài)變化過程§5.2自組織特征映射網(wǎng)絡(luò)

④增益函數(shù)隨時間遞減函數(shù)，一般要求增益函數(shù)隨時間或采樣周期的增加，其值減小，常在增益函數(shù)實際為學習速率，并隨時間增加而漸趨于0，保證SOM學習算法一定收斂。每執(zhí)行一次學習過程，SOM網(wǎng)絡(luò)就會對外部輸入模式執(zhí)行一次自組織適應過程，就可以對現(xiàn)行模式的映射形態(tài)進行強化，弱化以往的模式的映射形態(tài)?！?.2自組織特征映射網(wǎng)絡(luò)

5.2.3SOM模型學習的具體步驟①連接權(quán)系數(shù)初始化

n個輸入和m個輸出的SOM網(wǎng)絡(luò)，連接權(quán)系數(shù)設(shè)定為很小的隨機數(shù)a，，再設(shè)定鄰近區(qū)域的初始半徑，取增益函數(shù)②提供新的輸入模式③求輸入模式與所有輸出神經(jīng)元的歐式距離④選擇最優(yōu)匹配的輸出神經(jīng)元C

為最小的輸出神經(jīng)元就是最優(yōu)匹配的輸出神經(jīng)元C⑤修正連接權(quán)系數(shù)⑥對于不同的,重新返回②步執(zhí)行。§5.2自組織特征映射網(wǎng)絡(luò)

5.2.4SOM模型學習的缺點①輸入模式較少時，分類結(jié)果依賴于輸入模式的輸入先后次序；②沒有經(jīng)過完整的重新學習之前，不能加入新的類別?！?.3學習矢量量化LVQ網(wǎng)絡(luò)矢量量化是一種高效的數(shù)據(jù)壓縮技術(shù)，是在誤差代價函數(shù)最小的情況下，用離散的確定矢量逼近連續(xù)的隨機矢量。參考矢量輸出層不同的分類輸入向量輸入層Kohonen神經(jīng)元（隱含）層學習矢量量化網(wǎng)絡(luò)拓撲結(jié)構(gòu)

三層結(jié)構(gòu)：輸入層、Kohonen神經(jīng)元（隱含）層、輸出層。輸入層與隱含層神經(jīng)元全部互連；輸出層神經(jīng)元與不同的隱含層神經(jīng)元組互連；連接權(quán)：輸出層與隱含層之間的連接權(quán)固定為1；學習參考矢量：由每個隱含層神經(jīng)元與輸入神經(jīng)元互連的連接權(quán)構(gòu)成，并通過學習訓練進行修正。隱含層和輸出層神經(jīng)元的輸出為二值[0，1]。

LVQ在給定初始量化矢量的基礎(chǔ)上，用有類別屬性的訓練樣本，通過自監(jiān)督、自適應學習的方法來校正這些初始量化矢量，形成的矢量基本反映了模式的統(tǒng)計分布?；谶@些矢量估計模式的概率分布，并對未知模式進行分類判決，就構(gòu)成了LVQ分類器。§5.3學習矢量量化LVQ網(wǎng)絡(luò)原則：當隱含層神經(jīng)元的學習參考矢量最接近于輸入模式時，該隱含層神經(jīng)元獲勝，輸出為1，其余隱含層神經(jīng)元輸出為0。與獲勝的隱含層神經(jīng)元組相對應的輸出神經(jīng)元輸出也為1，其余輸出神經(jīng)元輸出為0。

LVQ的訓練步驟：①預置參考矢量初始連接權(quán)值；②為網(wǎng)絡(luò)提供一個訓練輸入模式；③計算輸入模式與每個參考矢量之間的Euclidean距離；④修正最接近輸入模式的參考矢量（即獲勝隱含層神經(jīng)元的參考矢量）的連接權(quán)值；⑤轉(zhuǎn)到②步重新輸入新的模式，進行訓練，直到全部訓練模式被正確分類或者滿足某個終止準則為止。§5.4自適應諧振理論網(wǎng)絡(luò)5.4.1自適應諧振理論網(wǎng)絡(luò)類型、優(yōu)點和基本原理5.4.2ART-1網(wǎng)絡(luò)5.4.3ART-2網(wǎng)絡(luò)§5.4自適應諧振理論網(wǎng)絡(luò)5.4.1自適應諧振理論網(wǎng)絡(luò)類型、優(yōu)點和基本原理6.4.1.1ART研究概述

AdaptiveResonanceTheory：AR,1976年Boston大學S.Grossberg提出。Grossberg研究用數(shù)學來描述人的心理和認知活動，目的是為人類的心理和認知活動建立統(tǒng)一的數(shù)學理論。

問題:

如何設(shè)計學習系統(tǒng)在響應重要事件保持自適應的或者可塑的,而在響應不相關(guān)的事件時保持平穩(wěn);

系統(tǒng)如何知道在平穩(wěn)與可塑模式之間切換以達到不嚴格的平穩(wěn)和沒噪聲的可塑性;

最重要的,學習系統(tǒng)如何保持以前的學習知識而繼續(xù)學習新的知識?并且要防止新的學習沖掉過去學習的記憶? §5.4自適應諧振理論網(wǎng)絡(luò)

ART網(wǎng)絡(luò)的中心概念就是自適應諧振。自適應諧振是一個過程，通過前饋反饋網(wǎng)絡(luò)競爭發(fā)生的過程。典型的ART網(wǎng)絡(luò)包括幾層計算單元或結(jié)點，其中通過慢變化加權(quán)路徑連接STM層(Short-TermMemory).

輸入STM層接收輸入信息并通過前饋或自底向上路徑到模板STM層，而這個模板STM又反饋或自上而下路徑到輸入STM。ART的諧振引起LTM(Long-TermMemory)的權(quán)的修正

§5.4自適應諧振理論網(wǎng)絡(luò)該理論已提出的三個模型自適應諧振理論(ART)由Grossberg提出的，是一個根據(jù)可選參數(shù)對輸入數(shù)據(jù)進行粗略分類的網(wǎng)絡(luò)。ART-1用于二值輸入，而ART-2用于連續(xù)值輸入。ART的不足之處在于過份敏感，輸入有小的變化時，輸出變化很大。ART的一些應用:???→導航與控制;???→醫(yī)學診斷;???→模式識別;???→信號處理;???→地表覆蓋分類;???→

……..§5.4自適應諧振理論網(wǎng)絡(luò)

5.4.1.2ART的主要優(yōu)點①具有較大的靈活性，適應新的輸入模式，避免對已學習模式的修正；（前者通過取向子系統(tǒng)實現(xiàn)，后者通過注意子系統(tǒng)實現(xiàn)）②不需要事先已知樣本結(jié)果，可以非監(jiān)督分類；③容量不受輸入通道的限制，存儲對象也不要求正交；④具有自歸一能力，依據(jù)某些特征在全體中所占的比例，有時作關(guān)鍵特征，有時作噪聲處理；⑤可以實時學習，適應非平穩(wěn)環(huán)境。6.4.1.3ART的基本原理①輸入新模式；②根據(jù)某種規(guī)則，計算輸入模式與網(wǎng)絡(luò)中已存儲模式的相似度；③根據(jù)判別門限，確定如何處理輸入的新模式；④如果相似度大于參考判別門限，則輸入模式歸入最相似的存儲模式，否則，需要增加一個新的存儲模式。自上而下連接權(quán)Tji

自下而上連接權(quán)

Bij二進輸入--F2層,m個結(jié)點模板選擇--F1層,n個結(jié)點

模板匹配+輸出模式xiyjii注意子系統(tǒng)C取向子系統(tǒng)R增益控制G2增益控制G1Reset復位信號LTMSTMSTM輸入模式X門限m個神經(jīng)元n個神經(jīng)元ART-1網(wǎng)絡(luò)的基本結(jié)構(gòu)6.4.2ART-1網(wǎng)絡(luò)6.4.2.1ART-1網(wǎng)絡(luò)的基本結(jié)構(gòu)注意子系統(tǒng)C：比較層，短期記憶存儲（STM）單元，對已有模式進行學習訓練；取向子系統(tǒng)R：識別層，短期記憶存儲（STM）單元，實現(xiàn)系統(tǒng)的可塑性或靈活性；在注意子系統(tǒng)與取向子系統(tǒng)之間的連接通路長期記憶（LTM）。

（內(nèi)星）（外星）§5.4自適應諧振理論網(wǎng)絡(luò)①注意子系統(tǒng)C（C層結(jié)構(gòu)有三個輸入控制）比較層，短期記憶存儲（STM）單元；

n個神經(jīng)元節(jié)點，每個節(jié)點接收三方面信號，比如第i個節(jié)點：

根據(jù)規(guī)則（服從多數(shù)），C層中第i個神經(jīng)元節(jié)點產(chǎn)生輸出:（a）剛開始時，取向子系統(tǒng)R層反饋回送信號為0，依規(guī)則可以保證C層的初始輸出為;（b）反饋回送信號不為0，輸出

輸入信號與反饋信號“邏輯與”運算§5.4自適應諧振理論網(wǎng)絡(luò)②取向子系統(tǒng)R（R層結(jié)構(gòu)）識別層，短期記憶存儲（STM）單元；

m個神經(jīng)元節(jié)點，對應可動態(tài)地增加新的模式的m類不同輸入模式由C層向上連接到R層第j個結(jié)點的內(nèi)星連接權(quán)向量表示C層的輸出向量C沿著m個內(nèi)星權(quán)向量Bj(j=1,2,...,m)向前饋送，到達R層各結(jié)點，競爭產(chǎn)生獲勝結(jié)點j*，即為當前輸入模式對應類別獲勝結(jié)點輸出為1，其余結(jié)點為0.§5.4自適應諧振理論網(wǎng)絡(luò)③增益控制信號(a)控制信號G1：ART剛運行時G1=1,其后G1=0,使得C層的輸出由輸入模式與反饋模式比較結(jié)果決定。(b)控制信號G2：檢測輸入信號是否為0：

④重疊復位信號Reset使得R層競爭獲勝結(jié)點無效。

當前輸入模式X與已存模式比較，未充分接近預定相似度，ART發(fā)出Reset信號使得R層競爭獲勝結(jié)點無效

§5.4自適應諧振理論網(wǎng)絡(luò)⑤規(guī)則

對三個輸入控制,至少有二個為興奮時,該神經(jīng)元才處于興奮狀態(tài),否則為抑制狀態(tài)。比如C層中每個神經(jīng)元有三個輸入

§5.4自適應諧振理論網(wǎng)絡(luò)5.4.2.2ART-1網(wǎng)絡(luò)的工作原理①識別階段§5.4自適應諧振理論網(wǎng)絡(luò)②比較階段（R層輸出信號按外星規(guī)則返回C層）

如果輸入模式X與已存模式之間相似度小于，則輸入模式X不滿足要求，ART網(wǎng)絡(luò)發(fā)出Reset信號，使得第一階段匹配失敗，競爭獲勝結(jié)點無效，這樣使已通過競爭獲勝的神經(jīng)元受到抑制，ART進入搜索階段，直到輸入新的模式；如果輸入模式X與獲勝結(jié)點非常接近，稱輸入模式X與Tj*發(fā)生共振，第一階段匹配有效，ART進入學習階段§5.4自適應諧振理論網(wǎng)絡(luò)③搜索階段先利用Reset信號置上次獲勝節(jié)點無效，即R層輸出全為0，開始搜索。C層輸出端輸出仍為，網(wǎng)絡(luò)又進入識別和比較階段，以前獲勝節(jié)點不參與競爭，從而尋找新的獲勝節(jié)點k，并按外星返回的權(quán)向量與輸入模式充分匹配，滿足要求為止（相似性度量）。于是輸入模式編入R層中k節(jié)點所對應類別之中，并對k節(jié)點的外星和內(nèi)星連接權(quán)調(diào)整。如果搜索了所有的R層輸出節(jié)點而沒有與充分接近的外星權(quán)向量，則增設(shè)一個R層節(jié)點，表示新的類別?！?.4自適應諧振理論網(wǎng)絡(luò)（4）學習階段對發(fā)生共振的獲勝結(jié)點對應的模式加強學習，使得以后出現(xiàn)的與該模式相似的輸入能獲得更大的共振。ART網(wǎng)絡(luò)兩種記憶方式：短期記憶（STM）：C層與R層輸出信號為短期記憶，在運行中會不斷發(fā)生變化長期記憶（LTM）：兩層之間內(nèi)外星權(quán)向量，在運行中不會變化二進輸入--F2層,m個結(jié)點模板選擇--F1層,n個結(jié)點

模板匹配+輸出模式自上而下連接權(quán)Tji

自下而上連接權(quán)

BijxiyjiiDuifhuis§5.4自適應諧振理論網(wǎng)絡(luò)5.4.2.3ART-1網(wǎng)絡(luò)的學習算法連接權(quán)定義:

從右向左的連接權(quán)(R層第j個神經(jīng)元外星連接權(quán)),對應一個模式類別;(外星)

從左向右的連接權(quán);(內(nèi)星)§5.4自適應諧振理論網(wǎng)絡(luò)輸入層C輸出層R自右向左連接權(quán)(外星)Tji自左向右連接權(quán)(內(nèi)星)Bij§5.4自適應諧振理論網(wǎng)絡(luò)§5.4自適應諧振理論網(wǎng)絡(luò)§5.4自適應諧振理論網(wǎng)絡(luò)§5.4自適應諧振理論網(wǎng)絡(luò)§5.4自適應諧振理論網(wǎng)絡(luò)5.4.3ART-2網(wǎng)絡(luò)中間層上層節(jié)點下層節(jié)點C層結(jié)構(gòu)5.4.3.1ART-2網(wǎng)絡(luò)的概述

輸入是任意實數(shù);

基本原理與ART-1類似;不同之處在比較層