第四章自組織競爭神經(jīng)網(wǎng)絡

第四章

自組織競爭型神經(jīng)網(wǎng)絡本章主要介紹自組織競爭型神經(jīng)網(wǎng)絡的結(jié)構(gòu)、學習算法，及相關(guān)理論。1第四章自組織競爭型神經(jīng)網(wǎng)絡§4.1前言§4.2競爭學習的概念和原理§4.3自組織特征映射神經(jīng)網(wǎng)絡§4.4自組織特征映射神經(jīng)網(wǎng)絡的設(shè)計§4.5對偶傳播神經(jīng)網(wǎng)絡§4.6小結(jié)2§4.1前言在生物神經(jīng)系統(tǒng)中，存在著一種側(cè)抑制現(xiàn)象，即一個神經(jīng)細胞興奮以后，會對周圍其他神經(jīng)細胞產(chǎn)生抑制作用。這種抑制作用會使神經(jīng)細胞之間出現(xiàn)競爭，其結(jié)果是某些獲勝，而另一些則失敗。表現(xiàn)形式是獲勝神經(jīng)細胞興奮，失敗神經(jīng)細胞抑制。自組織競爭型神經(jīng)網(wǎng)絡就是模擬上述生物神經(jīng)系統(tǒng)功能的人工神經(jīng)網(wǎng)絡。3自組織競爭型神經(jīng)網(wǎng)絡是一種無教師監(jiān)督學習，具有自組織功能的神經(jīng)網(wǎng)絡。網(wǎng)絡通過自身的訓練，能自動對輸入模式進行分類。這一點與Hopfield網(wǎng)絡的模擬人類功能十分相似，自組織競爭型神經(jīng)網(wǎng)絡的結(jié)構(gòu)及其學習規(guī)則與其他神經(jīng)網(wǎng)絡相比有自己的特點。在網(wǎng)絡結(jié)構(gòu)上，它一般是由輸入層和競爭層構(gòu)成的兩層網(wǎng)絡。兩層之間各神經(jīng)元實現(xiàn)雙向連接，而且網(wǎng)絡沒有隱含層。有時競爭層各神經(jīng)元之間還存在橫向連接。4在學習算法上，它模擬生物神經(jīng)元之間的興奮、協(xié)調(diào)與抑制、競爭作用的信息處理的動力學原理來指導網(wǎng)絡的學習與工作，而不像大多數(shù)神經(jīng)網(wǎng)絡那樣是以網(wǎng)絡的誤差或能量函數(shù)作為算法的準則。競爭型神經(jīng)網(wǎng)絡構(gòu)成的基本思想是網(wǎng)絡的競爭層各神經(jīng)元競爭對輸入模式響應的機會，最后僅有一個神經(jīng)元成為競爭的勝者。這一獲勝神經(jīng)元則表示對輸入模式的分類。5自組織競爭人工神經(jīng)網(wǎng)絡是基于上述生物結(jié)構(gòu)和現(xiàn)象形成的。它能夠?qū)斎肽Ｊ竭M行自組織訓練和判斷，并將其最終分為不同的類型。與BP網(wǎng)絡相比，這種自組織自適應的學習能力進一步拓寬了人工神經(jīng)網(wǎng)絡在模式識別、分類方面的應用，另一方面，競爭學習網(wǎng)絡的核心——競爭層，又是許多種其他神經(jīng)網(wǎng)絡模型的重要組成部分。6常用的自組織網(wǎng)絡自組織特征映射(Self-OrganizingFeatureMap)網(wǎng)絡對偶傳播(Counterpropagation)網(wǎng)絡返回7自組織神經(jīng)網(wǎng)絡的典型結(jié)構(gòu)競爭層輸入層§4.2競爭學習的概念與原理8分類——分類是在類別知識等導師信號的指導下，將待識別的輸入模式分配到各自的模式類中去。聚類——無導師指導的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類，而將不相似的分離開?！?.2競爭學習的概念與原理競爭學習的概念9

相似性測量＿歐式距離法兩個模式向量的歐式距離越小，兩個向量越接近，因此認為這兩個模式越相似，當兩個模式完全相同時其歐式距離為零。如果對同一類內(nèi)各個模式向量間的歐式距離作出規(guī)定，不允許超過某一最大值T，則最大歐式距離T就成為一種聚類判據(jù)，同類模式向量的距離小于T，兩類模式向量的距離大于T。10

相似性測量＿余弦法兩個模式向量越接近，其夾角越小，余弦越大。當兩個模式向量完全相同時，其余弦夾角為1。如果對同一類內(nèi)各個模式向量間的夾角作出規(guī)定，不允許超過某一最大夾角a，則最大夾角就成為一種聚類判據(jù)。同類模式向量的夾角小于a，兩類模式向量的夾角大于a。余弦法適合模式向量長度相同和模式特征只與向量方向相關(guān)的相似性測量。11競爭學習原理競爭學習規(guī)則——Winner-Take-All網(wǎng)絡的輸出神經(jīng)元之間相互競爭以求被激活，結(jié)果在每一時刻只有一個輸出神經(jīng)元被激活。這個被激活的神經(jīng)元稱為競爭獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為WinnerTakeAll。§4.2競爭學習的概念與原理121.向量歸一化

首先將當前輸入模式向量X和競爭層中各神經(jīng)元對應的內(nèi)星向量Wj全部進行歸一化處理；(j=1,2,…,m)13向量歸一化之前14向量歸一化之后15競爭學習原理競爭學習規(guī)則——Winner-Take-All2.尋找獲勝神經(jīng)元

當網(wǎng)絡得到一個輸入模式向量時，競爭層的所有神經(jīng)元對應的內(nèi)星權(quán)向量均與其進行相似性比較，并將最相似的內(nèi)星權(quán)向量判為競爭獲勝神經(jīng)元。欲使兩單位向量最相似，須使其點積最大。即：16從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩向量的點積最大。即：競爭學習規(guī)則——Winner-Take-All173.網(wǎng)絡輸出與權(quán)值調(diào)整

j

j*步驟3完成后回到步驟1繼續(xù)訓練，直到學習率衰減到0。競爭學習規(guī)則——Winner-Take-All18競爭學習的幾何意義?19

*

1W?

*?jW

*

)](?)(?)[()(*ttttjpWXW-=hD

*┆

)(?*1tj+W

)(?tpX

jW?

mW?

*

…

***競爭學習的幾何意義20例4.1用競爭學習算法將下列各模式分為2類：解：為作圖方便，將上述模式轉(zhuǎn)換成極坐標形式：競爭層設(shè)兩個權(quán)向量，隨機初始化為單位向量：2122232425262728293031321981年芬蘭Helsink大學的T.Kohonen教授提出一種自組織特征映射網(wǎng)，簡稱SOM網(wǎng)，又稱Kohonen網(wǎng)。Kohonen認為：一個神經(jīng)網(wǎng)絡接受外界輸入模式時，將會分為不同的對應區(qū)域，各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫卣?，而且這個過程是自動完成的。自組織特征映射正是根據(jù)這一看法提出來的，其特點與人腦的自組織特性相類似。§4.3自組織特征映射神經(jīng)網(wǎng)絡33SOM網(wǎng)的生物學基礎(chǔ)生物學研究的事實表明，在人腦的感覺通道上，神經(jīng)元的組織原理是有序排列。因此當人腦通過感官接受外界的特定時空信息時，大腦皮層的特定區(qū)域興奮，而且類似的外界信息在對應區(qū)域是連續(xù)映象的。對于某一圖形或某一頻率的特定興奮過程，神經(jīng)元的有序排列以及對外界信息的連續(xù)映象是自組織特征映射網(wǎng)中競爭機制的生物學基礎(chǔ)。34SOM網(wǎng)的拓撲結(jié)構(gòu)SOM網(wǎng)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜，輸出層模擬做出響應的大腦皮層。

35SOM網(wǎng)的權(quán)值調(diào)整域

SOM網(wǎng)的獲勝神經(jīng)元對其鄰近神經(jīng)元的影響是由近及遠，由興奮逐漸轉(zhuǎn)變?yōu)橐种?，因此其學習算法中不僅獲勝神經(jīng)元本身要調(diào)整權(quán)向量，它周圍的神經(jīng)元在其影響下也要程度不同地調(diào)整權(quán)向量。這種調(diào)整可用三種函數(shù)表示：3637SOM網(wǎng)的權(quán)值調(diào)整域以獲勝神經(jīng)元為中心設(shè)定一個鄰域半徑，該半徑圈定的范圍稱為優(yōu)勝鄰域。在SOM網(wǎng)學習算法中，優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠近不同程度地調(diào)整權(quán)值。優(yōu)勝鄰域開始定得很大，但其大小隨著訓練次數(shù)的增加不斷收縮，最終收縮到半徑為零。38SOM網(wǎng)的運行原理訓練階段w1w2w3

w4

w539SOM網(wǎng)的運行原理工作階段40SOM網(wǎng)的學習算法(1)初始化對輸出層各權(quán)向量賦小隨機數(shù)并進行歸一化處理，得到，j=1,2,…m；建立初始優(yōu)勝鄰域Nj*(0)；學習率

賦初始值。(2)接受輸入從訓練集中隨機選取一個輸入模式并進行歸一化處理，得到，p

{1,2,…,P}。(3)尋找獲勝節(jié)點計算與的點積，j=1,2,…m，從中選出點積最大的獲勝節(jié)點j*。(4)定義優(yōu)勝鄰域Nj*(t)以j*為中心確定t時刻的權(quán)值調(diào)整域，一般初始鄰域Nj*(0)較大，訓練過程中Nj*(t)隨訓練時間逐漸收縮。Kohonen學習算法4142(5)調(diào)整權(quán)值對優(yōu)勝鄰域Nj*(t)內(nèi)的所有節(jié)點調(diào)整權(quán)值：