自組織競爭神經(jīng)網(wǎng)絡(luò)

1、自組織競爭神經(jīng)網(wǎng)絡(luò)人獲得人鼠知識常常是黑“無師自通”，即通過對客觀M件的反復(fù)觀察、分析與比較，自 行提示英內(nèi)在規(guī)律，并對具有共同特征的爭物進(jìn)行正確歸類。無導(dǎo)師學(xué)習(xí)方式，其重要特點 是通過自動尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自紐織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。自組織網(wǎng)絡(luò)結(jié)構(gòu)上屬于層次型網(wǎng)絡(luò)，有多種類型，苴共同特點是具有競爭層。最簡單的網(wǎng)絡(luò)結(jié)構(gòu)具有個輸入層和-個競爭層。輸入層負(fù)責(zé)接收外界信息并將輸入模 式向競爭層傳遞，起“觀察”作用，競爭層負(fù)責(zé)對該模式進(jìn)行“分析比較”，找出規(guī)律以正確歸 類。競爭機制。競爭學(xué)習(xí)的原理1、競爭學(xué)習(xí)的策略競爭學(xué)習(xí)策略中采用的典型學(xué)習(xí)規(guī)則為勝者為王（WinnerTakca

2、ll）。（1）向畐歸一化首先將自組織網(wǎng)絡(luò)中的當(dāng)前輸入模式向量X和競爭層中各神經(jīng)元對應(yīng)的內(nèi)星權(quán)向量AA幽戸1,2,., m）全部進(jìn)行歸一化處理，得到X和巧（j=l,2,.,m）。（2）尋找獲勝神經(jīng)元當(dāng)網(wǎng)絡(luò)得到 個輸入模式向量X時，競爭層的所有神經(jīng)元對應(yīng)對的內(nèi)星權(quán)向屋闿0=12m）均與X進(jìn)行相似性比較.將和X最相似的內(nèi)星權(quán)向最判為競爭獲勝神經(jīng)元，JtA權(quán)向量記為巧AA片測量相似性的方法是對巧和X計算歐式距離（或夾角余弦）。X-Wf=minJel929.x-wfI AA AAA=yj（Xr X- 2X+ Wj 竹）=（2（1 一巧4）欲使兩單位向量的歐氏距離繪小，須使兩向量的點積址大。即八A/A W

3、j X = max 町 XJ細(xì)a ” I J j（3）網(wǎng)絡(luò)輸入與權(quán)值調(diào)整勝者為王競爭學(xué)習(xí)算法規(guī)定，獲勝神經(jīng)元輸出為1,英余輸出為0,即只有獲勝神經(jīng)元才有權(quán)調(diào)整其權(quán)向量巧 調(diào)整權(quán)值后向量為°AAAA（0 十 1）二匕十為二”（r）十 a（X-巧（r十1）=必 j"式中a學(xué)習(xí)速率，ug（0,1, -般其值隨著學(xué)習(xí)的進(jìn)展而減小。當(dāng)./*./*時，對應(yīng)神經(jīng)元的權(quán)值得不到調(diào)幣，苴實質(zhì)是“勝者”對它們進(jìn)行了強側(cè)抑 制，不允許它們興奮。歸-化后的權(quán)向量經(jīng)過調(diào)整后得到的新向量不再是單位向量，因此需要對調(diào)整后的向量 重新歸一化。步驟（3）完成后回到步驟（1）繼續(xù)訓(xùn)練，直到學(xué)習(xí)速率a衰減到0或

4、規(guī)定的 值。2、原理自組織神經(jīng)網(wǎng)絡(luò)模型常用的自組織競爭神經(jīng)網(wǎng)絡(luò)有自適應(yīng)共振理論(Adaptive Resonance Theory. ART)網(wǎng)絡(luò). 自紐織特征映射(SelfOrganizing Map, SOM)網(wǎng)絡(luò)、對傳(Counter Propagation, CP)網(wǎng)絡(luò) 和協(xié)同神經(jīng)網(wǎng)絡(luò)(Synergetic Neural Network, ANN)等。1、自組織特征映射神經(jīng)網(wǎng)絡(luò)(Self-Organizing Feature Maps.SOFM)也稱為Kohonen網(wǎng)絡(luò)，由荷蘭學(xué)者Teuvo Kohonen于1981年提出的，基本上為輸 入層和映射層的雙層結(jié)構(gòu)，輸入層用于接收輸入模式，

5、映射層用于輸出結(jié)果，映射自組織特征映射SOFM模型可以用二維陣列表示，如圖所示。SOFM網(wǎng)絡(luò)是由輸入 層和競爭層組成的單層神經(jīng)網(wǎng)絡(luò)。輸入層是一維的神經(jīng)元，有n個節(jié)點。競爭層是 二維的神經(jīng)元，按二維形式排成節(jié)點矩陣。輸入層的神經(jīng)元和競爭層的神經(jīng)元都有 權(quán)值鏈接，競爭層節(jié)點相互間也可能有局部鏈接。競爭層也稱輸出層。學(xué)習(xí)算法步驟歸納如F：自組織競爭神經(jīng)網(wǎng)絡(luò)算法能夠進(jìn)行有效的自適應(yīng)分類.但它仍存在一些問題：學(xué)習(xí)速度的選擇使其不得不在學(xué)習(xí)速度和繪終權(quán)值向最的穩(wěn)定性Z間進(jìn)行折中。 有時有i個神經(jīng)元的初始權(quán)值向量離輸入向量太遠(yuǎn)以至于它從未在競爭中獲勝，因 此也從未得到學(xué)習(xí)，這將形成亳無用處的“死”神經(jīng)元。網(wǎng)

6、絡(luò)結(jié)構(gòu)Input Self Organizing Map Layerni = -| IWu-p | at =compet(ni)x=01;0 1;clusters=8;points=10;std dev=0.05;P二nngenc(X,clusters,points,sld dev);plot(P(l,:),P(2,:)；+r*);title(誠加匕);xlabeICP( 1 )f); ylabel(P(2); %20入詬0%屈net=newc(0 l;0 1,8V1)w=net.IWl;plot(P(l,:),P(2,:)；+r');hold on;circle=plot(w(:&g

7、t; 1 ),w(:,2)/06*) %3bAqNpA net.trainParam.epochs=7;net=train(net,P)w=net.IWl;delete(circle);plot(w(:,l),w(：2),ob');%4.l0A?2aEOP=05;0.2J;a=sim(net,p)R)網(wǎng)絡(luò)測試：» p=0.7;0.4p =0.7000 0.4000>> plot(p(l,：Xp(2,:)；xg,)» a=sim(net,p) a =(&1)w =0.81620.38560.02850.17720.89170.02700.70850

8、.59590.85180.40320.33440.93710.93720.36930.70440.4519勝出學(xué)習(xí)矢量量化神經(jīng)網(wǎng)絡(luò)（LVQ）Learning Vector Quantization Network.是兩層網(wǎng)絡(luò)結(jié)構(gòu)，第一層為競爭層.第二層為線性層。Th a LVQ n etwor< architture is shown belov/.ai = compet(m)s1a- = pm eliulLWJ競爭層和前面的自組織競爭網(wǎng)絡(luò)的競爭層類似，用于對輸入向量進(jìn)行分類; 線性層將競爭層傳遞過來的分類信息轉(zhuǎn)換為使用者所定義的期望類別。 通常競爭層稱為子類，線性層稱為期望類別。Where.R = number o1 elements in input veclor$l= number