第六章競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)

1、第六章競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)2概述概述競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)在無(wú)教師信息的情況下能夠自組競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)在無(wú)教師信息的情況下能夠自組織地挖掘輸入信息的特征，以便對(duì)輸入進(jìn)行聚織地挖掘輸入信息的特征，以便對(duì)輸入進(jìn)行聚類處理。類處理。此類神經(jīng)網(wǎng)絡(luò)經(jīng)常被用來(lái)作為前處理單元此類神經(jīng)網(wǎng)絡(luò)經(jīng)常被用來(lái)作為前處理單元 (preprocessing unit)(preprocessing unit)，以便抽取出輸入信息，以便抽取出輸入信息的特征，或?qū)⑤斎胄畔⑹噶苛炕奶卣鳎驅(qū)⑤斎胄畔⑹噶苛炕?(vector (vector quantization) quantization) 之后再進(jìn)行監(jiān)督式學(xué)習(xí)。之后再進(jìn)行監(jiān)督式學(xué)習(xí)。 3概述概述

2、神經(jīng)網(wǎng)絡(luò)有兩種實(shí)現(xiàn)非監(jiān)督式學(xué)習(xí)的方式：神經(jīng)網(wǎng)絡(luò)有兩種實(shí)現(xiàn)非監(jiān)督式學(xué)習(xí)的方式： HebbianHebbian規(guī)則規(guī)則 通常不是被用來(lái)分析輸入信息間的聚通常不是被用來(lái)分析輸入信息間的聚類關(guān)系或分類關(guān)系，類關(guān)系或分類關(guān)系，而是而是測(cè)量輸入信息間的相似性或測(cè)量輸入信息間的相似性或分析輸入信息中的主要成分向量分析輸入信息中的主要成分向量 (principle (principle components)components)”。 競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則 使用競(jìng)爭(zhēng)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，只有其使用競(jìng)爭(zhēng)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，只有其中的一個(gè)神經(jīng)元會(huì)被激活。該神經(jīng)元就稱為勝者中的一個(gè)神經(jīng)元會(huì)被激活。該神經(jīng)元就稱為勝者 (w

3、inner)(winner)”。這種神經(jīng)網(wǎng)絡(luò)通常用來(lái)做聚類分析。即在。這種神經(jīng)網(wǎng)絡(luò)通常用來(lái)做聚類分析。即在無(wú)先驗(yàn)知識(shí)的情況下，發(fā)現(xiàn)或挖掘輸入信息本身的結(jié)無(wú)先驗(yàn)知識(shí)的情況下，發(fā)現(xiàn)或挖掘輸入信息本身的結(jié)構(gòu)及聚類關(guān)系。構(gòu)及聚類關(guān)系。 4概述概述基于競(jìng)爭(zhēng)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)常被用作樣本特征檢測(cè)基于競(jìng)爭(zhēng)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)常被用作樣本特征檢測(cè)器，在樣本排序、樣本聚類、樣本分類、樣本檢器，在樣本排序、樣本聚類、樣本分類、樣本檢測(cè)和樣本分布特征可視化等方面有廣泛地應(yīng)用測(cè)和樣本分布特征可視化等方面有廣泛地應(yīng)用典型的競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)有：典型的競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)有： ART (Adaptive Resonance Theory) SO

4、FM (Self-Organization Feature Mapping) PCA (Principle Components Analysis) SNN (Synergetic Neural Network)5Competitive Learningn競(jìng)爭(zhēng)學(xué)習(xí)的概念競(jìng)爭(zhēng)學(xué)習(xí)的概念設(shè)訓(xùn)練模式集合為x1, x2, xp，所有這些模式分別屬于按某種標(biāo)準(zhǔn)設(shè)定的m類模式之一（無(wú)先驗(yàn)知識(shí)）通過(guò)競(jìng)爭(zhēng)學(xué)習(xí)，網(wǎng)絡(luò)實(shí)現(xiàn)自組織模式分類。每個(gè)輸出結(jié)點(diǎn)代表某一類模式，具體哪一個(gè)結(jié)點(diǎn)對(duì)應(yīng)于哪具體哪一個(gè)結(jié)點(diǎn)對(duì)應(yīng)于哪一類模式不是事先指定的，需要競(jìng)爭(zhēng)而出。一類模式不是事先指定的，需要競(jìng)爭(zhēng)而出。每個(gè)節(jié)點(diǎn)就像一個(gè)pattern

5、 detector或feature detector，對(duì)輸入的解釋是通過(guò)有無(wú)相應(yīng)節(jié)點(diǎn)表示對(duì)輸入的解釋是通過(guò)有無(wú)相應(yīng)節(jié)點(diǎn)表示，而不是相應(yīng)幅度或輸入輸出變換（象前饋網(wǎng)絡(luò)或，而不是相應(yīng)幅度或輸入輸出變換（象前饋網(wǎng)絡(luò)或反饋網(wǎng)絡(luò)）反饋網(wǎng)絡(luò)）與該結(jié)點(diǎn)相連的權(quán)向量包含了該類模式的基本信息與該結(jié)點(diǎn)相連的權(quán)向量包含了該類模式的基本信息競(jìng)爭(zhēng)學(xué)習(xí)及其特點(diǎn)競(jìng)爭(zhēng)學(xué)習(xí)及其特點(diǎn)6n競(jìng)爭(zhēng)學(xué)習(xí)目的競(jìng)爭(zhēng)學(xué)習(xí)目的 競(jìng)爭(zhēng)學(xué)習(xí)過(guò)程是對(duì)輸入矢量的聚類過(guò)程，是使得獲勝節(jié)點(diǎn)獲得最大響應(yīng)的過(guò)程，是使獲勝節(jié)點(diǎn)與輸入節(jié)點(diǎn)之間的權(quán)矢獲勝節(jié)點(diǎn)與輸入節(jié)點(diǎn)之間的權(quán)矢量逐漸逼近輸入矢量。量逐漸逼近輸入矢量。 當(dāng)訓(xùn)練結(jié)束后，對(duì)于某類輸入模式P，一定有一個(gè)網(wǎng)絡(luò)

6、輸出節(jié)點(diǎn)有最大響應(yīng)（輸出值為1），其余輸出節(jié)點(diǎn)無(wú)響應(yīng)（輸出值為0）。該最大響應(yīng)輸出節(jié)點(diǎn)與輸入節(jié)點(diǎn)之間的權(quán)矢量該最大響應(yīng)輸出節(jié)點(diǎn)與輸入節(jié)點(diǎn)之間的權(quán)矢量等于或代表此輸入矢量。等于或代表此輸入矢量。Competitive Learning7Competitive Learning x1 x2 x3 - xn y1 y2 y3 - ym競(jìng)爭(zhēng)層競(jìng)爭(zhēng)層輸入層輸入層-每個(gè)輸入節(jié)點(diǎn)與每個(gè)輸出節(jié)點(diǎn)全連接-競(jìng)爭(zhēng)層的每一個(gè)節(jié)點(diǎn)接受一個(gè)輸入加權(quán)和 競(jìng)爭(zhēng)網(wǎng)絡(luò)結(jié)構(gòu)競(jìng)爭(zhēng)網(wǎng)絡(luò)結(jié)構(gòu)8Competitive Learningn 競(jìng)爭(zhēng)學(xué)習(xí)過(guò)程競(jìng)爭(zhēng)學(xué)習(xí)過(guò)程 “winner takes all”l確定確定winner winner (

7、competitive phase) (competitive phase) ：按一定的準(zhǔn)則計(jì)：按一定的準(zhǔn)則計(jì) 算每個(gè)輸出節(jié)點(diǎn)與輸入節(jié)點(diǎn)之間的權(quán)矢量與輸入矢量之算每個(gè)輸出節(jié)點(diǎn)與輸入節(jié)點(diǎn)之間的權(quán)矢量與輸入矢量之間的逼近度間的逼近度, ,最逼近的為最逼近的為winner.winner.l調(diào)整權(quán)矢量調(diào)整權(quán)矢量(reward phase)(reward phase) ：按一定的準(zhǔn)則調(diào)整：按一定的準(zhǔn)則調(diào)整 winnerwinner的權(quán)矢量的權(quán)矢量In simple competitive learning ，only the winner is allowed to learn (change its

8、weight). In self-organizing maps， winner and other neurons in the neighborhood of the winner may learn.9 competitive learning1p2y1y2ymx1x2xn.xwxwyTin1jjiji XWmaxXWif,yTkm,1kTii 為勝者XWminXWifykm,1kii 為勝者，當(dāng)權(quán)重歸一化時(shí)，兩個(gè)判斷式是等效的確定確定Winneror10competitive learning權(quán)重調(diào)整： ncompetitio theloses neuron if ncompetiti

9、o the winsneuron if ii, 0),wx(wijjij11Competitive LearningSimple Competitive Learning1212. 052. 0X81. 027. 01W 70. 042. 02W 21. 043. 03W Competitive Learning13nWe find the winning (best-matching) neuron jX using the minimum-distance Euclidean criterion:221221111)()(wxwxd73. 0)81. 012. 0 ()27. 052. 0

10、 (22222221212)()(wxwxd59. 0)70. 012. 0 ()42. 052. 0 (22223221313)()(wxwxd13. 0)21. 012. 0 ()43. 052. 0 (22nNeuron 3 is the winner and its weight vector W3 is updated according to the competitive learning rule. 0.01 )43. 052. 0 ( 1 . 0)( 13113wxw0.01 )21. 012. 0 ( 1 . 0)( 23223wxw Competitive Learnin

11、g14nThe updated weight vector W3 at iteration (p + 1) is determined as:nThe weight vector W3 of the wining neuron 3 becomes closer to the input vector X with each iteration.20. 044. 001. 00.01 21. 043. 0)()() 1(333pppWWW Competitive Learning15Competitive Learning Compress (encode)輸入矢量 x 映射到一個(gè)輸出節(jié)點(diǎn)（co

12、de-word ） Decompress (decode)輸出節(jié)點(diǎn)（code-word ） 映射到對(duì)應(yīng)的權(quán)矢量（ code-book vector） 有損壓縮有損壓縮Data Compression16 競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)的局限性：競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)的局限性： 一般競(jìng)爭(zhēng)網(wǎng)絡(luò)適用于具有典型聚類特性的大量數(shù)據(jù)的辨識(shí)，但當(dāng)遇到大量的具有概率分布的輸入矢量時(shí)，競(jìng)爭(zhēng)網(wǎng)絡(luò)就無(wú)能為力了，這時(shí)可以采用SOFM網(wǎng)絡(luò)來(lái)解決。 SOFM網(wǎng)絡(luò)也采用競(jìng)爭(zhēng)學(xué)習(xí)方法，但強(qiáng)調(diào)鄰域的作用。因此，相應(yīng)的競(jìng)爭(zhēng)策略略有不同，即不但獲勝者而且其鄰域的神經(jīng)元也調(diào)整權(quán)重。 SOFM模型模型17SOFM模型模型自組織特征映射網(wǎng)絡(luò)（自組織特征映射網(wǎng)絡(luò)（S

13、OFM) 借鑒了上述生理機(jī)制，將輸入矢量的特征以有意義的拓?fù)浣梃b了上述生理機(jī)制，將輸入矢量的特征以有意義的拓?fù)浣Y(jié)構(gòu)映射在輸出層上。即在輸入特征空間相鄰的矢量映射結(jié)構(gòu)映射在輸出層上。即在輸入特征空間相鄰的矢量映射后，其輸出層響應(yīng)節(jié)點(diǎn)形成在拓?fù)鋷缀我饬x上的后，其輸出層響應(yīng)節(jié)點(diǎn)形成在拓?fù)鋷缀我饬x上的 相鄰。相鄰。 當(dāng)隨機(jī)樣本輸入到當(dāng)隨機(jī)樣本輸入到SOFMSOFM網(wǎng)絡(luò)時(shí)，如果樣本足夠多，那么在網(wǎng)絡(luò)時(shí)，如果樣本足夠多，那么在權(quán)值分布上可近似于輸入隨機(jī)樣本的概率密度分布，在輸權(quán)值分布上可近似于輸入隨機(jī)樣本的概率密度分布，在輸出神經(jīng)元上也反映了這種分布，即概率大的樣本集中在輸出神經(jīng)元上也反映了這種分布，即概

14、率大的樣本集中在輸出空間的某一個(gè)區(qū)域或各個(gè)不同的區(qū)域。出空間的某一個(gè)區(qū)域或各個(gè)不同的區(qū)域。 一般而言，一般而言，SOFMSOFM網(wǎng)絡(luò)的權(quán)矢量收斂到所代表的輸入矢量的網(wǎng)絡(luò)的權(quán)矢量收斂到所代表的輸入矢量的平均值，它反映了輸入數(shù)據(jù)的統(tǒng)計(jì)特性平均值，它反映了輸入數(shù)據(jù)的統(tǒng)計(jì)特性18SOFM模型模型 輸入層和輸出層（競(jìng)爭(zhēng)層）輸入層和輸出層（競(jìng)爭(zhēng)層） 輸入為輸入為 ，輸出可，輸出可 以是任意維，以是任意維， 但一般取二維但一般取二維 其其 中分布中分布m m個(gè)神經(jīng)元。個(gè)神經(jīng)元。 輸入節(jié)點(diǎn)輸入節(jié)點(diǎn)i i通過(guò)權(quán)值通過(guò)權(quán)值 與輸出層與輸出層 的的m m個(gè)節(jié)點(diǎn)連接，每個(gè)輸出節(jié)點(diǎn)個(gè)節(jié)點(diǎn)連接，每個(gè)輸出節(jié)點(diǎn)j j 對(duì)應(yīng)一

15、組權(quán)向量對(duì)應(yīng)一組權(quán)向量： Tn21x,x,xtX ijw TjjjjwwwtWn21,iijijxwfon1 節(jié)點(diǎn)節(jié)點(diǎn)j j輸出：輸出： 網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)19SOFM模型模型激活函數(shù)激活函數(shù) 腦神經(jīng)元化分成不同的功能區(qū)域。這種體現(xiàn)了拓?fù)鋷缀我饬x相關(guān)的區(qū)域的形成與神經(jīng)元之間的側(cè)向聯(lián)結(jié)（laterallateral connections ）相關(guān)。側(cè)向聯(lián)結(jié)可用一種Mexican hat function 來(lái)描述。20SOFM模型模型 For a given node, 近鄰神經(jīng)元互相激勵(lì)近鄰神經(jīng)元互相激勵(lì) (mutually excitatory , w 0)(mutually excitator

16、y , w 0) 遠(yuǎn)離神經(jīng)元互相抑制遠(yuǎn)離神經(jīng)元互相抑制 (mutually inhibitory,w 0)(mutually inhibitory,w 0) 很遠(yuǎn)距離的神經(jīng)元（很遠(yuǎn)距離的神經(jīng)元（irrelevant irrelevant ，w = 0)w = 0) 可以用“鄰域”(neighborhood)作用來(lái)實(shí)現(xiàn)復(fù)雜的側(cè)向反饋21SOFM模型模型 學(xué)習(xí)：學(xué)習(xí)： n SOFM是競(jìng)爭(zhēng)網(wǎng)絡(luò)中的一種。它也是通過(guò)自組織方法，用樣本數(shù)據(jù)來(lái)調(diào)整網(wǎng)絡(luò)的權(quán)值，使得權(quán)重成為能反映使得權(quán)重成為能反映輸入分布特征的矢量。輸入分布特征的矢量。n 考慮到鄰域的作用，權(quán)重調(diào)整策略要有所變化，僅靠 “winner tak

17、es allwinner takes all” 的競(jìng)爭(zhēng)學(xué)習(xí)方法無(wú)法發(fā)展出拓?fù)溆成鋱D22SOFM模型模型為了能使二維輸出平面上相鄰的輸出結(jié)點(diǎn)對(duì)相近的輸入模式類作出特別反應(yīng)，在訓(xùn)練過(guò)程中需定義獲勝結(jié)點(diǎn)的鄰域結(jié)點(diǎn)。假設(shè)本次獲勝結(jié)點(diǎn)為Nj，它在t時(shí)刻的鄰域結(jié)點(diǎn)用NEj(t)表示，NEj(t)包含以結(jié)點(diǎn)Nj為中心而距離不超過(guò)某一半徑的所有結(jié)點(diǎn)。隨著訓(xùn)練的進(jìn)行， NEj(t)的半徑逐漸縮小，最后只包含獲勝結(jié)點(diǎn)Nj自身，即在訓(xùn)練初始階段，不但對(duì)獲勝的結(jié)點(diǎn)做權(quán)值調(diào)整，也對(duì)其較大范圍內(nèi)的幾何鄰接結(jié)點(diǎn)做相應(yīng)的調(diào)整，而隨著訓(xùn)練過(guò)程的繼續(xù)，與輸出結(jié)點(diǎn)相連的權(quán)向量也越來(lái)越接近其代表的模式類。在訓(xùn)練結(jié)束后，幾何上相近的輸

18、出結(jié)點(diǎn)所連接的權(quán)向量既有聯(lián)系（類似性）又互相區(qū)別，從而保證對(duì)于某一類輸入模式，獲勝結(jié)點(diǎn)能做出最大響應(yīng)，而相鄰結(jié)點(diǎn)做出較大響應(yīng)。23SOFM模型模型在競(jìng)爭(zhēng)學(xué)習(xí)過(guò)程中，通過(guò)鄰域的作用逐漸地在競(jìng)爭(zhēng)學(xué)習(xí)過(guò)程中，通過(guò)鄰域的作用逐漸地?cái)U(kuò)大排他性，最終僅一個(gè)神經(jīng)元競(jìng)爭(zhēng)獲勝擴(kuò)大排他性，最終僅一個(gè)神經(jīng)元競(jìng)爭(zhēng)獲勝24競(jìng)爭(zhēng)學(xué)習(xí)算法競(jìng)爭(zhēng)學(xué)習(xí)算法初始化：對(duì)各節(jié)點(diǎn)的權(quán)賦以小的隨機(jī)數(shù)作為初始值 歸一化權(quán)值和輸入樣本 定初始領(lǐng)域 ，學(xué)習(xí)速率 ，迭代總數(shù)T，t=0 隨機(jī)選取某樣本輸入 競(jìng)爭(zhēng)：在輸出節(jié)點(diǎn)中計(jì)算尋找最佳匹配節(jié)點(diǎn)C ,即其權(quán)向量與 的 歐氏距離最?。?;, 1,0piwjimj, 1 0cN 0 txtxtxtXp2

19、1,tX tWtXtWtXjcmin tWj為為p p維向量維向量 21pijiijtwtxtWtX其中 注：當(dāng)輸入向量和權(quán)向量均為歸一化向量時(shí)，神經(jīng)元輸出的內(nèi)注：當(dāng)輸入向量和權(quán)向量均為歸一化向量時(shí)，神經(jīng)元輸出的內(nèi)積最大等價(jià)與輸入向量和權(quán)向量的歐氏距離最小積最大等價(jià)與輸入向量和權(quán)向量的歐氏距離最小25競(jìng)爭(zhēng)學(xué)習(xí)算法競(jìng)爭(zhēng)學(xué)習(xí)算法 更新：對(duì)獲勝神經(jīng)元c及拓?fù)漕I(lǐng)域 中的所有節(jié)點(diǎn)的權(quán)值： tNc tWtXttWtWjjj1 twtxttwtwjiijiji1或 tNjc tWtWjj1 tNjc Ttt10 更新學(xué)習(xí)速率： TtNINTtNcc10更新拓?fù)溧徲颍?判斷迭代次數(shù)t是否大于或等于T，若是則結(jié)

20、束，否則轉(zhuǎn)向26競(jìng)爭(zhēng)學(xué)習(xí)算法競(jìng)爭(zhēng)學(xué)習(xí)算法算法的幾點(diǎn)說(shuō)明：算法的幾點(diǎn)說(shuō)明： t tNcl學(xué)習(xí)常數(shù) 和領(lǐng)域 大小要在學(xué)習(xí)的過(guò)程中調(diào)整 t對(duì) 而言，在迭代的前期，取值約為1，然后逐漸減少，建議用 Nttt11其中，t為迭代數(shù)，N為迭代總數(shù)。接近收斂階段，應(yīng)取0.01小數(shù)（細(xì)調(diào)）。 tNc tNc對(duì) 而言，領(lǐng)域可取方形或六角形。開始時(shí)， 較大，可包含全部節(jié)點(diǎn)。然后逐漸減少，建議用： NttNtNcc1int1最后收斂到只含中心本身。l 歸一化處理：對(duì)輸入向量和權(quán)向量歸一化，以確保通過(guò)歐氏距離最小條件選取的獲勝神經(jīng)元具有最大輸出。 tXtXtX tWtWtWjjj27SOFM模型模型競(jìng)爭(zhēng)層神經(jīng)元（100

21、個(gè)）排列成1010的二維矩陣。二維輸入矢量 以均勻概率均勻概率分布在正方形平面。特征映射圖： 隨機(jī)初始權(quán)向量經(jīng)過(guò)50次迭代后的權(quán)向量分布28經(jīng)過(guò)100次迭代后的權(quán)向量分布經(jīng)過(guò)10000次迭代后的權(quán)向量分布SOFM模型模型29SOFM模型模型如果輸入均勻分布在三角形區(qū)域，網(wǎng)絡(luò)經(jīng)充分訓(xùn)練后，可得到如右的拓?fù)溆成鋱D。 如果把1010的二維矩陣改變成1001的一維結(jié)構(gòu)，則得到右圖的拓?fù)溆成鋱D。 30SOFM的優(yōu)缺點(diǎn)的優(yōu)缺點(diǎn)優(yōu)點(diǎn)優(yōu)點(diǎn):- excellent for classification problems- can greatly reduce computational complexity-

22、high sensitivity to frequent inputs- new ways of associating related data- no need of supervised learning rulesSOFM模型模型31缺點(diǎn)缺點(diǎn):- system is a black box- error rate may be unacceptable no guarantee of network convergence for higher dimension networks- many problems cant be effectively represented by a

23、SOFM- a large training set may be required- for large classification problems, training can be lengthySOFM模型模型32學(xué)習(xí)矢量量化學(xué)習(xí)矢量量化LVQ(Learning Vector Quantization)33概述概述 矢量量化是標(biāo)量量化概念的擴(kuò)展，適用于高維數(shù)矢量量化是標(biāo)量量化概念的擴(kuò)展，適用于高維數(shù)據(jù)。把高維數(shù)據(jù)離散化，鄰近區(qū)域看作同一量化據(jù)。把高維數(shù)據(jù)離散化，鄰近區(qū)域看作同一量化等級(jí)，用其中心值代表。其算法可視為一種逐次等級(jí)，用其中心值代表。其算法可視為一種逐次聚類的算法，聚類中心是該類的代表（稱為碼聚類的算法，聚類中心是該類的代表（稱為