自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)Sppt課件

1、第四章第四章 自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)本章主要引見(jiàn)自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)本章主要引見(jiàn)自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的構(gòu)造、學(xué)習(xí)算法，及相關(guān)實(shí)際。的構(gòu)造、學(xué)習(xí)算法，及相關(guān)實(shí)際。翡翠棋牌翡翠棋牌ddzfc 搜集整理搜集整理第四章自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)第四章自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)4.1 前言前言4.2 競(jìng)爭(zhēng)學(xué)習(xí)的概念和原理競(jìng)爭(zhēng)學(xué)習(xí)的概念和原理4.3自組織特征映射神經(jīng)網(wǎng)絡(luò)自組織特征映射神經(jīng)網(wǎng)絡(luò)4.4自組織特征映射神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)自組織特征映射神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)4.5 對(duì)偶傳播神經(jīng)網(wǎng)絡(luò)對(duì)偶傳播神經(jīng)網(wǎng)絡(luò)4.6小結(jié)小結(jié)4.1 前言前言n在生物神經(jīng)系統(tǒng)中，存在著一種側(cè)抑制景象，即在生物神經(jīng)系統(tǒng)中，存在著一種側(cè)抑制景

2、象，即一個(gè)神經(jīng)細(xì)胞興奮以后，會(huì)對(duì)周圍其他神經(jīng)細(xì)胞一個(gè)神經(jīng)細(xì)胞興奮以后，會(huì)對(duì)周圍其他神經(jīng)細(xì)胞產(chǎn)生抑制造用。這種抑制造用會(huì)使神經(jīng)細(xì)胞之間產(chǎn)生抑制造用。這種抑制造用會(huì)使神經(jīng)細(xì)胞之間出現(xiàn)競(jìng)爭(zhēng)，其結(jié)果是某些獲勝，而另一些那么失出現(xiàn)競(jìng)爭(zhēng)，其結(jié)果是某些獲勝，而另一些那么失敗。表現(xiàn)方式是獲勝神經(jīng)細(xì)胞興奮，失敗神經(jīng)細(xì)敗。表現(xiàn)方式是獲勝神經(jīng)細(xì)胞興奮，失敗神經(jīng)細(xì)胞抑制。胞抑制。n自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)就是模擬上述生物神經(jīng)系自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)就是模擬上述生物神經(jīng)系統(tǒng)功能的人工神經(jīng)網(wǎng)絡(luò)。統(tǒng)功能的人工神經(jīng)網(wǎng)絡(luò)。n自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)是一種無(wú)教師監(jiān)視學(xué)習(xí)，自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)是一種無(wú)教師監(jiān)視學(xué)習(xí)，具有自組織功能的神經(jīng)網(wǎng)絡(luò)。

3、網(wǎng)絡(luò)經(jīng)過(guò)本身的訓(xùn)具有自組織功能的神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)經(jīng)過(guò)本身的訓(xùn)練，能自動(dòng)對(duì)輸入方式進(jìn)展分類。這一點(diǎn)與練，能自動(dòng)對(duì)輸入方式進(jìn)展分類。這一點(diǎn)與Hopfield網(wǎng)絡(luò)的模擬人類功能非常類似，自組織網(wǎng)絡(luò)的模擬人類功能非常類似，自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的構(gòu)造及其學(xué)習(xí)規(guī)那么與其他神競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的構(gòu)造及其學(xué)習(xí)規(guī)那么與其他神經(jīng)網(wǎng)絡(luò)相比有本人的特點(diǎn)。經(jīng)網(wǎng)絡(luò)相比有本人的特點(diǎn)。n在網(wǎng)絡(luò)構(gòu)造上，它普通是由輸入層和競(jìng)爭(zhēng)層構(gòu)成在網(wǎng)絡(luò)構(gòu)造上，它普通是由輸入層和競(jìng)爭(zhēng)層構(gòu)成的兩層網(wǎng)絡(luò)。兩層之間各神經(jīng)元實(shí)現(xiàn)雙向銜接，的兩層網(wǎng)絡(luò)。兩層之間各神經(jīng)元實(shí)現(xiàn)雙向銜接，而且網(wǎng)絡(luò)沒(méi)有隱含層。有時(shí)競(jìng)爭(zhēng)層各神經(jīng)元之間而且網(wǎng)絡(luò)沒(méi)有隱含層。有時(shí)競(jìng)爭(zhēng)層各神經(jīng)元

4、之間還存在橫向銜接。還存在橫向銜接。n在學(xué)習(xí)算法上，它模擬生物神經(jīng)元之間的興奮、在學(xué)習(xí)算法上，它模擬生物神經(jīng)元之間的興奮、協(xié)調(diào)與抑制、競(jìng)爭(zhēng)作用的信息處置的動(dòng)力學(xué)原理協(xié)調(diào)與抑制、競(jìng)爭(zhēng)作用的信息處置的動(dòng)力學(xué)原理來(lái)指點(diǎn)網(wǎng)絡(luò)的學(xué)習(xí)與任務(wù)，而不像大多數(shù)神經(jīng)網(wǎng)來(lái)指點(diǎn)網(wǎng)絡(luò)的學(xué)習(xí)與任務(wù)，而不像大多數(shù)神經(jīng)網(wǎng)絡(luò)那樣是以網(wǎng)絡(luò)的誤差或能量函數(shù)作為算法的準(zhǔn)絡(luò)那樣是以網(wǎng)絡(luò)的誤差或能量函數(shù)作為算法的準(zhǔn)那么。那么。n競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)構(gòu)成的根本思想是網(wǎng)絡(luò)的競(jìng)爭(zhēng)層競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)構(gòu)成的根本思想是網(wǎng)絡(luò)的競(jìng)爭(zhēng)層各神經(jīng)元競(jìng)爭(zhēng)對(duì)輸入方式呼應(yīng)的時(shí)機(jī)，最后僅有各神經(jīng)元競(jìng)爭(zhēng)對(duì)輸入方式呼應(yīng)的時(shí)機(jī)，最后僅有一個(gè)神經(jīng)元成為競(jìng)爭(zhēng)的勝者。這一獲勝神經(jīng)元那一

5、個(gè)神經(jīng)元成為競(jìng)爭(zhēng)的勝者。這一獲勝神經(jīng)元那么表示對(duì)輸入方式的分類。么表示對(duì)輸入方式的分類。自組織競(jìng)爭(zhēng)人工神經(jīng)網(wǎng)絡(luò)是基于上述生物構(gòu)造和自組織競(jìng)爭(zhēng)人工神經(jīng)網(wǎng)絡(luò)是基于上述生物構(gòu)造和景象構(gòu)成的。它可以對(duì)輸入方式進(jìn)展自組織訓(xùn)景象構(gòu)成的。它可以對(duì)輸入方式進(jìn)展自組織訓(xùn)練和判別，并將其最終分為不同的類型。練和判別，并將其最終分為不同的類型。 與與BP網(wǎng)絡(luò)相比，這種自組織自順應(yīng)的學(xué)習(xí)才干進(jìn)網(wǎng)絡(luò)相比，這種自組織自順應(yīng)的學(xué)習(xí)才干進(jìn)一步拓寬了人工神經(jīng)網(wǎng)絡(luò)在方式識(shí)別、分類方一步拓寬了人工神經(jīng)網(wǎng)絡(luò)在方式識(shí)別、分類方面的運(yùn)用，另一方面，競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)的中心面的運(yùn)用，另一方面，競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)的中心競(jìng)爭(zhēng)層，又是許多種其他神經(jīng)網(wǎng)絡(luò)模型

6、的重競(jìng)爭(zhēng)層，又是許多種其他神經(jīng)網(wǎng)絡(luò)模型的重要組成部分。要組成部分。常用的自組織網(wǎng)絡(luò)常用的自組織網(wǎng)絡(luò)n自組織特征映射自組織特征映射(Self-Organizing Feature Map)網(wǎng)絡(luò)網(wǎng)絡(luò)n對(duì)偶傳播對(duì)偶傳播(Counter propagation)網(wǎng)絡(luò)網(wǎng)絡(luò)自組織神經(jīng)網(wǎng)絡(luò)的典型構(gòu)造自組織神經(jīng)網(wǎng)絡(luò)的典型構(gòu)造 競(jìng)爭(zhēng)層競(jìng)爭(zhēng)層輸入層輸入層4.2 競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理分類分類分類是在類別知識(shí)等導(dǎo)師信號(hào)的指分類是在類別知識(shí)等導(dǎo)師信號(hào)的指導(dǎo)下，將待識(shí)別的輸入方式分配到各自的模導(dǎo)下，將待識(shí)別的輸入方式分配到各自的模式類中去。式類中去。聚類聚類無(wú)導(dǎo)師指點(diǎn)的分類稱為聚類，聚類無(wú)導(dǎo)師指點(diǎn)的分

7、類稱為聚類，聚類的目的是將類似的方式樣本劃歸一類，而將的目的是將類似的方式樣本劃歸一類，而將不類似的別分開(kāi)。不類似的別分開(kāi)。4.2 競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理競(jìng)爭(zhēng)學(xué)習(xí)的概念競(jìng)爭(zhēng)學(xué)習(xí)的概念 類似性丈量歐式間隔法)()(iTiiXXXXXX 類1 類2 類1 類2 T T (a)基于歐式距離的相似性測(cè)量 (b)基于余弦法的相似性測(cè)量 兩個(gè)方式向量的歐式間隔越小，兩個(gè)方式向量的歐式間隔越小，兩個(gè)向量越接近，因此以為這兩兩個(gè)向量越接近，因此以為這兩個(gè)方式越類似，當(dāng)兩個(gè)方式完全個(gè)方式越類似，當(dāng)兩個(gè)方式完全一樣時(shí)其歐式間隔為零。假設(shè)對(duì)一樣時(shí)其歐式間隔為零。假設(shè)對(duì)同一類內(nèi)各個(gè)方式向量間的歐式同

8、一類內(nèi)各個(gè)方式向量間的歐式間隔作出規(guī)定，不允許超越某一間隔作出規(guī)定，不允許超越某一最大值最大值T T，那么最大歐式間隔，那么最大歐式間隔T T就就成為一種聚類判據(jù)，同類方式向成為一種聚類判據(jù)，同類方式向量的間隔小于量的間隔小于T T，兩類方式向量，兩類方式向量的間隔大于的間隔大于T T。 類似性丈量余弦法類似性丈量余弦法iiTXXXXcos 類 1 類 2 類 1 類 2 T T (a )基 于 歐 式 距 離 的 相 似 性 測(cè) 量 (b )基 于 余 弦 法 的 相 似 性 測(cè) 量?jī)蓚€(gè)方式向量越接近，其夾角兩個(gè)方式向量越接近，其夾角越小，余弦越大。當(dāng)兩個(gè)方式越小，余弦越大。當(dāng)兩個(gè)方式向量完

9、全一樣時(shí)，其他弦?jiàn)A角向量完全一樣時(shí)，其他弦?jiàn)A角為為1 1。假設(shè)對(duì)同一類內(nèi)各個(gè)方式。假設(shè)對(duì)同一類內(nèi)各個(gè)方式向量間的夾角作出規(guī)定，不允向量間的夾角作出規(guī)定，不允許超越某一最大夾角許超越某一最大夾角a a，那么最，那么最大夾角就成為一種聚類判據(jù)。大夾角就成為一種聚類判據(jù)。同類方式向量的夾角小于同類方式向量的夾角小于a a，兩，兩類方式向量的夾角大于類方式向量的夾角大于a a。余弦。余弦法適宜方式向量長(zhǎng)度一樣和方法適宜方式向量長(zhǎng)度一樣和方式特征只與向量方向相關(guān)的類式特征只與向量方向相關(guān)的類似性丈量。似性丈量。競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)規(guī)那么競(jìng)爭(zhēng)學(xué)習(xí)規(guī)那么Winner-Take-AllWinner

10、-Take-All網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競(jìng)爭(zhēng)以求被激活，網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競(jìng)爭(zhēng)以求被激活，結(jié)果在每一時(shí)辰只需一個(gè)輸出神經(jīng)元被激活。結(jié)果在每一時(shí)辰只需一個(gè)輸出神經(jīng)元被激活。這個(gè)被激活的神經(jīng)元稱為競(jìng)爭(zhēng)獲勝神經(jīng)元，而這個(gè)被激活的神經(jīng)元稱為競(jìng)爭(zhēng)獲勝神經(jīng)元，而其它神經(jīng)元的形狀被抑制，故稱為其它神經(jīng)元的形狀被抑制，故稱為Winner Winner Take AllTake All。4.2 競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理1.1.向量歸一化向量歸一化 首先將當(dāng)前輸入方式向量首先將當(dāng)前輸入方式向量X X和競(jìng)爭(zhēng)層中各神經(jīng)元對(duì)應(yīng)的內(nèi)星向量和競(jìng)爭(zhēng)層中各神經(jīng)元對(duì)應(yīng)的內(nèi)星向量Wj Wj 全部進(jìn)展歸一化處

11、置；全部進(jìn)展歸一化處置； (j=1,2,m) (j=1,2,m)Tnjjnnjjxxxx12121.XXX向量歸一化之前向量歸一化之前 * * * * * * * * 向量歸一化之后向量歸一化之后 * * * * * * * * * * 競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)規(guī)那么競(jìng)爭(zhēng)學(xué)習(xí)規(guī)那么Winner-Take-All2.2.尋覓獲勝神經(jīng)元尋覓獲勝神經(jīng)元 當(dāng)網(wǎng)絡(luò)得到一個(gè)輸入方式向當(dāng)網(wǎng)絡(luò)得到一個(gè)輸入方式向量時(shí)，競(jìng)爭(zhēng)層的一切神經(jīng)元對(duì)應(yīng)的內(nèi)星權(quán)向量均量時(shí)，競(jìng)爭(zhēng)層的一切神經(jīng)元對(duì)應(yīng)的內(nèi)星權(quán)向量均與其進(jìn)展類似性比較，并將最類似的內(nèi)星權(quán)向量與其進(jìn)展類似性比較，并將最類似的內(nèi)星權(quán)向量判為競(jìng)爭(zhēng)獲勝神經(jīng)元。判為競(jìng)

12、爭(zhēng)獲勝神經(jīng)元。欲使兩單位向量最類似，須使其點(diǎn)積最大。即：欲使兩單位向量最類似，須使其點(diǎn)積最大。即：)(max,.,2, 1*XWXWTjmjTj從上式可以看出，欲使兩單位向量的歐式間隔最小，須使兩向從上式可以看出，欲使兩單位向量的歐式間隔最小，須使兩向量的點(diǎn)積最大。即：量的點(diǎn)積最大。即：)(max,.,2, 1*XWXWTjmjTjjmjjWXWXmin,.,2,1*)()(*jTjjWXWXWXTjTjTjT*2WWXWXX)1(2*XWTj競(jìng)爭(zhēng)學(xué)習(xí)規(guī)那么競(jìng)爭(zhēng)學(xué)習(xí)規(guī)那么Winner-Take-All3.3.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整網(wǎng)絡(luò)輸出與權(quán)值調(diào)整*01) 1(jjjjtoj*(1)( )( )(

13、 )()jjjjjttttWWWWX W)()1(ttjjWW j jj j* *步驟步驟3 3完成后回到步驟完成后回到步驟1 1繼續(xù)訓(xùn)練，直到學(xué)習(xí)率衰減到繼續(xù)訓(xùn)練，直到學(xué)習(xí)率衰減到0 0。競(jìng)爭(zhēng)學(xué)習(xí)規(guī)那么競(jìng)爭(zhēng)學(xué)習(xí)規(guī)那么Winner-Take-All * * * * * * * * 競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義 * 1W *jW * )()()()(*ttttjpWXW * )(*1tjW )(tpX jW mW * *競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義例例4.1 4.1 用競(jìng)爭(zhēng)學(xué)習(xí)算法將以下各方式分為用競(jìng)爭(zhēng)學(xué)習(xí)算法將以下各方式分為2 2類：類：6 . 08 . 01X9848. 01

14、736. 02X707. 0707. 03X9397. 0342. 04X8 . 06 . 05X解：為作圖方便，將上述方式轉(zhuǎn)換成極坐標(biāo)方式解：為作圖方便，將上述方式轉(zhuǎn)換成極坐標(biāo)方式 ：89.3611X8012X5 .4413X7014X13.5315X競(jìng)爭(zhēng)層設(shè)兩個(gè)權(quán)向量，隨機(jī)初始化為單位向量：競(jìng)爭(zhēng)層設(shè)兩個(gè)權(quán)向量，隨機(jī)初始化為單位向量：0101)0(1W180101)0(2W x5 x3 x1 w2 w1 x2 x4 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3

15、 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1

16、 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 w2 x2 x4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3

17、1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1

18、18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 w2 x2 x4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1

19、 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 1

20、8 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 w2 x2 x4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1

21、14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18

22、 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 w2 x2 x4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 1

23、4 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18

24、80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 w2 x2 x4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14

25、 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 8

26、0 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 w2 x2 x4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14

27、4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80

28、 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 x2 x4 w1 w2 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4

29、 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80

30、0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 x2 x4 w1 w2 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4

31、1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0

32、 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 x2 x4 w1 w2 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1

33、 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0

34、- -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 x2 x4 w1 w2 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1

35、15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 -

36、 -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 n1981年芬蘭年芬蘭Helsink大學(xué)的大學(xué)的T.Kohonen教授提出教授提出一種自組織特征映射網(wǎng)，簡(jiǎn)稱一種自組織特征映射網(wǎng)，簡(jiǎn)稱SOM網(wǎng)，又稱網(wǎng)，又稱Kohonen網(wǎng)。網(wǎng)。nKohonen以為：一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸入方以為：一個(gè)神經(jīng)網(wǎng)

37、絡(luò)接受外界輸入方式時(shí)，將會(huì)分為不同的對(duì)應(yīng)區(qū)域，各區(qū)域?qū)斒綍r(shí)，將會(huì)分為不同的對(duì)應(yīng)區(qū)域，各區(qū)域?qū)斎敕绞骄哂胁煌暮魬?yīng)特征，而且這個(gè)過(guò)程是入方式具有不同的呼應(yīng)特征，而且這個(gè)過(guò)程是自動(dòng)完成的。自組織特征映射正是根據(jù)這一看自動(dòng)完成的。自組織特征映射正是根據(jù)這一看法提出來(lái)的，其特點(diǎn)與人腦的自組織特性相類法提出來(lái)的，其特點(diǎn)與人腦的自組織特性相類似。似。4.3自組織特征映射神經(jīng)網(wǎng)絡(luò)自組織特征映射神經(jīng)網(wǎng)絡(luò)SOMSOM網(wǎng)的生物學(xué)根底網(wǎng)的生物學(xué)根底生物學(xué)研討的現(xiàn)實(shí)闡明，在人腦的覺(jué)得通道上，神經(jīng)元生物學(xué)研討的現(xiàn)實(shí)闡明，在人腦的覺(jué)得通道上，神經(jīng)元的組織原理是有序陳列。因此當(dāng)人腦經(jīng)過(guò)感官接受外界的組織原理是有序陳列。

38、因此當(dāng)人腦經(jīng)過(guò)感官接受外界的特定時(shí)空信息時(shí)，大腦皮層的特定區(qū)域興奮，而且類的特定時(shí)空信息時(shí)，大腦皮層的特定區(qū)域興奮，而且類似的外界信息在對(duì)應(yīng)區(qū)域是延續(xù)映象的。似的外界信息在對(duì)應(yīng)區(qū)域是延續(xù)映象的。對(duì)于某一圖形或某一頻率的特定興奮過(guò)程，神經(jīng)元的有對(duì)于某一圖形或某一頻率的特定興奮過(guò)程，神經(jīng)元的有序陳列以及對(duì)外界信息的延續(xù)映象是自組織特征映射網(wǎng)序陳列以及對(duì)外界信息的延續(xù)映象是自組織特征映射網(wǎng)中競(jìng)爭(zhēng)機(jī)制的生物學(xué)根底。中競(jìng)爭(zhēng)機(jī)制的生物學(xué)根底。SOMSOM網(wǎng)的拓?fù)錁?gòu)造網(wǎng)的拓?fù)錁?gòu)造SOMSOM網(wǎng)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜，輸出層模擬做出呼應(yīng)的大腦皮層

39、。網(wǎng)膜，輸出層模擬做出呼應(yīng)的大腦皮層。 (a)一維線陣 (b)二維平面線陣 SOMSOM網(wǎng)的權(quán)值調(diào)整域網(wǎng)的權(quán)值調(diào)整域 SOM網(wǎng)的獲勝神經(jīng)元對(duì)其臨近神經(jīng)元的影網(wǎng)的獲勝神經(jīng)元對(duì)其臨近神經(jīng)元的影響是由近及遠(yuǎn)，由興奮逐漸轉(zhuǎn)變?yōu)橐种?，響是由近及遠(yuǎn)，由興奮逐漸轉(zhuǎn)變?yōu)橐种?，因此其學(xué)習(xí)算法中不僅獲勝神經(jīng)元本身要因此其學(xué)習(xí)算法中不僅獲勝神經(jīng)元本身要調(diào)整權(quán)向量，它周圍的神經(jīng)元在其影響下調(diào)整權(quán)向量，它周圍的神經(jīng)元在其影響下也要程度不同地調(diào)整權(quán)向量。這種調(diào)整可也要程度不同地調(diào)整權(quán)向量。這種調(diào)整可用三種函數(shù)表示：用三種函數(shù)表示：SOMSOM網(wǎng)的權(quán)值調(diào)整域網(wǎng)的權(quán)值調(diào)整域以獲勝神經(jīng)元為中心設(shè)定一個(gè)鄰域半徑，該半徑圈以獲勝神

40、經(jīng)元為中心設(shè)定一個(gè)鄰域半徑，該半徑圈定的范圍稱為優(yōu)勝鄰域。在定的范圍稱為優(yōu)勝鄰域。在SOM網(wǎng)學(xué)習(xí)算法中，優(yōu)網(wǎng)學(xué)習(xí)算法中，優(yōu)勝鄰域內(nèi)的一切神經(jīng)元均按其分開(kāi)獲勝神經(jīng)元的距勝鄰域內(nèi)的一切神經(jīng)元均按其分開(kāi)獲勝神經(jīng)元的距離遠(yuǎn)近不同程度地調(diào)整權(quán)值。離遠(yuǎn)近不同程度地調(diào)整權(quán)值。 優(yōu)勝鄰域開(kāi)場(chǎng)定得很大，但其大小隨著訓(xùn)練次數(shù)的優(yōu)勝鄰域開(kāi)場(chǎng)定得很大，但其大小隨著訓(xùn)練次數(shù)的添加不斷收縮，最終收縮到半徑為零。添加不斷收縮，最終收縮到半徑為零。SOMSOM網(wǎng)的運(yùn)轉(zhuǎn)原理網(wǎng)的運(yùn)轉(zhuǎn)原理n訓(xùn)練階段 * W4 W1* W2 * W3* *W5 * * W1 W2 * W3*W5 * W4 w1 w2 w3 w4 w5 * * W1

41、 W2 * W3*W5 * W4 * * W1 W2 * W3*W5 * W4SOM網(wǎng)的運(yùn)轉(zhuǎn)原理網(wǎng)的運(yùn)轉(zhuǎn)原理n任務(wù)階段SOM網(wǎng)的學(xué)習(xí)算法網(wǎng)的學(xué)習(xí)算法(1)(1)初始化初始化 對(duì)輸出層各權(quán)向量賦小隨機(jī)數(shù)并進(jìn)展歸一化對(duì)輸出層各權(quán)向量賦小隨機(jī)數(shù)并進(jìn)展歸一化處置，得到處置，得到 ，j=1,2,mj=1,2,m；建立初始優(yōu)勝鄰域；建立初始優(yōu)勝鄰域NjNj* *(0)(0)；學(xué)習(xí)率學(xué)習(xí)率 賦初始值。賦初始值。jW(2)接受輸入接受輸入 從訓(xùn)練集中隨機(jī)選取一個(gè)輸入方式并進(jìn)展從訓(xùn)練集中隨機(jī)選取一個(gè)輸入方式并進(jìn)展歸一化處置，得到歸一化處置，得到 ，p1,2,P。pX(3)尋覓獲勝節(jié)點(diǎn)尋覓獲勝節(jié)點(diǎn) 計(jì)算計(jì)算 與與

42、 的點(diǎn)積，的點(diǎn)積，j=1,2,m，從，從中選出點(diǎn)積最大的獲勝節(jié)點(diǎn)中選出點(diǎn)積最大的獲勝節(jié)點(diǎn)j*。pXjW(4)定義優(yōu)勝鄰域定義優(yōu)勝鄰域Nj*(t) 以以j*為中心確定為中心確定t 時(shí)辰的權(quán)值調(diào)整時(shí)辰的權(quán)值調(diào)整域，普通初始鄰域域，普通初始鄰域Nj*(0)較大，訓(xùn)練過(guò)程中較大，訓(xùn)練過(guò)程中Nj*(t)隨訓(xùn)練隨訓(xùn)練時(shí)間逐漸收縮。時(shí)間逐漸收縮。Kohonen 學(xué)習(xí)算法學(xué)習(xí)算法 Nj*(0) Nj*(0) Nj*(1) Nj*(1) Nj*(2) Nj*(2)(5)調(diào)整權(quán)值調(diào)整權(quán)值 對(duì)優(yōu)勝鄰域?qū)?yōu)勝鄰域Nj*(t)內(nèi)的一切節(jié)點(diǎn)調(diào)整權(quán)值：內(nèi)的一切節(jié)點(diǎn)調(diào)整權(quán)值： i=1,2,n jNj*(t) 式中，式中， 是

43、訓(xùn)練時(shí)間是訓(xùn)練時(shí)間t 和鄰域內(nèi)第和鄰域內(nèi)第j 個(gè)神經(jīng)元與獲勝經(jīng)個(gè)神經(jīng)元與獲勝經(jīng)元元 j* 之間的拓?fù)溟g隔之間的拓?fù)溟g隔N 的函數(shù)，該函數(shù)普通有以下規(guī)律：的函數(shù)，該函數(shù)普通有以下規(guī)律：)(),()()1(twxNttwtwijpiijij),( NtNt,NetNt)(),(t) (t) (t)(0) (0) (0) 0 t 0 t 0 t(6)終了檢查終了檢查 學(xué)習(xí)率能否衰減到零或某個(gè)預(yù)定的正小數(shù)？學(xué)習(xí)率能否衰減到零或某個(gè)預(yù)定的正小數(shù)？初始化、歸一化權(quán)向量 W：jW，j=1,2,m；建立初始優(yōu)勝鄰域 Nj*(0)學(xué)習(xí)率(t)賦初始值輸入歸一化樣本pX，p1,2,P計(jì)算點(diǎn)積pTjXW，j=1,2

44、,m選出點(diǎn)積最大的獲勝節(jié)點(diǎn) j*定義優(yōu)勝鄰域 Nj*(t)對(duì)優(yōu)勝鄰域 Nj*(t)內(nèi)節(jié)點(diǎn)調(diào)整權(quán)值：)()()()(twxN, ttw1twijpiijiji=1,2,n jNj*(t) N )(tmin Y結(jié)束K o h o n e n學(xué)習(xí)算法程序流程學(xué)習(xí)算法程序流程功 能 分 析(1)保序映射將輸入空間的樣本方式類有序地映射在輸出層上。例1：動(dòng)物屬性特征映射。 動(dòng)物 屬性 鴿子 母雞 鴨 鵝 貓頭鷹 隼 鷹 狐貍 狗 狼 貓 虎 獅 馬 斑馬 牛 小 中 大 2只腿 4只腿 毛 蹄 鬃毛 羽毛 獵 跑 飛 泳 1 0 0 1 0 0 0 0 1 0 0 1 0 1 0 0 1 0 0 0 0

45、 1 0 0 0 0 1 0 0 1 0 0 0 0 1 0 0 0 1 1 0 0 1 0 0 0 0 1 0 0 1 1 1 0 0 1 0 0 0 0 1 1 0 1 0 1 0 0 1 0 0 0 0 1 1 0 1 0 0 1 0 1 0 0 0 0 1 1 0 1 0 0 1 0 0 1 1 0 0 0 1 0 0 0 0 1 0 0 1 1 0 0 0 0 1 0 0 0 1 0 0 1 1 0 0 0 1 1 0 0 1 0 0 0 1 1 0 0 0 1 0 0 0 0 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 0 0 0 1 1 0 0 0 0

46、 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 0 0 0 0 0 0 功能分析功能分析 鴨 馬 牛 斑馬 虎 鵝 狼 貓 隼 頭 獅 鴿 鷹 狗 鷹 母雞 狐 貓功功 能能 分分 析析(2) 數(shù)據(jù)緊縮數(shù)據(jù)緊縮-將高維空間的樣本將高維空間的樣本在堅(jiān)持拓?fù)錁?gòu)造不變的條件下投在堅(jiān)持拓?fù)錁?gòu)造不變的條件下投影到低維的空間，在這方面影到低維的空間，在這方面SOM網(wǎng)具有明顯的優(yōu)勢(shì)。無(wú)論網(wǎng)具有明顯的優(yōu)勢(shì)。無(wú)論輸入樣本空間是多少維，其方式輸入樣本空間是多少維，其方式都可以在都可以在SOM網(wǎng)輸出層的某個(gè)網(wǎng)輸出層的某個(gè)區(qū)域得到相應(yīng)。區(qū)域

47、得到相應(yīng)。SOM網(wǎng)經(jīng)過(guò)訓(xùn)網(wǎng)經(jīng)過(guò)訓(xùn)練以后，在高維空間輸入相近的練以后，在高維空間輸入相近的樣本，其輸出相應(yīng)的位置也相近。樣本，其輸出相應(yīng)的位置也相近。(3) 特征提取特征提取-從高維空間樣本向從高維空間樣本向低維空間的映射，低維空間的映射，SOM網(wǎng)的輸網(wǎng)的輸出層相當(dāng)于低維特征空間。出層相當(dāng)于低維特征空間。4.4 自組織特征映射網(wǎng)絡(luò)的設(shè)計(jì)自組織特征映射網(wǎng)絡(luò)的設(shè)計(jì)1. 輸出層設(shè)計(jì)輸出層設(shè)計(jì)a.節(jié)點(diǎn)數(shù)設(shè)計(jì)節(jié)點(diǎn)數(shù)設(shè)計(jì)節(jié)點(diǎn)數(shù)與訓(xùn)練集樣本有多少方式類有關(guān)。假設(shè)節(jié)點(diǎn)數(shù)與訓(xùn)練集樣本有多少方式類有關(guān)。假設(shè)節(jié)點(diǎn)數(shù)少于方式類數(shù)，那么缺乏以區(qū)分全部方節(jié)點(diǎn)數(shù)少于方式類數(shù)，那么缺乏以區(qū)分全部方式類，訓(xùn)練的結(jié)果勢(shì)必將相近的方

48、式類合并為式類，訓(xùn)練的結(jié)果勢(shì)必將相近的方式類合并為一類。這種情況相當(dāng)于對(duì)輸入樣本進(jìn)展一類。這種情況相當(dāng)于對(duì)輸入樣本進(jìn)展“粗分粗分。假設(shè)節(jié)點(diǎn)數(shù)多于方式類數(shù)，一種能夠是將。假設(shè)節(jié)點(diǎn)數(shù)多于方式類數(shù)，一種能夠是將類別分得過(guò)細(xì)，而另一種能夠是出現(xiàn)類別分得過(guò)細(xì)，而另一種能夠是出現(xiàn)“死節(jié)點(diǎn)死節(jié)點(diǎn)，即在訓(xùn)練過(guò)程中，某個(gè)節(jié)點(diǎn)從未獲勝過(guò)且，即在訓(xùn)練過(guò)程中，某個(gè)節(jié)點(diǎn)從未獲勝過(guò)且遠(yuǎn)離其他獲勝節(jié)點(diǎn)，因此它們的權(quán)值從未得到遠(yuǎn)離其他獲勝節(jié)點(diǎn)，因此它們的權(quán)值從未得到過(guò)調(diào)整。在處理分類問(wèn)題時(shí)，假設(shè)對(duì)類別數(shù)沒(méi)過(guò)調(diào)整。在處理分類問(wèn)題時(shí)，假設(shè)對(duì)類別數(shù)沒(méi)有確切的信息，寧可先設(shè)定較多的節(jié)點(diǎn)數(shù)，以有確切的信息，寧可先設(shè)定較多的節(jié)點(diǎn)數(shù)，以便

49、較好的映射樣本的拓?fù)錁?gòu)造，假設(shè)分類過(guò)細(xì)便較好的映射樣本的拓?fù)錁?gòu)造，假設(shè)分類過(guò)細(xì)再酌情減少輸出節(jié)點(diǎn)。再酌情減少輸出節(jié)點(diǎn)。“死節(jié)點(diǎn)問(wèn)題普通可死節(jié)點(diǎn)問(wèn)題普通可經(jīng)過(guò)重新初始化權(quán)值得到處理。經(jīng)過(guò)重新初始化權(quán)值得到處理。1. 輸出層設(shè)計(jì)輸出層設(shè)計(jì)b.節(jié)點(diǎn)陳列的設(shè)計(jì)節(jié)點(diǎn)陳列的設(shè)計(jì)輸出層的節(jié)點(diǎn)陳列成哪種方式取決于實(shí)踐輸出層的節(jié)點(diǎn)陳列成哪種方式取決于實(shí)踐運(yùn)用的需求，陳列方式應(yīng)盡量直觀反映出運(yùn)用的需求，陳列方式應(yīng)盡量直觀反映出實(shí)踐問(wèn)題的物理意義。例如，對(duì)于游覽途實(shí)踐問(wèn)題的物理意義。例如，對(duì)于游覽途徑類的問(wèn)題，二維平面比較直觀；對(duì)于普徑類的問(wèn)題，二維平面比較直觀；對(duì)于普通的分類問(wèn)題，一個(gè)輸出節(jié)點(diǎn)節(jié)能代表一通的分類問(wèn)

50、題，一個(gè)輸出節(jié)點(diǎn)節(jié)能代表一個(gè)方式類，用一維線陣意義明確構(gòu)造簡(jiǎn)單。個(gè)方式類，用一維線陣意義明確構(gòu)造簡(jiǎn)單。2. 權(quán)值初始化問(wèn)題權(quán)值初始化問(wèn)題SOM網(wǎng)的權(quán)值普通初始化為較小的隨機(jī)數(shù)，這樣做網(wǎng)的權(quán)值普通初始化為較小的隨機(jī)數(shù)，這樣做的目的是使權(quán)向量充分分散在樣本空間。但在某些的目的是使權(quán)向量充分分散在樣本空間。但在某些運(yùn)用中，樣本整體上相對(duì)集中于高維空間的某個(gè)部運(yùn)用中，樣本整體上相對(duì)集中于高維空間的某個(gè)部分區(qū)域，全向量的初始位置卻隨機(jī)地分散于樣本空分區(qū)域，全向量的初始位置卻隨機(jī)地分散于樣本空間的寬廣區(qū)域，訓(xùn)練時(shí)必然是離整個(gè)樣本群最近的間的寬廣區(qū)域，訓(xùn)練時(shí)必然是離整個(gè)樣本群最近的全向量被不斷調(diào)整，并逐漸進(jìn)

51、入全體樣本的中心位全向量被不斷調(diào)整，并逐漸進(jìn)入全體樣本的中心位置，而其他權(quán)向量因初始位置遠(yuǎn)離樣本群而永遠(yuǎn)得置，而其他權(quán)向量因初始位置遠(yuǎn)離樣本群而永遠(yuǎn)得不到調(diào)整。如此訓(xùn)練的結(jié)果能夠使全部樣本聚為一不到調(diào)整。如此訓(xùn)練的結(jié)果能夠使全部樣本聚為一類。處理這類問(wèn)題的思緒是盡量使權(quán)值的初始位置類。處理這類問(wèn)題的思緒是盡量使權(quán)值的初始位置與輸入樣本的大約分布區(qū)域充分重合。與輸入樣本的大約分布區(qū)域充分重合。2. 權(quán)值初始化問(wèn)題權(quán)值初始化問(wèn)題一種簡(jiǎn)單易行的方法是從訓(xùn)練集中隨機(jī)抽取一種簡(jiǎn)單易行的方法是從訓(xùn)練集中隨機(jī)抽取m個(gè)輸個(gè)輸入樣本作為初始權(quán)值，即入樣本作為初始權(quán)值，即 (0),1,2,ramkjWXjm=K其

52、中其中 是輸入樣本的順序隨機(jī)數(shù)，是輸入樣本的順序隨機(jī)數(shù)， 。由于。由于任何一定是輸入空間某個(gè)方式類的成員，各個(gè)權(quán)向量按上式任何一定是輸入空間某個(gè)方式類的成員，各個(gè)權(quán)向量按上式初始化后從訓(xùn)練一開(kāi)場(chǎng)就分別接近了輸入空間的各方式類，初始化后從訓(xùn)練一開(kāi)場(chǎng)就分別接近了輸入空間的各方式類，占據(jù)了非常有利的占據(jù)了非常有利的“地形。另一種可行的方法是先計(jì)算出全地形。另一種可行的方法是先計(jì)算出全體樣本的中心向量體樣本的中心向量ramk1,2, ramkPK11PppXXP=在該中心向量根底上迭加小隨機(jī)數(shù)作為權(quán)向量初始值，也在該中心向量根底上迭加小隨機(jī)數(shù)作為權(quán)向量初始值，也可將權(quán)向量的初始位置確定在樣本群中?？蓪?/p>

53、權(quán)向量的初始位置確定在樣本群中。3. 優(yōu)勝鄰域的設(shè)計(jì)優(yōu)勝鄰域的設(shè)計(jì)優(yōu)勝領(lǐng)域設(shè)計(jì)原那么是使領(lǐng)域不斷減少，這樣輸出平面上相優(yōu)勝領(lǐng)域設(shè)計(jì)原那么是使領(lǐng)域不斷減少，這樣輸出平面上相鄰神經(jīng)元對(duì)應(yīng)的權(quán)向量之間既有區(qū)別又有相當(dāng)?shù)念愃菩裕瑥泥徤窠?jīng)元對(duì)應(yīng)的權(quán)向量之間既有區(qū)別又有相當(dāng)?shù)念愃菩?，從而保證當(dāng)獲勝節(jié)點(diǎn)對(duì)某一類方式產(chǎn)生最大呼應(yīng)時(shí)，其領(lǐng)域節(jié)而保證當(dāng)獲勝節(jié)點(diǎn)對(duì)某一類方式產(chǎn)生最大呼應(yīng)時(shí)，其領(lǐng)域節(jié)點(diǎn)也能產(chǎn)生較大呼應(yīng)。領(lǐng)域的外形可以是正方形、六邊形或點(diǎn)也能產(chǎn)生較大呼應(yīng)。領(lǐng)域的外形可以是正方形、六邊形或者菱形。優(yōu)勢(shì)領(lǐng)域的大小用領(lǐng)域的半徑表示，者菱形。優(yōu)勢(shì)領(lǐng)域的大小用領(lǐng)域的半徑表示，r(t)r(t)的設(shè)計(jì)目的設(shè)計(jì)目前沒(méi)有

54、普通化的數(shù)學(xué)方法，通常憑仗閱歷來(lái)選擇前沒(méi)有普通化的數(shù)學(xué)方法，通常憑仗閱歷來(lái)選擇11/1( )(1)( )mmB tttr tCtr tCe-=-= 為于輸出層節(jié)點(diǎn)數(shù)為于輸出層節(jié)點(diǎn)數(shù)m m有關(guān)的正常數(shù)，有關(guān)的正常數(shù)， 為大于為大于1 1的常數(shù)，的常數(shù)，為預(yù)先選定的最大訓(xùn)練次數(shù)。為預(yù)先選定的最大訓(xùn)練次數(shù)。1C1Bmt4. 學(xué)習(xí)率的設(shè)計(jì)學(xué)習(xí)率的設(shè)計(jì)在訓(xùn)練開(kāi)場(chǎng)時(shí)，學(xué)習(xí)率可以選取較大的值，之后以較快在訓(xùn)練開(kāi)場(chǎng)時(shí)，學(xué)習(xí)率可以選取較大的值，之后以較快的速度下降，這樣有利于很快捕捉到輸入向量的大致構(gòu)的速度下降，這樣有利于很快捕捉到輸入向量的大致構(gòu)造，然后學(xué)習(xí)率在較小的值上緩降至造，然后學(xué)習(xí)率在較小的值上緩降至

55、0 0值，這樣可以精值，這樣可以精細(xì)地調(diào)整權(quán)值使之符合輸入空間的樣本分布構(gòu)造。細(xì)地調(diào)整權(quán)值使之符合輸入空間的樣本分布構(gòu)造。22/2( )(1)( )mmB t tttCttC ehh=-= d1 dk dl o1 ok ol W1 Wk Wl 輸出層輸出層 y1 y2 yj ym 競(jìng)爭(zhēng)層競(jìng)爭(zhēng)層 V1 Vm 輸入層輸入層 x1 x2 xi xn-1 xn 4.5 對(duì)偶傳播神經(jīng)網(wǎng)絡(luò)對(duì)偶傳播神經(jīng)網(wǎng)絡(luò)對(duì)偶傳播網(wǎng)絡(luò)對(duì)偶傳播網(wǎng)絡(luò) X X(x1,x2 ,xn)T(x1,x2 ,xn)T Y Y(y1,y2 ,ym)T(y1,y2 ,ym)T，yi0,1yi0,1，i=1,2,mi=1,2,m O O(o1,o2 ,ol)T(o1,o2 ,ol)T d d(d1,d2 ,dl)T(d1,d2 ,dl)T V=(V1,V2 ,Vj,Vm) V=(V1,V2 ,Vj,Vm) W=(W1,W2 ,Wk ,Wl) W=(W1,W2 ,Wk