自組織競爭型神經(jīng)網(wǎng)絡(luò)概述

1、第四章第四章 自組織競爭型神經(jīng)網(wǎng)絡(luò)自組織競爭型神經(jīng)網(wǎng)絡(luò)本章主要介紹自組織競爭型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、本章主要介紹自組織競爭型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、學(xué)習(xí)算法，及相關(guān)理論。學(xué)習(xí)算法，及相關(guān)理論。1第四章自組織競爭型神經(jīng)網(wǎng)絡(luò)第四章自組織競爭型神經(jīng)網(wǎng)絡(luò)4.1 前言前言4.2 競爭學(xué)習(xí)的概念和原理競爭學(xué)習(xí)的概念和原理4.3自組織特征映射神經(jīng)網(wǎng)絡(luò)自組織特征映射神經(jīng)網(wǎng)絡(luò)4.4自組織特征映射神經(jīng)網(wǎng)絡(luò)自組織特征映射神經(jīng)網(wǎng)絡(luò)的設(shè)計的設(shè)計4.5 對偶傳播神經(jīng)網(wǎng)絡(luò)對偶傳播神經(jīng)網(wǎng)絡(luò)4.6小結(jié)小結(jié)24.1 前言前言n在生物神經(jīng)系統(tǒng)中，存在著一種側(cè)抑制現(xiàn)象，即在生物神經(jīng)系統(tǒng)中，存在著一種側(cè)抑制現(xiàn)象，即一個神經(jīng)細胞興奮以后，會對周圍其他

2、神經(jīng)細胞一個神經(jīng)細胞興奮以后，會對周圍其他神經(jīng)細胞產(chǎn)生抑制作用。這種抑制作用會使神經(jīng)細胞之間產(chǎn)生抑制作用。這種抑制作用會使神經(jīng)細胞之間出現(xiàn)競爭，其結(jié)果是某些獲勝，而另一些則失敗。出現(xiàn)競爭，其結(jié)果是某些獲勝，而另一些則失敗。表現(xiàn)形式是獲勝神經(jīng)細胞興奮，失敗神經(jīng)細胞抑表現(xiàn)形式是獲勝神經(jīng)細胞興奮，失敗神經(jīng)細胞抑制。制。n自組織競爭型神經(jīng)網(wǎng)絡(luò)就是模擬上述生物神經(jīng)系自組織競爭型神經(jīng)網(wǎng)絡(luò)就是模擬上述生物神經(jīng)系統(tǒng)功能的人工神經(jīng)網(wǎng)絡(luò)。統(tǒng)功能的人工神經(jīng)網(wǎng)絡(luò)。3n自組織競爭型神經(jīng)網(wǎng)絡(luò)是一種無教師監(jiān)督學(xué)習(xí)，自組織競爭型神經(jīng)網(wǎng)絡(luò)是一種無教師監(jiān)督學(xué)習(xí)，具有自組織功能的神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)通過自身的訓(xùn)具有自組織功能的神經(jīng)網(wǎng)絡(luò)。

3、網(wǎng)絡(luò)通過自身的訓(xùn)練，能自動對輸入模式進行分類。這一點與練，能自動對輸入模式進行分類。這一點與Hopfield網(wǎng)絡(luò)的模擬人類功能十分相似，自組織網(wǎng)絡(luò)的模擬人類功能十分相似，自組織競爭型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及其學(xué)習(xí)規(guī)則與其他神經(jīng)競爭型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及其學(xué)習(xí)規(guī)則與其他神經(jīng)網(wǎng)絡(luò)相比有自己的特點。網(wǎng)絡(luò)相比有自己的特點。n在網(wǎng)絡(luò)結(jié)構(gòu)上，它一般是由輸入層和競爭層構(gòu)成在網(wǎng)絡(luò)結(jié)構(gòu)上，它一般是由輸入層和競爭層構(gòu)成的兩層網(wǎng)絡(luò)。兩層之間各神經(jīng)元實現(xiàn)雙向連接，的兩層網(wǎng)絡(luò)。兩層之間各神經(jīng)元實現(xiàn)雙向連接，而且網(wǎng)絡(luò)沒有隱含層。有時競爭層各神經(jīng)元之間而且網(wǎng)絡(luò)沒有隱含層。有時競爭層各神經(jīng)元之間還存在橫向連接。還存在橫向連接。4n在學(xué)習(xí)

4、算法上，它模擬生物神經(jīng)元之間的興奮、在學(xué)習(xí)算法上，它模擬生物神經(jīng)元之間的興奮、協(xié)調(diào)與抑制、競爭作用的信息處理的動力學(xué)原理協(xié)調(diào)與抑制、競爭作用的信息處理的動力學(xué)原理來指導(dǎo)網(wǎng)絡(luò)的學(xué)習(xí)與工作，而不像大多數(shù)神經(jīng)網(wǎng)來指導(dǎo)網(wǎng)絡(luò)的學(xué)習(xí)與工作，而不像大多數(shù)神經(jīng)網(wǎng)絡(luò)那樣是以網(wǎng)絡(luò)的誤差或能量函數(shù)作為算法的準絡(luò)那樣是以網(wǎng)絡(luò)的誤差或能量函數(shù)作為算法的準則。則。n競爭型神經(jīng)網(wǎng)絡(luò)構(gòu)成的基本思想是網(wǎng)絡(luò)的競爭層競爭型神經(jīng)網(wǎng)絡(luò)構(gòu)成的基本思想是網(wǎng)絡(luò)的競爭層各神經(jīng)元競爭對輸入模式響應(yīng)的機會，最后僅有各神經(jīng)元競爭對輸入模式響應(yīng)的機會，最后僅有一個神經(jīng)元成為競爭的勝者。這一獲勝神經(jīng)元則一個神經(jīng)元成為競爭的勝者。這一獲勝神經(jīng)元則表示對輸

5、入模式的分類。表示對輸入模式的分類。5n自組織競爭人工神經(jīng)網(wǎng)絡(luò)是基于上述生物結(jié)構(gòu)自組織競爭人工神經(jīng)網(wǎng)絡(luò)是基于上述生物結(jié)構(gòu)和現(xiàn)象形成的。它能夠?qū)斎肽Ｊ竭M行自組織和現(xiàn)象形成的。它能夠?qū)斎肽Ｊ竭M行自組織訓(xùn)練和判斷，并將其最終分為不同的類型。訓(xùn)練和判斷，并將其最終分為不同的類型。 n與與BP網(wǎng)絡(luò)相比，這種自組織自適應(yīng)的學(xué)習(xí)能網(wǎng)絡(luò)相比，這種自組織自適應(yīng)的學(xué)習(xí)能力進一步拓寬了人工神經(jīng)網(wǎng)絡(luò)在模式識別、分力進一步拓寬了人工神經(jīng)網(wǎng)絡(luò)在模式識別、分類方面的應(yīng)用，另一方面，競爭學(xué)習(xí)網(wǎng)絡(luò)的核類方面的應(yīng)用，另一方面，競爭學(xué)習(xí)網(wǎng)絡(luò)的核心心競爭層，又是許多種其他神經(jīng)網(wǎng)絡(luò)模型競爭層，又是許多種其他神經(jīng)網(wǎng)絡(luò)模型的重要組成部

6、分。的重要組成部分。6常用的自組織網(wǎng)絡(luò)常用的自組織網(wǎng)絡(luò)n自組織特征映射自組織特征映射(Self-Organizing Feature Map)網(wǎng)絡(luò)網(wǎng)絡(luò)n對偶傳播對偶傳播(Counter propagation)網(wǎng)絡(luò)網(wǎng)絡(luò) 返回返回 7自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu) 競爭層競爭層輸入層輸入層4.2 競爭學(xué)習(xí)的概念與原理競爭學(xué)習(xí)的概念與原理8分類分類分類是在類別知識等導(dǎo)師信號的指分類是在類別知識等導(dǎo)師信號的指導(dǎo)下，將待識別的輸入模式分配到各自的模導(dǎo)下，將待識別的輸入模式分配到各自的模式類中去。式類中去。聚類聚類無導(dǎo)師指導(dǎo)的分類稱為聚類，聚類無導(dǎo)師指導(dǎo)的分類稱為聚類，聚類的目的是將相

7、似的模式樣本劃歸一類，而將的目的是將相似的模式樣本劃歸一類，而將不相似的分離開不相似的分離開。4.2 競爭學(xué)習(xí)的概念與原理競爭學(xué)習(xí)的概念與原理競爭學(xué)習(xí)的概念競爭學(xué)習(xí)的概念9 相似性測量相似性測量歐式距離法歐式距離法)()(iTiiXXXXXX 類 1 類 2 類 1 類 2 T T (a)基于歐式距離的相似性測量 (b)基于余弦法的相似性測量 兩個模式向量的歐式距離越小，兩個模式向量的歐式距離越小，兩個向量越接近，因此認為這兩兩個向量越接近，因此認為這兩個模式越相似，當(dāng)兩個模式完全個模式越相似，當(dāng)兩個模式完全相同時其歐式距離為零。如果對相同時其歐式距離為零。如果對同一類內(nèi)各個模式向量間的歐式同

8、一類內(nèi)各個模式向量間的歐式距離作出規(guī)定，不允許超過某一距離作出規(guī)定，不允許超過某一最大值最大值T T，則最大歐式距離，則最大歐式距離T T就成就成為一種聚類判據(jù)，同類模式向量為一種聚類判據(jù)，同類模式向量的距離小于的距離小于T T，兩類模式向量的，兩類模式向量的距離大于距離大于T T。10 相似性測量相似性測量余弦法余弦法iiTXXXXcos類 1 類 2 類 1 類 2 T T (a)基于 歐式 距離 的相 似性 測量 (b)基于余弦 法的 相似 性測 量兩個模式向量越接近，其夾角兩個模式向量越接近，其夾角越小，余弦越大。當(dāng)兩個模式越小，余弦越大。當(dāng)兩個模式向量完全相同時，其余弦夾角向量完全相

9、同時，其余弦夾角為為1 1。如果對同一類內(nèi)各個模式。如果對同一類內(nèi)各個模式向量間的夾角作出規(guī)定，不允向量間的夾角作出規(guī)定，不允許超過某一最大夾角許超過某一最大夾角a a，則最大，則最大夾角就成為一種聚類判據(jù)。同夾角就成為一種聚類判據(jù)。同類模式向量的夾角小于類模式向量的夾角小于a a，兩類，兩類模式向量的夾角大于模式向量的夾角大于a a。余弦法。余弦法適合模式向量長度相同和模式適合模式向量長度相同和模式特征只與向量方向相關(guān)的相似特征只與向量方向相關(guān)的相似性測量。性測量。11競爭學(xué)習(xí)原理競爭學(xué)習(xí)原理競爭學(xué)習(xí)規(guī)則競爭學(xué)習(xí)規(guī)則Winner-Take-AllWinner-Take-All網(wǎng)絡(luò)的輸出神經(jīng)元

10、之間相互競爭以求被激活，網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競爭以求被激活，結(jié)果在每一時刻只有一個輸出神經(jīng)元被激活。結(jié)果在每一時刻只有一個輸出神經(jīng)元被激活。這個被激活的神經(jīng)元稱為競爭獲勝神經(jīng)元，而這個被激活的神經(jīng)元稱為競爭獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為其它神經(jīng)元的狀態(tài)被抑制，故稱為Winner Winner Take AllTake All。4.2 競爭學(xué)習(xí)的概念與原理競爭學(xué)習(xí)的概念與原理121.1.向量歸一化向量歸一化 首先將當(dāng)前輸入模式向量首先將當(dāng)前輸入模式向量X X和競爭層中各神經(jīng)元對應(yīng)的內(nèi)星向量和競爭層中各神經(jīng)元對應(yīng)的內(nèi)星向量W Wj j 全部進行歸一化處理；全部進行歸一化處理； (

11、j=1,2,m)(j=1,2,m)Tnjjnnjjxxxx12121.XXX13向量歸一化之向量歸一化之 * * * * * * * * 14向量歸一化之向量歸一化之 * * * * * * * * * * 15競爭學(xué)習(xí)原理競爭學(xué)習(xí)原理競爭學(xué)習(xí)規(guī)則競爭學(xué)習(xí)規(guī)則Winner-Take-All2.2.尋找獲勝神經(jīng)元尋找獲勝神經(jīng)元 當(dāng)網(wǎng)絡(luò)得到一個輸入模式向當(dāng)網(wǎng)絡(luò)得到一個輸入模式向量時，競爭層的所有神經(jīng)元對應(yīng)的內(nèi)星權(quán)向量均量時，競爭層的所有神經(jīng)元對應(yīng)的內(nèi)星權(quán)向量均與其進行相似性比較，并將最相似的內(nèi)星權(quán)向量與其進行相似性比較，并將最相似的內(nèi)星權(quán)向量判為競爭獲勝神經(jīng)元。判為競爭獲勝神經(jīng)元。欲使兩單位向量最

12、相似，須使其點積最大。即：欲使兩單位向量最相似，須使其點積最大。即：)(max,.,2, 1*XWXWTjmjTj16從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩向從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩向量的點積最大。即：量的點積最大。即：)(max,.,2, 1*XWXWTjmjTjjmjjWXWXmin,.,2,1*)()(*jTjjWXWXWXTjTjTjT*2WWXWXX)1(2*XWTj競爭學(xué)習(xí)規(guī)則競爭學(xué)習(xí)規(guī)則Winner-Take-All173.3.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整網(wǎng)絡(luò)輸出與權(quán)值調(diào)整*01) 1(jjjjtoj*(1)( )( )( )()jjjjjtttt

13、WWWWX W)()1(ttjjWW j j j j* *步驟步驟3 3完成后回到步驟完成后回到步驟1 1繼續(xù)訓(xùn)練，直到學(xué)習(xí)率衰減到繼續(xù)訓(xùn)練，直到學(xué)習(xí)率衰減到0 0。競爭學(xué)習(xí)規(guī)則競爭學(xué)習(xí)規(guī)則Winner-Take-All18 * * * * * * * * 競爭學(xué)習(xí)的幾何意義競爭學(xué)習(xí)的幾何意義19 * 1W *jW * )()()()(*ttttjpWXW * )(*1tjW )(tpX jW mW * *競爭學(xué)習(xí)的幾何意義競爭學(xué)習(xí)的幾何意義20例例4.1 4.1 用競爭學(xué)習(xí)算法將下列各模式分為用競爭學(xué)習(xí)算法將下列各模式分為2 2類類：6 . 08 . 01X9848. 01736. 02X7

14、07. 0707. 03X9397. 0342. 04X8 . 06 . 05X解：為作圖方便，將上述模式轉(zhuǎn)換成極坐標形式解：為作圖方便，將上述模式轉(zhuǎn)換成極坐標形式 ：89.3611X8012X5 .4413X7014X13.5315X競爭層設(shè)兩個權(quán)向量，隨機初始化為單位向量：競爭層設(shè)兩個權(quán)向量，隨機初始化為單位向量：0101)0(1W180101)0(2W21 x5 x3 x1 w2 w1 x2 x4 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1

15、1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0

16、0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 22 x5 x3 x1 w2

17、 x2 x4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4

18、3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8

19、1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 23 x5 x3 x1 w2 x2 x4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 .

20、. 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1

21、1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 24 x5 x3 x1 w2 x2 x4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1

22、1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . .

23、5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7

24、5 5 25 x5 x3 x1 w2 x2 x4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4

25、4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 -

26、- 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 26 x5 x3 x1 w2 x2 x4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4

27、3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - -

28、1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 27 x5 x3 x1 w2 x2 x4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9

29、9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 .

30、. 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 -

31、- 7 7 5 5 - - 7 7 5 5 28 x5 x3 x1 x2 x4 w1 w2 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4

32、4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0

33、0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 29 x5 x3 x1 x2 x4 w1 w2 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0

34、0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 -

35、- 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 30 x5 x3 x1 x2 x4 w1 w2 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4

36、5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3

37、. . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - -

38、8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 31 x5 x3 x1 x2 x4 w1 w2 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4

39、4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0

40、0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 32n1981年芬蘭年芬蘭Helsink大學(xué)的大學(xué)的T.Kohonen教授提出教授提出一種自組織特征映射網(wǎng)，簡稱一種自組織特征映射網(wǎng)，簡稱SOM網(wǎng)，又稱網(wǎng)，又稱Kohonen網(wǎng)。網(wǎng)。nKohonen認為：一個神經(jīng)網(wǎng)絡(luò)接受外界輸入模認為：一個神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時，將會分為不同的對應(yīng)區(qū)域，各區(qū)域?qū)斒綍r，

41、將會分為不同的對應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征，而且這個過程是入模式具有不同的響應(yīng)特征，而且這個過程是自動完成的。自組織特征映射正是根據(jù)這一看自動完成的。自組織特征映射正是根據(jù)這一看法提出來的，其特點與人腦的自組織特性相類法提出來的，其特點與人腦的自組織特性相類似。似。4.3自組織特征映射神經(jīng)網(wǎng)絡(luò)自組織特征映射神經(jīng)網(wǎng)絡(luò)33SOMSOM網(wǎng)的生物學(xué)基礎(chǔ)網(wǎng)的生物學(xué)基礎(chǔ)生物學(xué)研究的事實表明，在人腦的感覺通道上，神經(jīng)元生物學(xué)研究的事實表明，在人腦的感覺通道上，神經(jīng)元的組織原理是有序排列。因此當(dāng)人腦通過感官接受外界的組織原理是有序排列。因此當(dāng)人腦通過感官接受外界的特定時空信息時，大腦皮層的特定

42、區(qū)域興奮，而且類的特定時空信息時，大腦皮層的特定區(qū)域興奮，而且類似的外界信息在對應(yīng)區(qū)域是連續(xù)映象的。似的外界信息在對應(yīng)區(qū)域是連續(xù)映象的。對于某一圖形或某一頻率的特定興奮過程，神經(jīng)元的有對于某一圖形或某一頻率的特定興奮過程，神經(jīng)元的有序排列以及對外界信息的連續(xù)映象是自組織特征映射網(wǎng)序排列以及對外界信息的連續(xù)映象是自組織特征映射網(wǎng)中競爭機制的生物學(xué)基礎(chǔ)。中競爭機制的生物學(xué)基礎(chǔ)。34SOMSOM網(wǎng)的拓撲結(jié)構(gòu)網(wǎng)的拓撲結(jié)構(gòu)SOMSOM網(wǎng)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜，輸出層模擬做出響應(yīng)的大腦皮層。網(wǎng)膜，輸出層模擬做出響應(yīng)的大腦皮層。 (a)一維線陣

43、 (b)二維平面線陣 35SOMSOM網(wǎng)的權(quán)值調(diào)整域網(wǎng)的權(quán)值調(diào)整域 SOM網(wǎng)的獲勝神經(jīng)元對其鄰近神經(jīng)元的影響是由網(wǎng)的獲勝神經(jīng)元對其鄰近神經(jīng)元的影響是由近及遠，由興奮逐漸轉(zhuǎn)變?yōu)橐种疲虼似鋵W(xué)習(xí)算近及遠，由興奮逐漸轉(zhuǎn)變?yōu)橐种?，因此其學(xué)習(xí)算法中不僅獲勝神經(jīng)元本身要調(diào)整權(quán)向量，它周圍法中不僅獲勝神經(jīng)元本身要調(diào)整權(quán)向量，它周圍的神經(jīng)元在其影響下也要程度不同地調(diào)整權(quán)向量。的神經(jīng)元在其影響下也要程度不同地調(diào)整權(quán)向量。這種調(diào)整可用三種函數(shù)表示：這種調(diào)整可用三種函數(shù)表示：3637SOMSOM網(wǎng)的權(quán)值調(diào)整域網(wǎng)的權(quán)值調(diào)整域以獲勝神經(jīng)元為中心設(shè)定一個鄰域半徑，該半徑圈以獲勝神經(jīng)元為中心設(shè)定一個鄰域半徑，該半徑圈定的范

44、圍稱為優(yōu)勝鄰域。在定的范圍稱為優(yōu)勝鄰域。在SOM網(wǎng)學(xué)習(xí)算法中，優(yōu)網(wǎng)學(xué)習(xí)算法中，優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開獲勝神經(jīng)元的距勝鄰域內(nèi)的所有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠近不同程度地調(diào)整權(quán)值。離遠近不同程度地調(diào)整權(quán)值。 優(yōu)勝鄰域開始定得很大，但其大小隨著訓(xùn)練次數(shù)的優(yōu)勝鄰域開始定得很大，但其大小隨著訓(xùn)練次數(shù)的增加不斷收縮，最終收縮到半徑為零。增加不斷收縮，最終收縮到半徑為零。38SOMSOM網(wǎng)的運行原理網(wǎng)的運行原理n訓(xùn)練階段訓(xùn)練階段 * W4 W1* W2 * W3* *W5 * * W1 W2 * W3*W5 * W4 w1 w2 w3 w4 w539 * * W1 W2 * W3*W5 *

45、 W4 * * W1 W2 * W3*W5 * W4SOM網(wǎng)的運行原理網(wǎng)的運行原理n工作階段工作階段40SOM網(wǎng)的學(xué)習(xí)算法網(wǎng)的學(xué)習(xí)算法( (1)初始化初始化 對輸出層各權(quán)向量賦小隨機數(shù)并進行歸一化處對輸出層各權(quán)向量賦小隨機數(shù)并進行歸一化處理，得到理，得到 ，j=1,2,m；建立初始優(yōu)勝鄰域；建立初始優(yōu)勝鄰域Nj*(0)；學(xué)習(xí)；學(xué)習(xí)率率 賦初始值。賦初始值。jW(2)接受輸入接受輸入 從訓(xùn)練集中隨機選取一個輸入模式并進行從訓(xùn)練集中隨機選取一個輸入模式并進行歸一化處理，得到歸一化處理，得到 ，p 1,2,P。pX(3)尋找獲勝節(jié)點尋找獲勝節(jié)點 計算計算 與與 的點積，的點積，j=1,2,m，從，從

46、中選出點積最大的獲勝節(jié)點中選出點積最大的獲勝節(jié)點j*。pXjW(4)定義優(yōu)勝鄰域定義優(yōu)勝鄰域Nj*(t) 以以j*為中心確定為中心確定t 時刻的權(quán)值調(diào)整域，時刻的權(quán)值調(diào)整域，一般初始鄰域一般初始鄰域Nj*(0)較大，訓(xùn)練過程中較大，訓(xùn)練過程中Nj*(t)隨訓(xùn)練時間逐隨訓(xùn)練時間逐漸收縮。漸收縮。Kohonen 學(xué)習(xí)算法學(xué)習(xí)算法41 Nj*(0) Nj*(0) Nj*(1) Nj*(1) Nj*(2) Nj*(2)42(5)調(diào)整權(quán)值調(diào)整權(quán)值 對優(yōu)勝鄰域?qū)?yōu)勝鄰域Nj*(t)內(nèi)的所有節(jié)點調(diào)整權(quán)值：內(nèi)的所有節(jié)點調(diào)整權(quán)值： i=1,2,n j Nj*(t) 式中，式中， 是訓(xùn)練時間是訓(xùn)練時間t 和鄰域內(nèi)

47、第和鄰域內(nèi)第j 個神經(jīng)元與獲勝經(jīng)個神經(jīng)元與獲勝經(jīng)元元 j* 之間的拓撲距離之間的拓撲距離N 的函數(shù)，該函數(shù)一般有以下規(guī)律：的函數(shù)，該函數(shù)一般有以下規(guī)律：)(),()()1(twxNttwtwijpiijij),( NtNt,43NetNt)(),(t) (t) (t)(0) (0) (0) 0 t 0 t 0 t(6)結(jié)束檢查結(jié)束檢查 學(xué)習(xí)率是否衰減到零或某個預(yù)定的正小數(shù)？學(xué)習(xí)率是否衰減到零或某個預(yù)定的正小數(shù)？44初始化、歸一化權(quán)向量 W：jW，j=1,2,m；建立初始優(yōu)勝鄰域 Nj*(0)學(xué)習(xí)率(t)賦初始值輸入歸一化樣本pX，p1,2,P計算點積pTjXW，j=1,2,m選出點積最大的獲勝

48、節(jié)點 j*定義優(yōu)勝鄰域 Nj*(t)對優(yōu)勝鄰域 Nj*(t)內(nèi)節(jié)點調(diào)整權(quán)值：)()()()(twxN, ttw1twijpiijiji=1,2,n jNj*(t) N )(tmin Y結(jié)束K o h o n e n 學(xué) 習(xí) 算 法 程 序 流 程學(xué) 習(xí) 算 法 程 序 流 程45功 能 分 析(1)保序映射保序映射將輸入空間的樣本模式類有序地映射在輸出層上。將輸入空間的樣本模式類有序地映射在輸出層上。例例1：動物屬性特征映射。：動物屬性特征映射。 動 物 屬 性 鴿 子 母 雞 鴨 鵝 貓 頭鷹 隼 鷹 狐 貍 狗 狼 貓 虎 獅 馬 斑 馬 牛 小 中 大 2只 腿 4只 腿 毛 蹄 鬃 毛

49、 羽 毛 獵 跑 飛 泳 1 0 0 1 0 0 0 0 1 0 0 1 0 1 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 0 1 0 0 0 1 1 0 0 1 0 0 0 0 1 0 0 1 1 1 0 0 1 0 0 0 0 1 1 0 1 0 1 0 0 1 0 0 0 0 1 1 0 1 0 0 1 0 1 0 0 0 0 1 1 0 1 0 0 1 0 0 1 1 0 0 0 1 0 0 0 0 1 0 0 1 1 0 0 0 0 1 0 0 0 1 0 0 1 1 0 0 0 1 1 0 0 1 0 0 0 1 1 0 0 0 1 0 0 0 0

50、 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 0 0 0 0 0 0 46功能分析功能分析 鴨 馬 牛 斑馬 虎 鵝 狼 貓 隼 頭 獅 鴿 鷹 狗 鷹 母雞 狐 貓47功功 能能 分分 析析(2) 數(shù)據(jù)壓縮數(shù)據(jù)壓縮-將高維空間的樣本在保持拓撲將高維空間的樣本在保持拓撲結(jié)構(gòu)不變的條件下投影到低維的空間，在這結(jié)構(gòu)不變的條件下投影到低維的空間，在這方面方面SOM網(wǎng)具有明顯的優(yōu)勢。無論輸入樣本網(wǎng)具有明顯的優(yōu)勢。無論

51、輸入樣本空間是多少維，其模式都可以在空間是多少維，其模式都可以在SOM網(wǎng)輸出網(wǎng)輸出層的某個區(qū)域得到相應(yīng)。層的某個區(qū)域得到相應(yīng)。SOM網(wǎng)經(jīng)過訓(xùn)練以網(wǎng)經(jīng)過訓(xùn)練以后，在高維空間輸入相近的樣本，其輸出相后，在高維空間輸入相近的樣本，其輸出相應(yīng)的位置也相近。應(yīng)的位置也相近。(3) 特征提取特征提取-從高維空間樣本向低維空間的從高維空間樣本向低維空間的映射，映射，SOM網(wǎng)的輸出層相當(dāng)于低維特征空間。網(wǎng)的輸出層相當(dāng)于低維特征空間。484.4 自組織特征映射網(wǎng)絡(luò)的設(shè)計自組織特征映射網(wǎng)絡(luò)的設(shè)計1. 輸出層設(shè)計輸出層設(shè)計a.節(jié)點數(shù)設(shè)計節(jié)點數(shù)設(shè)計節(jié)點數(shù)與訓(xùn)練集樣本有多少模式類有關(guān)。如果節(jié)點數(shù)少于模節(jié)點數(shù)與訓(xùn)練集樣本

52、有多少模式類有關(guān)。如果節(jié)點數(shù)少于模式類數(shù)，則不足以區(qū)分全部模式類，訓(xùn)練的結(jié)果勢必將相近式類數(shù)，則不足以區(qū)分全部模式類，訓(xùn)練的結(jié)果勢必將相近的模式類合并為一類。這種情況相當(dāng)于對輸入樣本進行的模式類合并為一類。這種情況相當(dāng)于對輸入樣本進行“粗粗分分”。如果節(jié)點數(shù)多于模式類數(shù)，一種可能是將類別分得過。如果節(jié)點數(shù)多于模式類數(shù)，一種可能是將類別分得過細，而另一種可能是出現(xiàn)細，而另一種可能是出現(xiàn)“死節(jié)點死節(jié)點”，即在訓(xùn)練過程中，某，即在訓(xùn)練過程中，某個節(jié)點從未獲勝過且遠離其他獲勝節(jié)點，因此它們的權(quán)值從個節(jié)點從未獲勝過且遠離其他獲勝節(jié)點，因此它們的權(quán)值從未得到過調(diào)整。在解決分類問題時，如果對類別數(shù)沒有確切未

53、得到過調(diào)整。在解決分類問題時，如果對類別數(shù)沒有確切的信息，寧可先設(shè)定較多的節(jié)點數(shù)，以便較好的映射樣本的的信息，寧可先設(shè)定較多的節(jié)點數(shù)，以便較好的映射樣本的拓撲結(jié)構(gòu)，如果分類過細再酌情減少輸出節(jié)點。拓撲結(jié)構(gòu)，如果分類過細再酌情減少輸出節(jié)點。“死節(jié)點死節(jié)點”問題一般可通過重新初始化權(quán)值得到解決。問題一般可通過重新初始化權(quán)值得到解決。491. 輸出層設(shè)計輸出層設(shè)計b.節(jié)點排列的設(shè)計節(jié)點排列的設(shè)計輸出層的節(jié)點排列成哪種形式取決于實際應(yīng)用的需要，排輸出層的節(jié)點排列成哪種形式取決于實際應(yīng)用的需要，排列形式應(yīng)盡量直觀反映出實際問題的物理意義。例如，對列形式應(yīng)盡量直觀反映出實際問題的物理意義。例如，對于旅行路

54、徑類的問題，二維平面比較直觀；對于一般的分于旅行路徑類的問題，二維平面比較直觀；對于一般的分類問題，一個輸出節(jié)點節(jié)能代表一個模式類，用一維線陣類問題，一個輸出節(jié)點節(jié)能代表一個模式類，用一維線陣意義明確結(jié)構(gòu)簡單。意義明確結(jié)構(gòu)簡單。502. 權(quán)值初始化問題權(quán)值初始化問題SOM網(wǎng)的權(quán)值一般初始化為較小的隨機數(shù)，這樣做的目的網(wǎng)的權(quán)值一般初始化為較小的隨機數(shù)，這樣做的目的是使權(quán)向量充分分散在樣本空間。但在某些應(yīng)用中，樣本整是使權(quán)向量充分分散在樣本空間。但在某些應(yīng)用中，樣本整體上相對集中于高維空間的某個局部區(qū)域，全向量的初始位體上相對集中于高維空間的某個局部區(qū)域，全向量的初始位置卻隨機地分散于樣本空間的廣

55、闊區(qū)域，訓(xùn)練時必然是離整置卻隨機地分散于樣本空間的廣闊區(qū)域，訓(xùn)練時必然是離整個樣本群最近的全向量被不斷調(diào)整，并逐漸進入全體樣本的個樣本群最近的全向量被不斷調(diào)整，并逐漸進入全體樣本的中心位置，而其他權(quán)向量因初始位置遠離樣本群而永遠得不中心位置，而其他權(quán)向量因初始位置遠離樣本群而永遠得不到調(diào)整。如此訓(xùn)練的結(jié)果可能使全部樣本聚為一類。解決這到調(diào)整。如此訓(xùn)練的結(jié)果可能使全部樣本聚為一類。解決這類問題的思路是盡量使權(quán)值的初始位置與輸入樣本的大概分類問題的思路是盡量使權(quán)值的初始位置與輸入樣本的大概分布區(qū)域充分重合。布區(qū)域充分重合。512. 權(quán)值初始化問題權(quán)值初始化問題一種簡單易行的方法是從訓(xùn)練集中隨機抽取

56、一種簡單易行的方法是從訓(xùn)練集中隨機抽取m m個輸入樣本作個輸入樣本作為初始權(quán)值，即為初始權(quán)值，即 (0),1,2,ramkjWXjm=K其中其中 是輸入樣本的順序隨機數(shù)，是輸入樣本的順序隨機數(shù)， 。因為。因為任何一定是輸入空間某個模式類的成員，各個權(quán)向量按上式任何一定是輸入空間某個模式類的成員，各個權(quán)向量按上式初始化后從訓(xùn)練一開始就分別接近了輸入空間的各模式類，初始化后從訓(xùn)練一開始就分別接近了輸入空間的各模式類，占據(jù)了十分有利的占據(jù)了十分有利的“地形地形”。另一種可行的辦法是先計算出。另一種可行的辦法是先計算出全體樣本的中心向量全體樣本的中心向量ramk1,2, ramkPK11PppXXP=

57、在該中心向量基礎(chǔ)上迭加小隨機數(shù)作為權(quán)向量初始值，也在該中心向量基礎(chǔ)上迭加小隨機數(shù)作為權(quán)向量初始值，也可將權(quán)向量的初始位置確定在樣本群中?？蓪?quán)向量的初始位置確定在樣本群中。523. 優(yōu)勝鄰域的設(shè)計優(yōu)勝鄰域的設(shè)計優(yōu)勝領(lǐng)域設(shè)計原則是使領(lǐng)域不斷縮小，這樣輸出平面上相鄰優(yōu)勝領(lǐng)域設(shè)計原則是使領(lǐng)域不斷縮小，這樣輸出平面上相鄰神經(jīng)元對應(yīng)的權(quán)向量之間既有區(qū)別又有相當(dāng)?shù)南嗨菩?，從而神?jīng)元對應(yīng)的權(quán)向量之間既有區(qū)別又有相當(dāng)?shù)南嗨菩?，從而保證當(dāng)獲勝節(jié)點對某一類模式產(chǎn)生最大響應(yīng)時，其領(lǐng)域節(jié)點保證當(dāng)獲勝節(jié)點對某一類模式產(chǎn)生最大響應(yīng)時，其領(lǐng)域節(jié)點也能產(chǎn)生較大響應(yīng)。領(lǐng)域的形狀可以是正方形、六邊形或者也能產(chǎn)生較大響應(yīng)。領(lǐng)域的形

58、狀可以是正方形、六邊形或者菱形。優(yōu)勢領(lǐng)域的大小用領(lǐng)域的半徑表示，菱形。優(yōu)勢領(lǐng)域的大小用領(lǐng)域的半徑表示，r r( (t t) )的設(shè)計目前的設(shè)計目前沒有一般化的數(shù)學(xué)方法，通常憑借經(jīng)驗來選擇沒有一般化的數(shù)學(xué)方法，通常憑借經(jīng)驗來選擇11/1( )(1)( )mmB tttr tCtr tCe-=-= 為于輸出層節(jié)點數(shù)為于輸出層節(jié)點數(shù)m m有關(guān)的正常數(shù)，有關(guān)的正常數(shù)， 為大于為大于1 1的常數(shù)，的常數(shù)，為預(yù)先選定的最大訓(xùn)練次數(shù)。為預(yù)先選定的最大訓(xùn)練次數(shù)。1C1Bmt534. 學(xué)習(xí)率的設(shè)計學(xué)習(xí)率的設(shè)計在訓(xùn)練開始時，學(xué)習(xí)率可以選取較大的值，之后以較快在訓(xùn)練開始時，學(xué)習(xí)率可以選取較大的值，之后以較快的速度下

59、降，這樣有利于很快捕捉到輸入向量的大致結(jié)的速度下降，這樣有利于很快捕捉到輸入向量的大致結(jié)構(gòu)，然后學(xué)習(xí)率在較小的值上緩降至構(gòu)，然后學(xué)習(xí)率在較小的值上緩降至0 0值，這樣可以精值，這樣可以精細地調(diào)整權(quán)值使之符合輸入空間的樣本分布結(jié)構(gòu)。細地調(diào)整權(quán)值使之符合輸入空間的樣本分布結(jié)構(gòu)。22/2( )(1)( )mmB t tttCttC ehh=-=54 d1 dk dl o1 ok ol W1 Wk Wl 輸輸 出出層層 y1 y2 yj ym 競競爭爭層層 V1 Vm 輸輸入入 層層 x1 x2 xi xn-1 xn 4.5 對偶傳播神經(jīng)網(wǎng)絡(luò)對偶傳播神經(jīng)網(wǎng)絡(luò)對偶傳播網(wǎng)絡(luò)對偶傳播網(wǎng)絡(luò)55 X X( (x x1 1, ,x x2 2 ,x xn n) )T T Y Y( (y y1 1, ,y y2 2 ,y ym m) )T T，y yi i 0 0, ,1 1 ，i i=1,2,=