自組織神經網絡優(yōu)秀課件

1、第四章第四章 自組織神經網絡自組織神經網絡4.1競爭學習的概念與原理4.2自組織特征映射神經網絡自組織神經網絡的典型結構自組織神經網絡的典型結構 第四章第四章 自組織神經網絡自組織神經網絡競爭層競爭層輸入層輸入層第四章第四章 自組織神經網絡自組織神經網絡自組織學習自組織學習(self-organized learning) ： 通過自動尋找樣本中的內在規(guī)律和本通過自動尋找樣本中的內在規(guī)律和本質屬性，自組織、自適應地改變網絡參數質屬性，自組織、自適應地改變網絡參數與結構。與結構。 自組織網絡的自組織功能是通過競爭自組織網絡的自組織功能是通過競爭學習（學習（competitive learning

2、）實現的。）實現的。 4.14.1競爭學習的概念與原理競爭學習的概念與原理4.1.1 4.1.1 基本概念基本概念分類分類分類是在類別知識等導師信號的指分類是在類別知識等導師信號的指導下，將待識別的輸入模式分配到各自的導下，將待識別的輸入模式分配到各自的模式類中去。模式類中去。聚類聚類無導師指導的分類稱為聚類，聚類無導師指導的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類，而的目的是將相似的模式樣本劃歸一類，而將不相似的分離開將不相似的分離開。 相似性測量相似性測量歐式距離法歐式距離法)()(iTiiXXXXXX 類 1 類 2 類 1 類 2 T T (a)基于歐式距離的相似性測量 (b

3、)基于余弦法的相似性測量4.1.1 基本概念基本概念 相似性測量相似性測量余弦法余弦法4.1.1 基本概念基本概念iiTXXXXcos類 1 類 2 類 1 類 2 T T (a)基于歐式距離的相似性測量 (b)基于余弦法的相似性測量4.1.2 4.1.2 競爭學習原理競爭學習原理競爭學習規(guī)則競爭學習規(guī)則Winner-Take-All 網絡的輸出神經元之間相互競爭以求被網絡的輸出神經元之間相互競爭以求被激活，結果在每一時刻只有一個輸出神經元激活，結果在每一時刻只有一個輸出神經元被激活。這個被激活的神經元稱為競爭獲勝被激活。這個被激活的神經元稱為競爭獲勝神經元，而其它神經元的狀態(tài)被抑制，故稱神經

4、元，而其它神經元的狀態(tài)被抑制，故稱為為Winner Take All。競爭學習規(guī)則競爭學習規(guī)則Winner-Take-All1.1.向量歸一化向量歸一化 首先將當前輸入模式向量首先將當前輸入模式向量X X和競爭層中各神經元對應的內星向量和競爭層中各神經元對應的內星向量W Wj j 全部進行歸一化處理；全部進行歸一化處理； (j=1,2,m)(j=1,2,m)Tnjjnnjjxxxx12121.XXX向量歸一化之向量歸一化之 * * * * * * * * 向量歸一化之向量歸一化之 * * * * * * * * * * 競爭學習原理競爭學習原理競爭學習規(guī)則競爭學習規(guī)則Winner-Take-A

5、ll2.2.尋找獲勝神經元尋找獲勝神經元 當網絡得到一個輸入模式向量時，當網絡得到一個輸入模式向量時，競爭層的所有神經元對應的內星權向量均與其進行相競爭層的所有神經元對應的內星權向量均與其進行相似性比較，并將最相似的內星權向量判為競爭獲勝神似性比較，并將最相似的內星權向量判為競爭獲勝神經元。經元。欲使兩單位向量最相似，須使其點積最大。即：欲使兩單位向量最相似，須使其點積最大。即：)(max,.,2, 1*XWXWTjmjTj 從上式可以看出，欲使兩單位向量的歐式距離從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩向量的點積最大。即：最小，須使兩向量的點積最大。即：)(max,.,2, 1*

6、XWXWTjmjTjjmjjWXWXmin,.,2,1*)()(*jTjjWXWXWXTjTjTjT*2WWXWXX)1(2*XWTj競爭學習規(guī)則競爭學習規(guī)則Winner-Take-All競爭學習規(guī)則競爭學習規(guī)則勝者為王勝者為王(Winner-Take-All)3.3.網絡輸出與權值調整網絡輸出與權值調整*01) 1(jjjjtoj)( )()()() 1(*jjjjjttttWXWWWW)()1(ttjjWW j j j j* * 步驟步驟3 3完成后回到步驟完成后回到步驟1 1繼續(xù)訓練，直到學習率繼續(xù)訓練，直到學習率衰減到衰減到0 0。 * * * * * * * * 競爭學習的幾何意義競

7、爭學習的幾何意義競爭學習的幾何意義競爭學習的幾何意義 * 1W *jW * )()()()(*ttttjpWXWh * )(*1tjW )(tpX jW mW * *競爭學習游戲競爭學習游戲將一維樣本空間的將一維樣本空間的12個樣本分為個樣本分為3類類競爭學習游戲競爭學習游戲w1w2w3x訓練樣本集訓練樣本集o1o1o1例例4.1 4.1 用競爭學習算法將下列各模式分為用競爭學習算法將下列各模式分為2 2類：類：6 . 08 . 01X9848. 01736. 02X707. 0707. 03X9397. 0342. 04X8 . 06 . 05X解：為作圖方便，將上述模式轉換成極坐標形式解：

8、為作圖方便，將上述模式轉換成極坐標形式 ：89.3611X8012X5 .4413X7014X13.5315X競爭層設兩個權向量，隨機初始化為單位向量：競爭層設兩個權向量，隨機初始化為單位向量：0101)0(1W180101)0(2W x5 x3 x1 w2 w1 x2 x4 訓訓 練練 次次 數數 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . .

9、 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0

10、 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 x5 x3 x1 w2 x2 x4 w1 訓訓 練練 次次 數數 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8

11、9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3

12、. . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5

13、- - 7 7 5 5 - - 7 7 5 5 x5 x3 x1 w2 x2 x4 w1 訓訓 練練 次次 數數 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4

14、 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0

15、 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 x5 x3 x1 w2 x2 x4 w1 訓訓 練練 次次 數數 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1

16、1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1

17、1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 x5 x3 x1 w2 x2 x4 w1 訓訓 練練 次次 數數 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6

18、 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5

19、 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0

20、 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 x5 x3 x1 w2 x2 x4 w1 訓訓 練練 次次 數數 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4

21、4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - -

22、1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 x5 x3 x1 w2 x2 x4 w1 訓訓 練練 次次 數數 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2

23、 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0

24、 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 x5 x3 x1 x2 x4 w1 w2 訓訓 練練 次次 數數 W W1 1 W W2 2 1 1 2 2 3 3 4

25、4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3

26、3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 -

27、- 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 x5 x3 x1 x2 x4 w1 w2 訓訓 練練 次次 數數 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4

28、 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0

29、 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 x5 x3 x1 x2 x4 w1 w2 訓訓 練練 次次 數數 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8

30、1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - -

31、1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 x5 x3 x1 x2 x4 w1 w2 訓訓 練練 次次 數數 W W1 1 W W2 2 1 1 2

32、 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2

33、 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 .

34、 . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 4.2自組織特征映射神經網絡自組織特征映射神經網絡 （Self-Organizing feature Map）p 1981 1981年芬蘭年芬蘭HelsinkHelsink大學的大學的T.KohonenT.Kohonen教授教授提出一種自組織特征映射網，簡稱提出一種自組織特征映射網，簡稱SOMSOM網，又稱網，又稱KohonenKohonen網。網。p KohonenKohonen認為：一個神經網絡接受外界輸認為：一個神經網絡接受外界輸入模式時，將會分為不同的對應區(qū)域，各區(qū)域入模式時，將會分為

35、不同的對應區(qū)域，各區(qū)域對輸入模式具有不同的響應特征，而且這個過對輸入模式具有不同的響應特征，而且這個過程是自動完成的。自組織特征映射正是根據這程是自動完成的。自組織特征映射正是根據這一看法提出來的，其特點與人腦的自組織特性一看法提出來的，其特點與人腦的自組織特性相類似。相類似。SOMSOM網的生物學基礎網的生物學基礎 生物學研究的事實表明，在人腦的感覺通道上，生物學研究的事實表明，在人腦的感覺通道上，神經元的組織原理是神經元的組織原理是有序排列有序排列。因此當人腦通過感官。因此當人腦通過感官接受外界的特定時空信息時，大腦皮層的接受外界的特定時空信息時，大腦皮層的特定特定區(qū)域區(qū)域興興奮奮，而且類

36、似的外界信息在對應區(qū)域是，而且類似的外界信息在對應區(qū)域是連續(xù)映象連續(xù)映象的。的。 對于某一圖形或某一頻率的特定興奮過程，神經對于某一圖形或某一頻率的特定興奮過程，神經元的有序排列以及對外界信息的連續(xù)映象是自組織特元的有序排列以及對外界信息的連續(xù)映象是自組織特征映射網中競爭機制的生物學基礎。征映射網中競爭機制的生物學基礎。SOMSOM網的拓撲結構網的拓撲結構 SOMSOM網共有兩層，輸入層模擬感知外界輸入信網共有兩層，輸入層模擬感知外界輸入信息的視網膜，輸出層模擬做出響應的大腦皮層。息的視網膜，輸出層模擬做出響應的大腦皮層。 (a)一維線陣 (b)二維平面線陣SOMSOM網的權值調整域網的權值調

37、整域 SOMSOM網的獲勝神經元對其鄰近神經元的網的獲勝神經元對其鄰近神經元的影響是由近及遠，由興奮逐漸轉變?yōu)橐种?，影響是由近及遠，由興奮逐漸轉變?yōu)橐种?，因此其學習算法中不僅獲勝神經元本身要調因此其學習算法中不僅獲勝神經元本身要調整權向量，它周圍的神經元在其影響下也要整權向量，它周圍的神經元在其影響下也要程度不同地調整權向量。這種調整可用三種程度不同地調整權向量。這種調整可用三種函數表示：函數表示：SOMSOM網的權值調整域網的權值調整域 以獲勝神經元為中心設定一個鄰域半徑，該以獲勝神經元為中心設定一個鄰域半徑，該半徑圈定的范圍稱為半徑圈定的范圍稱為優(yōu)勝鄰域優(yōu)勝鄰域。在。在SOMSOM網學習算

38、法網學習算法中，優(yōu)勝鄰域內的所有神經元均按其離開獲勝神中，優(yōu)勝鄰域內的所有神經元均按其離開獲勝神經元的距離遠近不同程度地調整權值。經元的距離遠近不同程度地調整權值。 優(yōu)勝鄰域開始定得很大，但其大小隨著訓練優(yōu)勝鄰域開始定得很大，但其大小隨著訓練次數的增加不斷收縮，最終收縮到半徑為零。次數的增加不斷收縮，最終收縮到半徑為零。SOMSOM網的運行原理網的運行原理p 訓練階段 * W4 W1* W2 * W3* *W5 * * W1 W2 * W3*W5 * W4 w1 w2 w3 w4 w5 * * W1 W2 * W3*W5 * W4 * * W1 W2 * W3*W5 * W4SOM網的運行原理

39、p 工作階段工作階段SOMSOM網的學習算法網的學習算法(1)(1)初始化初始化 對輸出層各權向量賦小隨機數并進行歸一化對輸出層各權向量賦小隨機數并進行歸一化處理，得到處理，得到 ，j=1,2,m；建立初始優(yōu)勝鄰域建立初始優(yōu)勝鄰域Nj*(0)；學習率學習率h h 賦初始值。賦初始值。jW(2)接受輸入接受輸入 從訓練集中隨機選取一個輸入模式并進行從訓練集中隨機選取一個輸入模式并進行歸一化處理，得到歸一化處理，得到 ，p 1,2,P。pX(3)尋找獲勝節(jié)點尋找獲勝節(jié)點 計算計算 與與 的點積，的點積，j=1,2,m，從中選出點積最大的獲勝節(jié)點從中選出點積最大的獲勝節(jié)點j*。pXjW(4)定義優(yōu)勝

40、鄰域定義優(yōu)勝鄰域Nj* (t) 以以j*為中心確定為中心確定t 時刻的權值調整域，時刻的權值調整域，一般初始鄰域一般初始鄰域Nj* (0)較大，訓練過程中較大，訓練過程中Nj* (t)隨訓練時間逐隨訓練時間逐漸收縮。漸收縮。Kohonen 學習算法學習算法KohonenKohonen學習算法學習算法 Nj*(0) Nj*(0) Nj*(1) Nj*(1) Nj*(2) Nj*(2)SOMSOM網的學習算法網的學習算法(5)(5)調整權值調整權值 對優(yōu)勝鄰域對優(yōu)勝鄰域N Nj j* *( (t t) )內的所有節(jié)點調整權值：內的所有節(jié)點調整權值： i=1,2,ni=1,2,n j j N Nj

41、j* *( (t t) ) 式中，式中， 是訓練時間是訓練時間t t 和鄰域內第和鄰域內第j j 個神經元與獲個神經元與獲勝神經元勝神經元 j j* * 之間的拓撲距離之間的拓撲距離N N 的函數，該函數一般的函數，該函數一般有以下規(guī)律：有以下規(guī)律：)(),()()1(twxNttwtwijpiijijh),( NthhhNt,KohonenKohonen學習算法學習算法SOMSOM網的學習算法網的學習算法(5)(5)調整權值調整權值NetNt)(),(hhh(t) h(t) h(t)h(0) h(0) h(0) 0 t 0 t 0 t(6)(6)結束檢查結束檢查 學習率是否衰減到零或某個預定

42、的學習率是否衰減到零或某個預定的正小數？正小數？KohonenKohonen學習算法學習算法SOMSOM網的學習算法網的學習算法初始化、歸一化權向量 W：jW，j=1,2,m；建立初始優(yōu)勝鄰域 Nj*(0)學習率h(t)賦初始值輸入歸一化樣本pX，p1,2,P計算點積pTjXW，j=1,2,m選出點積最大的獲勝節(jié)點 j*定義優(yōu)勝鄰域 Nj*(t)對優(yōu)勝鄰域 Nj*(t)內節(jié)點調整權值：)()()()(twxN, ttw1twijpiijijhi=1,2,n jNj*(t) N )(thminh Y結束KohonenKohonen學習算法程序流程學習算法程序流程功功 能能 分分 析析(1)(1)

43、保序映射保序映射將輸入空間的樣本模式類有序地映射在輸出層上。將輸入空間的樣本模式類有序地映射在輸出層上。例例1 1：動物屬性特征映射。：動物屬性特征映射。 動物 屬性 鴿子 母雞 鴨 鵝 貓頭鷹 隼 鷹 狐貍 狗 狼 貓 虎 獅 馬 斑馬 牛 小 中 大 2只腿 4只腿 毛 蹄 鬃毛 羽毛 獵 跑 飛 泳 1 0 0 1 0 0 0 0 1 0 0 1 0 1 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 0 1 0 0 0 1 1 0 0 1 0 0 0 0 1 0 0 1 1 1 0 0 1 0 0 0 0 1 1 0 1 0 1 0 0 1 0 0 0 0

44、1 1 0 1 0 0 1 0 1 0 0 0 0 1 1 0 1 0 0 1 0 0 1 1 0 0 0 1 0 0 0 0 1 0 0 1 1 0 0 0 0 1 0 0 0 1 0 0 1 1 0 0 0 1 1 0 0 1 0 0 0 1 1 0 0 0 1 0 0 0 0 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 0 0 0 0 0 0 功能分析功能分析 鴨 馬 牛 斑馬 虎 鵝 狼 貓 隼 頭

45、獅 鴿 鷹 狗 鷹 母雞 狐 貓(2)(2)數據壓縮數據壓縮 將高維空間的樣本在保持拓撲結構不變的條將高維空間的樣本在保持拓撲結構不變的條件下投影到低維空間。件下投影到低維空間。(3)(3)特征抽取特征抽取 高維空間的向量經過特征抽取后可以在低維高維空間的向量經過特征抽取后可以在低維特征空間更加清晰地表達。特征空間更加清晰地表達。例例2 2：SOMSOM網用于字符排序。網用于字符排序。ABCDEFGHIGKLMNOPQRSTUVWXYZ123456x01 2 3 4 5 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3x10 0 0 0

46、 0 1 2 3 4 5 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3x20 0 0 0 0 0 0 0 0 0 1 2 3 4 5 6 7 8 3 3 3 3 6 6 6 6 6 6 6 6 6 6x30 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 2 3 4 1 2 3 4 2 2 2 2 2 2x40 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 2 3 4 5 6功能分析功能分析 A B C D E F G H K L M N O P Q R I S W J

47、T X 1 2 3 4 5 6 U Y V Z B C D E Q R Y Z A P X F N O W 1 G M 2 H K L T U 3 I 4 J S V 5 6SOMSOM網在皮革配皮中的應用網在皮革配皮中的應用 要生產出優(yōu)質皮衣，必須保證每件皮衣所用皮料在要生產出優(yōu)質皮衣，必須保證每件皮衣所用皮料在顏色和紋理方面的相似性。在生產中，通常由有經驗的顏色和紋理方面的相似性。在生產中，通常由有經驗的工人根據皮料顏色、紋理的相近程度進行分類。這道稱工人根據皮料顏色、紋理的相近程度進行分類。這道稱為為“配皮配皮”的工序，因光照條件、工人經驗不同以及情的工序，因光照條件、工人經驗不同以及情

48、緒、體力等因素變化的影響，質量難于保證。緒、體力等因素變化的影響，質量難于保證。 計算機皮革檢測與分類系統(tǒng)可對成批皮革的顏色及計算機皮革檢測與分類系統(tǒng)可對成批皮革的顏色及紋理進行在線檢測、特征值提取及快速分類，從而代替紋理進行在線檢測、特征值提取及快速分類，從而代替了傳統(tǒng)的手工操作，取得了良好的效果。了傳統(tǒng)的手工操作，取得了良好的效果。 系統(tǒng)硬件組成系統(tǒng)硬件組成 CCD彩彩 色色攝像攝像機機解碼器解碼器（PAL)圖圖 像像采集卡采集卡及及幀幀 存存儲儲 器器計算機計算機486/66彩彩 色色監(jiān)視器監(jiān)視器打印機打印機標準燈箱標準燈箱 皮革皮革皮料傳送帶皮料傳送帶D65光源光源1. 顏色紋理特征提

49、取顏色紋理特征提取顏色參數顏色參數: CIE1996均勻顏色空間值均勻顏色空間值 l*, a*, b*紋理參數紋理參數: 梯度均值梯度均值2, 梯度標差梯度標差 2 , 及梯度及梯度墑墑T8。皮革外觀由維輸入矢量皮革外觀由維輸入矢量 I = l*, a*, b*, 2 ,2 ,T8描述描述 2. SOM 神經網絡的設計神經網絡的設計 網絡結構網絡結構: 6輸入輸入1維線陣輸出。維線陣輸出。聚類時每批聚類時每批100張皮，平均每件皮衣需要張皮，平均每件皮衣需要56張皮，因此將輸出層設置張皮，因此將輸出層設置20個神經元。每個神經元。每個神經元代表一類外觀效果相似的皮料，如個神經元代表一類外觀效果

50、相似的皮料，如果聚為一類的皮料不夠做一件皮衣，可以和果聚為一類的皮料不夠做一件皮衣，可以和相鄰類歸并使用。相鄰類歸并使用。 )(th t tp tm 3.網絡參數設計網絡參數設計 N j* (t) 優(yōu)勝鄰域在訓練開始時覆蓋整個輸出線陣，以后訓練優(yōu)勝鄰域在訓練開始時覆蓋整個輸出線陣，以后訓練次數每增加次數每增加t =tm/P，Nj*(t)鄰域兩端各收縮一個神經元直至鄰域內鄰域兩端各收縮一個神經元直至鄰域內只剩下獲勝神經元。只剩下獲勝神經元。 對對(t)采用了以下模擬退火函數：采用了以下模擬退火函數：00.95 tm5000 tp1500 4.皮革紋理分類結果皮革紋理分類結果 頻頻 度度 節(jié)節(jié) 點

51、點 SOM網用于物流中心城市分類評價網用于物流中心城市分類評價 (1)物流中心城市評價指標與數據樣本物流中心城市評價指標與數據樣本 簡單選取簡單選取5個評價指標作為網絡輸入：個評價指標作為網絡輸入：x1人均人均GDP(元元)，x2工業(yè)總產值工業(yè)總產值(億元億元)，x3社會消費品零售總額社會消費品零售總額(億元億元)，x4批發(fā)零售貿易總額批發(fā)零售貿易總額(億元億元)，x5貨運總量貨運總量(萬噸萬噸)。 城城市市 X1 X2 X3 X4 X5 城城市市 X1 X2 X3 X4 X5 北北京京 27527 2738.30 1494.83 3055.63 30500 青青島島 29682 1212.0

52、2 182.80 598. 06 29068 天天津津 22073 2663.56 782.33 1465.65 28151 煙煙臺臺 21017 298.73 92.71 227.39 8178 石石家家莊莊 25584 467.42 156.02 763.46 12415 鄭鄭州州 17330 261.80 215.63 402.98 7373 唐唐山山 19387 338.67 95.73 199.69 14522 武武漢漢 17882 1020.84 685.82 1452 16244 太太原原 13919 304.13 141.94 155.22 15170 長長沙沙 26327 2

53、41.76 269.93 369.83 7550 呼呼和和浩浩特特 13738 82.23 69.27 108.12 2415 衡衡陽陽 12386 61.53 63.95 72.65 3004 沈沈陽陽 21736 729.04 590.26 1752.4 15156 廣廣州州 42828 2446.97 1166.10 3214.19 24500 大大連連 34659 1003.56 431.83 728.08 19736 深深圳圳 152099 3079.63 609.26 801.06 5167 長長春春 24799 900.26 309.75 173.99 10346 汕汕頭頭 19

54、414 192.93 112.96 280.84 1443 哈哈爾爾濱濱 20737 402.73 360.38 762.94 8814 湛湛江江 15290 228.45 99.08 149.16 5524 上上海海 40788 6935.57 1531.89 3921.2 49499 南南寧寧 17715 109.39 142.08 264.32 3371 南南京京 26697 1579.21 401.20 1253.73 14120 柳柳州州 17598 256.76 68.93 159.44 3397 徐徐州州 19727 295.73 108.17 187.39 7124 海海口口

55、24782 100.13 81.03 142.54 2018 連連云云港港 17869 112.18 47.94 134.89 4096 成成都都 22956 412.23 400.56 754.07 23724 杭杭州州 31784 1615.63 373.28 1788.29 15841 重重慶慶 9778 870.82 389.60 823.72 29470 寧寧波波 46471 751.58 167.70 529.68 11182 貴貴陽陽 13176 207.95 108.93 285.27 4885 溫溫州州 29781 381.93 233.44 272.84 6292 昆昆明明

56、 24554 303.78 227.44 428.64 12084 合合肥肥 19770 330.14 140.14 328.98 2903 西西安安 16002 449.14 323.37 558.27 7728 福福州州 33570 379.51 209.72 613.24 7280 蘭蘭州州 16629 354.30 163.97 374.9 5401 廈廈門門 42039 803.29 186.55 620.47 2547 西西寧寧 7261 38.00 48.95 91.14 1837 南南昌昌 19923 238.82 14.09 348.21 3246 銀銀川川 12779 77

57、.74 41.22 53.16 1573 濟濟南南 25642 616.97 323.08 462.39 13057 烏烏魯魯木木齊齊 19793 251.19 129.05 277.8 9283 44個物流中心城市分類評價樣本個物流中心城市分類評價樣本 SOM網用于物流中心城市分類評價網用于物流中心城市分類評價 (2)物流中心城市的分類和評價分析物流中心城市的分類和評價分析 物物流流中中心心城城市市 全國性物流中心城市全國性物流中心城市區(qū)域性物流中心城市區(qū)域性物流中心城市地區(qū)性物流中心城市地區(qū)性物流中心城市綜合型綜合型貨運型貨運型SOM網用于物流中心城市分類評價網用于物流中心城市分類評價 (

58、2)物流中心城市的分類和評價分析物流中心城市的分類和評價分析 按照按照SOM算法步驟，取開始的算法步驟，取開始的1000次迭代為排序次迭代為排序階段，學習率階段，學習率h h=0.9； 其后為收斂階段，學習率為其后為收斂階段，學習率為h h= 0.02。 將將44個數據樣本歸一化，輸入網絡進行訓練。經過個數據樣本歸一化，輸入網絡進行訓練。經過試驗比較，最終取試驗比較，最終取類別數為類別數為8，得到如下表所示的分類，得到如下表所示的分類結果。結果。 類類別別 城城 市市 x1均均值值 x 2均均值值 x 3均均值值 x4均均值值 x5均均值值 1 1 北北京京，上上海海，廣廣州州 37048 4

59、040.3 1397.6 3397 34833 2 2 天天津津 22073 2663.6 782.33 1465.7 28151 沈沈陽陽，南南京京，杭杭州州，武武漢漢 24525 1236.2 512.64 1561.6 15340 3 3 深深圳圳 152099 3079.63 609.26 801.06 5167 4 4 大大連連，青青島島，成成都都，重重慶慶 24269 874.66 351.19 726.98 25500 5 5 石石家家莊莊，唐唐山山，太太原原，寧寧波波，濟濟南南，昆昆明明 25926 463.76 185.32 423.18 13072 6 6 長長春春，哈哈爾

60、爾濱濱，溫溫州州，福福州州，廈廈門門，鄭鄭州州，長長沙沙，西西安安 26323 477.55 263.6 471.82 7241.3 7 7 徐徐州州，合合肥肥，煙煙臺臺，蘭蘭州州，烏烏魯魯木木齊齊 19387 306.02 126.81 8 8 呼呼和和浩浩特特，連連云云港港，南南昌昌，衡衡陽陽，汕汕頭頭，湛湛江江，南南寧寧，柳柳州州，海?？诳?，貴貴陽陽，西西寧寧，銀銀川川 15994 142.18 74.868 174.15 3067.4 物流中心城市分類結果物流中心城市分類結果 權值初始化后的輸出平權值初始化后的輸出平面面訓練過程中的輸出平面訓練過程中的輸出平面訓練過程中的輸出平面訓練過程中的輸出平面訓練過程中的輸出平面訓練過程中的輸出平面訓練過程中的輸出平面訓練過程中的輸出平面訓訓練練接接近近尾尾聲聲的的輸輸出出平平面面