自組織神經(jīng)網(wǎng)絡(luò)

1、 自組織網(wǎng)結(jié)構(gòu)上屬于層次型網(wǎng)絡(luò)，有多種類型。自組織網(wǎng)結(jié)構(gòu)上屬于層次型網(wǎng)絡(luò)，有多種類型。 如：自組織特征映射（如：自組織特征映射（Self Organizing Feature Map）網(wǎng)絡(luò)）網(wǎng)絡(luò)SOM）；）； 對偶（向）傳播（對偶（向）傳播（Counter Propagation Network)網(wǎng)絡(luò)網(wǎng)絡(luò)CPN)； 自適應(yīng)共振理論（自適應(yīng)共振理論（Adaptive Resonance Theory)網(wǎng)絡(luò)網(wǎng)絡(luò)ART等。等。 其共同特點是都具有競爭層。其共同特點是都具有競爭層。 最簡單的網(wǎng)絡(luò)結(jié)構(gòu)具有一個輸入層和一個競爭層。最簡單的網(wǎng)絡(luò)結(jié)構(gòu)具有一個輸入層和一個競爭層。 輸入模式輸入模式 輸出模式輸出

2、模式 競爭層競爭層 輸入層負責(zé)接受外界信息輸入層負責(zé)接受外界信息 并將輸入模式向競爭層傳遞，并將輸入模式向競爭層傳遞， 起觀察作用。起觀察作用。 競爭層負責(zé)對該模式進競爭層負責(zé)對該模式進 行行“分析比較分析比較”，找出規(guī)律以，找出規(guī)律以 正確分類。正確分類。 這種功能是通過下面要介這種功能是通過下面要介 紹的競爭機制實現(xiàn)的。紹的競爭機制實現(xiàn)的。 競爭學(xué)習(xí)是自組織網(wǎng)絡(luò)中最常用的一種學(xué)習(xí)策略，首先說明與之相關(guān)競爭學(xué)習(xí)是自組織網(wǎng)絡(luò)中最常用的一種學(xué)習(xí)策略，首先說明與之相關(guān) 的幾個基本概念。的幾個基本概念。 4.1.1.1 模式、分類、聚類與相似性模式、分類、聚類與相似性 模式：一般當(dāng)網(wǎng)絡(luò)涉及識別、分類

3、問題時，常用輸入模式（而不稱輸入模式：一般當(dāng)網(wǎng)絡(luò)涉及識別、分類問題時，常用輸入模式（而不稱輸入 樣本）；樣本）； 分類：將待識別的輸入模式劃分為各自的模式類中去；分類：將待識別的輸入模式劃分為各自的模式類中去； 聚類：無導(dǎo)師指導(dǎo)的分類稱為聚類，聚類的目的是將相似的模式樣本劃聚類：無導(dǎo)師指導(dǎo)的分類稱為聚類，聚類的目的是將相似的模式樣本劃 歸一類；歸一類； 相似性：輸入模式的聚類依據(jù)。相似性：輸入模式的聚類依據(jù)。 4.1.1.2 相似性測量相似性測量 神經(jīng)網(wǎng)絡(luò)的輸入模式用向量表示，比較不同模式的相似性可轉(zhuǎn)化為比神經(jīng)網(wǎng)絡(luò)的輸入模式用向量表示，比較不同模式的相似性可轉(zhuǎn)化為比 較兩個向量的距離，因而可用

4、模式向量間的距離作為聚類判據(jù)。較兩個向量的距離，因而可用模式向量間的距離作為聚類判據(jù)。 模式識別中常用到的兩種聚類判據(jù)是歐式最小距離法和余弦法模式識別中常用到的兩種聚類判據(jù)是歐式最小距離法和余弦法。 4.1 競爭學(xué)習(xí)的概念與原理競爭學(xué)習(xí)的概念與原理 （1）歐式距離法）歐式距離法 X和和Xi 兩向量歐式距離兩向量歐式距離 : )()( i T ii XXXXXX 兩個模式向量的歐式距離越小，兩個模式越相似，當(dāng)兩個模式完全相兩個模式向量的歐式距離越小，兩個模式越相似，當(dāng)兩個模式完全相 同時，其歐式距離為零。如果對同一類內(nèi)各個模式向量間的歐式距離作出同時，其歐式距離為零。如果對同一類內(nèi)各個模式向量間

5、的歐式距離作出 規(guī)定，不允許超過某一最大值規(guī)定，不允許超過某一最大值 T，則最大歐式距離，則最大歐式距離 T 就成為一種聚類判就成為一種聚類判 據(jù)。據(jù)。 （2）余弦法）余弦法 計算兩個模式向量夾角的余弦：計算兩個模式向量夾角的余弦： 兩個模式向量越接近，其類角越小，余弦越大。當(dāng)兩個模式向量完全兩個模式向量越接近，其類角越小，余弦越大。當(dāng)兩個模式向量完全 相同時，其夾角余弦為相同時，其夾角余弦為1。 若同類內(nèi)各模式向量間的夾角規(guī)定不大于若同類內(nèi)各模式向量間的夾角規(guī)定不大于T，則，則成為一種聚類判據(jù)。成為一種聚類判據(jù)。 余弦法適合模式向量長度相同或模式特征只與向量方向相關(guān)的相似性測量。余弦法適合模

6、式向量長度相同或模式特征只與向量方向相關(guān)的相似性測量。 i i T XX XX cos 4.1.1.3 側(cè)抑制與競爭側(cè)抑制與競爭 自組織網(wǎng)絡(luò)（競爭型神經(jīng)網(wǎng)絡(luò)）構(gòu)成的基本思想是網(wǎng)絡(luò)的競爭層自組織網(wǎng)絡(luò)（競爭型神經(jīng)網(wǎng)絡(luò)）構(gòu)成的基本思想是網(wǎng)絡(luò)的競爭層 各神經(jīng)元競爭對輸入模式響應(yīng)的機會，最后僅有一個神經(jīng)元成為競爭的各神經(jīng)元競爭對輸入模式響應(yīng)的機會，最后僅有一個神經(jīng)元成為競爭的 “勝者勝者”，這一獲勝神經(jīng)元則表示對輸入模式的識別。，這一獲勝神經(jīng)元則表示對輸入模式的識別。體現(xiàn)了物生體現(xiàn)了物生 神經(jīng)細胞的側(cè)抑制競爭機制。神經(jīng)細胞的側(cè)抑制競爭機制。 實驗表明，人眼的視網(wǎng)膜、脊髓和海馬中存一種側(cè)抑制現(xiàn)象，即，實驗

7、表明，人眼的視網(wǎng)膜、脊髓和海馬中存一種側(cè)抑制現(xiàn)象，即， 當(dāng)一個神經(jīng)細胞興奮后，會對其周圍的神經(jīng)細胞產(chǎn)生抑制作用。當(dāng)一個神經(jīng)細胞興奮后，會對其周圍的神經(jīng)細胞產(chǎn)生抑制作用。 這種側(cè)抑制使神經(jīng)細胞之間呈現(xiàn)出競爭，開始時可能多個細胞同這種側(cè)抑制使神經(jīng)細胞之間呈現(xiàn)出競爭，開始時可能多個細胞同 時興奮，但一個興奮程度最強的神經(jīng)細胞對周圍神經(jīng)細胞的抑制作用時興奮，但一個興奮程度最強的神經(jīng)細胞對周圍神經(jīng)細胞的抑制作用 也最強，其結(jié)果使其周圍神經(jīng)細胞興奮程度減弱，從而該神經(jīng)細胞是也最強，其結(jié)果使其周圍神經(jīng)細胞興奮程度減弱，從而該神經(jīng)細胞是 這次競爭的這次競爭的“勝者勝者”，其它神經(jīng)細胞在競爭中失敗。，其它神經(jīng)細

8、胞在競爭中失敗。 最強的抑制關(guān)系是競爭獲勝者最強的抑制關(guān)系是競爭獲勝者“惟我獨興惟我獨興”，不允許其它神經(jīng)元興，不允許其它神經(jīng)元興 奮，這種抑制方式也稱為勝者為王。奮，這種抑制方式也稱為勝者為王。 自組織網(wǎng)絡(luò)在競爭層神經(jīng)元之間的連自組織網(wǎng)絡(luò)在競爭層神經(jīng)元之間的連 線，它們是模擬生物神經(jīng)網(wǎng)絡(luò)層內(nèi)神經(jīng)元線，它們是模擬生物神經(jīng)網(wǎng)絡(luò)層內(nèi)神經(jīng)元 相互抑制現(xiàn)象的權(quán)值，這類抑制性權(quán)值滿相互抑制現(xiàn)象的權(quán)值，這類抑制性權(quán)值滿 足一定的分布關(guān)系，如距離近的抑制強，足一定的分布關(guān)系，如距離近的抑制強， 距離遠的抑制弱。距離遠的抑制弱。 這種權(quán)值（或說側(cè)抑制關(guān)系）一般是這種權(quán)值（或說側(cè)抑制關(guān)系）一般是 固定的，訓(xùn)練過

9、程中不需要調(diào)整，在各類固定的，訓(xùn)練過程中不需要調(diào)整，在各類 自組織網(wǎng)絡(luò)拓樸圖中一般予以省略。自組織網(wǎng)絡(luò)拓樸圖中一般予以省略。（不（不 省略時，也只看成抑制關(guān)系的表示，不作省略時，也只看成抑制關(guān)系的表示，不作 為網(wǎng)絡(luò)權(quán)來訓(xùn)練）。為網(wǎng)絡(luò)權(quán)來訓(xùn)練）。 4.1.1.4 向量歸一化向量歸一化 不同的向量有長短和方向區(qū)別，向量歸一化的目的是將向量變成方向不同的向量有長短和方向區(qū)別，向量歸一化的目的是將向量變成方向 不變長度為不變長度為1的單位向量。單位向量進行比較時，只需比較向量的夾角。的單位向量。單位向量進行比較時，只需比較向量的夾角。 X向量的歸一化：向量的歸一化： T n j j n n j j n

10、 j j x x x x x x X X X 22 2 2 1 4、1、2競爭學(xué)習(xí)原理（規(guī)則）競爭學(xué)習(xí)原理（規(guī)則） 競爭學(xué)習(xí)采用的規(guī)則是勝者為王，該算法可分為競爭學(xué)習(xí)采用的規(guī)則是勝者為王，該算法可分為3個步驟。個步驟。 得到得到 ： X ), 2 , 1( mjWj (1)向量歸一化向量歸一化 將自組織網(wǎng)絡(luò)中的當(dāng)前輸入模式向量將自組織網(wǎng)絡(luò)中的當(dāng)前輸入模式向量X 和競爭層中各神經(jīng)元對應(yīng)的內(nèi)星權(quán)向量和競爭層中各神經(jīng)元對應(yīng)的內(nèi)星權(quán)向量 Wj(j=1,2,m)全部進行歸一化處理。全部進行歸一化處理。 (2)尋找獲勝神經(jīng)元尋找獲勝神經(jīng)元 此式看出，欲兩單位向量的歐式距離最小，須使兩向量的點積最大。此式看

11、出，欲兩單位向量的歐式距離最小，須使兩向量的點積最大。 即即 ) ( max ),2, 1( * XWXW j mj j 因此，求最小歐式距離的問題就轉(zhuǎn)化為按此式求最大點積的問題，因此，求最小歐式距離的問題就轉(zhuǎn)化為按此式求最大點積的問題， 而且權(quán)向量與輸入向量的點積正是競爭層神經(jīng)元的凈輸入。而且權(quán)向量與輸入向量的點積正是競爭層神經(jīng)元的凈輸入。 (3)網(wǎng)絡(luò)輸出與權(quán)值調(diào)整網(wǎng)絡(luò)輸出與權(quán)值調(diào)整 勝者為王競爭學(xué)習(xí)算法規(guī)定，獲勝者為王競爭學(xué)習(xí)算法規(guī)定，獲 勝神經(jīng)元輸出為勝神經(jīng)元輸出為1，其余輸出為零。，其余輸出為零。 即即 只有獲勝神經(jīng)元才有權(quán)調(diào)整其權(quán)向量，調(diào)整后權(quán)向量為只有獲勝神經(jīng)元才有權(quán)調(diào)整其權(quán)向量，

12、調(diào)整后權(quán)向量為 式中式中 學(xué)習(xí)章，一般其值隨著學(xué)習(xí)的進展而減小?？梢钥闯?，當(dāng)學(xué)習(xí)章，一般其值隨著學(xué)習(xí)的進展而減小?？梢钥闯觯?dāng) 時，對應(yīng)神經(jīng)無的權(quán)值得不到調(diào)整，其實質(zhì)是時，對應(yīng)神經(jīng)無的權(quán)值得不到調(diào)整，其實質(zhì)是“勝者勝者”對它們進行了強測對它們進行了強測 抑制，不允許它們興奮。抑制，不允許它們興奮。 0 1 ) 1(to j* * jj jj )( ) 1( ) ()( )( ) 1( * tWtW WXtWWtWtW jj Jjjjj * * jj jj 應(yīng)注意，歸一化后的權(quán)向量經(jīng)過調(diào)整后得到的新向量不再是單位向應(yīng)注意，歸一化后的權(quán)向量經(jīng)過調(diào)整后得到的新向量不再是單位向 量，需要重新歸一化。步

13、驟（量，需要重新歸一化。步驟（3）完成后回到步驟（）完成后回到步驟（1）繼續(xù)訓(xùn)練，直到）繼續(xù)訓(xùn)練，直到 學(xué)習(xí)率學(xué)習(xí)率 衰減到零。衰減到零。 1 , 0( * jj 4.2自組織特征映射（自組織特征映射（SOM）神經(jīng)網(wǎng)絡(luò)）神經(jīng)網(wǎng)絡(luò) 4.2.1SOM網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ) 生物學(xué)研究表明：人的大腦皮層中，存在許多不同功能的神經(jīng)網(wǎng)絡(luò)區(qū)生物學(xué)研究表明：人的大腦皮層中，存在許多不同功能的神經(jīng)網(wǎng)絡(luò)區(qū) 域，每個功能區(qū)域完成各自的特定功能，如視覺、聽覺、語言理解和運動域，每個功能區(qū)域完成各自的特定功能，如視覺、聽覺、語言理解和運動 控制等等?？刂频鹊?。 當(dāng)人腦通過感官接受外界的特定時空信息時，將引起

14、大腦皮層的特定當(dāng)人腦通過感官接受外界的特定時空信息時，將引起大腦皮層的特定 區(qū)域興奮。每個區(qū)域有若干神經(jīng)元組成，當(dāng)該區(qū)域興奮時，總是以某一個區(qū)域興奮。每個區(qū)域有若干神經(jīng)元組成，當(dāng)該區(qū)域興奮時，總是以某一個 神經(jīng)元（細胞）為興奮中心，呈現(xiàn)出墨西哥帽（神經(jīng)元（細胞）為興奮中心，呈現(xiàn)出墨西哥帽（Mexican Hat）式興奮分）式興奮分 布。布。 1981年芬蘭學(xué)者年芬蘭學(xué)者kohonen提出一個稱為自組織特征映提出一個稱為自組織特征映 射（射（Self Organization Feature Map-SOM或或SOFM）網(wǎng)絡(luò)，）網(wǎng)絡(luò)， 前面說的大腦神經(jīng)細胞興奮規(guī)律等，在該網(wǎng)絡(luò)中都得到了反前面說的

15、大腦神經(jīng)細胞興奮規(guī)律等，在該網(wǎng)絡(luò)中都得到了反 應(yīng)。應(yīng)。 網(wǎng)絡(luò)區(qū)域中的這種興奮與抑制規(guī)律，將依據(jù)外界輸入環(huán)網(wǎng)絡(luò)區(qū)域中的這種興奮與抑制規(guī)律，將依據(jù)外界輸入環(huán) 境的不同，神經(jīng)元（細胞）要靠競爭機制來決定勝負。境的不同，神經(jīng)元（細胞）要靠競爭機制來決定勝負。 大腦的這種區(qū)域性結(jié)構(gòu)，雖有遺傳因素，但，各區(qū)域大腦的這種區(qū)域性結(jié)構(gòu)，雖有遺傳因素，但，各區(qū)域 的功能大部分是后天通過的功能大部分是后天通過 環(huán)境的適應(yīng)和學(xué)習(xí)得到的，這就環(huán)境的適應(yīng)和學(xué)習(xí)得到的，這就 是神經(jīng)網(wǎng)絡(luò)的自組織（是神經(jīng)網(wǎng)絡(luò)的自組織（self organization）特征）特征. 4.2.2 SOM網(wǎng)絡(luò)的拓撲結(jié)構(gòu)與權(quán)值調(diào)整域網(wǎng)絡(luò)的拓撲結(jié)構(gòu)與

16、權(quán)值調(diào)整域 4.2.2.1 拓撲結(jié)構(gòu)拓撲結(jié)構(gòu) SOM網(wǎng)絡(luò)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜。輸出網(wǎng)絡(luò)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜。輸出 層模擬做出響應(yīng)的大腦皮層。輸出層也是競爭層，網(wǎng)絡(luò)拓撲結(jié)構(gòu)形式常層模擬做出響應(yīng)的大腦皮層。輸出層也是競爭層，網(wǎng)絡(luò)拓撲結(jié)構(gòu)形式常 見有一維線陣和二維平面陣。見有一維線陣和二維平面陣。 網(wǎng)絡(luò)實現(xiàn)將任意維輸入模式在輸出層映射成一維離散圖形。網(wǎng)絡(luò)實現(xiàn)將任意維輸入模式在輸出層映射成一維離散圖形。 網(wǎng)絡(luò)實現(xiàn)將任意維輸入模式在輸出層映射成二維離散圖形。網(wǎng)絡(luò)實現(xiàn)將任意維輸入模式在輸出層映射成二維離散圖形。 4.2.3 SOM網(wǎng)絡(luò)的運行原理與學(xué)習(xí)算法網(wǎng)絡(luò)

17、的運行原理與學(xué)習(xí)算法 SOM網(wǎng)絡(luò)的運行原理網(wǎng)絡(luò)的運行原理 SOM網(wǎng)絡(luò)表現(xiàn)為：網(wǎng)絡(luò)隨機輸入模式時，對某個特定的輸入模式，網(wǎng)絡(luò)表現(xiàn)為：網(wǎng)絡(luò)隨機輸入模式時，對某個特定的輸入模式， 輸出層會有某個節(jié)點產(chǎn)生最大響應(yīng)而獲勝。按生物區(qū)域神經(jīng)興奮機制，輸出層會有某個節(jié)點產(chǎn)生最大響應(yīng)而獲勝。按生物區(qū)域神經(jīng)興奮機制， 獲勝神經(jīng)元對其鄰近神經(jīng)元存在一種側(cè)抑制（競爭）機制。獲勝神經(jīng)元對其鄰近神經(jīng)元存在一種側(cè)抑制（競爭）機制。 SOM網(wǎng)絡(luò)的側(cè)抑制方式是：以獲勝神經(jīng)元為中心權(quán)值調(diào)整量最強，網(wǎng)絡(luò)的側(cè)抑制方式是：以獲勝神經(jīng)元為中心權(quán)值調(diào)整量最強， 且由近及遠地逐漸遞減程度不同的調(diào)整權(quán)向量直到抑制。理論上按墨且由近及遠地逐漸遞

18、減程度不同的調(diào)整權(quán)向量直到抑制。理論上按墨 西哥帽分布調(diào)整權(quán)值，但其計算上的復(fù)雜性影響了網(wǎng)絡(luò)訓(xùn)練的收斂性。西哥帽分布調(diào)整權(quán)值，但其計算上的復(fù)雜性影響了網(wǎng)絡(luò)訓(xùn)練的收斂性。 因此在因此在SOM網(wǎng)的應(yīng)用中常采用與墨西哥帽函數(shù)類似的簡化函數(shù)或其他網(wǎng)的應(yīng)用中常采用與墨西哥帽函數(shù)類似的簡化函數(shù)或其他 一些方式（如優(yōu)勝域）。一些方式（如優(yōu)勝域）。 以獲勝神經(jīng)元為中心設(shè)定一個鄰域以獲勝神經(jīng)元為中心設(shè)定一個鄰域優(yōu)勝域優(yōu)勝域。優(yōu)勝鄰域內(nèi)的所。優(yōu)勝鄰域內(nèi)的所 有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠近不同程度地調(diào)整權(quán)值。優(yōu)有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠近不同程度地調(diào)整權(quán)值。優(yōu) 勝鄰域開始可定義得較大，但其大小隨著

19、訓(xùn)練次數(shù)的增加不斷收縮，勝鄰域開始可定義得較大，但其大小隨著訓(xùn)練次數(shù)的增加不斷收縮， 最終收縮到半徑為零。最終收縮到半徑為零。 SOM網(wǎng)絡(luò)的學(xué)習(xí)算法網(wǎng)絡(luò)的學(xué)習(xí)算法 SOM網(wǎng)絡(luò)采用的學(xué)習(xí)算法稱網(wǎng)絡(luò)采用的學(xué)習(xí)算法稱Kohonen算法，是在勝者為王算法基算法，是在勝者為王算法基 礎(chǔ)上加以改進而成。其主要區(qū)別在于調(diào)整權(quán)向量的側(cè)抑制方式不同。勝礎(chǔ)上加以改進而成。其主要區(qū)別在于調(diào)整權(quán)向量的側(cè)抑制方式不同。勝 者為王算法中，獲勝神經(jīng)元對周圍神經(jīng)元的抑制是者為王算法中，獲勝神經(jīng)元對周圍神經(jīng)元的抑制是“封殺封殺”式的式的（只獲只獲 勝神經(jīng)調(diào)整權(quán)向量，周圍其它無權(quán)調(diào)整）勝神經(jīng)調(diào)整權(quán)向量，周圍其它無權(quán)調(diào)整） 。 當(dāng)

20、輸入模式的類別改變時，獲勝節(jié)點也會改變。獲勝節(jié)點對周圍的當(dāng)輸入模式的類別改變時，獲勝節(jié)點也會改變。獲勝節(jié)點對周圍的 節(jié)點因側(cè)抑制作用也產(chǎn)生較大的響應(yīng)，于是，獲勝節(jié)點及其優(yōu)勝鄰域內(nèi)節(jié)點因側(cè)抑制作用也產(chǎn)生較大的響應(yīng)，于是，獲勝節(jié)點及其優(yōu)勝鄰域內(nèi) 的所有節(jié)點所連接的權(quán)向量均向輸入向量的方向作程度不同的調(diào)整。的所有節(jié)點所連接的權(quán)向量均向輸入向量的方向作程度不同的調(diào)整。 網(wǎng)絡(luò)通過自組織方式，用大量訓(xùn)練樣本調(diào)整網(wǎng)絡(luò)的權(quán)值，最后使輸網(wǎng)絡(luò)通過自組織方式，用大量訓(xùn)練樣本調(diào)整網(wǎng)絡(luò)的權(quán)值，最后使輸 出層各節(jié)點成為對特定模式類敏感的神經(jīng)元，對應(yīng)的內(nèi)星權(quán)向量成為各出層各節(jié)點成為對特定模式類敏感的神經(jīng)元，對應(yīng)的內(nèi)星權(quán)向量

21、成為各 輸入模式類的中心向量。并且當(dāng)兩個模式類的特征接近時，代表這兩類輸入模式類的中心向量。并且當(dāng)兩個模式類的特征接近時，代表這兩類 的節(jié)點在位置上也接近。從而，在輸出層形成能夠反映樣本模式類分布的節(jié)點在位置上也接近。從而，在輸出層形成能夠反映樣本模式類分布 情況的有序特征圖。情況的有序特征圖。 Kohonen算法采用優(yōu)勝域思想，模擬生物區(qū)域神經(jīng)興奮競爭機制。算法采用優(yōu)勝域思想，模擬生物區(qū)域神經(jīng)興奮競爭機制。 4.2.4 SOM網(wǎng)絡(luò)的功能網(wǎng)絡(luò)的功能 SOM網(wǎng)絡(luò)的功能特點之一是：保序映射，即能將輸網(wǎng)絡(luò)的功能特點之一是：保序映射，即能將輸 入空間的樣本模式類有序地映射在輸出層上。入空間的樣本模式類

22、有序地映射在輸出層上。 例例 動物屬性特征映射動物屬性特征映射 1989年年Kohonen給出一個給出一個SOM網(wǎng)的著名應(yīng)用實例，網(wǎng)的著名應(yīng)用實例， 即把不同的動物按其屬性映射到二維輸出平面上，使即把不同的動物按其屬性映射到二維輸出平面上，使 屬性相似的動物在屬性相似的動物在SOM網(wǎng)輸出平面上的位置也相近。網(wǎng)輸出平面上的位置也相近。 訓(xùn)練集選了訓(xùn)練集選了16種動物，每種動物用一個種動物，每種動物用一個29維向量來維向量來 表示。前表示。前16個分量構(gòu)成符號向量（不同的動物進行個分量構(gòu)成符號向量（不同的動物進行 16取取1編碼），后編碼），后13個分量構(gòu)成屬性向量，描述動個分量構(gòu)成屬性向量，描述

23、動 物的物的13種屬性的有或無（用種屬性的有或無（用1或或0表示）。表示）。 16種動物的屬性向量（種動物的屬性向量（29維向量的后維向量的后13個分量）個分量） 動物動物 屬性屬性 鴿鴿 子子 母母 雞雞 鴨鴨 鵝鵝 貓貓 頭頭 鷹鷹 隼隼鷹鷹狐狐 貍貍 狗狗狼狼貓貓虎虎獅獅馬馬斑斑 馬馬 牛牛 小小1111110000100000 中中0000001111000000 大大0000000000011111 2只只 腿腿 1111111000000000 4只只 腿腿 0000000111111111 毛毛0000000111111111 蹄蹄0000000000000111 動物動物 屬性

24、屬性 鴿鴿 子子 母母 雞雞 鴨鴨 鵝鵝 貓貓 頭頭 鷹鷹 隼隼鷹鷹狐狐 貍貍 狗狗狼狼貓貓虎虎獅獅馬馬斑斑 馬馬 牛牛 鬃毛鬃毛0000000000000110 羽毛羽毛1111111000000000 獵獵0000111101111000 跑跑0000000011011110 飛飛1001111000000000 泳泳0011000000000000 SOM網(wǎng)輸出平面上有網(wǎng)輸出平面上有1010個神經(jīng)元，個神經(jīng)元，16個動物模式輪個動物模式輪 番輸入訓(xùn)練，最后輸出平面呈現(xiàn)番輸入訓(xùn)練，最后輸出平面呈現(xiàn)16種動物屬性特征映射，屬性種動物屬性特征映射，屬性 相似的挨在一起，實現(xiàn)了特征的有序分布。相

25、似的挨在一起，實現(xiàn)了特征的有序分布。 1010神經(jīng)元神經(jīng)元 X向量（向量（29維）維） 前前16個分量個分量 （16取取1，表達，表達 動物種類。）動物種類。） 后后13個分量（表達動物屬性）個分量（表達動物屬性） 鴨鴨 鵝鵝 鴿鴿 母雞母雞 馬馬 斑馬斑馬牛牛 隼隼 狼狼 虎虎 獅獅 貓貓 狗狗 狐狐 貓頭鷹貓頭鷹 鷹鷹 動物屬性特征映射動物屬性特征映射 SOM網(wǎng)的功能特點之二是數(shù)據(jù)壓縮。網(wǎng)的功能特點之二是數(shù)據(jù)壓縮。 將高維空間的樣本在保持拓撲結(jié)構(gòu)不變的條件下投影到將高維空間的樣本在保持拓撲結(jié)構(gòu)不變的條件下投影到 低維空間。如上例中輸入樣本空間為低維空間。如上例中輸入樣本空間為29維，通過維

26、，通過SOM網(wǎng)后壓網(wǎng)后壓 縮為二維平面的數(shù)據(jù)。縮為二維平面的數(shù)據(jù)。 SOM網(wǎng)的功能特點之三是特征抽取。（規(guī)律的發(fā)現(xiàn)）網(wǎng)的功能特點之三是特征抽取。（規(guī)律的發(fā)現(xiàn)） 在高維模式空間，很多模式的分布具有復(fù)雜的結(jié)構(gòu)，從在高維模式空間，很多模式的分布具有復(fù)雜的結(jié)構(gòu)，從 數(shù)據(jù)觀察很難發(fā)現(xiàn)其內(nèi)在規(guī)律。當(dāng)通過數(shù)據(jù)觀察很難發(fā)現(xiàn)其內(nèi)在規(guī)律。當(dāng)通過SOM網(wǎng)映射到低維輸網(wǎng)映射到低維輸 出空間后，其規(guī)律往往一目了然，實現(xiàn)某種特征抽取的映射。出空間后，其規(guī)律往往一目了然，實現(xiàn)某種特征抽取的映射。 即高維空間的向量經(jīng)過特征抽取后可以在低維特征空間更加即高維空間的向量經(jīng)過特征抽取后可以在低維特征空間更加 清晰地表達，因此映射的

27、意義不僅僅是單純的數(shù)據(jù)壓縮，更清晰地表達，因此映射的意義不僅僅是單純的數(shù)據(jù)壓縮，更 是一種規(guī)律發(fā)現(xiàn)。如上例是一種規(guī)律發(fā)現(xiàn)。如上例29維映射到二維后，相近屬性的動維映射到二維后，相近屬性的動 物實現(xiàn)了聚類分布的特點。物實現(xiàn)了聚類分布的特點。 SOM網(wǎng)有許多應(yīng)用實例：如的聽寫打字機（聲音識別），網(wǎng)有許多應(yīng)用實例：如的聽寫打字機（聲音識別）， 解決旅行商最優(yōu)路經(jīng)問題，皮革外觀效果分類等。解決旅行商最優(yōu)路經(jīng)問題，皮革外觀效果分類等。 。 謝謝！ 4.1.1.4 向量歸一化向量歸一化 不同的向量有長短和方向區(qū)別，向量歸一化的目的是將向量變成方向不同的向量有長短和方向區(qū)別，向量歸一化的目的是將向量變成方向

28、 不變長度為不變長度為1的單位向量。單位向量進行比較時，只需比較向量的夾角。的單位向量。單位向量進行比較時，只需比較向量的夾角。 X向量的歸一化：向量的歸一化： T n j j n n j j n j j x x x x x x X X X 22 2 2 1 4、1、2競爭學(xué)習(xí)原理（規(guī)則）競爭學(xué)習(xí)原理（規(guī)則） 競爭學(xué)習(xí)采用的規(guī)則是勝者為王，該算法可分為競爭學(xué)習(xí)采用的規(guī)則是勝者為王，該算法可分為3個步驟。個步驟。 得到得到 ： X ), 2 , 1( mjWj (1)向量歸一化向量歸一化 將自組織網(wǎng)絡(luò)中的當(dāng)前輸入模式向量將自組織網(wǎng)絡(luò)中的當(dāng)前輸入模式向量X 和競爭層中各神經(jīng)元對應(yīng)的內(nèi)星權(quán)向量和競爭

29、層中各神經(jīng)元對應(yīng)的內(nèi)星權(quán)向量 Wj(j=1,2,m)全部進行歸一化處理。全部進行歸一化處理。 4.2自組織特征映射（自組織特征映射（SOM）神經(jīng)網(wǎng)絡(luò)）神經(jīng)網(wǎng)絡(luò) 4.2.1SOM網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ) 生物學(xué)研究表明：人的大腦皮層中，存在許多不同功能的神經(jīng)網(wǎng)絡(luò)區(qū)生物學(xué)研究表明：人的大腦皮層中，存在許多不同功能的神經(jīng)網(wǎng)絡(luò)區(qū) 域，每個功能區(qū)域完成各自的特定功能，如視覺、聽覺、語言理解和運動域，每個功能區(qū)域完成各自的特定功能，如視覺、聽覺、語言理解和運動 控制等等?？刂频鹊?。 當(dāng)人腦通過感官接受外界的特定時空信息時，將引起大腦皮層的特定當(dāng)人腦通過感官接受外界的特定時空信息時，將引起大腦皮層的

30、特定 區(qū)域興奮。每個區(qū)域有若干神經(jīng)元組成，當(dāng)該區(qū)域興奮時，總是以某一個區(qū)域興奮。每個區(qū)域有若干神經(jīng)元組成，當(dāng)該區(qū)域興奮時，總是以某一個 神經(jīng)元（細胞）為興奮中心，呈現(xiàn)出墨西哥帽（神經(jīng)元（細胞）為興奮中心，呈現(xiàn)出墨西哥帽（Mexican Hat）式興奮分）式興奮分 布。布。 4.2.2 SOM網(wǎng)絡(luò)的拓撲結(jié)構(gòu)與權(quán)值調(diào)整域網(wǎng)絡(luò)的拓撲結(jié)構(gòu)與權(quán)值調(diào)整域 4.2.2.1 拓撲結(jié)構(gòu)拓撲結(jié)構(gòu) SOM網(wǎng)絡(luò)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜。輸出網(wǎng)絡(luò)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜。輸出 層模擬做出響應(yīng)的大腦皮層。輸出層也是競爭層，網(wǎng)絡(luò)拓撲結(jié)構(gòu)形式常層模擬做出響應(yīng)的大腦皮層。輸出層也是競爭層

31、，網(wǎng)絡(luò)拓撲結(jié)構(gòu)形式常 見有一維線陣和二維平面陣。見有一維線陣和二維平面陣。 網(wǎng)絡(luò)實現(xiàn)將任意維輸入模式在輸出層映射成一維離散圖形。網(wǎng)絡(luò)實現(xiàn)將任意維輸入模式在輸出層映射成一維離散圖形。 4.2.3 SOM網(wǎng)絡(luò)的運行原理與學(xué)習(xí)算法網(wǎng)絡(luò)的運行原理與學(xué)習(xí)算法 SOM網(wǎng)絡(luò)的運行原理網(wǎng)絡(luò)的運行原理 SOM網(wǎng)絡(luò)表現(xiàn)為：網(wǎng)絡(luò)隨機輸入模式時，對某個特定的輸入模式，網(wǎng)絡(luò)表現(xiàn)為：網(wǎng)絡(luò)隨機輸入模式時，對某個特定的輸入模式， 輸出層會有某個節(jié)點產(chǎn)生最大響應(yīng)而獲勝。按生物區(qū)域神經(jīng)興奮機制，輸出層會有某個節(jié)點產(chǎn)生最大響應(yīng)而獲勝。按生物區(qū)域神經(jīng)興奮機制， 獲勝神經(jīng)元對其鄰近神經(jīng)元存在一種側(cè)抑制（競爭）機制。獲勝神經(jīng)元對其鄰近神

32、經(jīng)元存在一種側(cè)抑制（競爭）機制。 SOM網(wǎng)絡(luò)的側(cè)抑制方式是：以獲勝神經(jīng)元為中心權(quán)值調(diào)整量最強，網(wǎng)絡(luò)的側(cè)抑制方式是：以獲勝神經(jīng)元為中心權(quán)值調(diào)整量最強， 且由近及遠地逐漸遞減程度不同的調(diào)整權(quán)向量直到抑制。理論上按墨且由近及遠地逐漸遞減程度不同的調(diào)整權(quán)向量直到抑制。理論上按墨 西哥帽分布調(diào)整權(quán)值，但其計算上的復(fù)雜性影響了網(wǎng)絡(luò)訓(xùn)練的收斂性。西哥帽分布調(diào)整權(quán)值，但其計算上的復(fù)雜性影響了網(wǎng)絡(luò)訓(xùn)練的收斂性。 因此在因此在SOM網(wǎng)的應(yīng)用中常采用與墨西哥帽函數(shù)類似的簡化函數(shù)或其他網(wǎng)的應(yīng)用中常采用與墨西哥帽函數(shù)類似的簡化函數(shù)或其他 一些方式（如優(yōu)勝域）。一些方式（如優(yōu)勝域）。 以獲勝神經(jīng)元為中心設(shè)定一個鄰域以獲勝神經(jīng)元為中心設(shè)定一個鄰域優(yōu)勝域優(yōu)勝域。優(yōu)勝鄰域內(nèi)的所。優(yōu)勝鄰域內(nèi)的所 有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠近不同程度地調(diào)整權(quán)值。優(yōu)有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠近不同程度地調(diào)整權(quán)值。優(yōu) 勝