自組織神經(jīng)網(wǎng)絡

1、 自組織網(wǎng)結構上屬于層次型網(wǎng)絡，有多種類型。自組織網(wǎng)結構上屬于層次型網(wǎng)絡，有多種類型。 如：自組織特征映射（如：自組織特征映射（Self Organizing Feature Map）網(wǎng)絡）網(wǎng)絡SOM）；）； 對偶（向）傳播（對偶（向）傳播（Counter Propagation Network)網(wǎng)絡網(wǎng)絡CPN)； 自適應共振理論（自適應共振理論（Adaptive Resonance Theory)網(wǎng)絡網(wǎng)絡ART等。等。 其共同特點是都具有競爭層。其共同特點是都具有競爭層。 最簡單的網(wǎng)絡結構具有一個輸入層和一個競爭層。最簡單的網(wǎng)絡結構具有一個輸入層和一個競爭層。 輸入模式輸入模式 輸出模式輸出

2、模式 競爭層競爭層 輸入層負責接受外界信息輸入層負責接受外界信息 并將輸入模式向競爭層傳遞，并將輸入模式向競爭層傳遞， 起觀察作用。起觀察作用。 競爭層負責對該模式進競爭層負責對該模式進 行行“分析比較分析比較”，找出規(guī)律以，找出規(guī)律以 正確分類。正確分類。 這種功能是通過下面要介這種功能是通過下面要介 紹的競爭機制實現(xiàn)的。紹的競爭機制實現(xiàn)的。 競爭學習是自組織網(wǎng)絡中最常用的一種學習策略，首先說明與之相關競爭學習是自組織網(wǎng)絡中最常用的一種學習策略，首先說明與之相關 的幾個基本概念。的幾個基本概念。 4.1.1.1 模式、分類、聚類與相似性模式、分類、聚類與相似性 模式：一般當網(wǎng)絡涉及識別、分類

3、問題時，常用輸入模式（而不稱輸入模式：一般當網(wǎng)絡涉及識別、分類問題時，常用輸入模式（而不稱輸入 樣本）；樣本）； 分類：將待識別的輸入模式劃分為各自的模式類中去；分類：將待識別的輸入模式劃分為各自的模式類中去； 聚類：無導師指導的分類稱為聚類，聚類的目的是將相似的模式樣本劃聚類：無導師指導的分類稱為聚類，聚類的目的是將相似的模式樣本劃 歸一類；歸一類； 相似性：輸入模式的聚類依據(jù)。相似性：輸入模式的聚類依據(jù)。 4.1.1.2 相似性測量相似性測量 神經(jīng)網(wǎng)絡的輸入模式用向量表示，比較不同模式的相似性可轉化為比神經(jīng)網(wǎng)絡的輸入模式用向量表示，比較不同模式的相似性可轉化為比 較兩個向量的距離，因而可用

4、模式向量間的距離作為聚類判據(jù)。較兩個向量的距離，因而可用模式向量間的距離作為聚類判據(jù)。 模式識別中常用到的兩種聚類判據(jù)是歐式最小距離法和余弦法模式識別中常用到的兩種聚類判據(jù)是歐式最小距離法和余弦法。 4.1 競爭學習的概念與原理競爭學習的概念與原理 （1）歐式距離法）歐式距離法 X和和Xi 兩向量歐式距離兩向量歐式距離 : )()( i T ii XXXXXX 兩個模式向量的歐式距離越小，兩個模式越相似，當兩個模式完全相兩個模式向量的歐式距離越小，兩個模式越相似，當兩個模式完全相 同時，其歐式距離為零。如果對同一類內各個模式向量間的歐式距離作出同時，其歐式距離為零。如果對同一類內各個模式向量間

5、的歐式距離作出 規(guī)定，不允許超過某一最大值規(guī)定，不允許超過某一最大值 T，則最大歐式距離，則最大歐式距離 T 就成為一種聚類判就成為一種聚類判 據(jù)。據(jù)。 （2）余弦法）余弦法 計算兩個模式向量夾角的余弦：計算兩個模式向量夾角的余弦： 兩個模式向量越接近，其類角越小，余弦越大。當兩個模式向量完全兩個模式向量越接近，其類角越小，余弦越大。當兩個模式向量完全 相同時，其夾角余弦為相同時，其夾角余弦為1。 若同類內各模式向量間的夾角規(guī)定不大于若同類內各模式向量間的夾角規(guī)定不大于T，則，則成為一種聚類判據(jù)。成為一種聚類判據(jù)。 余弦法適合模式向量長度相同或模式特征只與向量方向相關的相似性測量。余弦法適合模

6、式向量長度相同或模式特征只與向量方向相關的相似性測量。 i i T XX XX cos 4.1.1.3 側抑制與競爭側抑制與競爭 自組織網(wǎng)絡（競爭型神經(jīng)網(wǎng)絡）構成的基本思想是網(wǎng)絡的競爭層自組織網(wǎng)絡（競爭型神經(jīng)網(wǎng)絡）構成的基本思想是網(wǎng)絡的競爭層 各神經(jīng)元競爭對輸入模式響應的機會，最后僅有一個神經(jīng)元成為競爭的各神經(jīng)元競爭對輸入模式響應的機會，最后僅有一個神經(jīng)元成為競爭的 “勝者勝者”，這一獲勝神經(jīng)元則表示對輸入模式的識別。，這一獲勝神經(jīng)元則表示對輸入模式的識別。體現(xiàn)了物生體現(xiàn)了物生 神經(jīng)細胞的側抑制競爭機制。神經(jīng)細胞的側抑制競爭機制。 實驗表明，人眼的視網(wǎng)膜、脊髓和海馬中存一種側抑制現(xiàn)象，即，實驗

7、表明，人眼的視網(wǎng)膜、脊髓和海馬中存一種側抑制現(xiàn)象，即， 當一個神經(jīng)細胞興奮后，會對其周圍的神經(jīng)細胞產(chǎn)生抑制作用。當一個神經(jīng)細胞興奮后，會對其周圍的神經(jīng)細胞產(chǎn)生抑制作用。 這種側抑制使神經(jīng)細胞之間呈現(xiàn)出競爭，開始時可能多個細胞同這種側抑制使神經(jīng)細胞之間呈現(xiàn)出競爭，開始時可能多個細胞同 時興奮，但一個興奮程度最強的神經(jīng)細胞對周圍神經(jīng)細胞的抑制作用時興奮，但一個興奮程度最強的神經(jīng)細胞對周圍神經(jīng)細胞的抑制作用 也最強，其結果使其周圍神經(jīng)細胞興奮程度減弱，從而該神經(jīng)細胞是也最強，其結果使其周圍神經(jīng)細胞興奮程度減弱，從而該神經(jīng)細胞是 這次競爭的這次競爭的“勝者勝者”，其它神經(jīng)細胞在競爭中失敗。，其它神經(jīng)細

8、胞在競爭中失敗。 最強的抑制關系是競爭獲勝者最強的抑制關系是競爭獲勝者“惟我獨興惟我獨興”，不允許其它神經(jīng)元興，不允許其它神經(jīng)元興 奮，這種抑制方式也稱為勝者為王。奮，這種抑制方式也稱為勝者為王。 自組織網(wǎng)絡在競爭層神經(jīng)元之間的連自組織網(wǎng)絡在競爭層神經(jīng)元之間的連 線，它們是模擬生物神經(jīng)網(wǎng)絡層內神經(jīng)元線，它們是模擬生物神經(jīng)網(wǎng)絡層內神經(jīng)元 相互抑制現(xiàn)象的權值，這類抑制性權值滿相互抑制現(xiàn)象的權值，這類抑制性權值滿 足一定的分布關系，如距離近的抑制強，足一定的分布關系，如距離近的抑制強， 距離遠的抑制弱。距離遠的抑制弱。 這種權值（或說側抑制關系）一般是這種權值（或說側抑制關系）一般是 固定的，訓練過

9、程中不需要調整，在各類固定的，訓練過程中不需要調整，在各類 自組織網(wǎng)絡拓樸圖中一般予以省略。自組織網(wǎng)絡拓樸圖中一般予以省略。（不（不 省略時，也只看成抑制關系的表示，不作省略時，也只看成抑制關系的表示，不作 為網(wǎng)絡權來訓練）。為網(wǎng)絡權來訓練）。 4.1.1.4 向量歸一化向量歸一化 不同的向量有長短和方向區(qū)別，向量歸一化的目的是將向量變成方向不同的向量有長短和方向區(qū)別，向量歸一化的目的是將向量變成方向 不變長度為不變長度為1的單位向量。單位向量進行比較時，只需比較向量的夾角。的單位向量。單位向量進行比較時，只需比較向量的夾角。 X向量的歸一化：向量的歸一化： T n j j n n j j n

10、 j j x x x x x x X X X 22 2 2 1 4、1、2競爭學習原理（規(guī)則）競爭學習原理（規(guī)則） 競爭學習采用的規(guī)則是勝者為王，該算法可分為競爭學習采用的規(guī)則是勝者為王，該算法可分為3個步驟。個步驟。 得到得到 ： X ), 2 , 1( mjWj (1)向量歸一化向量歸一化 將自組織網(wǎng)絡中的當前輸入模式向量將自組織網(wǎng)絡中的當前輸入模式向量X 和競爭層中各神經(jīng)元對應的內星權向量和競爭層中各神經(jīng)元對應的內星權向量 Wj(j=1,2,m)全部進行歸一化處理。全部進行歸一化處理。 (2)尋找獲勝神經(jīng)元尋找獲勝神經(jīng)元 此式看出，欲兩單位向量的歐式距離最小，須使兩向量的點積最大。此式看

11、出，欲兩單位向量的歐式距離最小，須使兩向量的點積最大。 即即 ) ( max ),2, 1( * XWXW j mj j 因此，求最小歐式距離的問題就轉化為按此式求最大點積的問題，因此，求最小歐式距離的問題就轉化為按此式求最大點積的問題， 而且權向量與輸入向量的點積正是競爭層神經(jīng)元的凈輸入。而且權向量與輸入向量的點積正是競爭層神經(jīng)元的凈輸入。 (3)網(wǎng)絡輸出與權值調整網(wǎng)絡輸出與權值調整 勝者為王競爭學習算法規(guī)定，獲勝者為王競爭學習算法規(guī)定，獲 勝神經(jīng)元輸出為勝神經(jīng)元輸出為1，其余輸出為零。，其余輸出為零。 即即 只有獲勝神經(jīng)元才有權調整其權向量，調整后權向量為只有獲勝神經(jīng)元才有權調整其權向量，

12、調整后權向量為 式中式中 學習章，一般其值隨著學習的進展而減小。可以看出，當學習章，一般其值隨著學習的進展而減小。可以看出，當 時，對應神經(jīng)無的權值得不到調整，其實質是時，對應神經(jīng)無的權值得不到調整，其實質是“勝者勝者”對它們進行了強測對它們進行了強測 抑制，不允許它們興奮。抑制，不允許它們興奮。 0 1 ) 1(to j* * jj jj )( ) 1( ) ()( )( ) 1( * tWtW WXtWWtWtW jj Jjjjj * * jj jj 應注意，歸一化后的權向量經(jīng)過調整后得到的新向量不再是單位向應注意，歸一化后的權向量經(jīng)過調整后得到的新向量不再是單位向 量，需要重新歸一化。步

13、驟（量，需要重新歸一化。步驟（3）完成后回到步驟（）完成后回到步驟（1）繼續(xù)訓練，直到）繼續(xù)訓練，直到 學習率學習率 衰減到零。衰減到零。 1 , 0( * jj 4.2自組織特征映射（自組織特征映射（SOM）神經(jīng)網(wǎng)絡）神經(jīng)網(wǎng)絡 4.2.1SOM網(wǎng)絡的生物學基礎網(wǎng)絡的生物學基礎 生物學研究表明：人的大腦皮層中，存在許多不同功能的神經(jīng)網(wǎng)絡區(qū)生物學研究表明：人的大腦皮層中，存在許多不同功能的神經(jīng)網(wǎng)絡區(qū) 域，每個功能區(qū)域完成各自的特定功能，如視覺、聽覺、語言理解和運動域，每個功能區(qū)域完成各自的特定功能，如視覺、聽覺、語言理解和運動 控制等等。控制等等。 當人腦通過感官接受外界的特定時空信息時，將引起

14、大腦皮層的特定當人腦通過感官接受外界的特定時空信息時，將引起大腦皮層的特定 區(qū)域興奮。每個區(qū)域有若干神經(jīng)元組成，當該區(qū)域興奮時，總是以某一個區(qū)域興奮。每個區(qū)域有若干神經(jīng)元組成，當該區(qū)域興奮時，總是以某一個 神經(jīng)元（細胞）為興奮中心，呈現(xiàn)出墨西哥帽（神經(jīng)元（細胞）為興奮中心，呈現(xiàn)出墨西哥帽（Mexican Hat）式興奮分）式興奮分 布。布。 1981年芬蘭學者年芬蘭學者kohonen提出一個稱為自組織特征映提出一個稱為自組織特征映 射（射（Self Organization Feature Map-SOM或或SOFM）網(wǎng)絡，）網(wǎng)絡， 前面說的大腦神經(jīng)細胞興奮規(guī)律等，在該網(wǎng)絡中都得到了反前面說的

15、大腦神經(jīng)細胞興奮規(guī)律等，在該網(wǎng)絡中都得到了反 應。應。 網(wǎng)絡區(qū)域中的這種興奮與抑制規(guī)律，將依據(jù)外界輸入環(huán)網(wǎng)絡區(qū)域中的這種興奮與抑制規(guī)律，將依據(jù)外界輸入環(huán) 境的不同，神經(jīng)元（細胞）要靠競爭機制來決定勝負。境的不同，神經(jīng)元（細胞）要靠競爭機制來決定勝負。 大腦的這種區(qū)域性結構，雖有遺傳因素，但，各區(qū)域大腦的這種區(qū)域性結構，雖有遺傳因素，但，各區(qū)域 的功能大部分是后天通過的功能大部分是后天通過 環(huán)境的適應和學習得到的，這就環(huán)境的適應和學習得到的，這就 是神經(jīng)網(wǎng)絡的自組織（是神經(jīng)網(wǎng)絡的自組織（self organization）特征）特征. 4.2.2 SOM網(wǎng)絡的拓撲結構與權值調整域網(wǎng)絡的拓撲結構與

16、權值調整域 4.2.2.1 拓撲結構拓撲結構 SOM網(wǎng)絡共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜。輸出網(wǎng)絡共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜。輸出 層模擬做出響應的大腦皮層。輸出層也是競爭層，網(wǎng)絡拓撲結構形式常層模擬做出響應的大腦皮層。輸出層也是競爭層，網(wǎng)絡拓撲結構形式常 見有一維線陣和二維平面陣。見有一維線陣和二維平面陣。 網(wǎng)絡實現(xiàn)將任意維輸入模式在輸出層映射成一維離散圖形。網(wǎng)絡實現(xiàn)將任意維輸入模式在輸出層映射成一維離散圖形。 網(wǎng)絡實現(xiàn)將任意維輸入模式在輸出層映射成二維離散圖形。網(wǎng)絡實現(xiàn)將任意維輸入模式在輸出層映射成二維離散圖形。 4.2.3 SOM網(wǎng)絡的運行原理與學習算法網(wǎng)絡

17、的運行原理與學習算法 SOM網(wǎng)絡的運行原理網(wǎng)絡的運行原理 SOM網(wǎng)絡表現(xiàn)為：網(wǎng)絡隨機輸入模式時，對某個特定的輸入模式，網(wǎng)絡表現(xiàn)為：網(wǎng)絡隨機輸入模式時，對某個特定的輸入模式， 輸出層會有某個節(jié)點產(chǎn)生最大響應而獲勝。按生物區(qū)域神經(jīng)興奮機制，輸出層會有某個節(jié)點產(chǎn)生最大響應而獲勝。按生物區(qū)域神經(jīng)興奮機制， 獲勝神經(jīng)元對其鄰近神經(jīng)元存在一種側抑制（競爭）機制。獲勝神經(jīng)元對其鄰近神經(jīng)元存在一種側抑制（競爭）機制。 SOM網(wǎng)絡的側抑制方式是：以獲勝神經(jīng)元為中心權值調整量最強，網(wǎng)絡的側抑制方式是：以獲勝神經(jīng)元為中心權值調整量最強， 且由近及遠地逐漸遞減程度不同的調整權向量直到抑制。理論上按墨且由近及遠地逐漸遞

18、減程度不同的調整權向量直到抑制。理論上按墨 西哥帽分布調整權值，但其計算上的復雜性影響了網(wǎng)絡訓練的收斂性。西哥帽分布調整權值，但其計算上的復雜性影響了網(wǎng)絡訓練的收斂性。 因此在因此在SOM網(wǎng)的應用中常采用與墨西哥帽函數(shù)類似的簡化函數(shù)或其他網(wǎng)的應用中常采用與墨西哥帽函數(shù)類似的簡化函數(shù)或其他 一些方式（如優(yōu)勝域）。一些方式（如優(yōu)勝域）。 以獲勝神經(jīng)元為中心設定一個鄰域以獲勝神經(jīng)元為中心設定一個鄰域優(yōu)勝域優(yōu)勝域。優(yōu)勝鄰域內的所。優(yōu)勝鄰域內的所 有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠近不同程度地調整權值。優(yōu)有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠近不同程度地調整權值。優(yōu) 勝鄰域開始可定義得較大，但其大小隨著

19、訓練次數(shù)的增加不斷收縮，勝鄰域開始可定義得較大，但其大小隨著訓練次數(shù)的增加不斷收縮， 最終收縮到半徑為零。最終收縮到半徑為零。 SOM網(wǎng)絡的學習算法網(wǎng)絡的學習算法 SOM網(wǎng)絡采用的學習算法稱網(wǎng)絡采用的學習算法稱Kohonen算法，是在勝者為王算法基算法，是在勝者為王算法基 礎上加以改進而成。其主要區(qū)別在于調整權向量的側抑制方式不同。勝礎上加以改進而成。其主要區(qū)別在于調整權向量的側抑制方式不同。勝 者為王算法中，獲勝神經(jīng)元對周圍神經(jīng)元的抑制是者為王算法中，獲勝神經(jīng)元對周圍神經(jīng)元的抑制是“封殺封殺”式的式的（只獲只獲 勝神經(jīng)調整權向量，周圍其它無權調整）勝神經(jīng)調整權向量，周圍其它無權調整） 。 當

20、輸入模式的類別改變時，獲勝節(jié)點也會改變。獲勝節(jié)點對周圍的當輸入模式的類別改變時，獲勝節(jié)點也會改變。獲勝節(jié)點對周圍的 節(jié)點因側抑制作用也產(chǎn)生較大的響應，于是，獲勝節(jié)點及其優(yōu)勝鄰域內節(jié)點因側抑制作用也產(chǎn)生較大的響應，于是，獲勝節(jié)點及其優(yōu)勝鄰域內 的所有節(jié)點所連接的權向量均向輸入向量的方向作程度不同的調整。的所有節(jié)點所連接的權向量均向輸入向量的方向作程度不同的調整。 網(wǎng)絡通過自組織方式，用大量訓練樣本調整網(wǎng)絡的權值，最后使輸網(wǎng)絡通過自組織方式，用大量訓練樣本調整網(wǎng)絡的權值，最后使輸 出層各節(jié)點成為對特定模式類敏感的神經(jīng)元，對應的內星權向量成為各出層各節(jié)點成為對特定模式類敏感的神經(jīng)元，對應的內星權向量

21、成為各 輸入模式類的中心向量。并且當兩個模式類的特征接近時，代表這兩類輸入模式類的中心向量。并且當兩個模式類的特征接近時，代表這兩類 的節(jié)點在位置上也接近。從而，在輸出層形成能夠反映樣本模式類分布的節(jié)點在位置上也接近。從而，在輸出層形成能夠反映樣本模式類分布 情況的有序特征圖。情況的有序特征圖。 Kohonen算法采用優(yōu)勝域思想，模擬生物區(qū)域神經(jīng)興奮競爭機制。算法采用優(yōu)勝域思想，模擬生物區(qū)域神經(jīng)興奮競爭機制。 4.2.4 SOM網(wǎng)絡的功能網(wǎng)絡的功能 SOM網(wǎng)絡的功能特點之一是：保序映射，即能將輸網(wǎng)絡的功能特點之一是：保序映射，即能將輸 入空間的樣本模式類有序地映射在輸出層上。入空間的樣本模式類

22、有序地映射在輸出層上。 例例 動物屬性特征映射動物屬性特征映射 1989年年Kohonen給出一個給出一個SOM網(wǎng)的著名應用實例，網(wǎng)的著名應用實例， 即把不同的動物按其屬性映射到二維輸出平面上，使即把不同的動物按其屬性映射到二維輸出平面上，使 屬性相似的動物在屬性相似的動物在SOM網(wǎng)輸出平面上的位置也相近。網(wǎng)輸出平面上的位置也相近。 訓練集選了訓練集選了16種動物，每種動物用一個種動物，每種動物用一個29維向量來維向量來 表示。前表示。前16個分量構成符號向量（不同的動物進行個分量構成符號向量（不同的動物進行 16取取1編碼），后編碼），后13個分量構成屬性向量，描述動個分量構成屬性向量，描述

23、動 物的物的13種屬性的有或無（用種屬性的有或無（用1或或0表示）。表示）。 16種動物的屬性向量（種動物的屬性向量（29維向量的后維向量的后13個分量）個分量） 動物動物 屬性屬性 鴿鴿 子子 母母 雞雞 鴨鴨 鵝鵝 貓貓 頭頭 鷹鷹 隼隼鷹鷹狐狐 貍貍 狗狗狼狼貓貓虎虎獅獅馬馬斑斑 馬馬 牛牛 小小1111110000100000 中中0000001111000000 大大0000000000011111 2只只 腿腿 1111111000000000 4只只 腿腿 0000000111111111 毛毛0000000111111111 蹄蹄0000000000000111 動物動物 屬性

24、屬性 鴿鴿 子子 母母 雞雞 鴨鴨 鵝鵝 貓貓 頭頭 鷹鷹 隼隼鷹鷹狐狐 貍貍 狗狗狼狼貓貓虎虎獅獅馬馬斑斑 馬馬 牛牛 鬃毛鬃毛0000000000000110 羽毛羽毛1111111000000000 獵獵0000111101111000 跑跑0000000011011110 飛飛1001111000000000 泳泳0011000000000000 SOM網(wǎng)輸出平面上有網(wǎng)輸出平面上有1010個神經(jīng)元，個神經(jīng)元，16個動物模式輪個動物模式輪 番輸入訓練，最后輸出平面呈現(xiàn)番輸入訓練，最后輸出平面呈現(xiàn)16種動物屬性特征映射，屬性種動物屬性特征映射，屬性 相似的挨在一起，實現(xiàn)了特征的有序分布。相

25、似的挨在一起，實現(xiàn)了特征的有序分布。 1010神經(jīng)元神經(jīng)元 X向量（向量（29維）維） 前前16個分量個分量 （16取取1，表達，表達 動物種類。）動物種類。） 后后13個分量（表達動物屬性）個分量（表達動物屬性） 鴨鴨 鵝鵝 鴿鴿 母雞母雞 馬馬 斑馬斑馬牛牛 隼隼 狼狼 虎虎 獅獅 貓貓 狗狗 狐狐 貓頭鷹貓頭鷹 鷹鷹 動物屬性特征映射動物屬性特征映射 SOM網(wǎng)的功能特點之二是數(shù)據(jù)壓縮。網(wǎng)的功能特點之二是數(shù)據(jù)壓縮。 將高維空間的樣本在保持拓撲結構不變的條件下投影到將高維空間的樣本在保持拓撲結構不變的條件下投影到 低維空間。如上例中輸入樣本空間為低維空間。如上例中輸入樣本空間為29維，通過維

26、，通過SOM網(wǎng)后壓網(wǎng)后壓 縮為二維平面的數(shù)據(jù)?？s為二維平面的數(shù)據(jù)。 SOM網(wǎng)的功能特點之三是特征抽取。（規(guī)律的發(fā)現(xiàn)）網(wǎng)的功能特點之三是特征抽取。（規(guī)律的發(fā)現(xiàn)） 在高維模式空間，很多模式的分布具有復雜的結構，從在高維模式空間，很多模式的分布具有復雜的結構，從 數(shù)據(jù)觀察很難發(fā)現(xiàn)其內在規(guī)律。當通過數(shù)據(jù)觀察很難發(fā)現(xiàn)其內在規(guī)律。當通過SOM網(wǎng)映射到低維輸網(wǎng)映射到低維輸 出空間后，其規(guī)律往往一目了然，實現(xiàn)某種特征抽取的映射。出空間后，其規(guī)律往往一目了然，實現(xiàn)某種特征抽取的映射。 即高維空間的向量經(jīng)過特征抽取后可以在低維特征空間更加即高維空間的向量經(jīng)過特征抽取后可以在低維特征空間更加 清晰地表達，因此映射的

27、意義不僅僅是單純的數(shù)據(jù)壓縮，更清晰地表達，因此映射的意義不僅僅是單純的數(shù)據(jù)壓縮，更 是一種規(guī)律發(fā)現(xiàn)。如上例是一種規(guī)律發(fā)現(xiàn)。如上例29維映射到二維后，相近屬性的動維映射到二維后，相近屬性的動 物實現(xiàn)了聚類分布的特點。物實現(xiàn)了聚類分布的特點。 SOM網(wǎng)有許多應用實例：如的聽寫打字機（聲音識別），網(wǎng)有許多應用實例：如的聽寫打字機（聲音識別）， 解決旅行商最優(yōu)路經(jīng)問題，皮革外觀效果分類等。解決旅行商最優(yōu)路經(jīng)問題，皮革外觀效果分類等。 。 謝謝！ 4.1.1.4 向量歸一化向量歸一化 不同的向量有長短和方向區(qū)別，向量歸一化的目的是將向量變成方向不同的向量有長短和方向區(qū)別，向量歸一化的目的是將向量變成方向

28、 不變長度為不變長度為1的單位向量。單位向量進行比較時，只需比較向量的夾角。的單位向量。單位向量進行比較時，只需比較向量的夾角。 X向量的歸一化：向量的歸一化： T n j j n n j j n j j x x x x x x X X X 22 2 2 1 4、1、2競爭學習原理（規(guī)則）競爭學習原理（規(guī)則） 競爭學習采用的規(guī)則是勝者為王，該算法可分為競爭學習采用的規(guī)則是勝者為王，該算法可分為3個步驟。個步驟。 得到得到 ： X ), 2 , 1( mjWj (1)向量歸一化向量歸一化 將自組織網(wǎng)絡中的當前輸入模式向量將自組織網(wǎng)絡中的當前輸入模式向量X 和競爭層中各神經(jīng)元對應的內星權向量和競爭

29、層中各神經(jīng)元對應的內星權向量 Wj(j=1,2,m)全部進行歸一化處理。全部進行歸一化處理。 4.2自組織特征映射（自組織特征映射（SOM）神經(jīng)網(wǎng)絡）神經(jīng)網(wǎng)絡 4.2.1SOM網(wǎng)絡的生物學基礎網(wǎng)絡的生物學基礎 生物學研究表明：人的大腦皮層中，存在許多不同功能的神經(jīng)網(wǎng)絡區(qū)生物學研究表明：人的大腦皮層中，存在許多不同功能的神經(jīng)網(wǎng)絡區(qū) 域，每個功能區(qū)域完成各自的特定功能，如視覺、聽覺、語言理解和運動域，每個功能區(qū)域完成各自的特定功能，如視覺、聽覺、語言理解和運動 控制等等。控制等等。 當人腦通過感官接受外界的特定時空信息時，將引起大腦皮層的特定當人腦通過感官接受外界的特定時空信息時，將引起大腦皮層的

30、特定 區(qū)域興奮。每個區(qū)域有若干神經(jīng)元組成，當該區(qū)域興奮時，總是以某一個區(qū)域興奮。每個區(qū)域有若干神經(jīng)元組成，當該區(qū)域興奮時，總是以某一個 神經(jīng)元（細胞）為興奮中心，呈現(xiàn)出墨西哥帽（神經(jīng)元（細胞）為興奮中心，呈現(xiàn)出墨西哥帽（Mexican Hat）式興奮分）式興奮分 布。布。 4.2.2 SOM網(wǎng)絡的拓撲結構與權值調整域網(wǎng)絡的拓撲結構與權值調整域 4.2.2.1 拓撲結構拓撲結構 SOM網(wǎng)絡共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜。輸出網(wǎng)絡共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜。輸出 層模擬做出響應的大腦皮層。輸出層也是競爭層，網(wǎng)絡拓撲結構形式常層模擬做出響應的大腦皮層。輸出層也是競爭層

31、，網(wǎng)絡拓撲結構形式常 見有一維線陣和二維平面陣。見有一維線陣和二維平面陣。 網(wǎng)絡實現(xiàn)將任意維輸入模式在輸出層映射成一維離散圖形。網(wǎng)絡實現(xiàn)將任意維輸入模式在輸出層映射成一維離散圖形。 4.2.3 SOM網(wǎng)絡的運行原理與學習算法網(wǎng)絡的運行原理與學習算法 SOM網(wǎng)絡的運行原理網(wǎng)絡的運行原理 SOM網(wǎng)絡表現(xiàn)為：網(wǎng)絡隨機輸入模式時，對某個特定的輸入模式，網(wǎng)絡表現(xiàn)為：網(wǎng)絡隨機輸入模式時，對某個特定的輸入模式， 輸出層會有某個節(jié)點產(chǎn)生最大響應而獲勝。按生物區(qū)域神經(jīng)興奮機制，輸出層會有某個節(jié)點產(chǎn)生最大響應而獲勝。按生物區(qū)域神經(jīng)興奮機制， 獲勝神經(jīng)元對其鄰近神經(jīng)元存在一種側抑制（競爭）機制。獲勝神經(jīng)元對其鄰近神

32、經(jīng)元存在一種側抑制（競爭）機制。 SOM網(wǎng)絡的側抑制方式是：以獲勝神經(jīng)元為中心權值調整量最強，網(wǎng)絡的側抑制方式是：以獲勝神經(jīng)元為中心權值調整量最強， 且由近及遠地逐漸遞減程度不同的調整權向量直到抑制。理論上按墨且由近及遠地逐漸遞減程度不同的調整權向量直到抑制。理論上按墨 西哥帽分布調整權值，但其計算上的復雜性影響了網(wǎng)絡訓練的收斂性。西哥帽分布調整權值，但其計算上的復雜性影響了網(wǎng)絡訓練的收斂性。 因此在因此在SOM網(wǎng)的應用中常采用與墨西哥帽函數(shù)類似的簡化函數(shù)或其他網(wǎng)的應用中常采用與墨西哥帽函數(shù)類似的簡化函數(shù)或其他 一些方式（如優(yōu)勝域）。一些方式（如優(yōu)勝域）。 以獲勝神經(jīng)元為中心設定一個鄰域以獲勝神經(jīng)元為中心設定一個鄰域優(yōu)勝域優(yōu)勝域。優(yōu)勝鄰域內的所。優(yōu)勝鄰域內的所 有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠近不同程度地調整權值。優(yōu)有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠近不同程度地調整權值。優(yōu) 勝