自組織神經(jīng)網(wǎng)絡課件

第十章自組織神經(jīng)網(wǎng)絡第十章自組織神經(jīng)網(wǎng)絡常見的自組織網(wǎng)絡自組織競爭網(wǎng)絡（Kohonen網(wǎng)絡）自組織特征映射網(wǎng)絡（SOFM網(wǎng)絡）學習矢量量化神經(jīng)網(wǎng)絡（LVQ網(wǎng)絡）常見的自組織網(wǎng)絡自組織競爭網(wǎng)絡（Kohonen網(wǎng)絡）學習方法分類有師學習（分類）已知輸入已知期望輸出（每個輸入分別屬于哪一類）在特征空間中，各個類的核位置已知無師學習（聚類）已知輸入期望輸出未知（但可能已知分為幾類）在特征空間中，各個類的核位置待確定學習方法分類有師學習（分類）自組織競爭網(wǎng)絡神經(jīng)元功能分析權值W：R維向量（與輸入向量維數(shù)相同）處理函數(shù)：求權值向量W與輸入向量I之間的距離的負值-d輸出：閾值b與-d的和n=b-dist(p,w)自組織競爭網(wǎng)絡神經(jīng)元功能分析權值W：R維向量（與輸入向量維數(shù)自組織競爭神經(jīng)網(wǎng)絡的結構自組織競爭神經(jīng)網(wǎng)絡的結構自組織競爭神經(jīng)網(wǎng)絡結構分析輸入：R維列向量，表示待分類的特征空間是R維的。（每個樣本有R個分量）輸入層：有S個神經(jīng)元，分別通過學習確定S個類的核心（在特征空間的）位置競爭層（輸出層）：輸出一個S維列向量，若輸入的第i個分量最大，則輸出向量中的第i個分量為1，其它分量為0自組織競爭神經(jīng)網(wǎng)絡結構分析輸入：R維列向量，表示待分類的特征基本競爭型神經(jīng)網(wǎng)絡結構基本競爭型神經(jīng)網(wǎng)絡結構自組織競爭神經(jīng)網(wǎng)絡的學習過程根據(jù)一個輸入向量與初始狀態(tài)下各個核心的距離判斷它屬于哪個類根據(jù)確定分類的輸入向量對相應的核心位置進行修訂對所有訓練樣本都進行上述處理反復將訓練樣本進行多次處理，直到不再發(fā)生分類改變?yōu)橹梗瑢W習過程完成自組織競爭神經(jīng)網(wǎng)絡的學習過程根據(jù)一個輸入向量與初始狀態(tài)下各個修正神經(jīng)元權值的規(guī)則內(nèi)星學習規(guī)則外星學習規(guī)則Kohonen學習規(guī)則閾值學習規(guī)則修正神經(jīng)元權值的規(guī)則內(nèi)星學習規(guī)則內(nèi)星學習規(guī)則instar學習規(guī)則:Δwij=lr·(pj–wij)·ai例一：內(nèi)星學習規(guī)則函數(shù)learnis()內(nèi)星學習規(guī)則instar學習規(guī)則:Δwij=lr·(外星學習規(guī)則Outstar學習規(guī)則：Δwij=lr·(aj–wij)·pj例二：外星學習規(guī)則函數(shù)learnos()外星學習規(guī)則Outstar學習規(guī)則：Δwij=lr·Kohonen學習規(guī)則對instar規(guī)則的改進將ai取值為1Kohonen學習規(guī)則：Δwij=lr·(pj–wij)例三：科荷倫學習規(guī)則函數(shù)learnk()Kohonen學習規(guī)則對instar規(guī)則的改進閾值學習規(guī)則閾值的作用：調(diào)整的是某個神經(jīng)元響應的半徑為什么除了調(diào)整權值以外還要調(diào)整閾值：某些神經(jīng)元的初始位置離樣本區(qū)域太遠先將這些“死”神經(jīng)元的響應半徑增大當有樣本能夠吸引到該神經(jīng)元后再縮小半徑閾值學習函數(shù)learncon()閾值學習規(guī)則閾值的作用：自組織競爭神經(jīng)網(wǎng)絡的創(chuàng)建創(chuàng)建自組織競爭神經(jīng)網(wǎng)絡的函數(shù)NET=NEWC(PR,S,KLR,CLR)PR：Rx2維矩陣，確定輸入范圍S：神經(jīng)元個數(shù)（分類個數(shù)）KLR：Kohonen學習規(guī)則的學習率，默認為0.01CLR：閾值學習率，默認為0.001例四：自組織競爭神經(jīng)網(wǎng)絡的創(chuàng)建（注意初始狀態(tài)）自組織競爭神經(jīng)網(wǎng)絡的創(chuàng)建創(chuàng)建自組織競爭神經(jīng)網(wǎng)絡的函數(shù)例五：自組織競爭神經(jīng)網(wǎng)絡的設計設置初始訓練向量創(chuàng)建初始態(tài)的自組織競爭神經(jīng)網(wǎng)絡設置訓練參數(shù)訓練觀察訓練后網(wǎng)絡的狀態(tài)檢驗網(wǎng)絡功能例五：自組織競爭神經(jīng)網(wǎng)絡的設計設置初始訓練向量例六：自組織競爭神經(jīng)網(wǎng)絡用于模式識別通過語句生成待分類點集，8組，每組10個創(chuàng)建一個有8個神經(jīng)元的網(wǎng)絡觀察訓練前網(wǎng)絡的狀態(tài)對網(wǎng)絡進行訓練觀察網(wǎng)絡訓練后的狀態(tài)用新的輸入向量進行測試例六：自組織競爭神經(jīng)網(wǎng)絡用于模式識別通過語句生成待分類點集，自組織特征映射神經(jīng)網(wǎng)絡Self-OrganizingFeatureMaps，簡稱SOFM設計來源：模擬大腦的“不同感知路徑”（拓撲結構）引入神經(jīng)元所處位置的空間信息每個神經(jīng)元受到的激勵除了外部輸入信息之外還有來自周圍神經(jīng)元的反饋信號特點：神經(jīng)元只有權值，沒有閾值神經(jīng)元之間有相互聯(lián)系自組織學習自組織特征映射神經(jīng)網(wǎng)絡Self-OrganizingFeaSOFM模型（二維）輸入信號：n維輸出：2維SOFM模型（二維）輸入信號：n維SOFM網(wǎng)絡學習方法Kohonen學習規(guī)則起作用范圍是競爭勝出神經(jīng)元及其周圍鄰域中的所有神經(jīng)元，但是修正率不同SOFM網(wǎng)絡學習方法Kohonen學習規(guī)則鄰域距離中心神經(jīng)元距離小于指定半徑d的所有神經(jīng)元的集合鄰域距離中心神經(jīng)元距離小于指定半徑d的所有神經(jīng)元的集合拓撲結構矩形拓撲結構：gridtop()（例一）六（三？）角型拓撲結構：hextop()（例二）隨機拓撲結構：randtop()（例三）注意：指的是神經(jīng)元組織拓撲結構，而不是特征向量空間的拓撲結構拓撲結構矩形拓撲結構：gridtop()（例一）幾種距離定義幾種距離定義SOFM結構SOFM結構SOFM的構建函數(shù)NET=NEWSOM(PR,[D1,D2,...],TFCN,DFCN,OLR,OSTEPS,TLR,TNS)PR -Rx2矩陣確定輸入范圍

Di -第i層神經(jīng)元個數(shù),缺省為5×8TFCN -拓撲函數(shù)，缺省為'hextop'.DFCN -距離函數(shù)，缺省為'linkdist'.OLR -排序階段學習率，缺省為0.9.OSTEPS -排序階段最大學習步驟，缺省為1000.TLR -調(diào)整階段學習率，缺省為0.02;TND -調(diào)整階段最大學習步驟，缺省為1SOFM的構建函數(shù)NET=NEWSOM(PR,[D1,D例八：SOFM網(wǎng)絡的構建和訓練構建網(wǎng)絡設置訓練樣本（待聚類樣本）觀察訓練前網(wǎng)絡的狀態(tài)根據(jù)樣本進行訓練排序階段（粗調(diào)）調(diào)整階段（細調(diào)）觀察訓練后網(wǎng)絡的狀態(tài)例八：SOFM網(wǎng)絡的構建和訓練構建網(wǎng)絡例九：一維SOFM網(wǎng)絡設計輸入為二維向量，神經(jīng)元分布為一維將二維空間的特征映射到一維拓撲結構步驟設置輸入向量構建網(wǎng)絡根據(jù)輸入向量進行訓練顯示訓練結果并進行測試例九：一維SOFM網(wǎng)絡設計輸入為二維向量，神經(jīng)元分布為一維例十：二維SOFM網(wǎng)絡設計輸入為二維向量，神經(jīng)元分布為二維將二維空間的特征映射到二維拓撲結構步驟設置輸入向量構建網(wǎng)絡根據(jù)輸入向量進行訓練顯示訓練結果并進行測試例十：二維SOFM網(wǎng)絡設計輸入為二維向量，神經(jīng)元分布為二維學習矢量量化神經(jīng)網(wǎng)絡LearningVectorQuantizationNetwork

簡稱LVQ兩層網(wǎng)絡：競爭層：同自組織競爭網(wǎng)絡線性層：對競爭結果進行量化組合可以進行子類合并學習矢量量化神經(jīng)網(wǎng)絡LearningVectorQuanLVQ的網(wǎng)絡結構LVQ的網(wǎng)絡結構LVQ的學習規(guī)則LVQ的學習規(guī)則LVQ的網(wǎng)絡構建函數(shù)NET=NEWLVQ(PR,S1,PC,LR,LF)PR-Rx2矩陣確定輸入范圍

S1–競爭層神經(jīng)元個數(shù)

PC–大樣本情況下各種分類所占比例

LR–學習率缺省為0.01.LF–學習函數(shù)，缺省為'learnlv1'LVQ的網(wǎng)絡構建函數(shù)NET=NEWLVQ(PR,S1,P例：LVQ網(wǎng)絡的設計設定輸入樣本和期望輸出構建并設置網(wǎng)絡參數(shù)根據(jù)訓練樣本對網(wǎng)絡進行訓練用訓練樣本測試網(wǎng)絡用新樣本測試網(wǎng)絡討論比例的影響例：LVQ網(wǎng)絡的設計設定輸入樣本和期望輸出小結何謂自組織：沒有答案的學習自組織競爭神經(jīng)網(wǎng)絡的基本概念神經(jīng)元：輸入與權值的負距離加上閾值網(wǎng)絡結構：競爭網(wǎng)絡學習方法：Kohonen和閾值學習規(guī)則用途：聚類小結何謂自組織：沒有答案的學習小結SOFM：特征映射的含義競爭層有拓撲結構可以形成中樞可以體現(xiàn)拓撲結構LVQ：矢量量化的含義增加線性層可以合并子類小結SOFM：特征映射的含義第十章自組織神經(jīng)網(wǎng)絡第十章自組織神經(jīng)網(wǎng)絡常見的自組織網(wǎng)絡自組織競爭網(wǎng)絡（Kohonen網(wǎng)絡）自組織特征映射網(wǎng)絡（SOFM網(wǎng)絡）學習矢量量化神經(jīng)網(wǎng)絡（LVQ網(wǎng)絡）常見的自組織網(wǎng)絡自組織競爭網(wǎng)絡（Kohonen網(wǎng)絡）學習方法分類有師學習（分類）已知輸入已知期望輸出（每個輸入分別屬于哪一類）在特征空間中，各個類的核位置已知無師學習（聚類）已知輸入期望輸出未知（但可能已知分為幾類）在特征空間中，各個類的核位置待確定學習方法分類有師學習（分類）自組織競爭網(wǎng)絡神經(jīng)元功能分析權值W：R維向量（與輸入向量維數(shù)相同）處理函數(shù)：求權值向量W與輸入向量I之間的距離的負值-d輸出：閾值b與-d的和n=b-dist(p,w)自組織競爭網(wǎng)絡神經(jīng)元功能分析權值W：R維向量（與輸入向量維數(shù)自組織競爭神經(jīng)網(wǎng)絡的結構自組織競爭神經(jīng)網(wǎng)絡的結構自組織競爭神經(jīng)網(wǎng)絡結構分析輸入：R維列向量，表示待分類的特征空間是R維的。（每個樣本有R個分量）輸入層：有S個神經(jīng)元，分別通過學習確定S個類的核心（在特征空間的）位置競爭層（輸出層）：輸出一個S維列向量，若輸入的第i個分量最大，則輸出向量中的第i個分量為1，其它分量為0自組織競爭神經(jīng)網(wǎng)絡結構分析輸入：R維列向量，表示待分類的特征基本競爭型神經(jīng)網(wǎng)絡結構基本競爭型神經(jīng)網(wǎng)絡結構自組織競爭神經(jīng)網(wǎng)絡的學習過程根據(jù)一個輸入向量與初始狀態(tài)下各個核心的距離判斷它屬于哪個類根據(jù)確定分類的輸入向量對相應的核心位置進行修訂對所有訓練樣本都進行上述處理反復將訓練樣本進行多次處理，直到不再發(fā)生分類改變?yōu)橹?，學習過程完成自組織競爭神經(jīng)網(wǎng)絡的學習過程根據(jù)一個輸入向量與初始狀態(tài)下各個修正神經(jīng)元權值的規(guī)則內(nèi)星學習規(guī)則外星學習規(guī)則Kohonen學習規(guī)則閾值學習規(guī)則修正神經(jīng)元權值的規(guī)則內(nèi)星學習規(guī)則內(nèi)星學習規(guī)則instar學習規(guī)則:Δwij=lr·(pj–wij)·ai例一：內(nèi)星學習規(guī)則函數(shù)learnis()內(nèi)星學習規(guī)則instar學習規(guī)則:Δwij=lr·(外星學習規(guī)則Outstar學習規(guī)則：Δwij=lr·(aj–wij)·pj例二：外星學習規(guī)則函數(shù)learnos()外星學習規(guī)則Outstar學習規(guī)則：Δwij=lr·Kohonen學習規(guī)則對instar規(guī)則的改進將ai取值為1Kohonen學習規(guī)則：Δwij=lr·(pj–wij)例三：科荷倫學習規(guī)則函數(shù)learnk()Kohonen學習規(guī)則對instar規(guī)則的改進閾值學習規(guī)則閾值的作用：調(diào)整的是某個神經(jīng)元響應的半徑為什么除了調(diào)整權值以外還要調(diào)整閾值：某些神經(jīng)元的初始位置離樣本區(qū)域太遠先將這些“死”神經(jīng)元的響應半徑增大當有樣本能夠吸引到該神經(jīng)元后再縮小半徑閾值學習函數(shù)learncon()閾值學習規(guī)則閾值的作用：自組織競爭神經(jīng)網(wǎng)絡的創(chuàng)建創(chuàng)建自組織競爭神經(jīng)網(wǎng)絡的函數(shù)NET=NEWC(PR,S,KLR,CLR)PR：Rx2維矩陣，確定輸入范圍S：神經(jīng)元個數(shù)（分類個數(shù)）KLR：Kohonen學習規(guī)則的學習率，默認為0.01CLR：閾值學習率，默認為0.001例四：自組織競爭神經(jīng)網(wǎng)絡的創(chuàng)建（注意初始狀態(tài)）自組織競爭神經(jīng)網(wǎng)絡的創(chuàng)建創(chuàng)建自組織競爭神經(jīng)網(wǎng)絡的函數(shù)例五：自組織競爭神經(jīng)網(wǎng)絡的設計設置初始訓練向量創(chuàng)建初始態(tài)的自組織競爭神經(jīng)網(wǎng)絡設置訓練參數(shù)訓練觀察訓練后網(wǎng)絡的狀態(tài)檢驗網(wǎng)絡功能例五：自組織競爭神經(jīng)網(wǎng)絡的設計設置初始訓練向量例六：自組織競爭神經(jīng)網(wǎng)絡用于模式識別通過語句生成待分類點集，8組，每組10個創(chuàng)建一個有8個神經(jīng)元的網(wǎng)絡觀察訓練前網(wǎng)絡的狀態(tài)對網(wǎng)絡進行訓練觀察網(wǎng)絡訓練后的狀態(tài)用新的輸入向量進行測試例六：自組織競爭神經(jīng)網(wǎng)絡用于模式識別通過語句生成待分類點集，自組織特征映射神經(jīng)網(wǎng)絡Self-OrganizingFeatureMaps，簡稱SOFM設計來源：模擬大腦的“不同感知路徑”（拓撲結構）引入神經(jīng)元所處位置的空間信息每個神經(jīng)元受到的激勵除了外部輸入信息之外還有來自周圍神經(jīng)元的反饋信號特點：神經(jīng)元只有權值，沒有閾值神經(jīng)元之間有相互聯(lián)系自組織學習自組織特征映射神經(jīng)網(wǎng)絡Self-OrganizingFeaSOFM模型（二維）輸入信號：n維輸出：2維SOFM模型（二維）輸入信號：n維SOFM網(wǎng)絡學習方法Kohonen學習規(guī)則起作用范圍是競爭勝出神經(jīng)元及其周圍鄰域中的所有神經(jīng)元，但是修正率不同SOFM網(wǎng)絡學習方法Kohonen學習規(guī)則鄰域距離中心神經(jīng)元距離小于指定半徑d的所有神經(jīng)元的集合鄰域距離中心神經(jīng)元距離小于指定半徑d的所有神經(jīng)元的集合拓撲結構矩形拓撲結構：gridtop()（例一）六（三？）角型拓撲結構：hextop()（例二）隨機拓撲結構：randtop()（例三）注意：指的是神經(jīng)元組織拓撲結構，而不是特征向量空間的拓撲結構拓撲結構矩形拓撲結構：gridtop()（例一）幾種距離定義幾種距離定義SOFM結構SOFM結構SOFM的構建函數(shù)NET=NEWSOM(PR,[D1,D2,...],TFCN,DFCN,OLR,OSTEPS,TLR,TNS)PR -Rx2矩陣確定輸入范圍

Di -第i層神經(jīng)元個數(shù),缺省為5×8TFCN -拓撲函數(shù)，缺省為'hextop'.DFCN -距離函數(shù)，缺省為'linkdist'.OLR -排序階段學習率，缺省為0.9.OSTEPS -排序階段最大學習步驟，缺省為1000.TLR -調(diào)整階段學習率，缺省為0.02;TND -調(diào)整階段最大學習步驟，缺省為1SOFM的構建函數(shù)NET=NEWSOM(PR,[D1,D例八：SOFM網(wǎng)絡的構建和訓練構建網(wǎng)絡設置訓練樣本（待聚類樣本）觀察訓練前網(wǎng)絡的狀態(tài)根據(jù)樣本進行訓練排序階段（粗調(diào)）調(diào)整階段（細調(diào)）觀察訓練后網(wǎng)絡的狀態(tài)例八：SOFM網(wǎng)絡的構建和訓練構建網(wǎng)絡例九：一維SOFM網(wǎng)絡設計輸入為二維向量，神經(jīng)元分布為一維將二維空間的特征映射到一維拓撲結構步驟設置輸入向量構建網(wǎng)絡根據(jù)輸入向量進行訓練顯示訓練結果并進行測試例九：一維SOFM網(wǎng)絡設計輸入為二維向量，神經(jīng)元分布為一維例十：二維SOFM網(wǎng)絡設計輸入為二維向量，神經(jīng)元分布為二維將二維空間的特征映射到二維