自組織神經網絡

第十章自組織神經網絡常見的自組織網絡自組織競爭網絡〔Kohonen網絡〕自組織特征映射網絡〔SOFM網絡〕學習矢量量化神經網絡〔LVQ網絡〕學習方法分類有師學習〔分類〕知輸入知期望輸出〔每個輸入分別屬于哪一類〕在特征空間中，各個類的核位置知無師學習〔聚類〕知輸入期望輸出未知〔但能夠知分為幾類〕在特征空間中，各個類的核位置待確定自組織競爭網絡神經元功能分析權值W：R維向量〔與輸入向量維數(shù)一樣〕處置函數(shù)：求權值向量W與輸入向量I之間的間隔的負值-d輸出：閾值b與-d的和n=b-dist(p,w)自組織競爭神經網絡的構造自組織競爭神經網絡構造分析輸入：R維列向量，表示待分類的特征空間是R維的?！裁總€樣本有R個分量〕輸入層：有S個神經元，分別經過學習確定S個類的中心〔在特征空間的〕位置競爭層〔輸出層〕：輸出一個S維列向量，假設輸入的第i個分量最大，那么輸出向量中的第i個分量為1，其它分量為0根本競爭型神經網絡構造自組織競爭神經網絡的學習過程根據一個輸入向量與初始形狀下各個中心的間隔判別它屬于哪個類根據確定分類的輸入向量對相應的中心位置進展修訂對一切訓練樣本都進展上述處置反復將訓練樣本進展多次處置，直到不再發(fā)生分類改動為止，學習過程完成修正神經元權值的規(guī)那么內星學習規(guī)那么外星學習規(guī)那么Kohonen學習規(guī)那么閾值學習規(guī)那么內星學習規(guī)那么instar學習規(guī)那么:Δwij=lr·(pj–wij)·ai例一：內星學習規(guī)那么函數(shù)learnis()外星學習規(guī)那么Outstar學習規(guī)那么：Δwij=lr·(aj–wij)·pj例二：外星學習規(guī)那么函數(shù)learnos()Kohonen學習規(guī)那么對instar規(guī)那么的改良將ai取值為1Kohonen學習規(guī)那么：Δwij=lr·(pj–wij)例三：科荷倫學習規(guī)那么函數(shù)learnk()閾值學習規(guī)那么閾值的作用：調整的是某個神經元呼應的半徑為什么除了調整權值以外還要調整閾值：某些神經元的初始位置離樣本區(qū)域太遠先將這些“死〞神經元的呼應半徑增大當有樣本可以吸引到該神經元后再減少半徑閾值學習函數(shù)learncon()自組織競爭神經網絡的創(chuàng)建創(chuàng)建自組織競爭神經網絡的函數(shù)NET=NEWC(PR,S,KLR,CLR)PR：Rx2維矩陣，確定輸入范圍S：神經元個數(shù)〔分類個數(shù)〕KLR：Kohonen學習規(guī)那么的學習率，默以為0.01CLR：閾值學習率，默以為0.001例四：自組織競爭神經網絡的創(chuàng)建〔留意初始形狀〕例五：自組織競爭神經網絡的設計設置初始訓練向量創(chuàng)建初始態(tài)的自組織競爭神經網絡設置訓練參數(shù)訓練察看訓練后網絡的形狀檢驗網絡功能例六：自組織競爭神經網絡用于方式識別經過語句生成待分類點集，8組，每組10個創(chuàng)建一個有8個神經元的網絡察看訓練前網絡的形狀對網絡進展訓練察看網絡訓練后的形狀用新的輸入向量進展測試自組織特征映射神經網絡Self-OrganizingFeatureMaps，簡稱SOFM設計來源：模擬大腦的“不同感知途徑〞〔拓撲構造〕引入神經元所處位置的空間信息每個神經元遭到的鼓勵除了外部輸入信息之外還有來自周圍神經元的反響信號特點：神經元只需權值，沒有閾值神經元之間有相互聯(lián)絡自組織學習SOFM模型〔二維〕輸入信號：n維輸出：2維SOFM網絡學習方法Kohonen學習規(guī)那么起作用范圍是競爭勝出神經元及其周圍鄰域中的一切神經元，但是修正率不同鄰域間隔中心神經元間隔小于指定半徑d的一切神經元的集合拓撲構造矩形拓撲構造：gridtop()〔例一〕六〔三？〕角型拓撲構造：hextop()〔例二〕隨機拓撲構造：randtop()〔例三〕留意：指的是神經元組織拓撲構造，而不是特征向量空間的拓撲構造幾種間隔定義SOFM構造SOFM的構建函數(shù)NET=NEWSOM(PR,[D1,D2,...],TFCN,DFCN,OLR,OSTEPS,TLR,TNS)PR -Rx2矩陣確定輸入范圍Di -第i層神經元個數(shù),缺省為5×8TFCN -拓撲函數(shù)，缺省為'hextop'.DFCN -間隔函數(shù)，缺省為'linkdist'.OLR -排序階段學習率，缺省為0.9.OSTEPS -排序階段最大學習步驟，缺省為1000.TLR -調整階段學習率，缺省為0.02;TND -調整階段最大學習步驟，缺省為1例八：SOFM網絡的構建和訓練構建網絡設置訓練樣本〔待聚類樣本〕察看訓練前網絡的形狀根據樣本進展訓練排序階段〔粗調〕調整階段〔細調〕察看訓練后網絡的形狀例九：一維SOFM網絡設計輸入為二維向量，神經元分布為一維將二維空間的特征映射到一維拓撲構造步驟設置輸入向量構建網絡根據輸入向量進展訓練顯示訓練結果并進展測試例十：二維SOFM網絡設計輸入為二維向量，神經元分布為二維將二維空間的特征映射到二維拓撲構造步驟設置輸入向量構建網絡根據輸入向量進展訓練顯示訓練結果并進展測試學習矢量量化神經網絡LearningVectorQuantizationNetwork

簡稱LVQ兩層網絡：競爭層：同自組織競爭網絡線性層：對競爭結果進展量化組合可以進展子類合并LVQ的網絡構造LVQ的學習規(guī)那么LVQ的網絡構建函數(shù)NET=NEWLVQ(PR,S1,PC,LR,LF)PR-Rx2矩陣確定輸入范圍S1–競爭層神經元個數(shù)PC–大樣本情況下各種分類所占比例LR–學習率缺省為0.01.LF–學習函數(shù)，缺省為'learnlv1'例：LVQ網絡的設計設定輸入樣本和期望輸出構建并設置網絡參數(shù)根據訓練樣本對網絡進展訓練用訓練樣本測試網絡用新樣本測試網絡討論比例的影響小結何謂自組織：沒有答案的