自組織神經(jīng)網(wǎng)絡(luò)

第十章自組織神經(jīng)網(wǎng)絡(luò)常見的自組織網(wǎng)絡(luò)自組織競爭網(wǎng)絡(luò)〔Kohonen網(wǎng)絡(luò)〕自組織特征映射網(wǎng)絡(luò)〔SOFM網(wǎng)絡(luò)〕學(xué)習(xí)矢量量化神經(jīng)網(wǎng)絡(luò)〔LVQ網(wǎng)絡(luò)〕學(xué)習(xí)方法分類有師學(xué)習(xí)〔分類〕知輸入知期望輸出〔每個輸入分別屬于哪一類〕在特征空間中，各個類的核位置知無師學(xué)習(xí)〔聚類〕知輸入期望輸出未知〔但能夠知分為幾類〕在特征空間中，各個類的核位置待確定自組織競爭網(wǎng)絡(luò)神經(jīng)元功能分析權(quán)值W：R維向量〔與輸入向量維數(shù)一樣〕處置函數(shù)：求權(quán)值向量W與輸入向量I之間的間隔的負(fù)值-d輸出：閾值b與-d的和n=b-dist(p,w)自組織競爭神經(jīng)網(wǎng)絡(luò)的構(gòu)造自組織競爭神經(jīng)網(wǎng)絡(luò)構(gòu)造分析輸入：R維列向量，表示待分類的特征空間是R維的。〔每個樣本有R個分量〕輸入層：有S個神經(jīng)元，分別經(jīng)過學(xué)習(xí)確定S個類的中心〔在特征空間的〕位置競爭層〔輸出層〕：輸出一個S維列向量，假設(shè)輸入的第i個分量最大，那么輸出向量中的第i個分量為1，其它分量為0根本競爭型神經(jīng)網(wǎng)絡(luò)構(gòu)造自組織競爭神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程根據(jù)一個輸入向量與初始形狀下各個中心的間隔判別它屬于哪個類根據(jù)確定分類的輸入向量對相應(yīng)的中心位置進(jìn)展修訂對一切訓(xùn)練樣本都進(jìn)展上述處置反復(fù)將訓(xùn)練樣本進(jìn)展多次處置，直到不再發(fā)生分類改動為止，學(xué)習(xí)過程完成修正神經(jīng)元權(quán)值的規(guī)那么內(nèi)星學(xué)習(xí)規(guī)那么外星學(xué)習(xí)規(guī)那么Kohonen學(xué)習(xí)規(guī)那么閾值學(xué)習(xí)規(guī)那么內(nèi)星學(xué)習(xí)規(guī)那么instar學(xué)習(xí)規(guī)那么:Δwij=lr·(pj–wij)·ai例一：內(nèi)星學(xué)習(xí)規(guī)那么函數(shù)learnis()外星學(xué)習(xí)規(guī)那么Outstar學(xué)習(xí)規(guī)那么：Δwij=lr·(aj–wij)·pj例二：外星學(xué)習(xí)規(guī)那么函數(shù)learnos()Kohonen學(xué)習(xí)規(guī)那么對instar規(guī)那么的改良將ai取值為1Kohonen學(xué)習(xí)規(guī)那么：Δwij=lr·(pj–wij)例三：科荷倫學(xué)習(xí)規(guī)那么函數(shù)learnk()閾值學(xué)習(xí)規(guī)那么閾值的作用：調(diào)整的是某個神經(jīng)元呼應(yīng)的半徑為什么除了調(diào)整權(quán)值以外還要調(diào)整閾值：某些神經(jīng)元的初始位置離樣本區(qū)域太遠(yuǎn)先將這些“死〞神經(jīng)元的呼應(yīng)半徑增大當(dāng)有樣本可以吸引到該神經(jīng)元后再減少半徑閾值學(xué)習(xí)函數(shù)learncon()自組織競爭神經(jīng)網(wǎng)絡(luò)的創(chuàng)建創(chuàng)建自組織競爭神經(jīng)網(wǎng)絡(luò)的函數(shù)NET=NEWC(PR,S,KLR,CLR)PR：Rx2維矩陣，確定輸入范圍S：神經(jīng)元個數(shù)〔分類個數(shù)〕KLR：Kohonen學(xué)習(xí)規(guī)那么的學(xué)習(xí)率，默以為0.01CLR：閾值學(xué)習(xí)率，默以為0.001例四：自組織競爭神經(jīng)網(wǎng)絡(luò)的創(chuàng)建〔留意初始形狀〕例五：自組織競爭神經(jīng)網(wǎng)絡(luò)的設(shè)計設(shè)置初始訓(xùn)練向量創(chuàng)建初始態(tài)的自組織競爭神經(jīng)網(wǎng)絡(luò)設(shè)置訓(xùn)練參數(shù)訓(xùn)練察看訓(xùn)練后網(wǎng)絡(luò)的形狀檢驗網(wǎng)絡(luò)功能例六：自組織競爭神經(jīng)網(wǎng)絡(luò)用于方式識別經(jīng)過語句生成待分類點集，8組，每組10個創(chuàng)建一個有8個神經(jīng)元的網(wǎng)絡(luò)察看訓(xùn)練前網(wǎng)絡(luò)的形狀對網(wǎng)絡(luò)進(jìn)展訓(xùn)練察看網(wǎng)絡(luò)訓(xùn)練后的形狀用新的輸入向量進(jìn)展測試自組織特征映射神經(jīng)網(wǎng)絡(luò)Self-OrganizingFeatureMaps，簡稱SOFM設(shè)計來源：模擬大腦的“不同感知途徑〞〔拓?fù)錁?gòu)造〕引入神經(jīng)元所處位置的空間信息每個神經(jīng)元遭到的鼓勵除了外部輸入信息之外還有來自周圍神經(jīng)元的反響信號特點：神經(jīng)元只需權(quán)值，沒有閾值神經(jīng)元之間有相互聯(lián)絡(luò)自組織學(xué)習(xí)SOFM模型〔二維〕輸入信號：n維輸出：2維SOFM網(wǎng)絡(luò)學(xué)習(xí)方法Kohonen學(xué)習(xí)規(guī)那么起作用范圍是競爭勝出神經(jīng)元及其周圍鄰域中的一切神經(jīng)元，但是修正率不同鄰域間隔中心神經(jīng)元間隔小于指定半徑d的一切神經(jīng)元的集合拓?fù)錁?gòu)造矩形拓?fù)錁?gòu)造：gridtop()〔例一〕六〔三？〕角型拓?fù)錁?gòu)造：hextop()〔例二〕隨機(jī)拓?fù)錁?gòu)造：randtop()〔例三〕留意：指的是神經(jīng)元組織拓?fù)錁?gòu)造，而不是特征向量空間的拓?fù)錁?gòu)造幾種間隔定義SOFM構(gòu)造SOFM的構(gòu)建函數(shù)NET=NEWSOM(PR,[D1,D2,...],TFCN,DFCN,OLR,OSTEPS,TLR,TNS)PR -Rx2矩陣確定輸入范圍Di -第i層神經(jīng)元個數(shù),缺省為5×8TFCN -拓?fù)浜瘮?shù)，缺省為'hextop'.DFCN -間隔函數(shù)，缺省為'linkdist'.OLR -排序階段學(xué)習(xí)率，缺省為0.9.OSTEPS -排序階段最大學(xué)習(xí)步驟，缺省為1000.TLR -調(diào)整階段學(xué)習(xí)率，缺省為0.02;TND -調(diào)整階段最大學(xué)習(xí)步驟，缺省為1例八：SOFM網(wǎng)絡(luò)的構(gòu)建和訓(xùn)練構(gòu)建網(wǎng)絡(luò)設(shè)置訓(xùn)練樣本〔待聚類樣本〕察看訓(xùn)練前網(wǎng)絡(luò)的形狀根據(jù)樣本進(jìn)展訓(xùn)練排序階段〔粗調(diào)〕調(diào)整階段〔細(xì)調(diào)〕察看訓(xùn)練后網(wǎng)絡(luò)的形狀例九：一維SOFM網(wǎng)絡(luò)設(shè)計輸入為二維向量，神經(jīng)元分布為一維將二維空間的特征映射到一維拓?fù)錁?gòu)造步驟設(shè)置輸入向量構(gòu)建網(wǎng)絡(luò)根據(jù)輸入向量進(jìn)展訓(xùn)練顯示訓(xùn)練結(jié)果并進(jìn)展測試?yán)憾SSOFM網(wǎng)絡(luò)設(shè)計輸入為二維向量，神經(jīng)元分布為二維將二維空間的特征映射到二維拓?fù)錁?gòu)造步驟設(shè)置輸入向量構(gòu)建網(wǎng)絡(luò)根據(jù)輸入向量進(jìn)展訓(xùn)練顯示訓(xùn)練結(jié)果并進(jìn)展測試學(xué)習(xí)矢量量化神經(jīng)網(wǎng)絡(luò)LearningVectorQuantizationNetwork

簡稱LVQ兩層網(wǎng)絡(luò)：競爭層：同自組織競爭網(wǎng)絡(luò)線性層：對競爭結(jié)果進(jìn)展量化組合可以進(jìn)展子類合并LVQ的網(wǎng)絡(luò)構(gòu)造LVQ的學(xué)習(xí)規(guī)那么LVQ的網(wǎng)絡(luò)構(gòu)建函數(shù)NET=NEWLVQ(PR,S1,PC,LR,LF)PR-Rx2矩陣確定輸入范圍S1–競爭層神經(jīng)元個數(shù)PC–大樣本情況下各種分類所占比例LR–學(xué)習(xí)率缺省為0.01.LF–學(xué)習(xí)函數(shù)，缺省為'learnlv1'例：LVQ網(wǎng)絡(luò)的設(shè)計設(shè)定輸入樣本和期望輸出構(gòu)建并設(shè)置網(wǎng)絡(luò)參數(shù)根據(jù)訓(xùn)練樣本對網(wǎng)絡(luò)進(jìn)展訓(xùn)練用訓(xùn)練樣本測試網(wǎng)絡(luò)用新樣本測試網(wǎng)絡(luò)討論比例的影響小結(jié)何謂自組織：沒有答案的