第四章(SOM新)

19 42 1 自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu) 第四章競(jìng)爭(zhēng)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) 19 42 2 第四章自組織神經(jīng)網(wǎng)絡(luò) 自組織學(xué)習(xí) self organizedlearning 通過自動(dòng)尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性 自組織 自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu) 自組織網(wǎng)絡(luò)的自組織功能是通過競(jìng)爭(zhēng)學(xué)習(xí) competitivelearning 實(shí)現(xiàn)的 19 42 3 4 1競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理 4 1 1基本概念分類 分類是在類別知識(shí)等導(dǎo)師信號(hào)的指導(dǎo)下 將待識(shí)別的輸入模式分配到各自的模式類中去 聚類 無導(dǎo)師指導(dǎo)的分類稱為聚類 聚類的目的是將相似的模式樣本劃歸一類 而將不相似的分離開 19 42 4 相似性測(cè)量 歐式距離法 4 1 1基本概念 同一類內(nèi)各個(gè)模式向量間的歐式距離不允許超過某一最大值 19 42 5 相似性測(cè)量 余弦法 4 1 1基本概念 余弦法適合模式向量相同或模式特征只與向量方向相關(guān)的相似性測(cè)量 同一類內(nèi)各個(gè)模式向量間的夾角不允許超過某一最大夾角 T 19 42 6 4 1 2競(jìng)爭(zhēng)學(xué)習(xí)原理 競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則 Winner Take All 網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競(jìng)爭(zhēng)以求被激活或點(diǎn)火 結(jié)果在每一時(shí)刻只有一個(gè)輸出神經(jīng)元被激活或點(diǎn)火 這個(gè)被激活的神經(jīng)元稱為競(jìng)爭(zhēng)獲勝神經(jīng)元 而其它神經(jīng)元的狀態(tài)被抑制 故稱為WinnerTakeAll 勝者為王 19 42 7 競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則 Winner Take All 1 向量歸一化首先將當(dāng)前輸入模式向量X和競(jìng)爭(zhēng)層中各神經(jīng)元對(duì)應(yīng)的內(nèi)星向量Wj全部進(jìn)行歸一化處理 j 1 2 m 19 42 8 原始向量 19 42 9 歸一化后的向量 19 42 10 競(jìng)爭(zhēng)學(xué)習(xí)原理 競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則 Winner Take All 2 尋找獲勝神經(jīng)元當(dāng)網(wǎng)絡(luò)得到一個(gè)輸入模式向量時(shí) 競(jìng)爭(zhēng)層的所有神經(jīng)元對(duì)應(yīng)的內(nèi)星權(quán)向量均與其進(jìn)行相似性比較 并將最相似的內(nèi)星權(quán)向量判為競(jìng)爭(zhēng)獲勝神經(jīng)元 19 42 11 從上式可以看出 欲使兩單位向量的歐式距離最小 須使兩向量的點(diǎn)積最大 即 競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則 Winner Take All 19 42 12 競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則 勝者為王 Winner Take All 3 網(wǎng)絡(luò)輸出與權(quán)值調(diào)整 j j 步驟3完成后回到步驟1繼續(xù)訓(xùn)練 直到學(xué)習(xí)率衰減到0 獲勝神經(jīng)元輸出為1 其余為0 19 42 13 競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義 19 42 14 競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義 19 42 15 解 為作圖方便 將上述模式轉(zhuǎn)換成極坐標(biāo)形式 競(jìng)爭(zhēng)層設(shè)兩個(gè)權(quán)向量 隨機(jī)初始化為單位向量 19 42 16 19 42 17 19 42 18 19 42 19 19 42 20 19 42 21 19 42 22 19 42 23 19 42 24 19 42 25 19 42 26 4 2自組織特征映射網(wǎng) Self OrganizingfeatureMap 1981年芬蘭Helsink大學(xué)的T Kohonen教授提出一種自組織特征映射網(wǎng) 簡(jiǎn)稱SOM網(wǎng) 又稱Kohonen網(wǎng) Kohonen認(rèn)為 一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時(shí) 將會(huì)分為不同的對(duì)應(yīng)區(qū)域 各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征 而且這個(gè)過程是自動(dòng)完成的 自組織特征映射正是根據(jù)這一看法提出來的 其特點(diǎn)與人腦的自組織特性相類似 19 42 27 SOM網(wǎng)的生物學(xué)基礎(chǔ) 生物學(xué)研究的事實(shí)表明 在人腦的感覺通道上 神經(jīng)元的組織原理是有序排列 因此當(dāng)人腦通過感官接受外界的特定時(shí)空信息時(shí) 大腦皮層的特定區(qū)域興奮 而且類似的外界信息在對(duì)應(yīng)區(qū)域是連續(xù)映象的 對(duì)于某一圖形或某一頻率的特定興奮過程 神經(jīng)元的有序排列以及對(duì)外界信息的連續(xù)映象是自組織特征映射網(wǎng)中競(jìng)爭(zhēng)機(jī)制的生物學(xué)基礎(chǔ) 19 42 28 SOM網(wǎng)的拓?fù)浣Y(jié)構(gòu) SOM網(wǎng)共有兩層 輸入層模擬感知外界輸入信息的視網(wǎng)膜 輸出層模擬做出響應(yīng)的大腦皮層 19 42 29 SOM網(wǎng)的權(quán)值調(diào)整域 SOM網(wǎng)的獲勝神經(jīng)元對(duì)其鄰近神經(jīng)元的影響是由近及遠(yuǎn) 由興奮逐漸轉(zhuǎn)變?yōu)橐种?因此其學(xué)習(xí)算法中不僅獲勝神經(jīng)元本身要調(diào)整權(quán)向量 它周圍的神經(jīng)元在其影響下也要程度不同地調(diào)整權(quán)向量 這種調(diào)整可用三種函數(shù)表示 19 42 30 19 42 31 SOM網(wǎng)的權(quán)值調(diào)整域 以獲勝神經(jīng)元為中心設(shè)定一個(gè)鄰域半徑 該半徑圈定的范圍稱為優(yōu)勝鄰域 在SOM網(wǎng)學(xué)習(xí)算法中 優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠(yuǎn)近不同程度地調(diào)整權(quán)值 優(yōu)勝鄰域開始定得很大 但其大小隨著訓(xùn)練次數(shù)的增加不斷收縮 最終收縮到半徑為零 19 42 32 SOM網(wǎng)的運(yùn)行原理 訓(xùn)練階段 w1w2w3w4w5 19 42 33 SOM網(wǎng)的運(yùn)行原理 工作階段 19 42 34 SOM網(wǎng)的學(xué)習(xí)算法 Kohonen學(xué)習(xí)算法 1 初始化對(duì)輸出層各權(quán)向量賦小隨機(jī)數(shù)并進(jìn)行歸一化處理 得到 j 1 2 m 建立初始優(yōu)勝鄰域Nj 0 學(xué)習(xí)率 賦初始值 2 接受輸入從訓(xùn)練集中隨機(jī)選取一個(gè)輸入模式并進(jìn)行歸一化處理 得到 p 1 2 P 3 尋找獲勝節(jié)點(diǎn)計(jì)算與的點(diǎn)積 j 1 2 m 從中選出點(diǎn)積最大的獲勝節(jié)點(diǎn)j 4 定義優(yōu)勝鄰域Nj t 以j 為中心確定t時(shí)刻的權(quán)值調(diào)整域 一般初始鄰域Nj 0 較大 訓(xùn)練過程中Nj t 隨訓(xùn)練時(shí)間逐漸收縮 19 42 35 Kohonen學(xué)習(xí)算法 SOM網(wǎng)的學(xué)習(xí)算法 19 42 36 5 調(diào)整權(quán)值對(duì)優(yōu)勝鄰域Nj t 內(nèi)的所有節(jié)點(diǎn)調(diào)整權(quán)值 i 1 2 nj Nj t 式中 是訓(xùn)練時(shí)間t和鄰域內(nèi)第j個(gè)神經(jīng)元與獲勝神經(jīng)元j 之間的拓?fù)渚嚯xN的函數(shù) 該函數(shù)一般有以下規(guī)律 Kohonen學(xué)習(xí)算法 SOM網(wǎng)的學(xué)習(xí)算法 19 42 37 5 調(diào)整權(quán)值 6 結(jié)束檢查學(xué)習(xí)率是否衰減到零或某個(gè)預(yù)定的正小數(shù) Kohonen學(xué)習(xí)算法 SOM網(wǎng)的學(xué)習(xí)算法 19 42 38 Kohonen學(xué)習(xí)算法程序流程 19 42 39 功能分析 1 保序映射 將輸入空間的樣本模式類有序地映射在輸出層上 例1 動(dòng)物屬性特征