kohonen神經(jīng)網(wǎng)絡(luò)課件

Kohonen神經(jīng)網(wǎng)絡(luò)

組長(zhǎng)：陳永興組員：李文采劉嬌陳爽kohonen神經(jīng)網(wǎng)絡(luò)2kohonen神經(jīng)網(wǎng)絡(luò)背景在生物神經(jīng)系統(tǒng)中，存在著一種側(cè)抑制現(xiàn)象，即一個(gè)神經(jīng)細(xì)胞興奮以后，會(huì)對(duì)周圍其他神經(jīng)細(xì)胞產(chǎn)生抑制作用。這種抑制作用會(huì)使神經(jīng)細(xì)胞之間出現(xiàn)競(jìng)爭(zhēng)，其結(jié)果是某些獲勝，而另一些則失敗。表現(xiàn)形式是獲勝神經(jīng)細(xì)胞興奮，失敗神經(jīng)細(xì)胞抑制。kohonen神經(jīng)網(wǎng)絡(luò)就是模擬上述生物神經(jīng)系統(tǒng)功能的人工神經(jīng)網(wǎng)絡(luò)。3kohonen神經(jīng)網(wǎng)絡(luò)kohonen神經(jīng)網(wǎng)絡(luò)是一種無(wú)監(jiān)督學(xué)習(xí)，具有自組織功能的神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)通過(guò)自身的訓(xùn)練，能自動(dòng)對(duì)輸入模式進(jìn)行分類。自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及其學(xué)習(xí)規(guī)則與其他神經(jīng)網(wǎng)絡(luò)相比有自己的特點(diǎn)。在網(wǎng)絡(luò)結(jié)構(gòu)上，它一般是由輸入層和競(jìng)爭(zhēng)層構(gòu)成的兩層網(wǎng)絡(luò)。兩層之間各神經(jīng)元實(shí)現(xiàn)雙向連接，而且網(wǎng)絡(luò)沒(méi)有隱含層。有時(shí)競(jìng)爭(zhēng)層各神經(jīng)元之間還存在橫向連接。4kohonen神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)算法上，它模擬生物神經(jīng)元之間的興奮、協(xié)調(diào)與抑制、競(jìng)爭(zhēng)作用的信息處理的動(dòng)力學(xué)原理來(lái)指導(dǎo)網(wǎng)絡(luò)的學(xué)習(xí)與工作，而不像大多數(shù)神經(jīng)網(wǎng)絡(luò)那樣是以網(wǎng)絡(luò)的誤差或能量函數(shù)作為算法的準(zhǔn)則。競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)構(gòu)成的基本思想是網(wǎng)絡(luò)的競(jìng)爭(zhēng)層各神經(jīng)元競(jìng)爭(zhēng)對(duì)輸入模式響應(yīng)的機(jī)會(huì)，最后僅有一個(gè)神經(jīng)元成為競(jìng)爭(zhēng)的勝者。這一獲勝神經(jīng)元?jiǎng)t表示對(duì)輸入模式的分類。5kohonen神經(jīng)網(wǎng)絡(luò)kohonen神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)競(jìng)爭(zhēng)層輸入層kohonen概念與原理6kohonen神經(jīng)網(wǎng)絡(luò)分類——分類是在類別知識(shí)等導(dǎo)師信號(hào)的指導(dǎo)下，將待識(shí)別的輸入模式分配到各自的模式類中去。聚類——無(wú)導(dǎo)師指導(dǎo)的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類，而將不相似的分離開(kāi)。競(jìng)爭(zhēng)學(xué)習(xí)的概念7kohonen神經(jīng)網(wǎng)絡(luò)

相似性度量＿歐式距離法兩個(gè)模式向量的歐式距離越小，兩個(gè)向量越接近，因此認(rèn)為這兩個(gè)模式越相似，當(dāng)兩個(gè)模式完全相同時(shí)其歐式距離為零。如果對(duì)同一類內(nèi)各個(gè)模式向量間的歐式距離作出規(guī)定，不允許超過(guò)某一最大值T，則最大歐式距離T就成為一種聚類判據(jù)，同類模式向量的距離小于T，兩類模式向量的距離大于T。8kohonen神經(jīng)網(wǎng)絡(luò)

相似性測(cè)量＿余弦法兩個(gè)模式向量越接近，其夾角越小，余弦越大。當(dāng)兩個(gè)模式向量完全相同時(shí)，其余弦?jiàn)A角為1。如果對(duì)同一類內(nèi)各個(gè)模式向量間的夾角作出規(guī)定，不允許超過(guò)某一最大夾角a，則最大夾角就成為一種聚類判據(jù)。同類模式向量的夾角小于a，兩類模式向量的夾角大于a。余弦法適合模式向量長(zhǎng)度相同和模式特征只與向量方向相關(guān)的相似性測(cè)量。9kohonen神經(jīng)網(wǎng)絡(luò)1981年芬蘭Helsink大學(xué)的T.Kohonen教授提出一種自組織特征映射網(wǎng)，簡(jiǎn)稱SOM網(wǎng)，又稱Kohonen網(wǎng)。Kohonen認(rèn)為：一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時(shí)，將會(huì)分為不同的對(duì)應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征，而且這個(gè)過(guò)程是自動(dòng)完成的。自組織特征映射正是根據(jù)這一看法提出來(lái)的，其特點(diǎn)與人腦的自組織特性相類似。kohonen神經(jīng)網(wǎng)絡(luò)10kohonen神經(jīng)網(wǎng)絡(luò)(1)初始化對(duì)輸出層各權(quán)向量賦小隨機(jī)數(shù)并進(jìn)行歸一化處理，得到，j=1,2,…m；建立初始優(yōu)勝鄰域Nj*(0)；學(xué)習(xí)率

賦初始值。(2)接受輸入從訓(xùn)練集中隨機(jī)選取一個(gè)輸入模式并進(jìn)行歸一化處理，得到，p

{1,2,…,P}。(3)尋找獲勝節(jié)點(diǎn)計(jì)算與的點(diǎn)積，j=1,2,…m，從中選出點(diǎn)積最大的獲勝節(jié)點(diǎn)j*。Kohonen學(xué)習(xí)算法（勝者全?。?1kohonen神經(jīng)網(wǎng)絡(luò)(4)定義優(yōu)勝鄰域Nj*(t)以j*為中心確定t時(shí)刻的權(quán)值調(diào)整域，一般初始鄰域Nj*(0)較大，訓(xùn)練過(guò)程中Nj*(t)隨訓(xùn)練時(shí)間逐漸收縮。12kohonen神經(jīng)網(wǎng)絡(luò)(5)調(diào)整權(quán)值對(duì)優(yōu)勝鄰域Nj*(t)內(nèi)的所有節(jié)點(diǎn)調(diào)整權(quán)值：

i=1,2,…n

j

Nj*(t)

式中，是訓(xùn)練時(shí)間t

和鄰域內(nèi)第j個(gè)神經(jīng)元與獲勝經(jīng)元j*之間的拓?fù)渚嚯xN

的函數(shù)，該函數(shù)一般有以下規(guī)律：(6)輸出結(jié)果獲勝節(jié)點(diǎn)為1，其他節(jié)點(diǎn)為0；13kohonen神經(jīng)網(wǎng)絡(luò)(7)結(jié)束檢查學(xué)習(xí)率是否衰減到零或某個(gè)預(yù)定的正小數(shù)14kohonen神經(jīng)網(wǎng)絡(luò)kohonen神經(jīng)網(wǎng)絡(luò)