自適應(yīng)神經(jīng)網(wǎng)絡(luò)

1、.,自組織神經(jīng)網(wǎng)絡(luò)（SONN）,石偉,.,SONN,目錄 1.SONN概述 2.競爭學(xué)習(xí)的概念 3.競爭學(xué)習(xí)的原理 4.自組織特征映射（SOM）神經(jīng)網(wǎng)絡(luò),.,SONN概述,在人類的認(rèn)識過程中，除了從教師那里得到知識外，還有一種不需要通過教師，自動向環(huán)境學(xué)習(xí)的能力，這種僅依靠環(huán)境刺激的“無師自通”的功能稱為自組織學(xué)習(xí)方法。 通過自動尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。 自組織網(wǎng)絡(luò)的自組織功能是通過競爭學(xué)習(xí)（competitive learning）實(shí)現(xiàn)的。,.,自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)具有一個(gè)輸入層和一個(gè)競爭層 輸入層負(fù)責(zé)接受外界信息并將輸入模式向競爭層傳遞，起觀

2、察作用。 競爭層負(fù)責(zé)對該模式進(jìn)行分析比較”，找出規(guī)律以正確分類。 這種功能是通過下面要介紹的競爭機(jī)制實(shí)現(xiàn)的。,SONN概述,.,競爭學(xué)習(xí)的概念,競爭學(xué)習(xí)是自組織網(wǎng)絡(luò)中最常用的一種學(xué)習(xí)策略，首先說明與之相關(guān)的幾個(gè)基本概念。 模式：一般當(dāng)網(wǎng)絡(luò)涉及識別、分類問題時(shí)，常用輸入模式（而不稱輸入樣本）； 分類：將待識別的輸入模式劃分為各自的模式類中去； 聚類：無導(dǎo)師指導(dǎo)的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類； 相似性：輸入模式的聚類依據(jù)。,.,競爭學(xué)習(xí)的概念,相似性測量 神經(jīng)網(wǎng)絡(luò)的輸入模式用向量表示，比較不同模式的相似性可轉(zhuǎn)化為比較兩個(gè)向量的距離，因而可用模式向量間的距離作為聚類判據(jù)。 模式

3、識別中常用到的兩種聚類判據(jù)是歐式最小距離法和余弦法。,.,競爭學(xué)習(xí)的概念,（1）歐式距離法 X和Xi 兩向量歐式距離 : 兩個(gè)模式向量的歐式距離越小，兩個(gè)模式越相似，當(dāng)兩個(gè)模式完全相同時(shí)，其歐式距離為零。如果對同一類內(nèi)各個(gè)模式向量間的歐式距離作出規(guī)定，不允許超過某一最大值 T，則最大歐式距離 T 就成為一種聚類判據(jù)。,.,競爭學(xué)習(xí)的概念,（2）余弦法 計(jì)算兩個(gè)模式向量夾角的余弦： 兩個(gè)模式向量越接近，其類角越小，余弦越大。當(dāng)兩個(gè)模式向量完全相同時(shí)，其夾角余弦為1。 若同類內(nèi)各模式向量間的夾角規(guī)定不大于T，則成為一種聚類判據(jù)。余弦法適合模式向量長度相同或模式特征只與向量方向相關(guān)的相似性測量。,.

4、,競爭學(xué)習(xí)原理（規(guī)則）,實(shí)驗(yàn)表明，人眼的視網(wǎng)膜、脊髓和海馬中存一種側(cè)抑制現(xiàn)象，即，當(dāng)一個(gè)神經(jīng)細(xì)胞興奮后，會對其周圍的神經(jīng)細(xì)胞產(chǎn)生抑制作用。 最強(qiáng)的抑制關(guān)系是競爭獲勝者“惟我獨(dú)興”，不允許其它神經(jīng)元興奮，這種抑制方式也稱為勝者為王。 競爭學(xué)習(xí)采用的規(guī)則是勝者為王，該算法可分為3個(gè)步驟。,.,競爭學(xué)習(xí)原理（規(guī)則）,(1)向量歸一化 將自組織網(wǎng)絡(luò)中的當(dāng)前輸入模式向量X和競爭層中各神經(jīng)元對應(yīng)的內(nèi)星權(quán)向量Wj(j=1,2,m)全部進(jìn)行歸一化處理。 得到 ：,.,競爭學(xué)習(xí)原理（規(guī)則）,向量歸一化之前 向量歸一化之后,.,競爭學(xué)習(xí)原理（規(guī)則）,（2）尋找獲勝神經(jīng)元 當(dāng)網(wǎng)絡(luò)得到一個(gè)輸入模式向量時(shí)，競爭層的所有

5、神經(jīng)元對應(yīng)的內(nèi)星權(quán)向量均與其進(jìn)行相似性比較，并將最相似的內(nèi)星權(quán)向量判為競爭獲勝神經(jīng)元。 欲使兩單位向量最相似，須兩單位向量的歐式距離最小，即其點(diǎn)積最大。即： 因此，求最小歐式距離的問題就轉(zhuǎn)化為按此式求最大點(diǎn)積的問題，而且權(quán)向量與輸入向量的點(diǎn)積正是競爭層神經(jīng)元的凈輸入。,.,競爭學(xué)習(xí)原理（規(guī)則）,3.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整 勝者為王競爭學(xué)習(xí)算法規(guī)定，獲勝神經(jīng)元輸出為1，其余輸出為零。即 只有獲勝神經(jīng)元才有權(quán)調(diào)整其權(quán)向量，調(diào)整后權(quán)向量為 應(yīng)注意，歸一化后的權(quán)向量經(jīng)過調(diào)整后得到的新向量不再是單位向量，需要重新歸一化。步驟（3）完成后回到步驟（1）繼續(xù)訓(xùn)練，直到學(xué)習(xí)率 衰減到零。,.,競爭學(xué)習(xí)原理（規(guī)則）

6、,例4.1 用競爭學(xué)習(xí)算法將下列各模式分為2類： 解：為作圖方便，將上述模式轉(zhuǎn)換成極坐標(biāo)形式 ： 歸一化的初始權(quán)值為 設(shè)為0.5,輸入x1后,權(quán)值變化為:,.,競爭學(xué)習(xí)原理（規(guī)則）,.,競爭學(xué)習(xí)原理（規(guī)則）,.,競爭學(xué)習(xí)原理（規(guī)則）,.,競爭學(xué)習(xí)原理（規(guī)則）,.,競爭學(xué)習(xí)原理（規(guī)則）,.,競爭學(xué)習(xí)原理（規(guī)則）,.,自組織特征映射（SOM）神經(jīng)網(wǎng)絡(luò),1981年芬蘭Helsink大學(xué)的T.Kohonen教授提出一種自組織特征映射網(wǎng)，簡稱SOM網(wǎng)，又稱Kohonen網(wǎng)。 Kohonen認(rèn)為：一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時(shí)，將會分為不同的對應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征，而且這個(gè)過程是自動

7、完成的。自組織特征映射正是根據(jù)這一看法提出來的，其特點(diǎn)與人腦的自組織特性相類似。,.,自組織特征映射（SOM）神經(jīng)網(wǎng)絡(luò),4.2.1SOM網(wǎng)絡(luò)的生物學(xué)基礎(chǔ) 生物學(xué)研究表明：人的大腦皮層中，存在許多不同功能的神經(jīng)網(wǎng)絡(luò)區(qū)域，每個(gè)功能區(qū)域完成各自的特定功能，如視覺、聽覺、語言理解和運(yùn)動控制等等。 當(dāng)人腦通過感官接受外界的特定時(shí)空信息時(shí)，將引起大腦皮層的特定區(qū)域興奮。每個(gè)區(qū)域有若干神經(jīng)元組成，當(dāng)該區(qū)域興奮時(shí)，總是以某一個(gè)神經(jīng)元（細(xì)胞）為興奮中心，呈現(xiàn)出墨西哥帽（Mexican Hat）式興奮分布。,.,自組織特征映射（SOM）神經(jīng)網(wǎng)絡(luò),SOM網(wǎng)的拓?fù)浣Y(jié)構(gòu) SOM網(wǎng)絡(luò)共有兩層，輸入層模擬感知外界輸入信息的

8、視網(wǎng)膜。輸出層模擬做出響應(yīng)的大腦皮層。輸出層也是競爭層，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)形式常見有一維線陣和二維平面陣。,.,自組織特征映射（SOM）神經(jīng)網(wǎng)絡(luò),SOM網(wǎng)絡(luò)的運(yùn)行原理 SOM網(wǎng)絡(luò)表現(xiàn)為：網(wǎng)絡(luò)隨機(jī)輸入模式時(shí)，對某個(gè)特定的輸入模式，輸出層會有某個(gè)節(jié)點(diǎn)產(chǎn)生最大響應(yīng)而獲勝。按生物區(qū)域神經(jīng)興奮機(jī)制，獲勝神經(jīng)元對其鄰近神經(jīng)元存在一種側(cè)抑制（競爭）機(jī)制。 SOM網(wǎng)絡(luò)的側(cè)抑制方式是：以獲勝神經(jīng)元為中心權(quán)值調(diào)整量最強(qiáng)，且由近及遠(yuǎn)地逐漸遞減程度不同的調(diào)整權(quán)向量直到抑制。 以獲勝神經(jīng)元為中心設(shè)定一個(gè)鄰域優(yōu)勝域。優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠(yuǎn)近不同程度地調(diào)整權(quán)值。優(yōu)勝鄰域開始可定義得較大，但其大小隨著訓(xùn)練次數(shù)的增加不斷收縮，最終收縮到半徑為零。,.,自組織特征映射（SOM）神經(jīng)網(wǎng)絡(luò),SOM網(wǎng)絡(luò)的學(xué)習(xí)算法 SOM網(wǎng)絡(luò)采用的學(xué)習(xí)算法稱Kohonen算法，是在勝者為王算法基礎(chǔ)上加以改進(jìn)而成。其主要區(qū)別在于調(diào)整權(quán)向量的側(cè)抑制方式不同。勝者為王算法中，獲勝神經(jīng)元對周圍神經(jīng)元的抑制是“封殺”式的（只獲勝神經(jīng)調(diào)整權(quán)向量，周圍其它無權(quán)調(diào)整） 。 Kohonen算法采用優(yōu)勝域思想，模擬生物區(qū)域神經(jīng)興奮競爭機(jī)制。,.,自組織特征映射（SOM）神經(jīng)網(wǎng)絡(luò),Kohonen學(xué)習(xí)算法程序流程,.,自組織特征映射（SOM）神經(jīng)網(wǎng)絡(luò),SOM網(wǎng)絡(luò)的功能 (1)保序映射將輸入空間