人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用之自組織網(wǎng)絡(luò)

1、人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第6講自組織網(wǎng)絡(luò)一、自組織神經(jīng)網(wǎng)絡(luò)二、自組織競爭網(wǎng)絡(luò)三、科荷倫網(wǎng)絡(luò)四、自適應(yīng)共振網(wǎng)絡(luò)五、內(nèi)容小結(jié)六、考試事宜內(nèi)容安排2021-10-2921.1 自組織網(wǎng)絡(luò)特點1.2 網(wǎng)絡(luò)類型1.3 網(wǎng)絡(luò)學(xué)習(xí)規(guī)則一、自組織神經(jīng)網(wǎng)絡(luò)2021-10-2931.1 自組織網(wǎng)絡(luò)特點特點 自組織神經(jīng)網(wǎng)絡(luò)可以自動向環(huán)境學(xué)習(xí)，不需要教師指導(dǎo)；而前面所講到的前向網(wǎng)絡(luò)、反饋網(wǎng)絡(luò)均需要教師指導(dǎo)學(xué)習(xí) 與BP網(wǎng)絡(luò)相比，這種自組織自適應(yīng)的學(xué)習(xí)能力進(jìn)一步拓寬了人工神經(jīng)網(wǎng)絡(luò)在模式識別、分類方面的應(yīng)用思想基礎(chǔ) 生物的神經(jīng)網(wǎng)絡(luò)中，如人的視網(wǎng)膜中，存在著一種“側(cè)抑制”現(xiàn)象，即一個神經(jīng)細(xì)胞興奮后，通過它的分支會對周圍其他神經(jīng)細(xì)

2、胞產(chǎn)生抑制 借鑒上述思想，自組織網(wǎng)絡(luò)能夠?qū)斎肽Ｊ竭M(jìn)行自組織訓(xùn)練和判斷，并將輸入模式分為不同的類型2021-10-2941.2 網(wǎng)絡(luò)類型需要訓(xùn)練 自組織競爭網(wǎng)絡(luò) 適用與具有典型聚類特性的大量數(shù)據(jù)的辨識 Kohunen網(wǎng)絡(luò) 訓(xùn)練學(xué)習(xí)后使網(wǎng)絡(luò)權(quán)值分布與輸入樣本概率密度分布相似 可以作為樣本特征檢測儀，在樣本排序、樣本分類及樣本檢測方面有廣泛應(yīng)用 對傳網(wǎng)絡(luò)（Counter Propagation Network） 在功能上用作統(tǒng)計最優(yōu)化和概率密度函數(shù)分析 可用于圖像處理和統(tǒng)計分析 神經(jīng)認(rèn)知機等不需要訓(xùn)練 自適應(yīng)共振理論（ART） 分類的類型數(shù)目可自適應(yīng)增加2021-10-2951.3 網(wǎng)絡(luò)學(xué)習(xí)規(guī)則格

3、勞斯貝格(SGrossberg)提出了兩種類型的神經(jīng)元模型：內(nèi)星與外星，用以來解釋人類及動物的學(xué)習(xí)現(xiàn)象 內(nèi)星可以被訓(xùn)練來識別矢量 外星可以被訓(xùn)練來產(chǎn)生矢量基本學(xué)習(xí)規(guī)則 內(nèi)星學(xué)習(xí)規(guī)則 外星學(xué)習(xí)規(guī)則 科荷倫學(xué)習(xí)規(guī)則2021-10-2961.3.1 內(nèi)星與外星外星通過聯(lián)接權(quán)矢量向外輸出一組信號A內(nèi)星通過聯(lián)接權(quán)矢量W接受一組輸入信號P 2021-10-2971.3.2 內(nèi)星學(xué)習(xí)規(guī)則可以通過內(nèi)星及其學(xué)習(xí)規(guī)則可訓(xùn)練某一神經(jīng)元節(jié)點只響應(yīng)特定的輸入矢量P，它借助于調(diào)節(jié)網(wǎng)絡(luò)權(quán)矢量W近似于輸入矢量P來實現(xiàn)的單內(nèi)星中對權(quán)值修正的格勞斯貝格內(nèi)星學(xué)習(xí)規(guī)則為內(nèi)星神經(jīng)元聯(lián)接強度的變化w1j與輸出成正比的。 如果內(nèi)星輸出a被

4、某一外部方式而維護(hù)高值時，通過不斷反復(fù)地學(xué)習(xí)，趨使w1j逐漸減少，直至最終達(dá)到w1jpj，從而使內(nèi)星權(quán)矢量學(xué)習(xí)了輸入矢量P，達(dá)到了用內(nèi)星來識別一個矢量的目的 另一方面，如果內(nèi)星輸出保持為低值時，網(wǎng)絡(luò)權(quán)矢量被學(xué)習(xí)的可能性較小，甚至不能被學(xué)習(xí)2021-10-2981.3.3 外星學(xué)習(xí)規(guī)則外星網(wǎng)絡(luò)的激活函數(shù)是線性函數(shù)。它被用來學(xué)習(xí)回憶一個矢量，其網(wǎng)絡(luò)輸入P也可以是另一個神經(jīng)元模型的輸出外星被訓(xùn)練來在一層s個線性神經(jīng)元的輸出端產(chǎn)生一個特別的矢量A對于一個外星，其學(xué)習(xí)規(guī)則為與內(nèi)星不同，外星聯(lián)接強度的變化w是與輸入矢量P成正比的 當(dāng)輸入矢量被保持高值，比如接近1時，每個權(quán)值wij將趨于輸出ai值，若pj1

5、，則外星使權(quán)值產(chǎn)生輸出矢量 當(dāng)輸入矢量pj為0時，網(wǎng)絡(luò)權(quán)值得不到任何學(xué)習(xí)與修正2021-10-2991.3.3 外星學(xué)習(xí)規(guī)則當(dāng)有r個外星相并聯(lián)，每個外星與s個線性神經(jīng)元相連組成一層外星時，其權(quán)值修正方式為 Wsr權(quán)值列矢量 lr學(xué)習(xí)速率 Asq外星輸出 Prq外星輸入2021-10-29101.3.4 科荷倫學(xué)習(xí)規(guī)則科荷倫學(xué)習(xí)規(guī)則是由內(nèi)星規(guī)則發(fā)展而來的科荷倫規(guī)則科荷倫學(xué)習(xí)規(guī)則實際上是內(nèi)星學(xué)習(xí)規(guī)則的一個特例，但它比采用內(nèi)星規(guī)則進(jìn)行網(wǎng)絡(luò)設(shè)計要節(jié)省更多的學(xué)習(xí)，因而常常用來替代內(nèi)星學(xué)習(xí)規(guī)則2021-10-2911二、自組織網(wǎng)絡(luò)2.1 網(wǎng)絡(luò)模型2.2 競爭網(wǎng)絡(luò)原理2.3 網(wǎng)絡(luò)訓(xùn)練2021-10-2912

6、2.1 網(wǎng)絡(luò)模型網(wǎng)絡(luò)結(jié)構(gòu) 競爭網(wǎng)絡(luò)由單層神經(jīng)元網(wǎng)絡(luò)組成，其輸入節(jié)點與輸出節(jié)點之間為全互聯(lián)結(jié)。 因為網(wǎng)絡(luò)在學(xué)習(xí)中的競爭特性也表現(xiàn)在輸出層上，所以在競爭網(wǎng)絡(luò)中把輸出層又稱為競爭層，而與輸入節(jié)點相連的權(quán)值及其輸入合稱為輸入層2021-10-29132.1 網(wǎng)絡(luò)模型網(wǎng)絡(luò)權(quán)值的類型 輸入節(jié)點j到i的權(quán)值wij(i1，2、s；j1，2、r)，這些權(quán)值是通過訓(xùn)練可以被調(diào)整的 競爭層中互相抑制的權(quán)值wik(k1，2、s)。這類權(quán)值固定不變，且滿足一定的分布關(guān)系 是一種對稱權(quán)值，即有wikwki 相同神經(jīng)元之間的權(quán)值起加強的作用，即滿足w11w11wkk0，而不同神經(jīng)元之間的權(quán)值相互抑制，對于ki有wij020

7、21-10-29142.1 網(wǎng)絡(luò)模型網(wǎng)絡(luò)工作方式 輸入矢量經(jīng)過網(wǎng)絡(luò)前向傳遞 網(wǎng)絡(luò)競爭 激活函數(shù)為硬限制二值函數(shù) 競爭網(wǎng)絡(luò)的激活函數(shù)使加權(quán)輸入和為最大的節(jié)點贏得輸出為1，而其他神經(jīng)元的輸出皆為0(?) 權(quán)值調(diào)整（可以處于訓(xùn)練與工作期間） 競爭網(wǎng)絡(luò)在經(jīng)過競爭而求得獲勝節(jié)點后，則對與獲勝節(jié)點相連的權(quán)值進(jìn)行調(diào)整 調(diào)整權(quán)值的目的是為了使權(quán)值與其輸入矢量之間的差別越來越小，從而使訓(xùn)練后的競爭網(wǎng)絡(luò)的權(quán)值能夠代表對應(yīng)輸入矢量的特征2021-10-29152.2 競爭網(wǎng)絡(luò)原理競爭網(wǎng)絡(luò)解釋 設(shè)網(wǎng)絡(luò)的輸入矢量為：P p1 p2 prT 對應(yīng)網(wǎng)絡(luò)的輸出矢量為：Aa1 a2 asT 由于競爭網(wǎng)絡(luò)中含有兩種權(quán)值，所以其激

8、活函數(shù)的加權(quán)輸入和也分為兩部分：來自輸入節(jié)點的加權(quán)輸入和N與來自競爭層內(nèi)互相抑制的加權(quán)輸入和G。對于第i個神經(jīng)元有 來自輸入節(jié)點的加權(quán)輸入和為 來自競爭層內(nèi)互相抑制的加權(quán)輸入和為2021-10-29162.2 競爭網(wǎng)絡(luò)原理對于第i個輸出神經(jīng)元 假設(shè)競爭獲勝，則有 從而 如果競爭后第i個節(jié)點“輸”了，而“贏”的節(jié)點為l，則有2021-10-29172.2 競爭網(wǎng)絡(luò)原理所以對整個網(wǎng)絡(luò)的加權(quán)輸入總和有下式成立 sl=nl+wll 對于“贏”的節(jié)點l si=ni-|wii| 對于所有”輸“的節(jié)點i1，2s，il由此可以看出，經(jīng)過競爭后只有獲勝的那個節(jié)點的加權(quán)輸入總和為最大競爭網(wǎng)絡(luò)的輸出為因此判斷競爭網(wǎng)

9、絡(luò)節(jié)點勝負(fù)的結(jié)果時，可直接采用ni2021-10-29182.3 網(wǎng)絡(luò)訓(xùn)練競爭網(wǎng)絡(luò)修正權(quán)值的公式為 式中l(wèi)r為學(xué)習(xí)速率，且0lr1，一般的取值范圍為0.01-0.3； pj為經(jīng)過歸一化處理后的輸入層中每個最接近輸入矢量的神經(jīng)元，通過每次權(quán)值調(diào)整而使權(quán)值矢量逐漸趨于這些輸入矢量。從而競爭網(wǎng)絡(luò)通過學(xué)習(xí)而識別了在網(wǎng)絡(luò)輸入端所出現(xiàn)的矢量，并將其分為某一類2021-10-29192.3 網(wǎng)絡(luò)訓(xùn)練舉例 考慮當(dāng)不同的輸入矢量p1和p2分別出現(xiàn)在同一內(nèi)星時的情況 為了訓(xùn)練的需要，必須將每一輸入矢量都進(jìn)行單位歸一化處理 當(dāng)?shù)谝粋€矢量p1輸入給內(nèi)星后，網(wǎng)絡(luò)經(jīng)過訓(xùn)練，最終達(dá)到W(p1)T。 給內(nèi)星輸入另一個輸入矢量

10、p2，此時內(nèi)星的加權(quán)輸入和為新矢量p2與已學(xué)習(xí)過矢量p1的點積 輸入矢量的模已被單位化為1，所以內(nèi)星的加權(quán)輸入和等于輸入矢量p1和p2之間夾角的余弦2021-10-29202.3 網(wǎng)絡(luò)訓(xùn)練根據(jù)不同的情況，內(nèi)星的加權(quán)輸入和可分為如下幾種情況 p2等于p1，即有120，此時，內(nèi)星加權(quán)輸入和為1 p2不等于p1，內(nèi)星加權(quán)輸入和為0,按照科荷倫學(xué)習(xí)規(guī)則修改競爭層權(quán)值以使該類權(quán)值更加接近于新輸入模式 如果R=0,在網(wǎng)絡(luò)中設(shè)立一個新模式，用以代表和記憶新模式，并將其歸結(jié)為已有的代表類別，成為R層的一個新的輸出節(jié)點，作為以后可能輸入的代表模式 權(quán)值修正階段 當(dāng)外界輸入P與所激活的外星權(quán)矢量充分相似時，網(wǎng)絡(luò)發(fā)

11、生共振，本次學(xué)習(xí)與訓(xùn)練結(jié)束 否則，進(jìn)行特別的處理，直到共振現(xiàn)象發(fā)生時對本次輸入的訓(xùn)練過程才最終結(jié)束2021-10-2933五、內(nèi)容小結(jié)本次課程簡單介紹自組織神經(jīng)網(wǎng)絡(luò)的特點以及與其它類型神經(jīng)網(wǎng)絡(luò)的區(qū)別介紹了自組織神經(jīng)網(wǎng)絡(luò)的三種學(xué)習(xí)規(guī)則；四種神經(jīng)網(wǎng)絡(luò)類型對自組織競爭網(wǎng)絡(luò)、科荷倫網(wǎng)絡(luò)和ART網(wǎng)絡(luò)的原理、網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練與工作方式進(jìn)行了介紹ART網(wǎng)絡(luò)相對其它自組織網(wǎng)絡(luò)之間有較大的優(yōu)勢，將學(xué)習(xí)與工作過程結(jié)合在一起，并較好地解決了學(xué)習(xí)與記憶的問題2021-10-2934五、內(nèi)容小結(jié)本學(xué)期神經(jīng)網(wǎng)絡(luò)課程的全部內(nèi)容至此結(jié)束主要的內(nèi)容包括 簡單介紹人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)系統(tǒng)、人工智能學(xué)科之間關(guān)系 介紹了神經(jīng)網(wǎng)絡(luò)的基

12、本網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)規(guī)則 以典型網(wǎng)絡(luò)模型為代表分別介紹了三種主要的神經(jīng)網(wǎng)絡(luò)，前向神經(jīng)網(wǎng)絡(luò)、反饋神經(jīng)網(wǎng)絡(luò)和自組織神經(jīng)網(wǎng)絡(luò) 介紹了學(xué)習(xí)和應(yīng)用神經(jīng)網(wǎng)絡(luò)的基本方法 網(wǎng)絡(luò)設(shè)計思想 網(wǎng)絡(luò)結(jié)構(gòu)和應(yīng)用設(shè)計 學(xué)習(xí)與訓(xùn)練算法 簡單分析了神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性問題及理論 BP網(wǎng)絡(luò)的收斂速度和穩(wěn)定問題 反饋網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)的穩(wěn)定性問題神經(jīng)網(wǎng)絡(luò)更多精彩之處需要大家在今后的學(xué)習(xí)與應(yīng)用中去發(fā)掘，包括穩(wěn)定性、隨機神經(jīng)網(wǎng)絡(luò)、VLSI設(shè)計等2021-10-2935六、考試事宜考試內(nèi)容：以上課所講內(nèi)容為主考試方式：閉卷考試時間：課程結(jié)束后四周Research Report上交時間：課程結(jié)束后八周 可以以個人或者小組方式提交Research Report 內(nèi)容可以包括各種神經(jīng)網(wǎng)絡(luò)研究進(jìn)展、應(yīng)用的概述，