CMAC小腦神經(jīng)網(wǎng)絡(luò)-最新課件

1、第5章 CMAC小腦神經(jīng)網(wǎng)絡(luò)前面幾章介紹的BP神經(jīng)網(wǎng)絡(luò)、Hopfield神經(jīng)網(wǎng)絡(luò)和BAM神經(jīng)網(wǎng)絡(luò)分別屬于前饋和反饋神經(jīng)網(wǎng)絡(luò)，這主要是從網(wǎng)絡(luò)的結(jié)構(gòu)來(lái)劃分的。如果從神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近功能這個(gè)角度來(lái)分，神經(jīng)網(wǎng)絡(luò)可以分為全局逼近網(wǎng)絡(luò)和局部逼近網(wǎng)絡(luò)。若神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)可調(diào)參數(shù)（權(quán)值和閾值）在輸入空間的每一點(diǎn)對(duì)任何一個(gè)輸出都有影響，則稱(chēng)該神經(jīng)網(wǎng)絡(luò)為全局逼近網(wǎng)絡(luò)，前面介紹的多層前饋BP網(wǎng)絡(luò)是全局逼近網(wǎng)絡(luò)的典型例子。對(duì)于每個(gè)輸入輸出數(shù)據(jù)對(duì)，網(wǎng)絡(luò)的每一個(gè)連接權(quán)均需進(jìn)行調(diào)整，從而導(dǎo)致全局逼近網(wǎng)絡(luò)學(xué)習(xí)速度變慢，對(duì)于有實(shí)時(shí)性要求的應(yīng)用來(lái)說(shuō)常常是不可容忍的。如果對(duì)網(wǎng)絡(luò)輸入空間的某個(gè)局部區(qū)域只有少數(shù)幾個(gè)連接權(quán)影響網(wǎng)絡(luò)

2、輸出，則稱(chēng)網(wǎng)絡(luò)為局部逼近網(wǎng)絡(luò)。對(duì)于每個(gè)輸入輸出數(shù)據(jù)對(duì)，只有少量的連接權(quán)需要進(jìn)行調(diào)整，從而使局部逼近網(wǎng)絡(luò)具有學(xué)習(xí)速度快的優(yōu)點(diǎn)，這一點(diǎn)對(duì)于有實(shí)時(shí)性要求的應(yīng)用來(lái)說(shuō)至關(guān)重要。目前常用的局部逼近神經(jīng)網(wǎng)絡(luò)有CMAC網(wǎng)絡(luò)、徑向基函數(shù)RBF網(wǎng)絡(luò)和B樣條網(wǎng)絡(luò)等，其結(jié)構(gòu)原理相似，本書(shū)主要介紹CMAC神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)。1975年J.S.Albus提出一種模擬小腦功能的神經(jīng)網(wǎng)絡(luò)模型，稱(chēng)為Cerebellar Model Articulation Controller1-2，簡(jiǎn)稱(chēng)CMAC。CMAC網(wǎng)絡(luò)是仿照小腦控制肢體運(yùn)動(dòng)的原理而建立的神經(jīng)網(wǎng)絡(luò)模型。小腦指揮運(yùn)動(dòng)時(shí)具有不假思索地作出條件反射迅速響應(yīng)的特點(diǎn)，這種條

3、件反射式響應(yīng)是一種迅速聯(lián)想。CMAC網(wǎng)絡(luò)有3個(gè)特點(diǎn)：· 作為一種具有聯(lián)想功能的神經(jīng)網(wǎng)絡(luò)，它的聯(lián)想具有局部推廣（或稱(chēng)泛化）能力，因此相似的輸入將產(chǎn)生相似的輸出，反之則產(chǎn)生獨(dú)立的輸出。· 對(duì)于網(wǎng)絡(luò)的每一個(gè)輸出，只有很少的神經(jīng)元所對(duì)應(yīng)的權(quán)值對(duì)其有影響，哪些神經(jīng)元對(duì)輸出有影響則由輸入決定。· CMAC的每個(gè)神經(jīng)元的輸入輸出是一種線性關(guān)系，但其總體上可看做一種表達(dá)非線性映射的表格系統(tǒng)。由于CMAC網(wǎng)絡(luò)的學(xué)習(xí)只在線性映射部分，因此可采用簡(jiǎn)單的算法，其收斂速度比BP算法快得多，且不存在局部極小問(wèn)題。CMAC最初主要用來(lái)求解機(jī)械手的關(guān)節(jié)運(yùn)動(dòng)，后來(lái)被進(jìn)一步應(yīng)用于機(jī)械人控制、模式識(shí)別

4、、信號(hào)處理以及自適應(yīng)控制等領(lǐng)域3-4。5.1 CMAC結(jié)構(gòu)及工作原理55.1.1 CMAC結(jié)構(gòu)簡(jiǎn)單的CMAC結(jié)構(gòu)如圖5-1所示，圖中表示維輸入狀態(tài)空間，為具有個(gè)單元的存儲(chǔ)區(qū)（又稱(chēng)為相聯(lián)空間或概念記憶空間）。設(shè)CMAC網(wǎng)絡(luò)的輸入向量用維輸入狀態(tài)空間X中的點(diǎn)表示，對(duì)應(yīng)的輸出向量用表示，圖中，輸入空間的一個(gè)點(diǎn)將同時(shí)激活中的個(gè)元素（圖5-1中4），使其同時(shí)為1，而其他大多數(shù)元素為0，網(wǎng)絡(luò)的輸出即為中4個(gè)被激活單元的對(duì)應(yīng)權(quán)值累加和。稱(chēng)為泛化參數(shù)，反應(yīng)網(wǎng)絡(luò)泛化能力大小，也可將其看做信號(hào)檢測(cè)單元的感受野大小。對(duì)CMAC來(lái)說(shuō)，其工作過(guò)程一般包括兩個(gè)方面： 結(jié)果輸出計(jì)算及誤差生成階段； 權(quán)值調(diào)整階段。圖5-1

5、CMAC網(wǎng)絡(luò)的結(jié)構(gòu)5.1.2 CMAC工作原理1CMAC的結(jié)果輸出計(jì)算及誤差產(chǎn)生階段一般來(lái)說(shuō)，實(shí)際應(yīng)用時(shí)輸入向量的各分量來(lái)自不同的傳感器，其值多為模擬量，而中每個(gè)元素只取0或1兩種值。為使空間的點(diǎn)映射為空間的離散點(diǎn)，必須先將模擬量量化，使其成為輸入狀態(tài)空間的離散點(diǎn)。設(shè)輸入向量的每一個(gè)分量可量化為個(gè)等級(jí)，則個(gè)分量可組合為輸入狀態(tài)空間種可能的狀態(tài)，。其中每一個(gè)狀態(tài)都要映射為空間存儲(chǔ)區(qū)的一個(gè)集合，的個(gè)元素均為1。從圖5-1可以看出，在空間接近的樣本和在中的映射和出現(xiàn)了交集，即它們對(duì)應(yīng)的4個(gè)權(quán)值中有兩個(gè)是相同的，因此有權(quán)值累加和計(jì)算的兩個(gè)輸出也較接近，從函數(shù)映射的角度看，這一特點(diǎn)可起到泛化的作用。顯然

6、，對(duì)相距很遠(yuǎn)的樣本和，映射到中的為空集，這種泛化不起作用，因此是一種局部泛化。輸入樣本在輸入空間距離越近，映射到存儲(chǔ)區(qū)后對(duì)應(yīng)交集中的元素就越接近，其對(duì)應(yīng)的輸入樣本在中產(chǎn)生的交集起到了將相近樣本聚類(lèi)的作用。為使對(duì)于空間的每一個(gè)狀態(tài)在空間均存在惟一的映射，應(yīng)使存儲(chǔ)區(qū)中單元的個(gè)數(shù)至少等于空間的狀態(tài)個(gè)數(shù)，即。設(shè)將三維輸入的每個(gè)分量量化為10個(gè)等級(jí)，則。對(duì)于許多實(shí)際系統(tǒng)，往往要比這個(gè)數(shù)字大得多，但由于大多數(shù)學(xué)習(xí)問(wèn)題不會(huì)包含所有可能的輸入值，實(shí)際上不需要個(gè)存儲(chǔ)單元來(lái)存放學(xué)習(xí)的權(quán)值。相當(dāng)于一種虛擬的內(nèi)存地址，每個(gè)虛擬地址和輸入狀態(tài)空間的一個(gè)樣本點(diǎn)相對(duì)應(yīng)。通過(guò)哈希編碼（Hash-coding）可將具有個(gè)存儲(chǔ)單

7、元的地址空間映射到一個(gè)小得多的物理地址連接中。對(duì)于每個(gè)輸入，中只有個(gè)單元為1，而其余的均為0，因此是一個(gè)稀疏矩陣。哈希編碼是壓縮稀疏矩陣的常用技術(shù)，具體方法是通過(guò)一個(gè)產(chǎn)生隨機(jī)數(shù)的程序來(lái)實(shí)現(xiàn)的。以的地址作為隨機(jī)數(shù)產(chǎn)生的程序的變量，產(chǎn)生的隨機(jī)數(shù)作為的地址。由于產(chǎn)生的隨機(jī)數(shù)限制在一個(gè)較小的整數(shù)范圍內(nèi)，因此遠(yuǎn)比小得多。顯然，從到的壓縮是一種多對(duì)少的隨機(jī)映射。在中，對(duì)每一個(gè)樣本有個(gè)隨機(jī)地址與之對(duì)應(yīng)，個(gè)地址存放的權(quán)值通過(guò)學(xué)習(xí)得到，其累加和即作為CMAC的輸出。其表達(dá)式為： （5-1）其中，為第j個(gè)存儲(chǔ)單元的權(quán)值，若激活，則其值為1，否則為0，只有個(gè)存儲(chǔ)單元對(duì)輸出有影響。相近的輸入激活的存儲(chǔ)單元有交疊，產(chǎn)生

8、相近的輸出，不相近的輸入將產(chǎn)生不相近的輸出。對(duì)應(yīng)的誤差表達(dá)式為： （5-2）2CMAC的權(quán)值調(diào)整階段CMAC算法中結(jié)果輸出階段從CMAC存儲(chǔ)單元產(chǎn)生一實(shí)際輸出，學(xué)習(xí)過(guò)程根據(jù)期望輸出與實(shí)際輸出的誤差大小來(lái)更新CMAC存儲(chǔ)單元中的權(quán)值。在常規(guī)CMAC算法中誤差被平均分配到所有被激活的存儲(chǔ)單元。設(shè)為某一狀態(tài)，是經(jīng)過(guò)第次迭代后存儲(chǔ)在第個(gè)存儲(chǔ)單元中的權(quán)值。常規(guī)CMAC更新算法為： （5-3）為狀態(tài)的期望輸出，為狀態(tài)的實(shí)際輸出，為學(xué)習(xí)常數(shù)。5.2 CMAC改進(jìn)學(xué)習(xí)算法在CMAC神經(jīng)網(wǎng)絡(luò)應(yīng)用中，一般來(lái)說(shuō)其實(shí)時(shí)性要求都較高。如非線性動(dòng)態(tài)系統(tǒng)的在線辨識(shí)，不僅要求精度高，而且要求快速學(xué)習(xí)。但是，常規(guī)的CMAC仍然

9、需要多個(gè)周期才能達(dá)到一定的收斂精度，也就是說(shuō)，常規(guī)CMAC雖然其收斂速度快于BP網(wǎng)絡(luò)，但作為在線學(xué)習(xí)來(lái)說(shuō)，仍難滿足其快速性的要求。為此，近些年來(lái)，一些學(xué)者提出了許多相關(guān)算法，大多是在常規(guī)CMAC算法上進(jìn)行改進(jìn)。下面介紹幾種重要的改進(jìn)算法。5.2.1 模糊CMAC神經(jīng)網(wǎng)絡(luò)算法為提高CMAC學(xué)習(xí)的實(shí)時(shí)性和準(zhǔn)確性。Nie J.和Geng Z.J.等人將模糊自組織競(jìng)爭(zhēng)算法引入CMAC中，來(lái)改造常規(guī)的CMAC神經(jīng)網(wǎng)絡(luò)，提出了一種模糊CMAC算法6-7,10，作如下定義：定義5-1 設(shè)CMAC中某個(gè)輸入激活的個(gè)的存儲(chǔ)單元可看作中心為, ，寬度為的一個(gè)鄰域，稱(chēng)為聯(lián)想域。對(duì)常規(guī)CMAC來(lái)說(shuō)，若，則，否則為0。

10、聯(lián)想域有交疊，使網(wǎng)絡(luò)有局部泛化能力。定義5-2 設(shè)輸入，聯(lián)想域()的中心為，半徑為，將每個(gè)存儲(chǔ)單元用一與輸入同維的向量表示，則聯(lián)想度為： （5-4）基于聯(lián)想度的概念，可獲得一模糊化的聯(lián)想向量，進(jìn)而得到FCMAC的輸出： （5-5）若令，其他情況，則退化為二進(jìn)制向量，可見(jiàn)常規(guī)CMAC為FCMAC的特殊情況。對(duì)網(wǎng)絡(luò)權(quán)值（存儲(chǔ)的數(shù)據(jù)）學(xué)習(xí)調(diào)整，文獻(xiàn)8,9采用以下算法： （5-6） （5-7）由于聯(lián)想度的引入，也省去了CMAC的離散、量化、編碼、hashing映射等復(fù)雜運(yùn)算。對(duì)于聯(lián)想域大小的確定，采用自組織競(jìng)爭(zhēng)算法來(lái)實(shí)現(xiàn)，從而完成輸入空間的自組織分割，使網(wǎng)絡(luò)的學(xué)習(xí)速度和精度得到較大的提高。5.2.2

11、基于信度分配的平衡學(xué)習(xí)CMAC神經(jīng)網(wǎng)絡(luò)算法在常規(guī)CMAC及模糊CMAC學(xué)習(xí)算法的權(quán)值學(xué)習(xí)調(diào)整中，誤差被平均分配給每個(gè)被激活的存儲(chǔ)單元，而未考慮各個(gè)被激活存儲(chǔ)單元對(duì)誤差的貢獻(xiàn)率，也即在經(jīng)過(guò)次學(xué)習(xí)后，對(duì)調(diào)整次數(shù)不同的激活存儲(chǔ)單元其權(quán)值的可信度仍被看成完全相同的。這種權(quán)值更新算法完全違背了信度分配的概念，這樣的權(quán)值學(xué)習(xí)算法，必然使那些權(quán)值不該調(diào)整或應(yīng)該較少調(diào)整的存儲(chǔ)單元（其權(quán)值可信度高）需反復(fù)學(xué)習(xí)調(diào)整；而對(duì)誤差貢獻(xiàn)較大的存儲(chǔ)單元（其權(quán)值可信度低），本應(yīng)該使其權(quán)值得到較大調(diào)整，但實(shí)際上權(quán)值學(xué)習(xí)調(diào)整量減少。為了達(dá)到預(yù)定的逼近精度，網(wǎng)絡(luò)必須多次反復(fù)學(xué)習(xí)，從而使CMAC的學(xué)習(xí)效率降低，學(xué)習(xí)時(shí)間延長(zhǎng)。為了提高

12、CMAC學(xué)習(xí)速度，文獻(xiàn)11在分析常規(guī)CMAC權(quán)值調(diào)整規(guī)則的基礎(chǔ)上，考慮到已學(xué)習(xí)知識(shí)的可信度，提出一種基于信度分配的CA-CMAC（Credit assignment CMAC）算法。同時(shí)引入CMAC存儲(chǔ)單元地址函數(shù)，來(lái)解決信度的定義問(wèn)題。文獻(xiàn)12在此基礎(chǔ)上進(jìn)一步考慮到網(wǎng)絡(luò)權(quán)值調(diào)整時(shí)，新知識(shí)“學(xué)習(xí)”與舊知識(shí)“遺忘”的平衡問(wèn)題，提出一種基于“平衡學(xué)習(xí)”的CMAC神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。下面以二維CMAC為例進(jìn)行介紹。1. 常規(guī)CMAC神經(jīng)網(wǎng)絡(luò)的分級(jí)量化方法CMAC的基本思想就是將學(xué)習(xí)的數(shù)據(jù)（知識(shí)）存儲(chǔ)在交疊的存儲(chǔ)單元（記憶空間）中，其輸出為相應(yīng)激活單元數(shù)據(jù)的累加和。以二維CMAC為例，定義輸入矢量為變量

13、和。二維CMAC結(jié)構(gòu)如圖5-2所示。在本例中，每個(gè)變量分成7個(gè)等分區(qū)域，每個(gè)狀態(tài)變量有3級(jí)，每級(jí)由構(gòu)成。對(duì)第1級(jí)，變量被劃為3塊A B和C，變量被劃為a, b和c。則Aa, Ab, Ac, Ba, Bb, Bc, Ca, Cb和Cc為存儲(chǔ)數(shù)據(jù)的地址或單元（hypercubes）；與此相似，對(duì)第2級(jí)，有存儲(chǔ)單元Dd, De, Df, Ed, Ee, Ef, Fd, Fe和Ff；對(duì)第3級(jí)，有存儲(chǔ)單元Gg, Gh, Gi, Hg, Hh, Hi, Ig, Ih和Ii。必須注意，只有同級(jí)的不同變量的分塊組合才能形成存儲(chǔ)單元。像組合Ad, Db等是不存在的。此處的二維CMAC中，用27個(gè)存儲(chǔ)單元來(lái)存儲(chǔ)4

14、9個(gè)狀態(tài)的數(shù)據(jù)。CMAC的基本思想如圖5-3所示。在CMAC算法實(shí)現(xiàn)過(guò)程中有兩個(gè)階段：結(jié)果輸出階段和權(quán)值學(xué)習(xí)階段。在結(jié)果輸出階段，CMAC將所有被輸入狀態(tài)激活的存儲(chǔ)單元的權(quán)值（存儲(chǔ)數(shù)據(jù)）相加。 （5-8）存儲(chǔ)單元數(shù)為N，設(shè)m為狀態(tài)變量的級(jí)數(shù)（圖5-2中狀態(tài)變量級(jí)數(shù)m = 3），為總狀態(tài)數(shù)。為狀態(tài)(=1, n) 的實(shí)際輸出值。為第個(gè)存儲(chǔ)單元的權(quán)值，是第個(gè)存儲(chǔ)單元是否被狀態(tài)激活的指示。由于每個(gè)狀態(tài)僅被個(gè)存儲(chǔ)單元包含，只有這些存儲(chǔ)單元被激活，其為1，而其他存儲(chǔ)單元全為0。如圖5-2中，存儲(chǔ)單元Bb, Ee和Hh被狀態(tài)激活，所以僅有這3個(gè)為1，而其他存儲(chǔ)單元全為0。圖5-2 二維CMAC結(jié)構(gòu) 圖5-3

15、 CMAC的基本原理CMAC算法中結(jié)果輸出階段從CMAC存儲(chǔ)單元產(chǎn)生一實(shí)際輸出，學(xué)習(xí)過(guò)程根據(jù)期望輸出與實(shí)際輸出的誤差大小來(lái)更新CMAC存儲(chǔ)單元中的權(quán)值。在常規(guī)CMAC算法中誤差被平均分配到所有被激活的存儲(chǔ)單元。設(shè)為某一狀態(tài)，是經(jīng)過(guò)第次迭代后存儲(chǔ)在第個(gè)存儲(chǔ)單元中的權(quán)值。常規(guī)CMAC更新算法為： （5-9）其中，為狀態(tài)的期望輸出，為狀態(tài)的實(shí)際輸出，a 為學(xué)習(xí)常數(shù)。必須注意只有那些被激活的存儲(chǔ)單元的權(quán)值才被更新。在上面的常規(guī)算法中誤差被平均分配到所有被激活的存儲(chǔ)單元，但是經(jīng)過(guò)次迭代后，最初的存儲(chǔ)單元已經(jīng)包含了一些先前學(xué)習(xí)的知識(shí)，不是每一個(gè)存儲(chǔ)單元都有相同的學(xué)習(xí)歷史，所以這些存儲(chǔ)單元也不應(yīng)有相同的可信

16、度。無(wú)視這些差異，所有被激活的存儲(chǔ)單元都獲得相同的校正誤差，那么那些由未學(xué)習(xí)狀態(tài)產(chǎn)生的誤差將對(duì)先前學(xué)習(xí)的信息產(chǎn)生“腐蝕”（corrupt），當(dāng)然在經(jīng)過(guò)多個(gè)訓(xùn)練周期后，這種“腐蝕”情形會(huì)逐漸消失，這也是許多常規(guī)CMAC算法應(yīng)用成功的根據(jù)之所在。但是對(duì)在線動(dòng)態(tài)系統(tǒng)的學(xué)習(xí)來(lái)說(shuō)，其實(shí)時(shí)性要求非常高，有的情況下，一到兩個(gè)周期內(nèi)就得完成學(xué)習(xí)任務(wù)，也就沒(méi)有足夠的時(shí)間來(lái)消除這種“腐蝕”，因此其學(xué)習(xí)結(jié)果常常是無(wú)法滿足在線學(xué)習(xí)的要求。2基于信度分配的CMAC（CA-CMAC）神經(jīng)網(wǎng)絡(luò)為了避免“腐蝕”效應(yīng)，校正誤差必須根據(jù)存儲(chǔ)單元的可信度進(jìn)行分配。然而，在CMAC學(xué)習(xí)過(guò)程中，還沒(méi)有一個(gè)好的方法來(lái)決定某一存儲(chǔ)單元對(duì)目

17、前的誤差負(fù)更多的責(zé)任。換句話說(shuō)，還沒(méi)有一個(gè)好的方法來(lái)決定存儲(chǔ)單元權(quán)值。惟一可用的信息是該存儲(chǔ)單元權(quán)值目前更新的次數(shù)，文獻(xiàn)11假設(shè)存儲(chǔ)單元學(xué)習(xí)更新次數(shù)越多，其存儲(chǔ)的數(shù)值越可靠。因此存儲(chǔ)單元的學(xué)習(xí)次數(shù)被看成其可信度?？尚哦仍礁撸錂?quán)值修正越小。由此（5-9）式改寫(xiě)為： （5-10）其中，是第個(gè)存儲(chǔ)單元的學(xué)習(xí)次數(shù)，是某狀態(tài)激活的存儲(chǔ)單元數(shù)。此處權(quán)值更新思想是校正誤差必須與激活單元的學(xué)習(xí)次數(shù)成反比。此處用/代替了（5-9）式的，它有效地改善了學(xué)習(xí)性能。但這并不是最好的結(jié)果，因?yàn)樗鼪](méi)有進(jìn)一步考慮已學(xué)習(xí)的先前知識(shí)與未學(xué)習(xí)或少學(xué)習(xí)的知識(shí)各自對(duì)網(wǎng)絡(luò)輸出誤差的影響程度。即“學(xué)習(xí)”與“遺忘”的平衡問(wèn)題。3改進(jìn)的基

18、于信度分配的CMAC神經(jīng)網(wǎng)絡(luò)（ICA-CMAC）根據(jù)以上分析，一種“平衡學(xué)習(xí)”的概念被提出，由此設(shè)計(jì)一種改進(jìn)的基于信度分配的CMAC（Improved Credit Assignment CMAC，ICA-CMAC）神經(jīng)網(wǎng)絡(luò)模型，此時(shí)（5-10）式被改寫(xiě)為： （5-11）其中，是一個(gè)平衡學(xué)習(xí)常數(shù)，當(dāng)為0或1時(shí)，ICA-CMAC分別為常規(guī)CMAC和文獻(xiàn)11的CA-CMAC。也就是說(shuō)，CMAC和CA-CMAC是ICA-CMAC的特殊情形。激活存儲(chǔ)單元的學(xué)習(xí)次數(shù)越大，則其存儲(chǔ)的知識(shí)（先前學(xué)習(xí)的信息）越多。平衡學(xué)習(xí)常數(shù)越大，對(duì)學(xué)習(xí)次數(shù)較大的存儲(chǔ)單元，其權(quán)值改變較少。在很大時(shí)，對(duì)學(xué)習(xí)次數(shù)較大的存儲(chǔ)單元其

19、權(quán)值基本不變。此時(shí)未學(xué)習(xí)的或者學(xué)習(xí)次數(shù)較少的激活單元在權(quán)值修正時(shí)，將獲得大多數(shù)誤差校正值。此種情形下，網(wǎng)絡(luò)學(xué)習(xí)中“記憶”即“已學(xué)習(xí)知識(shí)的保持”占主導(dǎo)地位。反之，當(dāng)值很小時(shí)，學(xué)習(xí)次數(shù)對(duì)信度分配的影響也較小。當(dāng)0時(shí)，學(xué)習(xí)次數(shù)對(duì)信度分配的影響為零。此時(shí)，誤差被平均分配到所有被激活的存儲(chǔ)單元。所有被激活的存儲(chǔ)單元都有相同的信度分配，而不管學(xué)習(xí)次數(shù)的大小。這時(shí)在網(wǎng)絡(luò)學(xué)習(xí)中“遺忘”占主導(dǎo)地位?？梢?jiàn)是一個(gè)平衡學(xué)習(xí)常數(shù)，它反映了在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，先前學(xué)習(xí)的信息與未學(xué)習(xí)或少學(xué)習(xí)信息對(duì)存儲(chǔ)單元權(quán)值調(diào)整的影響程度。不同的將會(huì)有不同的學(xué)習(xí)結(jié)果。從后面的仿真結(jié)果可知，當(dāng)為某一數(shù)值時(shí)其學(xué)習(xí)速度最快，說(shuō)明此時(shí)網(wǎng)絡(luò)的“記憶”

20、與“遺忘”達(dá)到了最佳平衡。4地址函數(shù)設(shè)計(jì)在常規(guī)CMAC中，一般采用hashing技術(shù)來(lái)壓縮存儲(chǔ)空間，但hashing映射會(huì)造成碰撞的發(fā)生，使得CMAC的逼近性能下降。文獻(xiàn)11采用地址函數(shù)來(lái)產(chǎn)生所需要的存儲(chǔ)單元的標(biāo)志，它通過(guò)一定規(guī)則為所有可能的存儲(chǔ)單元編碼，是一種簡(jiǎn)潔的地址方法，而且不存在數(shù)據(jù)碰撞問(wèn)題。以三維（3-D）CMAC為例，設(shè)是CMAC的級(jí)數(shù)，是每級(jí)包含的塊數(shù)，則每維的等分塊數(shù)為。在本例中，每塊包含m個(gè)狀態(tài)，僅用 個(gè)存儲(chǔ)單元來(lái)映射狀態(tài)?？紤]由表達(dá)的狀態(tài)，由它激活的存儲(chǔ)單元數(shù)為m，各激活存儲(chǔ)單元的地址函數(shù)為，則，定義： if j=1，then i=0，else i=m-j+1; ; ; ;

21、 。5仿真算例及結(jié)果分析為了進(jìn)一步說(shuō)明ICA-CMAC的在線學(xué)習(xí)效果，以下面的非線性函數(shù)為例，對(duì)不同平衡學(xué)習(xí)參數(shù)比較網(wǎng)絡(luò)的學(xué)習(xí)速度。 11，11 （5-12）本例中每個(gè)變量包含64 個(gè)等分塊。取級(jí)數(shù)=9，每級(jí)包含=8塊。則總狀態(tài)數(shù)為=4096=，存儲(chǔ)單元總數(shù)為=576（僅為總狀態(tài)數(shù)的14%）。取式（5-11）的。其訓(xùn)練數(shù)據(jù)數(shù)為4096。學(xué)習(xí)結(jié)果如圖5-4和圖5-5所示，在不同的值下，計(jì)算網(wǎng)絡(luò)的絕對(duì)誤差TAE（total absolute error）和均方根誤差RMSE（root mean square error）。取值為0.0，0.7，1.5，2.0。其第1周期到第6周期和第20周期到第2

22、5周期的計(jì)算結(jié)果見(jiàn)表5-1和表5-2所示。 （5-13） （5-14）其中，n為總狀態(tài)數(shù)，是狀態(tài)s的期望輸出值，是狀態(tài)s的實(shí)際輸出數(shù)值。圖5-4 ICA-CMAC的絕對(duì)誤差表5-1 ICA-CMAC的絕對(duì)誤差k/cycle1234562021222324250.084.5388.7049.3963.5667.2747.5145.8945.6445.1345.6244.5844.220.769.6749.7443.0149.6050.1744.4745.2445.1645.0945.3144.7944.951.574.8360.3348.8751.1749.4248.7246.3446.3746

23、.3446.3846.2746.302.0193.9100.175.4266.0861.5256.8648.2548.2848.2648.1848.0548.01圖5-5 ICA-CMAC均方根誤差表5-2 ICA-CMAC均方根誤差k/cycle1234562021222324250.00.140.140.110.120.120.110.1060.1060.1050.1050.1040.1040.70.130.110.100.110.110.100.1050.1050.1040.1050.1040.1041.50.130.120.110.110.100.110.1060.1060.1060.

24、1060.1060.1062.00.210.150.130.130.120.120.1080.1080.1080.1080.1080.108從圖5-4和圖5-5可以看出，在網(wǎng)絡(luò)學(xué)習(xí)的初始階段，不同的值，誤差下降的速度有很大的差別，=0時(shí)（常規(guī)CMAC）收斂速度較慢，隨著值的增加，收斂速度變快，在=0.7時(shí)收斂速度達(dá)到最快；值繼續(xù)增大，網(wǎng)絡(luò)學(xué)習(xí)速度反而變慢，特別是=2.0時(shí)其學(xué)習(xí)速度比常規(guī)CMAC還慢?？梢?jiàn)=0.7為最佳平衡學(xué)習(xí)常數(shù),此時(shí),網(wǎng)絡(luò)學(xué)習(xí)時(shí)的“記憶”與“遺忘”達(dá)到最佳平衡。文獻(xiàn)11提出的CA-CMAC（）的學(xué)習(xí)速度處于最佳平衡值附近，但它未能分析網(wǎng)絡(luò)學(xué)習(xí)時(shí)“記憶”與“遺忘”的平衡問(wèn)題，

25、其學(xué)習(xí)結(jié)果雖然比常規(guī)CMAC好，但并非是最好的結(jié)果。從圖5-4、圖5-5及表5-1、表5-2還可以看出，在網(wǎng)絡(luò)學(xué)習(xí)的后續(xù)階段（后10個(gè)周期），盡管值不同，其學(xué)習(xí)誤差區(qū)別很小，不同值的網(wǎng)絡(luò)都學(xué)習(xí)得很好。這是因?yàn)榫W(wǎng)絡(luò)學(xué)習(xí)過(guò)程中，權(quán)值的調(diào)整依賴(lài)于誤差的分配，誤差的分配又依賴(lài)于各存儲(chǔ)單元的學(xué)習(xí)次數(shù)，而學(xué)習(xí)次數(shù)在學(xué)習(xí)時(shí)間足夠長(zhǎng)時(shí)，各存儲(chǔ)單元將趨于相同。對(duì)于非線性動(dòng)態(tài)系統(tǒng)的在線學(xué)習(xí)來(lái)說(shuō)，最初的學(xué)習(xí)速度是極為重要的。因此，CMAC神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)，對(duì)提高非線性系統(tǒng)在線辨識(shí)的實(shí)時(shí)性有一定的指導(dǎo)意義。5.2.3 基于信度分配的模糊CMAC神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法131算法設(shè)計(jì)基于信度分配的模糊CMAC神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

26、算法，是從CMAC權(quán)值學(xué)習(xí)遺忘（previous learned information be corrupted by unlearned state）的角度出發(fā)，將文獻(xiàn)11的信度分配的思想引入模糊CMAC（FCMAC）的權(quán)值學(xué)習(xí)調(diào)整之中，提出一種基于信度分配的模糊CMAC（FCACMAC）神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，使網(wǎng)絡(luò)的學(xué)習(xí)更加合理高效。仿真結(jié)果表明，F(xiàn)CACMAC有較好的學(xué)習(xí)速度和較高的學(xué)習(xí)精度。網(wǎng)絡(luò)的存儲(chǔ)單元的激活方式及輸出計(jì)算方法與模糊CMAC完全相同；其權(quán)值調(diào)整是將式（5-6）和式（5-10）相結(jié)合，得到： （5-15）此處按照信度分配的原則調(diào)整權(quán)值，對(duì)先前學(xué)習(xí)次數(shù)較少、誤差貢獻(xiàn)較大的存

27、儲(chǔ)單元，其權(quán)值可信度低，這時(shí)權(quán)值學(xué)習(xí)調(diào)整較多；反之，對(duì)學(xué)習(xí)次數(shù)較多、對(duì)所產(chǎn)生的誤差責(zé)任較少的存儲(chǔ)單元，其權(quán)值可信度較高，這時(shí)權(quán)值調(diào)整較少，從而使CMAC的權(quán)值學(xué)習(xí)調(diào)整更加合理高效；另外，由于模糊聯(lián)想度的引入，省去了CMAC的離散、量化、編碼、hashing映射等復(fù)雜運(yùn)算。對(duì)于聯(lián)想域大小的確定,采用自組織競(jìng)爭(zhēng)算法來(lái)實(shí)現(xiàn),從而完成輸入空間的自組織分割，使網(wǎng)絡(luò)的學(xué)習(xí)速度和精度得到較大的提高。2. 仿真算例及結(jié)果分析為了進(jìn)一步說(shuō)明FCACMAC的在線學(xué)習(xí)效果，以下面的非線性函數(shù)為例，研究常規(guī)CMAC、模糊CMAC（FCMAC）及基于信度分配的模糊CMAC（FCACMAC）的學(xué)習(xí)效果。（1）一維非線性學(xué)

28、習(xí)實(shí)例假設(shè)有如下的非線性函數(shù)： （5-16）在學(xué)習(xí)過(guò)程中，用網(wǎng)絡(luò)的絕對(duì)誤差TAE和均方根誤差RMSE來(lái)反映模型的學(xué)習(xí)速度和精度。其計(jì)算式同式（5-13）和式（5-14）。對(duì)CMAC、FCMAC及FCACMAC，其第1周期到第20周期的計(jì)算結(jié)果見(jiàn)表5-3和表5-4。而圖5-6和圖5-7為相應(yīng)的誤差下降曲線。表5-3 一維CMAC、FCMAC及 FCACMAC絕對(duì)誤差算法周期12345678910CMAC38.1327.9814.157.094.082.532.071.761.651.58FCMAC13.6610.465.622.981.560.820.430.250.140.086FCACMAC

29、14.825.571.0340.2190.0640.0410.0340.0320.0310.030算法周期11121314151617181920CMAC1.571.531.511.491.481.461.451.441.431.43FCMAC0.0570.0430.0360.0330.0310.0310.0300.0290.0290.028FCACMAC0.0290.0280.0280.0270.0270.0260.0260.0250.0250.025圖5-6 一維CMAC、FCMAC及 FCACMAC絕對(duì)誤差表5-4 一維CMAC、FCMAC及 FCACMAC均方根誤差算法周期123456

30、78910CMAC0.7720.6610.4700.3330.2520.1990.1800.1660.1610.157FCMAC0.4620.4040.2960.2160.1560.1130.0820.0620.0460.037FCACMAC0.4810.2950.1270.0590.0320.0250.0230.0220.0220.022算法周期11121314151617181920CMAC0.1570.1560.1540.1530.1520.1510.1510.1500.1500.149FCMAC0.0300.0260.0240.0230.0220.0220.0220.0210.0210

31、.021FCACMAC0.0210.0210.0210.0210.0200.0200.0200.0200.0200.019圖5-7 一維CMAC、FCMAC及 FCACMAC均方根誤差（2）二維非線性學(xué)習(xí)實(shí)例假設(shè)有如下的非線性函數(shù)： （5-17）在網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中，絕對(duì)誤差TAE和均方根誤差RMSE與式（5-13）和式（5-14）完全相同。對(duì)CMAC、FCMAC及FCACMAC，其第1周期到第20周期的計(jì)算結(jié)果見(jiàn)表5-5和表5-6。其相應(yīng)的誤差下降曲線如圖5-8和圖5-9所示。表5-5 二維CMAC、FCMAC及 FCACMAC絕對(duì)誤差算法周期12345678910CMAC365.9376.52

32、50.7282.6235.1248.4241.0240.0241.9240.5FCMAC408.0402.6276.8203.1148.6118.499.1288.6285.1281.35FCACMAC344.9254.2153.4109.583.7571.2660.6957.9653.7153.76算法周期11121314151617181920CMAC241.3241.0241.2241.2241.3241.2241.3241.2241.3241.2FCMAC82.0480.2780.7880.1480.2680.0980.1080.0780.0380.06FCACMAC52.6352.7

33、452.5052.4052.4052.3052.3152.2752.2652.25圖5-8 二維CMAC、FCMAC及FCACMAC絕對(duì)誤差表5-6 二維CMAC、FCMAC及FCACMAC均方根誤差算法周期12345678910CMAC0.29890.30320.24740.26270.23960.24630.24260.24210.24300.2423FCMAC0.31560.31350.25990.22270.19050.17000.15560.14710.14420.1409FCACMAC0.29020.24910.19350.16350.14300.13190.12170.11900

34、.11450.1146算法周期11121314151617181920CMAC0.24270.24260.24260.24270.24270.24270.24270.24270.24270.2427FCMAC0.14150.13990.13990.13980.13980.13980.13980.13980.13980.1398FCACMAC0.11340.11320.11310.11300.11300.11300.11300.11290.11290.1129圖5-9 二維CMAC、FCMAC及 FCACMAC均方根誤差 （3）結(jié)果討論從表5-3到表5-6、圖5-6到圖5-9可以看出，無(wú)論是一維

35、還是二維非線性目標(biāo)函數(shù)，在網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中，不同的CMAC模型，誤差下降的速度有很大的差別,其中常規(guī)CMAC收斂速度最慢，而基于信度分配的模糊CMAC（FCACMAC）收斂速度最快，模糊CMAC（FCMAC）學(xué)習(xí)速度處于二者之間。同時(shí)還可以看出，F(xiàn)CACMAC的學(xué)習(xí)精度也比常規(guī)CMAC和模糊FCMAC高。隨著目標(biāo)函數(shù)維數(shù)的增加，其學(xué)習(xí)效果的差距更大，這是因?yàn)樵诘途S情況下，計(jì)算量較小，誤差的下降速度均較快，在20周期內(nèi)都能達(dá)到了一定的逼近精度；隨著維數(shù)的增加，計(jì)算量巨增，F(xiàn)CMAC、FCACMAC算法的合理性將發(fā)揮更大的效果，使得三者之間的學(xué)習(xí)速度和學(xué)習(xí)精度的差距更明顯，充分顯示出FCACMAC在

36、在線學(xué)習(xí)上的優(yōu)越性。由此可見(jiàn)，這種基于信度分配的模糊CMAC神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，由于將模糊CMAC的自組織競(jìng)爭(zhēng)算法與基于信度分配的權(quán)值調(diào)整算法相結(jié)合，不僅在CMAC的存儲(chǔ)單元激活、結(jié)果計(jì)算輸出階段，省去了CMAC的離散、量化、編碼、hashing映射等復(fù)雜運(yùn)算；而且在CMAC的權(quán)值學(xué)習(xí)調(diào)整階段按各激活存儲(chǔ)單元的權(quán)值可信度分配誤差，使權(quán)值學(xué)習(xí)調(diào)整更加合理有效，極大地提高了CMAC神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度和學(xué)習(xí)精度。5.4 本 章 小 結(jié)本章在討論CMAC神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)及原理的基礎(chǔ)上，從網(wǎng)絡(luò)輸出計(jì)算階段和網(wǎng)絡(luò)權(quán)值調(diào)整階段兩個(gè)方面，重點(diǎn)介紹了模糊CMAC神經(jīng)網(wǎng)絡(luò)、基于信度分配的CMAC神經(jīng)網(wǎng)絡(luò)、基于平衡學(xué)

37、習(xí)的CMAC神經(jīng)網(wǎng)絡(luò)及基于信度分配的模糊CMAC神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、工作原理及權(quán)值調(diào)整學(xué)習(xí)算法，并給出了具體的仿真算例。最后討論了CMAC神經(jīng)網(wǎng)絡(luò)在電液負(fù)載模擬器自學(xué)習(xí)控制中的應(yīng)用。5.5 思 考 題1CMAC神經(jīng)網(wǎng)絡(luò)有哪些特點(diǎn)？2請(qǐng)用自己的語(yǔ)言簡(jiǎn)要介紹CMAC神經(jīng)網(wǎng)絡(luò)的工作過(guò)程。3請(qǐng)簡(jiǎn)要介紹基于信度分配的CMAC神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整學(xué)習(xí)算法的理由。4. 假設(shè)有如下的非線性函數(shù)：試比較30周期內(nèi)常規(guī)CMAC、基于信度分配CMAC神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效果。5假設(shè)有如下的非線性函數(shù)：試?yán)闷胶鈱W(xué)習(xí)算法求解最佳平衡學(xué)習(xí)參數(shù)。5.6 參 考 文 獻(xiàn)1Albus J.S. A new approach to mani

38、pulator control: The cerebellar model articulation controller(CMAC). ASME J. Dynamic Systems，Measurement，Control，pp.220227，19752Albus J.S. Data storage in cerebellar model articulation controller(CMAC). ASME J. Dynamic Systems，Measurement，Control，pp.228233，19753Wong Y.F，Sideris A. Learning convergen

39、ce in cerebellar model articulation controller. IEEE Trans. Neural Networks，1992，3(1):1151214Lin C.S，Chiang C.T. Learning convergence of CMAC technique. IEEE Trans. Neural Networks，1997，8(6):128112925韓力群. 人工神經(jīng)網(wǎng)絡(luò)的理論、設(shè)計(jì)及應(yīng)用. 北京：化學(xué)工業(yè)出版社，20026Nie J，Linkens D.A. FCMAC: A fuzzified cerebellar model articulation controller with self-organizing capacity. Automatica，1994，30(4):6556647Geng Z.J，McCullough C.L. Missile control using fuzzy cerebellar model arithmetic computer neural networks. J. Guid. Control Dyn.，1997，20(3):5575658王源，胡壽松，齊俊偉. 自組織模糊CMAC神經(jīng)網(wǎng)絡(luò)及其非