第十一章小腦模型CMAC神經(jīng)網(wǎng)絡

第十一章小腦模型CMAC神經(jīng)網(wǎng)絡第十一章小腦模型（CMAC）

神經(jīng)網(wǎng)絡

CMAC網(wǎng)絡的基本思想與結構模型

CMAC網(wǎng)絡的工作原理

CMAC算法的程序語言描述

CMAC網(wǎng)絡的泛化能力

CMAC網(wǎng)絡的幾個問題仿真示例

生物學研究表明，人腦在人體運動中起到維持軀體平衡、調(diào)節(jié)肌肉緊張程度、協(xié)調(diào)隨意運動等功能。因此，模擬人的小腦結構與功能無疑是腦的宏觀結構功能模擬的重要組成部分。早在1975年，Albus便根據(jù)神經(jīng)生理學小腦皮層結構特點提出的一種小腦模型關聯(lián)控制器(CerebellarModelArticulationController)，簡稱CMAC網(wǎng)絡。經(jīng)過多年的研究，其中包括Miller,Parks和Wong等人的杰出工作，目前CMAC已得到人們越來越多的重視。CMAC是一種局部逼近網(wǎng)絡，算法基于LMS(最小均方)，學習速度快，具有局域泛化(generalization)能力，避免了BP網(wǎng)絡的局部最優(yōu)問題，且易于硬件實現(xiàn)。這些優(yōu)點使得CMAC網(wǎng)絡非常適合用于復雜系統(tǒng)的建模和快速辨識。11-1CMAC網(wǎng)絡的基本思想與結構模型

人的小腦是通過一些神經(jīng)纖維束跟腦干相聯(lián)，并進一步同大腦、脊髓發(fā)生聯(lián)系。人主要靠小腦管理運動功能，它通過小腦皮層的神經(jīng)系統(tǒng)從肌肉、四肢、關節(jié)、皮膚等接受感覺信息，并感受反饋信息，然后將這些獲得的信息整合到一特定的區(qū)域——“存儲器”記憶起來。當需要的時候，將這些存儲器儲存的信息取出來，作為驅(qū)動和協(xié)調(diào)肌肉運動的指令——控制信號:當感受信息和反饋信息出現(xiàn)差異時，便通過聯(lián)想加以調(diào)整，從而達到運動控制的目的，這一過程便是學習。11-1CMAC網(wǎng)絡的基本思想與結構模型

Albus根據(jù)小腦在生物運動協(xié)調(diào)方面的重要作用，提出了CMAC網(wǎng)絡，其結構模型如圖4.1所示：11-1CMAC網(wǎng)絡的基本思想與結構模型

圖11-1CMAC結構CMAC是前饋網(wǎng)，結構見圖11-2

，有兩個基本映射，表示輸入輸出之間的非線性關系。yAC＋U輸入空間雜散編碼AP(W)輸出輸入向量圖11-2CMAC結構11-2CMAC網(wǎng)絡的工作原理11-2-1概念映射（U——>AC）

yAC＋U輸入空間雜散編碼AP(W)輸出輸入向量圖2-7-1CMAC結構11-2-2

實際映射（AC——>AP）

11-2-3.雜散存儲

若輸入是n維，每一維有q個量化級，則AC占很大容量。但是，訓練樣本不可能遍歷所有輸入空間，在C中被激勵的單元是很稀疏的。雜散存儲：可將AC壓縮到較小的AP中。有多種方法，“除余數(shù)法”是其中較好的一種。雜散存儲弱點：產(chǎn)生碰撞(沖突)即AC中多個聯(lián)想單元，被映射到AP的同一單元(見圖)，這意味著信息的丟失。（c）鄰近兩點輸入重疊單元=3,有碰撞（b）鄰近兩點輸入重疊單元=3,無碰撞那么CMAC是怎樣實現(xiàn)上述各種映射的？碰撞的原因？下面通過一個具體示例來說明（見板書）。11-3CMAC算法及程序語言描述

11-3-1

學習算法CMAC為有導師的學習算法。

設單輸出，給定輸入/輸出樣本對（導師信號）：udPp/，Lp,,2,1L=。

由d規(guī)則調(diào)整權值：DwtdytsjppjpP()(())([])=-huR2

其中

RuPjjcpsc221===?([])將2PR代入得

Dwtdytcetcjppp()(())()=-=hh可見：c個單元權值的調(diào)整量是相同的。11-3-2

學習算法分析

CMAC的學習算法與自適應線性神經(jīng)元的相同。但，因有重疊、碰撞，故對學習算法及收斂性，需予以分析（討論單輸出）。

分析算法

Gauss-Seidel迭代法;Jacobi迭代法

分析情況、結論（1）

輸入樣本有重疊，雜散編碼無碰撞

若重疊少，解收斂（2）

輸入樣本有重疊，雜散編碼有碰撞

因碰撞，收斂速度降低、收斂性態(tài)變壞、也可能不收斂11-3CMAC算法及程序語言描述0次接收域函數(shù)例（b）鄰近兩點輸入重疊單元=3,無碰撞（a）一維c=4c=41（c）鄰近兩點輸入重疊單元=3,有碰撞11-3CMAC算法及程序語言描述11-4CMAC網(wǎng)絡的泛化能力

最早進行泛化理論研究的是Amaril，他認為泛化是將輸入集中樣本點的給定鄰域映射到輸出集中映射點(與樣本點對應)的某一鄰域。由此可見，泛化能力除了由精度決定外，還取決于映射方式和輸入的量化級。所以多層感知器的泛化能力是極其有限的，實踐也證明了這點。而CMAC神經(jīng)網(wǎng)絡是在對小腦進行神經(jīng)解剖生理學研究的基礎上提出的，它被證明具有局域泛化能力。CMAC網(wǎng)絡中，若兩個輸入向量相距較近，則它們所觸發(fā)的神經(jīng)元有重疊，距離越近，重疊越多；若兩個輸入向量相距較遠，則它們觸發(fā)的神經(jīng)元沒有重疊。因此CMAC網(wǎng)絡具有局域泛化能力，它的泛化能力源自于它的網(wǎng)絡結構本身。

影響CMAC泛化精度的主要因素有:訓練精度、泛化常數(shù)和樣本點的選擇，但其結論還顯得相對簡單。11-4-1CMAC網(wǎng)絡泛化指標11-4CMAC網(wǎng)絡的泛化能力對于一個神經(jīng)網(wǎng)絡來說，泛化能力越強，意味著經(jīng)樣本點訓練后，對于樣本點附近非樣本點(即測試點)的輸入，網(wǎng)絡輸出與期望輸出間的誤差越小。設測試點序列,對應的期望輸出為。CMAC輸出為,則可用測試點的誤差平方和：

作為指標，來衡量網(wǎng)絡整體泛化性能的優(yōu)越。越小，則意味著網(wǎng)絡泛化能力越強。11-4CMAC網(wǎng)絡的泛化能力11-4-2

CMAC參數(shù)對網(wǎng)絡性能的影響CMAC網(wǎng)絡的結構本身保證了對于訓練樣本點鄰域內(nèi)的測試點具有一定的泛化能力。在訓練樣本采樣精度不變的條件下，量化精度越高，CMAC網(wǎng)絡整體泛化性能越好，但隨著量化精度的提高，CMAC學習收斂要求的最小泛化常數(shù)值隨之增大。在訓練樣本采樣精度和網(wǎng)絡量化精度保持不變的條件下，在一定范圍內(nèi)，泛化常數(shù)的增加可以提高CMAC網(wǎng)絡整體的泛化性能，但當泛化常數(shù)增大到一定程度后，它的變化不再影響網(wǎng)絡泛化性能。在訓練樣本采樣精度和網(wǎng)絡量化精度保持不變的條件下，CMAC泛化常數(shù)存在一個相對最優(yōu)值，可保證樣本點和測試點誤差都較小。為保證CMAC收斂，應避免采用網(wǎng)絡量化精度小于訓練樣本采樣精度的參數(shù)配置訓練網(wǎng)絡。提高訓練樣本采樣精度，可提高CMAC網(wǎng)絡整體泛化性能，但同時必須保證，網(wǎng)絡量化精度要等于或大于樣本采樣精度。11-4CMAC網(wǎng)絡的泛化能力11-4-3樣本訓練順序?qū)MAC網(wǎng)絡性能的影響

下面分四種情況以CMAC網(wǎng)絡逼近復雜的“海底深度”函數(shù)為例，研究訓練樣本學習次序的變化對CMAC網(wǎng)絡性能的影響。

其中為標準差為0.05的隨機誤差。

將等間距取64個點，即樣本采樣間隔和網(wǎng)絡量化間距均約為0.15625,泛化常數(shù)取4,物理存儲單元數(shù)取400(=100),最大訓練次數(shù)設為500。實驗選取了四種不同的訓練順序：三種樣本訓練順序

格雷碼(英文：GrayCode，又稱作葛萊碼，二進制循環(huán)碼)是1880年由法國工程師Jean-Maurice-EmlleBaudot發(fā)明的一種編碼，是一種絕對編碼方式，典型格雷碼是一種具有反射特性和循環(huán)特性的單步自補碼，它的循環(huán)、單步特性消除了隨機取數(shù)時出現(xiàn)重大誤差的可能，它的反射、自補特性使得求反非常方便。函數(shù)真實值如下圖所示。11-4CMAC網(wǎng)絡的泛化能力11-4-3樣本訓練順序?qū)MAC網(wǎng)絡性能的影響函數(shù)真實值圖先后順序仿真圖先后順序仿真圖串聯(lián)順序仿真圖格雷碼順序仿真圖

樣本訓練的順序?qū)π∧X模型神經(jīng)網(wǎng)絡的訓練結果是有影響的。訓練時樣本間跨度(或坐標變化)較大的那些點網(wǎng)絡學習效果較差，因此在樣本輸入訓練過程中，應盡量讓樣本按照鄰近且連續(xù)的順序?qū)W習。1）

CMAC的逼近原理：用分段超平面，擬合非線性超曲面。2）因是局部網(wǎng)絡，每次學習調(diào)整的權數(shù)為c個，故學習速度快，不存在局部極小。3）泛化能力與c有關，c增大，泛化能力增強。相近的輸入，有相近的輸出（在無碰撞情況下）。4）決定網(wǎng)絡性能的主要參數(shù)：泛化常數(shù)c；相鄰輸入間的重疊程度；輸入的量化級。影響到逼近精度、泛化能力和學習速度。5）為提高量化分辨率和泛化能力，需增加存儲容量。它隨輸入維數(shù)的增加而增加。11-5CMAC網(wǎng)絡的幾個問題6）高階CMAC：為提高逼近精度，也可提高接收域函數(shù)的階次，若下圖2為0次接收域函數(shù)，高階CMAC用1次接收域函數(shù)，見下圖。11-5CMAC網(wǎng)絡的幾個問題例11-1

用CMAC逼近函數(shù))360/2sin()(uufdp==11-6仿真示例CMAC

逼近sin函數(shù)例11-1

演示Sin函數(shù)輸入、輸出樣本雜散編碼無沖撞雜散編碼無沖撞：c=6b=5學習0次雜散編碼無沖撞：c=6b=5學習1次雜散編碼無沖撞：c=6b=5學習2次雜散編碼無沖撞：c=6b=5學習3次雜散編碼無沖撞：c=6b=5學習4次雜散編碼無沖撞：c=6b=5學習5次雜散編碼無沖撞：c=6b=5學習6次雜散編碼無沖撞：c=6b=5學習7次雜散編碼無沖撞：c=6b=5學習8次雜散編碼無沖撞：c=6b=5學習9次雜散編碼無沖撞：c=6b=5學習10次雜散編碼無沖撞：c=6b=5學習10次雜散編碼有沖撞雜散編碼有沖撞：c=6b=5學習0次雜散編碼有沖撞：c=6b=5學習1次雜散編碼有沖撞：c=6b=5學習2次雜散編碼有沖撞：c=6b=5學習3次雜散編碼有沖撞：c=6b=5學習4次雜散編碼有沖撞：c=6b=5學習5次雜散編碼有沖撞：c=6b=5學習6次雜散編碼有沖撞：c=6b=5學習7次雜散編碼有沖撞：c=6b=5學習8次雜散編碼有沖撞：c=6b=5學習9次雜散編碼有沖撞：c=6b=5學習10次雜散編碼有沖撞：c=6b=5學習10次雜散編碼有沖撞：c=6b=5學習10次雜散編碼有、無沖撞無沖撞

輸入輸出樣本有沖撞無沖撞

學習0

次有沖撞無沖撞

學習1

次有沖撞無沖撞

學習2

次有沖撞無沖撞

學習3

次有沖撞無沖撞

學習4

次有沖撞無沖撞

學習5次有沖撞無沖撞

學習6

次有沖撞無沖撞

學習7

次有沖撞無沖撞

學習8

次有沖撞無沖撞

學習9

次有沖撞無沖撞

學習10

次有沖撞無沖撞

學習10

次有沖撞例11-2

用CMAC逼近非線性函數(shù)。

（a）（b）（c）（d）（e）例11-2CMAC

逼近非線性函數(shù)

演示非線性函數(shù)輸入樣本二維輸出樣本一維雜散編碼無沖撞雜散編碼無沖撞：c=6b=5學習0次雜散編碼無沖撞：c=6b=5學習1次雜散編碼無沖撞：c=6b=5學習2次雜散編碼無沖撞：c=6b=5學習3次雜散編碼無沖撞：c=6b=5學習4次雜散編碼無沖撞：c=6b=5學習5次雜散編碼無沖撞：c=6b=5學習6次雜散編碼無沖撞：c=6b=5學習7次雜散編碼無沖撞：c=6b=5學習8次雜散編碼無沖撞：c=6b=5學習9次雜散編碼無沖撞：c=6b=5學習10次雜散編碼無沖撞：c=6b=5學習10次雜散編碼有沖撞雜散編碼有沖撞：c=6b=5學習0次雜散編碼有沖撞：c=6b=5學習1次雜散編碼有沖撞：c=6b=5學習2次雜散編碼有沖撞：c=6b=5學習3次雜散編碼有沖撞：c=6b=5學習4次雜散編碼有沖撞：c=6b=5學習5