教學(xué)課件-神經(jīng)網(wǎng)絡(luò)(侯媛彬)

1.1智能控制的基本概念1.2智能控制系統(tǒng)的分類和發(fā)展

1.3用于神經(jīng)網(wǎng)絡(luò)控制或辨識建模的噪聲信號產(chǎn)生方法1.4偽隨機信號產(chǎn)生及MATLAB仿真舉例1.5語義網(wǎng)絡(luò)知識表示法及Petri網(wǎng)舉例1.6小結(jié)

習題神經(jīng)網(wǎng)絡(luò)是智能控制技術(shù)的主要分支之一。本章首先介紹智能控制技術(shù)的基本概念、智能控制系統(tǒng)的分類和發(fā)展。在非線性系統(tǒng)中，存在著各種干擾或噪聲信號，無論是基于非線性系統(tǒng)的辨識建模,還是建立系統(tǒng)的預(yù)測模型或控制，均需考慮系統(tǒng)的各種噪聲。換言之，噪聲及其產(chǎn)生方法是神經(jīng)網(wǎng)絡(luò)控制或辨識建模的先導(dǎo)知識。因此，本章接著討論了用于神經(jīng)網(wǎng)絡(luò)控制或辨識建模的噪聲信號產(chǎn)生方法、偽隨機信號產(chǎn)生方法，并給出三種MATLAB產(chǎn)生噪聲信號仿真的開發(fā)程序及其程序剖析。最后，介紹了語義網(wǎng)絡(luò)知識表示法并給出了Petri網(wǎng)舉例。

智能控制是控制科學(xué)發(fā)展的高級階段，是一門新興的交叉前沿學(xué)科。它具有極為廣泛的應(yīng)用領(lǐng)域，例如航空航天載人衛(wèi)星的精確導(dǎo)航控制、智能機器人柔性控制、深海石油鉆機的智能監(jiān)測監(jiān)控、智能過程控制、智能調(diào)度與規(guī)劃、專家控制系統(tǒng)、智能故障診斷與定位、醫(yī)療內(nèi)鏡監(jiān)控智能儀器及柔性自動制造系統(tǒng)的智能控制等。1.1智能控制的基本概念

1.智能控制的定義

智能控制有多種定義。從信息的角度來看，所謂智能，可具體地定義為能有效地獲取、傳遞、處理、再生和利用信息，從而在任意給定的環(huán)境下成功地達到預(yù)定目的的能力?？梢钥闯觯悄艿暮诵氖且环N思維的活動。

按照智能控制創(chuàng)始人K.S.Fu(傅京孫)和Saridis的觀點，智能控制的三元交結(jié)構(gòu)表示為式(1-1)和圖1-1：

IC=AI∩AC∩OR

(1-1)

其中：IC表示智能控制(IntelligentControl)；AI表示人工智能(ArtificialIntelligent)；AC表示自動控制(AutomaticControl)；

OR表示運籌學(xué)(OperationsResearch)。圖1-1智能控制的三元交結(jié)構(gòu)人工智能(AI)是一個知識處理系統(tǒng)，具有記憶、學(xué)習、信息處理、啟發(fā)式推理等功能。

自動控制(AC)描述系統(tǒng)的動力學(xué)特性，是一種動態(tài)反饋。

運籌學(xué)(OR)是一種定量優(yōu)化方法，包括線性規(guī)劃、網(wǎng)絡(luò)規(guī)劃、調(diào)度、管理、優(yōu)化決策和多目標優(yōu)化方法等。

智能控制的定義可以有不同的描述，但從工程控制角度來看，它的三個基本要素是：智能信息、智能反饋、智能決策。從集合的觀點，可以把智能控制和它的三要素表示如下：

［智能信息］∩［智能反饋］∩［智能決策］智能控制

2.智能控制與傳統(tǒng)控制的區(qū)別

傳統(tǒng)控制是以古典的自動控制原理為理論基礎(chǔ)的控制，一般為單輸入單輸出(SISO)系統(tǒng)，必須在精確模型的基礎(chǔ)上設(shè)計控制器，故也稱之為基于模型的控制。智能控制是自動控制的最新發(fā)展階段，主要用來解決那些用傳統(tǒng)控制方法難以解決的復(fù)雜系統(tǒng)的控制問題。

智能控制把控制理論的方法和人工智能的靈活框架結(jié)合起來，改變控制策略以適應(yīng)對象的復(fù)雜性和不確定性，可以不過分地依賴系統(tǒng)模型實現(xiàn)控制。智能控制從根本上說是要仿效人的智能行為進行控制和決策，即在宏觀結(jié)構(gòu)上和行為功能上(仿人控制)對人的控制進行模擬。通過大量實驗發(fā)現(xiàn)，在得到必要的訓(xùn)練后，由人實現(xiàn)的控制方法是接近最優(yōu)的。這個方法不需要了解對象的結(jié)構(gòu)、參數(shù)，即不需要依據(jù)對象的數(shù)學(xué)模型，而是根據(jù)積累的經(jīng)驗和知識進行在線推理確定或者動態(tài)地變換控制策略。傳統(tǒng)的控制適于解決線性、時不變等相對簡單的控制問題。這些問題用智能的方法同樣也可以解決。智能控制是對傳統(tǒng)控制理論的發(fā)展，傳統(tǒng)控制是智能控制的一個組成部分，在這個意義下，兩者可以統(tǒng)一在智能控制的框架下。

一個單輸入單輸出控制系統(tǒng)的結(jié)構(gòu)如圖1-2所示。

圖1-2中，C是控制器(Controller)，S表示被控系統(tǒng)(System)，F(xiàn)表示測量元件的反饋(Feedback)。圖1-2單輸入單輸出控制系統(tǒng)的結(jié)構(gòu)智能控制系統(tǒng)和傳統(tǒng)控制系統(tǒng)的主要區(qū)別有：

(1)在智能控制系統(tǒng)中，C是被控系統(tǒng)

的控制軟件，該軟件是根據(jù)模糊控制或?qū)＜蚁到y(tǒng)理論建立的規(guī)則集，或是根據(jù)神經(jīng)網(wǎng)絡(luò)理論訓(xùn)練(離線仿真得到)的權(quán)值矩陣集，或是以上方法或加上其它搜索尋優(yōu)方法相互結(jié)合的算法，如模糊控制器、基于遺傳算法的模糊控制器、模糊神經(jīng)網(wǎng)絡(luò)控制器、基于遺傳算法的神經(jīng)網(wǎng)絡(luò)控制器等。而傳統(tǒng)控制的控制器是根據(jù)被控系統(tǒng)的模型整定的參數(shù)，一般采用硬件電路調(diào)節(jié)器，如比例積分(PI)調(diào)節(jié)器、比例積分微分(PID)調(diào)節(jié)器。

(2)智能控制系統(tǒng)在系統(tǒng)調(diào)節(jié)過程中能動態(tài)地改變控制器的參數(shù)或結(jié)構(gòu)，因此控制器有較強的自適應(yīng)能力。而傳統(tǒng)控制系統(tǒng)相對自適應(yīng)能力較差。另外，智能控制系統(tǒng)適應(yīng)于任何系統(tǒng)，包括復(fù)雜的非線性系統(tǒng)，而傳統(tǒng)控制系統(tǒng)適應(yīng)于模型確定的線性系統(tǒng)。

3.智能控制系統(tǒng)的特征

1)智能控制系統(tǒng)的一般結(jié)構(gòu)

智能控制系統(tǒng)是實現(xiàn)某種控制任務(wù)的一種智能系統(tǒng)，其一般結(jié)構(gòu)如圖1-3所示。圖1-3智能控制系統(tǒng)的一般結(jié)構(gòu)

2)智能系統(tǒng)的主要功能特征

一個理想的智能控制系統(tǒng)應(yīng)具備如下性能：

(1)自學(xué)習及組織能力；

(2)自適應(yīng)性；

(3)基于自診斷能力的容錯性；

(4)魯棒性；

(5)實時性；

(6)人機交互。

20世紀末，研究智能控制的學(xué)者把智能控制的內(nèi)容分為三大分支，即神經(jīng)網(wǎng)絡(luò)、模糊控制和專家系統(tǒng)。隨著對不確定性系統(tǒng)處理的需求，適應(yīng)于全局尋優(yōu)的遺傳算法、處理海量數(shù)據(jù)的粗糙集理論、處理小樣本數(shù)據(jù)的支持向量機等理論為智能控制系統(tǒng)的發(fā)展增加了新的研究方法。1.2智能控制系統(tǒng)的分類和發(fā)展

基于智能理論和技術(shù)已有的研究成果，以及當前智能控制系統(tǒng)的研究現(xiàn)狀，可把智能控制系統(tǒng)分為分級遞階智能控制系統(tǒng)、神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)、專家控制系統(tǒng)、模糊控制系統(tǒng)、基于規(guī)則的仿人智能控制系統(tǒng)、集成智能控制系統(tǒng)、基于智能信息融合的監(jiān)測監(jiān)控系統(tǒng)等。

控制科學(xué)的發(fā)展進程示意圖如圖1-4所示。圖1-4控制科學(xué)的發(fā)展進程示意圖

K.S.Fu(傅京孫)在1971年指出，為了解決智能控制的問題，應(yīng)用嚴格的數(shù)學(xué)方法研究發(fā)展新的工具，對復(fù)雜的“環(huán)境-對象”進行建模和識別，以實現(xiàn)最優(yōu)控制，或者用人工智能的啟發(fā)式思想建立不能精確定義的環(huán)境和任務(wù)的控制設(shè)計方法。

G.N.saridis在學(xué)習控制系統(tǒng)研究的基礎(chǔ)上，提出了分級遞階和智能控制結(jié)構(gòu)，整個結(jié)構(gòu)自上而下分為組織級、協(xié)調(diào)級和執(zhí)行級三個層次，如圖1-5所示。圖1-5分層遞階結(jié)構(gòu)

1985年8月，IEEE在美國紐約召開了第一屆智能控制學(xué)術(shù)研討會。1993年8月中國自動化學(xué)會在北京召開了第一屆全球華人智能控制與智能自動化大會，1995年8月在天津召開了智能自動化專業(yè)委員會成立大會及首屆中國智能自動化學(xué)術(shù)會議，1997年6月在西安召開了第二屆全球華人智能控制與智能自動化大會。以后幾乎每兩年召開一次全球華人智能控制與智能自動化大會。近年來，智能控制技術(shù)在國內(nèi)外已有了較大的發(fā)展，已進入工程化、實用化的階段。但作為一門新興的理論技術(shù)，它還處于發(fā)展時期。隨著人工智能技術(shù)、計算機技術(shù)的迅速發(fā)展，智能控制必將迎來新的挑戰(zhàn)。神經(jīng)網(wǎng)絡(luò)是智能控制技術(shù)的重要分支之一，主要用于非線性系統(tǒng)的辨識建模、非線性過程的預(yù)測、神經(jīng)網(wǎng)絡(luò)控制及故障診斷等。在非線性系統(tǒng)中，存在著各種干擾或噪聲信號。無論是基于非線性系統(tǒng)的辨識建模，還是建立系統(tǒng)的預(yù)測模型或控制，均需考慮系統(tǒng)的各種噪聲。因此，討論噪聲及其產(chǎn)生方法是神經(jīng)網(wǎng)絡(luò)控制或辨識建模的基礎(chǔ)之一。1.3用于神經(jīng)網(wǎng)絡(luò)控制或辨識建模的噪聲信號產(chǎn)生方法

如果能夠在計算機上比較經(jīng)濟地產(chǎn)生統(tǒng)計上理想的各種不同分布的白噪聲序列，則對系統(tǒng)辨識仿真研究會提供極大的方便。為了簡單起見，常把各種不同分布的白噪聲序列稱為隨機數(shù)。從理論上講，只要有一種具有連續(xù)分布的隨機數(shù)，就可以通過函數(shù)變換的方法產(chǎn)生其它任意分布的隨機數(shù)。顯然，在具有連續(xù)分布的隨機數(shù)中，(0，1)均勻分布的隨機數(shù)是最簡單、最基本的一種，有了(0，1)均勻分布的隨機數(shù)，便可以產(chǎn)生其它任意分布的隨機數(shù)和白噪聲。因此，下面著重討論(0，1)均勻分布隨機數(shù)、(-1，1)白噪聲的產(chǎn)生方法及其MATLAB仿真。

1.(0，1)均勻分布隨機數(shù)的產(chǎn)生方法

在計算機上產(chǎn)生(0，1)均勻分布隨機數(shù)的方法主要有三類。一類是把已有的(0，1)均勻分布隨機數(shù)放在數(shù)據(jù)庫中，使用時訪問數(shù)據(jù)庫，這類方法雖然簡單但占用存儲空間大；另一類是物理方法，用硬件實現(xiàn)；第三類是利用數(shù)學(xué)方法產(chǎn)生(0，1)均勻分布隨機數(shù)，該方法經(jīng)濟實用，主要包括乘同余法和混合同余法。下面介紹簡單實用的乘同余法。用如下遞推同余式產(chǎn)生正整數(shù)序列{xi}：

xi=Axi-1(modM)

i=1,2,3,…(1-2)

其中：mod表示取M的余數(shù)，M為2的方冪，即M=2k，k為大于2的整數(shù)；A應(yīng)取適中的值，如3<A<10；初值x0取正奇數(shù)，如x0=1。再令

i=1,2,3,…(1-3)可以證明序列{ξi}是偽隨機數(shù)序列［HammrsleyandHandscomb,1964］。將式(1-2)和式(1-3)合并為

ξi={Aξi-1}

i=1,2,3,…(1-4)

其中，初值為ξ0=x0/M。

2.(0，1)均勻分布隨機數(shù)的產(chǎn)生仿真舉例

【例1-1】利用乘同余法，選R=2，A=6，k=8，M=2k=256，遞推100次，采用MATLAB的仿真語言(m軟件)編程，產(chǎn)生(0，1)均勻分布隨機數(shù)。

解

(光盤上的程序名為FLch1eg1.m，可直接MATLAB6.1下運行。)

(1)編程如下：A=6;N=100;x0=1;M=255;

%初始化

fork=1:N

%乘同余法遞推100次開始

x2=A*x0;

%x2和x0分別表示xi和xi-1

x1=mod(x2,M);

%將x2存儲器的數(shù)除以M，取

余數(shù)放x1中；

v1=x1/256;

%將x1存儲器的數(shù)除以256得

到小于1的隨機數(shù)放v1中；

v(:,k)=v1;%將v1中的數(shù)(ξi)存放在矩陣

存儲器v的第k列中，

%v(:,k)表示行不變、列隨遞

推循環(huán)次數(shù)變化；x0=x1;%xi-1=x1，x1中存放第i時刻的余數(shù)；

v0=v1;

end%遞推100次結(jié)束；

v2=v%該語句末無‘；’，實現(xiàn)矩陣存儲器v中隨機

數(shù)放在v2中

%且可直接顯示在MATLAB的window中；

k1=k;

%grapher%繪圖；

k=1:k1;

plot(k,v,k,v,‘r’);

xlabel(‘k’),ylabel(‘v’);title(‘(0-1)均勻分布的隨機序列’)

(全書程序中的“，”和“；”均應(yīng)為西文(半角)格式，否則無法在MATLAB下運行。)

(2)程序運行結(jié)果如圖1-6所示。圖1-6采用MATLAB產(chǎn)生的(0,1)均勻分布的隨機序列

(3)在程序運行結(jié)束后，產(chǎn)生的(0，1)均勻分布的隨機序列直接從MATLAB的窗口界面中復(fù)制出來(v2中每行存6個隨機數(shù),v2(j,k),j=1,2,…,13;k=1,2,…,6)：

v2=

0.02340.1406

0.8438

0.0820

0.4922

0.9609

0.78520.72660.37500.25780.5508

0.3164

0.90230.43360.60940.66800.02340.1406

0.8438

0.0820

0.4922

0.9609

0.7852

0.7266

0.3750

0.2578

0.5508

0.3164

0.9023

0.4336

0.60940.66800.02340.14060.84380.0820

0.49220.96090.78520.72660.37500.2578

0.55080.31640.90230.43360.60940.6680

0.02340.14060.84380.08200.49220.9609

0.78520.72660.37500.25780.55080.3164

0.90230.43360.60940.66800.02340.1406

0.84380.08200.49220.96090.78520.7266

0.37500.25780.55080.31640.90230.4336

0.60940.66800.02340.14060.84380.0820

0.49220.96090.78520.72660.37500.2578

0.55080.31640.90230.43360.60940.6680

0.02340.14060.84380.0820

3.白噪聲產(chǎn)生舉例

【例1-2】利用乘同余法，仍選R=2，A=6，k=8，M=2k=256，遞推100次，采用MATLAB的仿真語言編程，產(chǎn)生(－1，1)均勻分布的白噪聲。

解:①只要將產(chǎn)生的(0，1)均勻分布的隨機序列的程序梢加改動，將產(chǎn)生(0，1)均勻分布的隨機數(shù)統(tǒng)統(tǒng)減去0.5，相當于將原隨機序列圖的橫坐標向上平移0.5，原隨機序列變成了(－0.5，0.5）的白噪聲，然后乘以存儲器f中預(yù)置的系數(shù)，便可得到任意幅值的白噪聲，這里取f=2，得到了產(chǎn)生(－1，1）均勻分布的白噪聲的程序如下(附光盤上的該程序：FLch1eg2.m)：A=6;x0=1;f=2;N=100；%初始化；

x0=1;M=255;

fork=1:N

%乘同余法遞推100次；

x2=A*x0;

%分別用x2和x0表示xi和xi-1；

x1=mod(x2,M);

%取x2存儲器的數(shù)除以M的余數(shù)放x1中；

v1=x1/256;

%將x1存儲器中的數(shù)除以256得到小于1的隨機數(shù)放v1中；

v(:,k)=(v1-0.5)*f;

%將v1中的數(shù)（）減去0.5再乘以存儲器f中的系數(shù)，

%存放在矩陣存儲器v的第k列中;

x0=x1;%xi-1=x1，x1中存放第i時刻的余數(shù)；

v0=v1;end%遞推100次結(jié)束；

v2=v

%該語句末無‘；’，實現(xiàn)矩陣存儲器v中隨機數(shù)放在v2中，

%且可直接顯示在MATLAB的window中；

k1=k;

%grapher

%繪圖；

k=1:k1;

plot(k,v,k,v,'r');

xlabel('k'),ylabel('v');title('(-1,+1)均勻分布的白噪聲')

(2)程序運行結(jié)果如圖1-7所示。圖1-7采用MATLAB產(chǎn)生的(－1,1)均勻分布的白噪聲序列

(3)在程序運行結(jié)束后，產(chǎn)生的(-1，1)均勻分布的白噪聲序列直接從MATLAB的窗口界面中復(fù)制出來(v2中每行存6個隨機數(shù)v2(j,k),j=1,2,…,13;k=1,2,…,6)：

v2=

-0.9531-0.71880.6875-0.8359-0.01560.92190.57030.4531-0.2500-0.48440.1016-0.36720.8047-0.13280.21880.3359-0.9531-0.71880.6875-0.8359-0.01560.92190.57030.4531-0.2500-0.48440.1016-0.36720.8047-0.13280.21880.3359-0.9531-0.71880.6875-0.8359-0.01560.92190.57030.4531-0.2500-0.48440.1016-0.36720.8047-0.13280.21880.3359-0.9531-0.71880.6875-0.8359-0.01560.92190.57030.4531-0.2500-0.48440.1016-0.36720.8047-0.13280.21880.3359-0.9531-0.71880.6875-0.8359-0.01560.92190.57030.4531-0.2500-0.48440.1016-0.36720.8047-0.13280.21880.3359-0.9531-0.71880.6875-0.8359-0.01560.92190.57030.4531-0.2500-0.48440.1016-0.36720.8047-0.13280.21880.3359

-0.9531-0.71880.6875-0.8359顯然，只要在例1-2程序的初始化部分中使N=300，f=10，運行程序就可以得到(－5，5)的白噪聲，如圖1-8所示。圖1-8

(-5,5)白噪聲

1.基本概念

從辨識的概念可知，若系統(tǒng)的模型結(jié)構(gòu)正確，系統(tǒng)模型的辨識精度直接通過Fisher信息函數(shù)矩陣依賴于輸入來確定。因此，合理選擇系統(tǒng)辨識的輸入信號是保證辨識精度的重要環(huán)節(jié)。前面已經(jīng)討論了白噪聲的產(chǎn)生,但工業(yè)設(shè)備，如閥門、鏟車、提升機等不可能按白噪聲的變化動作。而線性移位寄存器序列(M序列)可以很好地模擬工業(yè)設(shè)備動態(tài)運行中的辨識輸入信號。M序列具有接近白噪聲的性質(zhì)，因此稱為偽隨機信號。

1.4偽隨機信號產(chǎn)生及MATLAB仿真舉例

2.用移位寄存器產(chǎn)生M序列

四級移位寄存器產(chǎn)生M序列的結(jié)構(gòu)如圖1-9所示。圖1-9四級移位寄存器產(chǎn)生M序列的結(jié)構(gòu)圖中，⊕表示模2和（異或）運算，C1、C2、C3和C4表示四個移位寄存器，x1、x2、x3和x4分別表示各移位寄存器的輸出，x4的輸出為產(chǎn)生的M序列。四級移位寄存器的連接方式可用(1-5)表示。(1-5)從而可知，x1第(k+1)時刻的狀態(tài)由x3和x4第k時刻狀態(tài)的異或運算結(jié)果決定；x2第(k+1)時刻的狀態(tài)由x1第k時刻的狀態(tài)決定；x3第(k+1)時刻的狀態(tài)由x2第k時刻的狀態(tài)決定；x4第(k+1)時刻的狀態(tài)由x3第k時刻的狀態(tài)決定。設(shè)置初始狀態(tài)為1010，在移位脈沖CP作用下，寄存器各級狀態(tài)的變化如表1-1所示。表1-1四級移位寄存器產(chǎn)生M序列的工作狀態(tài)

從表1-1可知M序列為：

該M序列可表示為

式中，sk表示狀態(tài)在第k位為1；表示模2和(異或)。該M序列有以下特點：

(1-6)

(1)M序列的循環(huán)長度為Np=2N－1=15，其中N為寄存器的個數(shù)；

(2)邏輯為1的次數(shù)為2N/2=2N－1=(Np+1)/2；

(3)邏輯為0的次數(shù)為2N/2－1=2N－1－1=(Np－1)/2；

(4)游程的特點。對四級移位寄存器產(chǎn)生M序列而言，每周期有15位(bit)。狀態(tài)連續(xù)出現(xiàn)的段稱為游程，該15個bit分為8段。其中0游程和1游程各有4個；長度為1個bit的段有4個，占總段數(shù)的1/2；長度為2個bit的段有2個，占總段數(shù)的1/4；長度為3個bit的段有1個(邏輯0)，占總段數(shù)的1/8；長度為4個bit的段有1個(邏輯1)，占總段數(shù)的1/8。

3.用MATLAB軟件實現(xiàn)移位寄存器產(chǎn)生M序列

【例1-3】現(xiàn)仍以四級移位寄存器產(chǎn)生M序列為例，在

實際中,常把M序列的邏輯0和邏輯1變換成a和-a的序列，這里取a=1，用軟件實現(xiàn)。

解

(1)編程如下(光盤上該程序名為FLchleg3.m)：X1=1;X2=0;X3=1;X4=0;%移位寄存器輸入Xi初態(tài)(0101)，

m=60;%置M序列總長度m值；

fori=1:m%開始循環(huán)

Y4=X4;Y3=X3;Y2=X2;Y1=X1;%Yi為移位寄存器各級

輸出，

%在移位之前先將各自的輸入傳給輸出；

X4=Y3;X3=Y2;X2=Y1;%實現(xiàn)移位寄存器的連接方式；

X1=xor(Y3,Y4);%異或運算，實現(xiàn)；

ifY4==0%將輸出‘0’態(tài)轉(zhuǎn)換成‘-1’態(tài)；U(i)=-1;

else

U(i)=Y4;

end%轉(zhuǎn)換結(jié)束；

end%60次循環(huán)結(jié)束；

M=U

%繪圖

i1=i

k=1:1:i1;

plot(k,U,k,U,'rx')

xlabel('k')

ylabel('M序列')

title('移位寄存器產(chǎn)生的M序列')

(2)程序運行結(jié)果如圖1-10所示。圖1-10軟件實現(xiàn)的移位寄存器產(chǎn)生的M序列

(3)用軟件實現(xiàn)的移位寄存器產(chǎn)生的M序列，在程序運行結(jié)束后，產(chǎn)生的(-1，1)M序列，直接從MATLAB的窗口界面中復(fù)制出來(M中每行存10個數(shù)(k=1~10)，在程序中置M序列

總長度值m=60，所以共60個數(shù),M(j,k),j=1,2,…,6;k=1,2,…,10)：M=

-11-11111-1-1-1

1-1-111-11-111

11-1-1-11-1-111

-11-11111-1-1-1

1-1-111-11-111

11-1-1-11-1-111在實際中，可根據(jù)所需M序列的周期長度的不同，選擇移位寄存器的級數(shù)N，只要適當連接其結(jié)構(gòu)，便可以得到滿意的Np。在其結(jié)構(gòu)中，決定x1第(k+1)時刻狀態(tài)的第k時刻狀態(tài)異或運算結(jié)果是關(guān)鍵。下面將常用的N級產(chǎn)生M序列移位寄存器的連接方式列于表1-2。表1-2

N級產(chǎn)生M序列移位寄存器的連接方式

任何M序列均具有“移位相加”的性質(zhì)。除了上述用軟件直接實現(xiàn)實用的N級移位寄存器M序列外，還可以將N級移位寄存器M序列各級移位寄存器的狀態(tài)任意組合成實用的

M序列，例如：

式中，s2為“01”狀態(tài)，系數(shù)b和周期Np的循環(huán)次數(shù)有關(guān)，可表示為(1-7)IM(k)為由狀態(tài)“01”、寄存器C1的輸出x1(k)和寄存器C4的輸出x4(k)在每個采樣點上的狀態(tài)模2和(異或)運算形成的序列。顯然，對于式(1-7)也可以編程用軟件來實現(xiàn)。(1-8)智能控制技術(shù)的知識表示有多種方法，如語義網(wǎng)絡(luò)知識表示法和框架知識表示法。

1.語義網(wǎng)絡(luò)知識表示法

語義網(wǎng)絡(luò)(SematicNetwork)是通過概念及其語義關(guān)系來表示知識的一種網(wǎng)絡(luò)圖，由節(jié)點和連接節(jié)點的弧構(gòu)成，其基礎(chǔ)是一種三元組結(jié)構(gòu)(節(jié)點1、弧、節(jié)點2)。1.5語義網(wǎng)絡(luò)知識表示法及Petri網(wǎng)舉例例如，對于“獵狗是一種狗”這一事實，其語義網(wǎng)絡(luò)如圖1-11所示。圖1-11一種語義網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)用連接式的網(wǎng)絡(luò)知識表示法來表達神經(jīng)元之間的連接形式，其連接方式在第2章神經(jīng)網(wǎng)絡(luò)的分類中將詳細討論。

2.框架知識表示法

框架有一個框架名，指出所表達的內(nèi)容：某個概念、對象或事件。其下一個層次設(shè)若干個槽，用來說明該框架的性質(zhì)。

【例1-4】設(shè)d1,d2,…,d8是八個命題，有如下產(chǎn)生式規(guī)則集：

R1:IFd7THENd2CF=0.90,α(d7)=0.90

R2:IFd2THENd3CF=0.90

R3:IFd3THENd4CF=0.90

R4:IFd4andd8THENd5CF=0.80

R5:IFd3THENd7CF=0.85

R6:IFd7THENd4CF=0.70

R7:IFd7THENd6CF=0.95

R8:IFd1ord6THENd5CF=0.85

其模糊Petri網(wǎng)如圖1-12所示。圖1-12模糊Petri網(wǎng)

【例1-5】建立如下產(chǎn)生式規(guī)則集的模糊Petri網(wǎng)：

R1:IFd1THENd2CF=0.85

R2:IFd2THENd3CF=0.80

R3:IFd2THENd4CF=0.80

R4:IFd4THENd5CF=0.90

R5:IFd1THENd6CF=0.90

R6:IFd6THENd9CF=0.93

R7:IFd1andd8THENd7CF=0.90

R8:IFd7THENd4CF=0.90

提示：R7:IFd1andd8THENd7CF=0.90的命題條件元素是與的關(guān)系，則產(chǎn)生式的規(guī)則變量應(yīng)如圖1-13對應(yīng)的Petri

網(wǎng)所示。

圖1-13命題條件元素是與關(guān)系時對應(yīng)的Petri網(wǎng)若命題條件元素是或的關(guān)系,如R7:IFd1ord8THENd7CF=0.90，則產(chǎn)生式的規(guī)則變量應(yīng)如圖1-14所示。圖1-14命題條件元素是或關(guān)系時對應(yīng)的Petri網(wǎng)本章首先介紹智能控制技術(shù)的基本概念、智能控制系統(tǒng)的分類和發(fā)展；然后討論了用于神經(jīng)網(wǎng)絡(luò)控制或辨識建模的噪聲信號產(chǎn)生方法、偽隨機信號產(chǎn)生方法，并給出了三MATLAB產(chǎn)生噪聲信號仿真的開發(fā)程序及其程序剖析；最后介紹了語義網(wǎng)絡(luò)知識表示法及Petri網(wǎng)舉例。本章是智能控制技術(shù)及其神經(jīng)網(wǎng)絡(luò)應(yīng)用的基礎(chǔ)，學(xué)習這部分內(nèi)容是學(xué)好神經(jīng)網(wǎng)絡(luò)的關(guān)鍵。1.6小結(jié)

1.什么是智能、智能系統(tǒng)、智能控制？

2.智能控制系統(tǒng)的結(jié)構(gòu)一般由哪幾部分構(gòu)成？它們之間存在什么聯(lián)系？

(提示：可參考圖1-3智能控制系統(tǒng)的結(jié)構(gòu))

3.智能控制系統(tǒng)有哪幾種類型？各自的特點是什么？

4.比較智能控制和傳統(tǒng)控制的特點。

5.智能控制有哪些應(yīng)用領(lǐng)域？試舉出一個應(yīng)用實例，并說明其工作原理和控制性能。

習題

2.1生物神經(jīng)元模型

2.2人工神經(jīng)元2.3神經(jīng)網(wǎng)絡(luò)常用的激發(fā)函數(shù)

2.4神經(jīng)網(wǎng)絡(luò)的分類

2.5神經(jīng)網(wǎng)絡(luò)學(xué)習方法2.6小結(jié)習題

基于人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetwork,ANN)的控制稱之為神經(jīng)網(wǎng)絡(luò)控制(NNC)系統(tǒng)，簡稱為神經(jīng)控制(NeuralControl,NC)。隨著人工神經(jīng)網(wǎng)絡(luò)研究的進展，神經(jīng)網(wǎng)絡(luò)越來越多地用于控制領(lǐng)域的各個方面,如過程控制、機器人控制、生產(chǎn)制造、模式識別及決策支持等。本章主要介紹神經(jīng)網(wǎng)絡(luò)的基本概念和神經(jīng)網(wǎng)絡(luò)的學(xué)習方法，包括生物神經(jīng)元模型、人工神經(jīng)網(wǎng)絡(luò)發(fā)展及特點、神經(jīng)網(wǎng)絡(luò)常用的激發(fā)函數(shù)、神經(jīng)網(wǎng)絡(luò)常用的學(xué)習方法等內(nèi)容。正常人腦是由大約1011~1012個神經(jīng)元組成的，神經(jīng)元是腦組織的基本單元。每個神經(jīng)元具有102~104個突觸與其它神經(jīng)元相連接，形成了錯綜復(fù)雜而又靈活多變的神經(jīng)網(wǎng)絡(luò)。神經(jīng)元由胞體、樹突和軸突構(gòu)成。胞體是神經(jīng)元的代謝中心，每個細胞體有大量的樹突(輸入端)和軸突(輸出端)，不同神經(jīng)元的軸突與樹突互連的結(jié)合部為突觸，突觸決定神經(jīng)元之間的連接強度和作用性質(zhì)，而每個神經(jīng)元胞體本身則是一非線性輸入、輸出單元。

一個神經(jīng)元的模型示意圖如圖2-1所示。2.1生物神經(jīng)元模型

圖2-1神經(jīng)元模型示意圖由圖可見，神經(jīng)元由胞體、樹突和軸突構(gòu)成。胞體是神經(jīng)元的代謝中心，它本身又由細胞核、內(nèi)質(zhì)網(wǎng)和高爾基體組成。胞體一般生長有許多樹狀突起物，稱之為樹突，它是神經(jīng)元的主要接收器。胞體還延伸出一條管狀纖維組織，稱之為軸突，軸突外面包有一層較厚的絕緣組織，稱之為髓鞘(梅林鞘)。髓鞘規(guī)則地分為許多短段，段與段之間的部位被稱為郎飛節(jié)。軸突的作用是傳導(dǎo)信息，通常軸突的末端分出很多末梢，它們與后一個神經(jīng)元的樹突構(gòu)成一種稱為突觸的機構(gòu)。前一神經(jīng)元的信息經(jīng)由其軸突傳到末梢之后，通過突觸對后面各個神經(jīng)元產(chǎn)生影響。從生物控制論的觀點看，神經(jīng)元作為控制和信息處理的單元，具有以下主要功能及特點：

(1)興奮與抑制狀態(tài)。神經(jīng)元具有兩種常規(guī)工作狀態(tài)，當傳入沖動的信息使細胞膜電位升高，超過被稱為動作電位的閾值(約40mV)時，細胞進入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由突觸輸出，稱之為興奮；否則，突觸無輸出，神經(jīng)元的工作狀態(tài)為抑制。神經(jīng)元的這兩種工作狀態(tài)滿足“0-1”率，對應(yīng)于“興奮-抑制”狀態(tài)。

(2)突觸的延期或不應(yīng)期。神經(jīng)沖動沿神經(jīng)傳導(dǎo)的速度在1~150m/s之間，在相鄰的兩次沖動之間需要一個時間間隔，即為不應(yīng)期。

(3)學(xué)習、遺忘和疲勞。由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強、減弱和飽和，因此細胞具有相應(yīng)的學(xué)習功能、遺忘或疲勞效應(yīng)(飽和效應(yīng))。

隨著生物控制論的發(fā)展，人們對神經(jīng)元的結(jié)構(gòu)和功能有了進一步的了解，神經(jīng)元不僅僅是一簡單的雙穩(wěn)態(tài)邏輯元件，而且是超級的微型生物信息處理機或控制機單元。2.2.1人工神經(jīng)網(wǎng)絡(luò)的發(fā)展

人工神經(jīng)網(wǎng)絡(luò)模仿人腦神經(jīng)的活動，力圖建立腦神經(jīng)活動的數(shù)學(xué)模型。近年來，智能控制作為一個新的交叉學(xué)科蓬勃興起。人們在更高層次上尋求控制、計算機和神經(jīng)生理學(xué)的

新結(jié)合，以此來解決現(xiàn)實世界中常規(guī)控制論難以解決的一些問題。2.2人工神經(jīng)元

神經(jīng)網(wǎng)絡(luò)的研究已有60多年的歷史。20世紀40年代初，心理學(xué)家Mcculloch和數(shù)學(xué)家Pitts提出了形式神經(jīng)元的數(shù)學(xué)模型，且研究了神經(jīng)元模型幾個基本元件互相連接的潛在功能。1949年，Hebb和其他學(xué)者研究神經(jīng)系統(tǒng)中的自適應(yīng)定律，并提出了改進神經(jīng)元連接強度的Hebb規(guī)則。1958年，Rosenblatt首先引入了感知器(Perceptron)的概念，并提出了構(gòu)造感知器的結(jié)構(gòu)，這對以后的研究起到了很大的作用。1962年，Widrow提出了線性自適應(yīng)元件(Adline)，它用于連續(xù)取值的線性網(wǎng)絡(luò)，主要用于自適應(yīng)系統(tǒng)，與當時占主導(dǎo)地位的以順序離散符號推理為基本特性的AI方法完全不同。之后，Minsky和Papert于1969年對以感知器為代表的網(wǎng)絡(luò)作了嚴格的數(shù)學(xué)分析，證明了一些性質(zhì)并指出了幾個模型的局限性。神經(jīng)元網(wǎng)絡(luò)在相當長的一段時間發(fā)展緩慢。Grossberg在20世紀70年代對神經(jīng)元網(wǎng)絡(luò)的研究有了新的突破性的進展。根據(jù)生物學(xué)和生理學(xué)的證明，他提出了具有新特征的幾種非線性動態(tài)系統(tǒng)結(jié)構(gòu)。1982年，Hopfield在網(wǎng)絡(luò)研究中引入了“能量函數(shù)”的概念，將特殊的非線性結(jié)構(gòu)用于解決優(yōu)化類的問題，這引起了工程界的巨大興趣。Hopfield網(wǎng)至今仍是控制方面應(yīng)用最多的網(wǎng)絡(luò)之一。

1985年，Hinton和Sejnowshi借用了統(tǒng)計物理學(xué)的概念和方法，提出了Boltzman機模型，在學(xué)習過程中采用了模擬退火技術(shù)，保證系統(tǒng)能全局最優(yōu)。1986年，以Rumelthard和Mcclelland為代表的PDP(ParalellDistributedProcessing)小組發(fā)表了一系列研究結(jié)果和算法。由于他們卓越的工作，使得神經(jīng)元網(wǎng)絡(luò)的研究和應(yīng)用進入了興盛時期。此后，Kosko提出了雙向聯(lián)想存儲器和自適應(yīng)雙向聯(lián)想存儲器，為在具有噪聲的環(huán)境中的學(xué)習提供了途徑。2.2.2神經(jīng)網(wǎng)絡(luò)的特性

神經(jīng)網(wǎng)絡(luò)作為一種新技術(shù)引起了人們的巨大興趣，并越來越多地用于控制領(lǐng)域，這正是因為與傳統(tǒng)的控制技術(shù)相比，神經(jīng)網(wǎng)絡(luò)具有以下主要特性：

(1)非線性。神經(jīng)網(wǎng)絡(luò)在理論上可以趨近任何非線性的映射。對于非線性復(fù)雜系統(tǒng)的建模、預(yù)測，神經(jīng)網(wǎng)絡(luò)比其它方法更實用、更經(jīng)濟。

(2)平行分布處理。神經(jīng)網(wǎng)絡(luò)具有高度平行的結(jié)構(gòu)，這使其本身可平行實現(xiàn)，故較其它常規(guī)方法有更大程度的容錯能力。

(3)硬件實現(xiàn)。神經(jīng)網(wǎng)絡(luò)不僅可以平行實現(xiàn)，而且一些制造廠家已經(jīng)用專用的VLSI硬件來制作神經(jīng)網(wǎng)絡(luò)。

(4)學(xué)習和自適應(yīng)性。利用系統(tǒng)實際統(tǒng)計數(shù)據(jù)，可以對網(wǎng)絡(luò)進行訓(xùn)練。受適當訓(xùn)練的網(wǎng)絡(luò)有能力泛化，即當輸入出現(xiàn)訓(xùn)練中未提供的數(shù)據(jù)時，網(wǎng)絡(luò)也有能力進行辨識。神經(jīng)網(wǎng)絡(luò)還可以在線訓(xùn)練。

(5)數(shù)據(jù)融合。神經(jīng)網(wǎng)絡(luò)可以同時對定性、定量的數(shù)據(jù)進行操作。在這方面，神經(jīng)網(wǎng)絡(luò)正好是傳統(tǒng)工程(定量數(shù)據(jù))和人工智能領(lǐng)域(符號數(shù)據(jù))信息處理技術(shù)之間的橋梁。

(6)多變量系統(tǒng)。神經(jīng)網(wǎng)絡(luò)能處理多輸入信號，且可以具有多個輸出，故適用于多變量系統(tǒng)。

從控制理論的觀點來看，神經(jīng)網(wǎng)絡(luò)處理非線性的能力是最有意義的；從系統(tǒng)辨識和模式識別的角度考慮，神經(jīng)網(wǎng)絡(luò)跟蹤和識別非線性特性的能力是其最大的優(yōu)勢。2.2.3人工神經(jīng)元模型

人工神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本處理單元。它是對生物神經(jīng)元的簡化和模擬。圖2-2表示一種簡化的神經(jīng)元結(jié)構(gòu)。從圖可見，它是一個多輸入、單輸出的非線性元件，其輸入/輸出

關(guān)系可描述為(2-1)其中xj(j=1,2,…,n)是從其它細胞傳來的輸入信號，θ為閾值，權(quán)系數(shù)wj表示連接的強度，說明突觸的負載。f(x)稱為激發(fā)函數(shù)或作用函數(shù)，其非線性特性可用閾值型、分段線性型和連續(xù)型激發(fā)函數(shù)近似。圖2-2簡化的神經(jīng)元結(jié)構(gòu)為了方便，有時將－θ也看成是對應(yīng)恒等于1的輸入x0

的權(quán)值，這時(2-1)式的和式變成：

其中,w0=-θ,x0=1。(2-2)神經(jīng)網(wǎng)絡(luò)中常用的激發(fā)函數(shù)如圖2-3所示。不同的激發(fā)函數(shù)決定了神經(jīng)元的不同輸出特性。2.3神經(jīng)網(wǎng)絡(luò)常用的激發(fā)函數(shù)

圖2-3常用激發(fā)函數(shù)

1.閾值型函數(shù)

圖2-3中，(a)和(b)為閾值型函數(shù)；當yi取0或1時，f(x)為圖中(a)所示的階躍函數(shù)：(2-3)當yi?。?或1時，f(x)為圖中(b)所示的sgn(符號函數(shù))函數(shù)：(2-4)

2.飽和型函數(shù)

圖2-3中(c)為飽和型函數(shù)，描述為

3.雙曲型函數(shù)

圖2-3中(d)是雙曲型函數(shù)或稱為對稱的sigmoid函數(shù)，描述為

圖2-3中(d)、(e)和(f)均為連續(xù)型的激發(fā)函數(shù)。其中I和x

之間的關(guān)系見式(2-2)。(2-6)

4.S型函數(shù)

圖2-3中(e)為S型函數(shù)，又稱之為sigmoid函數(shù)，描述為

神經(jīng)元的狀態(tài)與輸入之間的關(guān)系為在(0，1)內(nèi)連續(xù)取值的單調(diào)可微函數(shù)。當β→∞時，S型函數(shù)趨于階躍函數(shù)。通常情況下β取1。(2-7)

5.高斯函數(shù)

圖2-3中(f)是高斯函數(shù):式中,c是高斯函數(shù)中心值，c為0時函數(shù)以縱軸對稱；b是高斯函數(shù)的尺度因子，b確定高斯函數(shù)的寬度。神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元廣泛連接成的網(wǎng)絡(luò)。根據(jù)連接方式的不同，神經(jīng)網(wǎng)絡(luò)可以分為兩大類：無反饋的前向神經(jīng)網(wǎng)絡(luò)和相互連接型網(wǎng)絡(luò)(包括反饋網(wǎng)絡(luò))，分別如圖2-4和圖2-5所示。前向網(wǎng)絡(luò)分為輸入層、隱含層(簡稱隱層也稱中間層)和輸出層。隱層可以有若干層，每一層的神經(jīng)元只接收前一層神經(jīng)元的輸出。而相互連接型網(wǎng)絡(luò)的神經(jīng)元相互之間都可能有連接，因此，輸入信號要在神經(jīng)元之間反復(fù)往返傳遞，從某一初態(tài)開始，經(jīng)過若干次變化，漸漸趨于某一穩(wěn)定狀態(tài)或進入周期振蕩等其它狀態(tài)。2.4神經(jīng)網(wǎng)絡(luò)的分類

迄今為止，約有40種神經(jīng)網(wǎng)絡(luò)模型，其中具有代表性的有：BP網(wǎng)絡(luò)、回歸BP網(wǎng)絡(luò)、GMDH網(wǎng)絡(luò)、徑向基函數(shù)RBF、感知器、CG網(wǎng)絡(luò)、盒中腦(BSB)模型、Hopfield神經(jīng)網(wǎng)絡(luò)、BoltzmanMechine/CauchyMachine(BCM)、CounterPropagation(CPN)、Madaline網(wǎng)絡(luò)、自適應(yīng)共振理論(ART，包括ART1和ART2)、雪崩網(wǎng)絡(luò)、雙向聯(lián)想記憶(BAM)網(wǎng)絡(luò)、學(xué)習矩陣(LRN)、神經(jīng)認識機、自組織映射(SOM)、細胞神經(jīng)網(wǎng)絡(luò)(CNN)、交替投影神經(jīng)網(wǎng)絡(luò)(APNN)、小腦模型(CMAC)等。從信息傳遞的規(guī)律來看，這些已有的神經(jīng)網(wǎng)絡(luò)可以分成三大類，即前向神經(jīng)網(wǎng)絡(luò)(FeedforwardNN)、反饋型神經(jīng)網(wǎng)絡(luò)(FeedbackNN)和自組織神經(jīng)網(wǎng)絡(luò)(SelforganizingNN，如圖2-6所示)。以后章節(jié)將分別介紹這三類神經(jīng)網(wǎng)絡(luò)中有代表性的網(wǎng)絡(luò)。

圖2-4前向神經(jīng)網(wǎng)絡(luò)圖2-6自組織特征映射神經(jīng)網(wǎng)絡(luò)圖2-5反饋型神經(jīng)網(wǎng)絡(luò)

自組織特征映射(SelforganizingFeatureMap)神經(jīng)網(wǎng)絡(luò)又被稱為Kohonen網(wǎng)絡(luò)，是一種無教師學(xué)習神經(jīng)網(wǎng)絡(luò)。其輸出神經(jīng)元(節(jié)點)呈二維陣列分布，輸出節(jié)點與其它領(lǐng)域或其它神經(jīng)節(jié)點之間廣泛相連，相互激勵。它可以自動地向環(huán)境學(xué)習，主要用于語音識別、圖像壓縮、機器人控制、優(yōu)化問題等領(lǐng)域。這種網(wǎng)絡(luò)是基于生理學(xué)和腦科學(xué)研究成果提出來的。腦神經(jīng)研究表明：傳遞感覺的神經(jīng)元排列是按某種規(guī)律有序進行的。這種排列一般反映所感受的外部刺激的某些物理特征。神經(jīng)網(wǎng)絡(luò)在接受外部輸入時，將會分成不同的區(qū)域，不同的區(qū)域?qū)Σ煌Ｊ骄哂胁煌捻憫?yīng)特征，同時，這一過程是自動完成的。在自組織特征映射網(wǎng)絡(luò)中，各神經(jīng)元的連接權(quán)值具有一定的分布特性，最鄰近的神經(jīng)元相互激勵，而較遠的神經(jīng)元則相互抑制。在外界刺激最強的區(qū)域形成一個氣泡(Bubble)，又稱其為墨西哥帽。在該氣泡區(qū)域中，神經(jīng)元權(quán)值向量會自動調(diào)節(jié)。這種網(wǎng)絡(luò)的每個輸入節(jié)點與輸出之間由可變權(quán)值wij(k)連接，通過競爭規(guī)律，不斷調(diào)整wij(k)，使得在穩(wěn)定時每一領(lǐng)域的所有節(jié)點對某種輸入具有類似的輸出，并且這種聚類的概率分布與輸入模式的概率分布趨于接近。

1.學(xué)習方法的種類

神經(jīng)網(wǎng)絡(luò)學(xué)習方法有多種。網(wǎng)絡(luò)的學(xué)習規(guī)則可分為三類：相關(guān)規(guī)則，即僅僅根據(jù)連接間的激活水平改變權(quán)值；糾錯規(guī)則，即依賴關(guān)于輸出節(jié)點的外部反饋來改變權(quán)系數(shù)；無教師學(xué)習規(guī)則，即學(xué)習表現(xiàn)為自適應(yīng)于輸入空間的檢測規(guī)則。相應(yīng)地，神經(jīng)網(wǎng)絡(luò)學(xué)習方法也可根據(jù)學(xué)習規(guī)則劃分為不同的種類。2.5神經(jīng)網(wǎng)絡(luò)學(xué)習方法

1)相關(guān)規(guī)則

相關(guān)規(guī)則常用于自聯(lián)想網(wǎng)絡(luò)，執(zhí)行特殊記憶狀態(tài)的記憶式學(xué)習，也屬于無教師的學(xué)習。Hopfield網(wǎng)絡(luò)就采用這種學(xué)習方法，稱之為修正的Hebb規(guī)則：

Δwij=(2xi-1)(2xj-1)(2-9)

式中，xi和xj分別表示兩個相連接的神經(jīng)元i和神經(jīng)元j的激活值。

2)糾錯規(guī)則

糾錯規(guī)則等效于梯度下降法，通過在局部最大改善的方向上逐步進行修正，力圖達到表示函數(shù)功能的全局解。感知器即使用糾錯規(guī)則，其特點為

(1)若一節(jié)點的輸出正確，一切不變。

(2)若輸出本應(yīng)為0而為1，則相應(yīng)的權(quán)值減小。

(3)若輸出應(yīng)為1而為0，則權(quán)值增加。

對于δ學(xué)習規(guī)則，可分為一般δ規(guī)則和廣義δ規(guī)則，常見的有以下3種。

(1)δ學(xué)習規(guī)則。權(quán)值的Δw修正不是固定的量而與誤差成正比，即

Δwij=ηδixj(2-10)

這里η是全局學(xué)習系數(shù)，而δi=ti-xi，即期望值和實際值之差;

xj是神經(jīng)元j的狀態(tài)。

δ學(xué)習規(guī)則和感知器學(xué)習規(guī)則一樣,只適用于線性可分函數(shù)，無法用于多層網(wǎng)絡(luò)。

(2)廣義δ規(guī)則。它可在多層網(wǎng)絡(luò)上有效地學(xué)習，可學(xué)習非線性可分函數(shù)。其關(guān)鍵是對隱節(jié)點的偏差δ如何定義和計算。對具有誤差反向傳播的前向神經(jīng)網(wǎng)絡(luò)的BP算法，當j為神經(jīng)網(wǎng)絡(luò)隱層節(jié)點時，定義

(2-11)

式中，wjk是節(jié)點j到下一層神經(jīng)節(jié)點k的權(quán)值;netj為隱層第j個神經(jīng)節(jié)點的輸入網(wǎng)絡(luò);f(netj)為隱層第j個神經(jīng)節(jié)點的輸出;f′(netj)是連續(xù)的一次可微函數(shù);δj為隱層神經(jīng)節(jié)點j的誤差反向傳播系數(shù);δk為下一層神經(jīng)節(jié)點k的誤差反向傳播系數(shù)。

(3)Boltzmann機學(xué)習規(guī)則。它用模擬退火的統(tǒng)計方法來代替廣義的δ規(guī)則。它提供了隱節(jié)點的有效學(xué)習方法，能學(xué)習復(fù)雜的非線性可分函數(shù)。這種方法也屬于梯度下降法，其主要缺點是學(xué)習速度太慢。

3)無教師學(xué)習規(guī)則

在這種學(xué)習規(guī)則中，關(guān)鍵不在于實際節(jié)點的輸出怎樣與外部的期望輸出相一致，而在于調(diào)整參數(shù)以反映觀測事件的分布。諸如Grossberg的自適應(yīng)共振理論(ART)、自組織特征映射和Klopf的享樂主義神經(jīng)元都是無教師學(xué)習。

這類無教師學(xué)習的系統(tǒng)并不在于尋找一個特殊函數(shù)表示，而是將事件空間分類成輸入活動區(qū)域，且有選擇地對這些區(qū)域響應(yīng)。它在應(yīng)用于開發(fā)由多層競爭族組成的網(wǎng)絡(luò)等方面有良好的前景。它的輸入可以是連續(xù)值，對噪聲有較強的抗干擾能力，但對較少的輸入樣本，結(jié)果可能依賴于輸入順序。在人工神經(jīng)網(wǎng)絡(luò)中，學(xué)習規(guī)則是修正網(wǎng)絡(luò)權(quán)值的一種算法，以獲得適合的映射函數(shù)或其它系統(tǒng)性能。Hebb學(xué)習規(guī)則的相關(guān)假設(shè)是許多規(guī)則的基礎(chǔ)，尤其是相關(guān)規(guī)則；Hopfied網(wǎng)絡(luò)和自組織特征映射展示了有效的模式識別能力；糾錯規(guī)則采用梯度下降法，因而存在局部極小點問題。無教師學(xué)習提供了新的選擇，它利用自適應(yīng)學(xué)習方法，使節(jié)點有選擇地接收輸入空間上的不同特性，從而拋棄了普通神經(jīng)網(wǎng)絡(luò)學(xué)習映射函數(shù)的學(xué)習概念，并提供了基于檢測特性空間的活動規(guī)律的性能描寫。下面介紹幾種常用的學(xué)習方法。

2.常用的神經(jīng)網(wǎng)絡(luò)學(xué)習方法

1)Hebb學(xué)習方法

基于對生理學(xué)和對心理學(xué)的長期研究，D.O.Hebb提出了生物神經(jīng)元學(xué)的假設(shè)，即當兩個神經(jīng)同時處于興奮狀態(tài)時，它們之間的連接應(yīng)當加強。這一假設(shè)可描述為

wij(k+1)=wij(k)+IiIj(2-12)

式中，wij(k)為連接從神經(jīng)元i到神經(jīng)元j的當前權(quán)值；Ii、Ij為神經(jīng)元i、j的激活水平。

Hebb學(xué)習方法是一種無教師的學(xué)習方法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此這種方法亦稱相關(guān)規(guī)則。當時，

則Hebb學(xué)習方法改寫成

wij(k+1)=wij(k)+yiyj(2-14)

另外，根據(jù)神經(jīng)元狀態(tài)變化來調(diào)整權(quán)值的Hebb學(xué)習方法稱為微分Hebb學(xué)習方法，可描述為

wij(k+1)=wij(k)+[yi(k)-yi(k-1)][yj(k)-yj(k-1)](2-15)(2-13)

2)梯度下降法

梯度下降法是一種有教師的學(xué)習方法。假設(shè)下列準則函數(shù)

其中，Y(k)代表希望的輸出，為期望的實際輸出，W是所有權(quán)值組成的向量，為對y(k)的偏差?，F(xiàn)在的問題是如何調(diào)整Ｗ使準則函數(shù)最小。梯度下降法可用來解決此問題，其基本思想是沿著J(W)的負梯度方向不斷修正值，直至J(W)達到最小。這種方法的數(shù)學(xué)表達式為(2-16)(2-17)其中,μ是控制權(quán)值修正速度的變量;J(W)的梯度為(2-18)在上述問題中，把網(wǎng)絡(luò)的輸出看成是網(wǎng)絡(luò)權(quán)值向量W的函數(shù)，因此網(wǎng)絡(luò)的學(xué)習就是根據(jù)希望的輸出和實際之間的誤差平方最小原則來修正網(wǎng)絡(luò)的權(quán)向量。根據(jù)不同形式的，可推導(dǎo)出相應(yīng)的算法：δ規(guī)則和BP算法。

3)d規(guī)則

在B.WidroW的自適應(yīng)線性元件中，自適應(yīng)線性元件的輸出表示為

(2-19)

其中，為權(quán)值向量，為k時刻的輸入模式。

因此準則函數(shù)的梯度為當時，有Widrow的d規(guī)則為(2-20)這里a是控制算法和收縮性的常數(shù)，實際中往往取0.1<a<1.0。為了便于計算，δ規(guī)則可以表達為下面的形式：

W(k+1)=W(k)+ηε(W(k),k)X(k)

(2-21)或

W(k+1)=W(k)+h(1a)ε(W(k),k)X(k)+a(W(k)-W(k-1))(2-22)

其中,h常取0.01≤h≤100,a取值同上。

4)BP算法

誤差反向傳播的BP算法(BackPropagationAlgorithm)最早是在1974年由Webos在他的論文中提出的一種BP學(xué)習理論，到1985年發(fā)展為BP網(wǎng)絡(luò)訓(xùn)練算法。BP網(wǎng)絡(luò)不僅有輸入

層節(jié)點、輸出層節(jié)點，而且有隱層節(jié)點(可以是一層或多層)。其作用函數(shù)通常選用連續(xù)可導(dǎo)的Sigmoid函數(shù)：(2-23)或者雙曲型函數(shù)(又稱之為對稱的sigmoid函數(shù))

式中在系統(tǒng)辨識中常用的是一種典型的多層并行網(wǎng)，即多層BP網(wǎng)。這是一種正向的、各層相互全連接的網(wǎng)絡(luò)。輸入信號要經(jīng)過輸入層向前傳遞給隱層節(jié)點，經(jīng)過激發(fā)(作用)函數(shù)后，把隱層節(jié)點的輸出傳遞到輸出節(jié)點，再經(jīng)過激發(fā)函數(shù)后才給出輸出結(jié)果。如果輸出層得不到期望的輸出，則轉(zhuǎn)入反向傳播，將誤差信號沿原來的連接通路返回。通過修改各層神經(jīng)網(wǎng)絡(luò)的權(quán)值，使過程的輸出yp和神經(jīng)網(wǎng)絡(luò)模型的輸出ym之間的誤差信號最小為止。BP算法是梯度下降法的改進算法，我們在第3章討論BP網(wǎng)絡(luò)時將展開討論。

5)競爭式學(xué)習

競爭式學(xué)習屬于無教師學(xué)習方式。這種學(xué)習方式是指，不同層間的神經(jīng)元發(fā)生興奮性連接，同一層內(nèi)距離很近的神經(jīng)元間發(fā)生同樣的興奮性連接，而距離較遠的神經(jīng)元則產(chǎn)生抑制性連接，在這種連接機制中引入競爭機制的學(xué)習方式稱為競爭式學(xué)習。其本質(zhì)在于神經(jīng)元網(wǎng)絡(luò)中高層次的神經(jīng)元對低層次的神經(jīng)元的輸入模式進行識別。競爭式機制的思想源于人的大腦的自組織能力，所以將這種神經(jīng)網(wǎng)絡(luò)稱為自組織神經(jīng)網(wǎng)絡(luò)，也稱為自適應(yīng)共振網(wǎng)絡(luò)模型(AdaptiveResonanceTheory,ART)。自組織神經(jīng)網(wǎng)絡(luò)要求識別與輸入最匹配的節(jié)點，定義距離(2-26)為接近距離測度，具有最短距離的節(jié)點選作勝者。它的權(quán)值向量經(jīng)修正規(guī)則修正為(2-27)其中,xi為神經(jīng)元的第i個輸入;wij是神經(jīng)元i和j之間的連接權(quán)值;Nc是N個輸入變量中距離半徑較小的區(qū)域。修正權(quán)值的目的是使該節(jié)點對輸入更敏感，使距離半徑逐漸趨于0。下面是一種常用的自組織算法：

(1)權(quán)值初始化，并選定領(lǐng)域的大小。

(2)輸入模式。

(3)按式(2-26)計算空間距離。

(4)選擇節(jié)點j*，使其滿足。

(5)按式(2-28)修正j*與其鄰域節(jié)點的連接權(quán)值:

wij(k+1)=wij+h[xi(k)-wij(k)]

j∈j*;0≤i≤N-1(2-28)其中,h為學(xué)習因子，0<h≤1。(6)返回到第(2)步，直到滿足[xi(k)-wij(k)]2<ε，ε為給定誤差。

通過以上學(xué)習，穩(wěn)定后的網(wǎng)絡(luò)輸出對輸入模式生成自然的特征映射，從而達到自動聚類的目的。本章首先從生物神經(jīng)元模型入手，介紹了人工神經(jīng)網(wǎng)絡(luò)的發(fā)展、特點及其模型，闡述了神經(jīng)網(wǎng)絡(luò)常用的閾值型、連續(xù)型等多種激發(fā)函數(shù)，包括各種激發(fā)函數(shù)的模型及其作用特性，然后論述了神經(jīng)網(wǎng)絡(luò)的分類及神經(jīng)網(wǎng)絡(luò)常用的學(xué)習方法。本章介紹神經(jīng)網(wǎng)絡(luò)的基本概念，是學(xué)習神經(jīng)網(wǎng)絡(luò)控制、辨識、預(yù)測或組成各種神經(jīng)網(wǎng)絡(luò)系統(tǒng)的基礎(chǔ)。2.6小結(jié)

1.生物神經(jīng)元和人工神經(jīng)元有何區(qū)別？

2.寫出人工神經(jīng)元的模型。

3.神經(jīng)網(wǎng)絡(luò)的特點有哪些？

4.神經(jīng)網(wǎng)絡(luò)的模型分為哪幾類？BP網(wǎng)絡(luò)屬于哪一類神經(jīng)網(wǎng)絡(luò)？

5.神經(jīng)網(wǎng)絡(luò)的連續(xù)型激發(fā)函數(shù)和閾值型激發(fā)函數(shù)主要有哪幾種？

6.神經(jīng)網(wǎng)絡(luò)的學(xué)習方法主要有哪幾種？簡述梯度下降法的學(xué)習方法的主要內(nèi)容。習題

3.1感知器算法及其應(yīng)用3.2

BP神經(jīng)網(wǎng)絡(luò)及其算例3.3其它前向網(wǎng)絡(luò)3.4神經(jīng)網(wǎng)絡(luò)模型辨識3.5神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制系統(tǒng)結(jié)構(gòu)3.6神經(jīng)元自適應(yīng)控制系統(tǒng)MATLAB仿真3.7小結(jié)習題

本章首先介紹單層計算單元的網(wǎng)絡(luò)：感知器，對其線性可分性進行了討論，并用我們開發(fā)的三種MATLAB感知器分類程序詳細地闡述了分類方法；然后討論BP網(wǎng)絡(luò)的基本功能和特性,還分別介紹了GMDH網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)；接著闡述BP學(xué)習正弦、馬鞍曲線等非線性函數(shù)的程序；最后討論神經(jīng)網(wǎng)絡(luò)控制方法及單神經(jīng)元控制非線性系統(tǒng)的程序。3.1.1感知器的概念

感知器(Perceptron)是美國心理學(xué)家Rosenblatt于1957年提出來的，它是最基本的但具有學(xué)習功能的層狀網(wǎng)絡(luò)(LayedNetwork)。最初的感知器由三層組成，即S(Sensory)層、A(Association)層和R(Response)層，如圖3-1所示。S層和A層之間的耦合是固定的，只有A層和R層之間的耦合程度（即權(quán)值）可通過學(xué)習改變。若在感知器的A層和R層加上一層或多層隱單元，則構(gòu)成的多層感知器具有很強的處理功能，可用定理3.1來描述。3.1感知器算法及其應(yīng)用

定理3.1

如感知器隱層的節(jié)點可根據(jù)需求自由設(shè)置，那么用三層(不包括S層)的閾值網(wǎng)絡(luò)可以實現(xiàn)任意的二值邏輯函數(shù)。

圖3-1三層感知器應(yīng)注意,感知器學(xué)習方法在函數(shù)不是線性可分時得不出任意結(jié)果,另外也不能推廣到一般前向網(wǎng)絡(luò)中去。其主要原因是轉(zhuǎn)移函數(shù)為閾值函數(shù),為此,人們用可微函數(shù)如Sigmoid函數(shù)

來代替閾值函數(shù),然后采用梯度算法來修正權(quán)值。BP網(wǎng)絡(luò)就是采用這種算法的典型網(wǎng)絡(luò)。3.1.2感知器的局限性

這里只討論R層只有一個節(jié)點的感知器，它相當于單個神經(jīng)元,簡化結(jié)構(gòu)如圖3-2所示。當輸入的加權(quán)大于或等于閾值時,感知器的輸出為1,否則為0(或-1)，因此它可以用于兩類模式分類。當兩類模式可以用一個超平面分開時，權(quán)值w在學(xué)習中一定收斂，反之，不收斂。Minsky和Papert（1969）曾經(jīng)對感知器的分類能力作了嚴格的評價,并指出了其局限

性，例如,它連最常用的異或(XOR)邏輯都無法實現(xiàn)。圖3-2單神經(jīng)元結(jié)構(gòu)感知器模型下面來分析感知器為什么不能實現(xiàn)異或邏輯運算。針對兩類模式分類,在圖3-2中單神經(jīng)元只有兩個輸入，且x1和x2的狀態(tài)分別為1或0,尋找合適的權(quán)值w1、w2和θ滿足下列不等式：(3-1)顯然不存在一組(w1,w2,θ)滿足上面不等式。異或邏輯運算真值表見表3-1。表3-1中的4組樣本也可分為兩類,把它們標在圖3-3所示的平面坐標系中,任何一條直線也不可能把兩類樣本分開。若兩類樣本可以用直線、平面或超平面分開,則稱之為線性可分,否則,稱之為線性不可分。從圖3-3可見,異或邏輯運算從幾何意義上講是線性不可分的。因此,感知器不能實現(xiàn)異或邏輯運算。

表3-1“異或”真值表圖3-3異或線性不可分示意圖3.1.3感知器的線性可分性

對于線性可分的樣本,感知器可以實現(xiàn)對其分類。邏輯運算與和或都可以看做線性可分的分類問題,下面討論單神經(jīng)元結(jié)構(gòu)感知器如何實現(xiàn)與邏輯運算和或邏輯運算。

與邏輯運算的真值表如表3-2所示。表3-2“與”運算真值表圖3-4與運算分類示意圖從表3-2可看出,4組樣本的輸出有兩種狀態(tài),輸出狀態(tài)為“0”的有3組樣本,輸出狀態(tài)為“1”

的有1組樣本。對應(yīng)的與運算分類示意圖如圖3-4所示。圖中“*”表示輸出為邏

輯“1”,“○”表示輸出為邏輯“0”,把“*”和“○”分開的直線稱為分類線。

現(xiàn)在采用圖3-2所示單神經(jīng)元感知器學(xué)習規(guī)則對與邏輯運算進行訓(xùn)練,令閾值θ=－0.3，則單神經(jīng)元感知器輸入網(wǎng)net為

0.2x1+0.2x2－0.3=0(3-4)

該方程決定了圖3-4與運算分類示意圖中的直線,但該直線并非唯一的,其權(quán)值可能有多組。或邏輯運算的真值表如表3-3所示,表中4組樣本的輸出有兩種狀態(tài),輸出狀態(tài)為“0”的有1組樣本,輸出狀態(tài)為“1”的有3組樣本。同理可得到“或”運算分類示意圖如圖3-5所示。不難驗證,利用圖3-2單神經(jīng)元感知器、感知器輸入網(wǎng)net(式(3-2))及感知器的輸出y(式(3-3))同樣可以完成邏輯或分類,訓(xùn)練后得到連接權(quán)值w1=w2=0.4,從而可得到邏輯或的分類判別方程為

0.4x1+0.4x2-0.3=0(3-5)

顯然,其權(quán)值也可能有多組,分類直線不唯一。表3-3或邏輯運算真值表

圖3-5或運算分類示意圖3.1.4感知器分類的MATLAB仿真

感知器權(quán)值的學(xué)習是通過給定的教師信號(即希望的輸出)按δ學(xué)習規(guī)則,即式(3-6)進行的:

w(k+1)=w(k)+η[yd(k)-y(k)]x(3-6)

式中,w(k)為當前的權(quán)值矩陣；yd(k)為教師信號；h為控制權(quán)

值修正速度的常數(shù)(0<h≤1)；y(k)為感知器的輸出值；即