將模糊邏輯用于神經(jīng)網(wǎng)絡(luò)課件

1、付冬梅信息工程學(xué)院 自動化系2008-11-5第十章 模糊神經(jīng)網(wǎng)絡(luò)11.1 模糊神經(jīng)網(wǎng)絡(luò)理論概述11.2 模糊系統(tǒng)簡介11.3 RBF網(wǎng)絡(luò)及其與模糊系統(tǒng)的功能等價 11.4 模糊神經(jīng)元的一般構(gòu)造方法 11.5 模糊神經(jīng)網(wǎng)絡(luò) 11.6 標(biāo)準(zhǔn)模糊神經(jīng)控制器結(jié)構(gòu)11.7 模糊RBF型神經(jīng)控制器結(jié)構(gòu)第十一章 模糊神經(jīng)網(wǎng)絡(luò)的講述內(nèi)容11.1 模糊神經(jīng)網(wǎng)絡(luò)理論概述 模糊邏輯系統(tǒng)易于理解,而神經(jīng)網(wǎng)絡(luò)則有極強的自適應(yīng)學(xué)習(xí)能力.隨著模糊信息處理技術(shù)和神經(jīng)網(wǎng)絡(luò)技術(shù)研究的不斷深入,如何將模糊技術(shù)與神經(jīng)網(wǎng)絡(luò)技術(shù)進行有機結(jié)合,利用兩者的長處,提高整個系統(tǒng)的學(xué)習(xí)能力和表達能力,是目前最受人注目的課題之一。模糊神經(jīng)網(wǎng)絡(luò)就是

2、在這種背景下誕生的一門新生技術(shù)。 將模糊邏輯與神經(jīng)網(wǎng)絡(luò)相結(jié)合就構(gòu)成了模糊神經(jīng)網(wǎng)絡(luò).雖然這是兩個截然不同的領(lǐng)域,但是均是對人類智能的研究.目前,將模糊邏輯和神經(jīng)網(wǎng)絡(luò)相結(jié)合的研究主要有以下幾種形式:1)將模糊邏輯用于神經(jīng)網(wǎng)絡(luò)將模糊集合的概念應(yīng)用于 神經(jīng)網(wǎng)絡(luò)的計算和學(xué)習(xí),用模糊技術(shù)提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) 性能。2)將神經(jīng)網(wǎng)絡(luò)用于模糊系統(tǒng)有兩個方面 (1)用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力實時調(diào)整知識庫,在線提取 或調(diào)整模糊規(guī)則或其參數(shù). (2)用神經(jīng)網(wǎng)絡(luò)完成模糊推理過程.3)模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)全面結(jié)合,構(gòu)造完整意義上的模糊神 經(jīng)網(wǎng)絡(luò)和算法.近些年來有關(guān)模糊神經(jīng)網(wǎng)絡(luò)的主要研 究都集中在這方面。4)將模糊神經(jīng)網(wǎng)絡(luò)和其它理

3、論相結(jié)合,如遺傳,聚夾,蟻群, 自適應(yīng)等.11.1 模糊神經(jīng)網(wǎng)絡(luò)理論概述 神經(jīng)網(wǎng)絡(luò)具有并行計算,全分布式信息存儲,容錯能力強以及具有自適應(yīng)學(xué)習(xí)等優(yōu)點.但神經(jīng)網(wǎng)絡(luò)不適合表達基于規(guī)則的知識。由于神經(jīng)網(wǎng)絡(luò)不能很好的利用先驗知識,常常只能將初始權(quán)值取為零或隨機數(shù)從而增加了網(wǎng)絡(luò)的訓(xùn)練時間和陷入局部極值。另一方面,模糊邏輯是一種處理不確定性, 它比較適合表達模糊或定性知識,其推理方式比較適合于人的思維模式,但模糊邏輯系統(tǒng)缺乏學(xué)習(xí)和自適應(yīng)能力。故二者將綜合或許可以得到更好的系統(tǒng)模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)。 與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)不同, 模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)值都有一定的物理含義,在設(shè)計模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)時,可以根據(jù)問題的復(fù)雜

4、程度以及精度要求,結(jié)合先驗知識來構(gòu)造相應(yīng)的模糊神經(jīng)網(wǎng)絡(luò)模型。11.1 模糊神經(jīng)網(wǎng)絡(luò)理論概述11.2 模糊系統(tǒng)簡介 模糊集是傳統(tǒng)的集合論的推廣.該集合中包含隸屬于不精確的元素.把隸屬的程度定義為隸屬函數(shù).這個函數(shù)是一個位于0到1之間的值.這種方法明確地提供了一種用數(shù)學(xué)模型表達不確定性的方式.最常用的隸屬函數(shù)有兩個: (1).三角隸屬函數(shù): 其中，m和分別為該模糊集的中心和寬度. (2).高斯隸屬函數(shù)其中c和分別為高斯模糊集的中心和寬度. 11.2 模糊系統(tǒng)簡介模糊規(guī)則最常見的是IFTHEN和TSK模型（1）IFTHEN規(guī)則 模糊IFTHEN規(guī)則通常用于表達不精確的推理方式如：11.2 模糊系統(tǒng)簡

5、介(11.3)其中 （j=1,2r）和 （k=1,2s）是模糊集的標(biāo)識，它們用適當(dāng)?shù)碾`屬函數(shù)來刻畫。 分別是語言變量的輸入和輸出，上標(biāo)i(=1,2u)表示第i個規(guī)則。 11.2 模糊系統(tǒng)簡介（2）TSK模型（TakagiSugenoKang模型） 為了取代形如（2.3）的模糊IFTHEN規(guī)則，Takagi和Sugeno提出了如下形式的IFTHEN規(guī)則:(11.4) TSK模型考慮的規(guī)則的IF部分是模糊的，而THEN部分是清晰的。它的輸出是所有輸入變量的線性組合。 其中 （j=1,2r）是一個模糊集， （j=1,2r，i=1,2u）是實值參數(shù)。而 是第i個規(guī)則的系統(tǒng)的輸出。 11.2 模糊系統(tǒng)簡

6、介以往的試驗表明TSK模型具有如下優(yōu)點： （1）計算效率高（2）用線性方法能夠較好地處理（3）用優(yōu)化和自適應(yīng)方法能夠較好地處理（4）能確保輸出平面的連續(xù)性（5）更適合于用數(shù)學(xué)方法分析11.2 模糊系統(tǒng)簡介輸入 輸出 （3）模糊推理系統(tǒng) 一個模糊推理系統(tǒng)基本上包括5個功能模塊：數(shù)據(jù)庫規(guī)則庫模糊化推 理 機 制去模糊化知識庫模糊推理過程大致如下：比較輸入變量和隸屬函數(shù)從而獲得每個語言標(biāo)識的隸屬值模糊化。對初始部分的隸屬函數(shù)作并運算（通常是乘或最小化），得到每個規(guī)則的激活權(quán)。依賴于激活權(quán)產(chǎn)生每一個規(guī)則的有效結(jié)果（模糊或清晰）。疊加所有有效的結(jié)果產(chǎn)生一個明確的輸出去模糊化。11.2 模糊系統(tǒng)簡介11.

7、2 模糊系統(tǒng)簡介下面是實際中常用的三種推理類型：類型（Tsukamoto模糊類型） 系統(tǒng)輸出y是每個規(guī)則輸出的加權(quán)平均：（11.5）其中，u表示總的規(guī)則數(shù)， 由T范數(shù)算子得到：如交集： （11.6） 11.2 模糊系統(tǒng)簡介或代數(shù)乘積：（11.7） 是第i個規(guī)則的輸出，它由規(guī)則的觸發(fā)權(quán) 激活和輸出的隸屬函數(shù)確定。 類型（mamdani模糊類型）（面積中心法） （11.8） 其中：u是規(guī)則數(shù)。（系統(tǒng)的模糊輸出是通過對有效的模糊輸出作“最大化”運算）。11.2 模糊系統(tǒng)簡介類型（TSK模糊模型） 每個規(guī)則的輸出是輸入變量加一個常數(shù)項的線性組合。輸出是清晰量。最終輸出是每個規(guī)則輸出的加權(quán)平均：（11.

8、9）其中 （同11.7式），而 由下式計算：（11.10） 現(xiàn)已證明有如下主要結(jié)論：一個模糊系統(tǒng)可以任意精度逼近一個連續(xù)或離散函數(shù)（在 范數(shù)意義下) 這一點在某種程度上看很像神經(jīng)網(wǎng)絡(luò)。 11.2 模糊系統(tǒng)簡介 模糊系統(tǒng)作為非線性逼近器11.2 模糊系統(tǒng)簡介 傳統(tǒng)的建模方法是：對于一個非線性系統(tǒng)，在整體范圍內(nèi)尋找一個全局函數(shù)或解析解。 模糊系統(tǒng)是基于規(guī)則庫的系統(tǒng)，每條規(guī)則實際上是對應(yīng)于被討論系統(tǒng)的某個局部，如左圖，這正是模糊系統(tǒng)的核心所在把一個復(fù)雜的系統(tǒng)分解，每個部分用簡單的關(guān)系逼近。 與神經(jīng)網(wǎng)絡(luò)一樣，“模糊系統(tǒng)的萬能逼近”的結(jié)論也只解決了存在性問題，并沒有給出怎樣去找這樣的模糊系統(tǒng)。 11.3

9、 RBF網(wǎng)絡(luò)及其與模糊系統(tǒng)的功能等價 一個具有r個輸入和一個輸出的RBF神經(jīng)網(wǎng)絡(luò)如圖所示： 如果隱層節(jié)點采用高斯函數(shù)，則網(wǎng)絡(luò)輸出與輸入關(guān)系可以表示為： （11.11） RBF網(wǎng)絡(luò)：如把高斯函數(shù)的輸出歸一化，并令： 11.3 RBF網(wǎng)絡(luò)及其與模糊系統(tǒng)的功能等價 （11.12） 11.3 RBF網(wǎng)絡(luò)及其與模糊系統(tǒng)的功能等價 2）模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)功能等價： 比較（11.5）（11.9）（11.12）式可以發(fā)現(xiàn)，如果以下條件成立，就可以建立RBF神經(jīng)網(wǎng)絡(luò)和模糊推理系統(tǒng)間的功能等價性：RBF隱層單元的個數(shù)等于模糊IF-THEN規(guī)則數(shù)。每個模糊IF-THEN規(guī)則的輸出由一個常數(shù)組成（確定清 晰的輸出）。

10、每個規(guī)則的隸屬函數(shù)被選為帶有相同寬度的高斯函數(shù)。所有的模糊推理采用乘法算子。RBF神經(jīng)網(wǎng)絡(luò)和模糊推理系統(tǒng)都基于加權(quán)平均產(chǎn)生輸出。11.3 RBF網(wǎng)絡(luò)及其與模糊系統(tǒng)的功能等價 由上面的注釋可知PBF網(wǎng)絡(luò)可以看作是一個表達基于規(guī)則的模糊知識的神經(jīng)網(wǎng)絡(luò)。正是由于RBF單元的局部特性，才使得這種表達是一致的。從知識表示的觀點來看，RBF網(wǎng)絡(luò)本質(zhì)上是一個IF-THEN規(guī)則的網(wǎng)絡(luò)表達，它的每一個隱含單元表示一個規(guī)則，基函數(shù)等價于模糊系統(tǒng)中的隸屬函數(shù)。W2 /y1y2yuW1yWuWiyi11.4 模糊神經(jīng)元的一般構(gòu)造方法 模糊神經(jīng)元除具有普通神經(jīng)元的功能外，還具有處理模糊信息的能力。按功能可分為以下三種：

11、 由IF-THEN規(guī)則構(gòu)造的模糊神經(jīng)元（對應(yīng)類型I） 該規(guī)則常用于表示專家知識。設(shè) 是某規(guī)則的輸出。 表示對應(yīng)規(guī)則輸出的推理隸屬函數(shù)值（如式（11.6）和式（11.7）。則我們可以構(gòu)造如下的神經(jīng)元： 11.4 模糊神經(jīng)元的一般構(gòu)造方法 具有清晰輸入的模糊化模糊神經(jīng)元（對應(yīng)類型） 假設(shè)有u個非模糊輸入，加權(quán)操作由隸屬度函數(shù)代替。其神經(jīng)元為：x1x2xn1(x1)2(x2)n(xn)Y 其中 表示T范數(shù)算子（見式11.6）和（11.7）) 。 11.4 模糊神經(jīng)元的一般構(gòu)造方法 具有模糊輸入的模糊化模糊神經(jīng)元（對應(yīng)于類型） 這里的加權(quán)操作不是隸屬度函數(shù)，而是對每個模糊輸入進行修正的操作： x1x2

12、xnX1X2XnY11.5 模糊神經(jīng)網(wǎng)絡(luò) 模糊神經(jīng)元網(wǎng)絡(luò)是全部或部分采用模糊神經(jīng)元構(gòu)成的一類可處理模糊信息的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。這里我們只能給出一種基本的和常見的一種模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和形式。其結(jié)構(gòu)如下圖所示：X1XrW1WjWuMFruRuNuyRjNjMF11R1N111.5 模糊神經(jīng)網(wǎng)絡(luò) 這個網(wǎng)絡(luò)在本質(zhì)上代表的是一個基于TSK模型的模糊系統(tǒng)。其中X1 . Xr 是輸入的語言變量，y是輸出。MFij是第i個輸入變量的第j個隸屬函數(shù)（i=1, 2 . r; j=1, 2 . u）。 Rj表示第j條模糊規(guī)則（j=1，2，.u）.Nj是第j 個歸一化節(jié)點，Wj是第j個規(guī)則的結(jié)果參數(shù)或連接權(quán)。u指系統(tǒng)總的

13、規(guī)則數(shù)。下面再詳細說明： 1）第1層：輸入層 語言變量。 2）第2層：隸屬度層，每個節(jié)點代表一個隸屬度。i=1,2r;j=1,2u (11.14)11.5 模糊神經(jīng)網(wǎng)絡(luò) 3) 第3層：T范數(shù)層：每個節(jié)點分別代表一個可能的模糊規(guī)則中的IF部分，因此，該層節(jié)點數(shù)反映了模糊規(guī)則數(shù)?；衘個規(guī)則Rj的輸出為： j=1,2u (11.15) 4)第4層:歸一化層。 對應(yīng)的節(jié)點稱為N節(jié)點。顯然，N節(jié)點數(shù)與模糊規(guī)則節(jié)點數(shù)相等。第j 個N節(jié)點的輸出為： (11.16)11.5 模糊神經(jīng)網(wǎng)絡(luò) 5) 第5層：輸出層(11.17) 對于TSK模型，通常?。簁 =1,2u (11.18) 將（11.15）、（11.1

14、8）代入到（11.17）式中可得到：（11.19）11.5 模糊神經(jīng)網(wǎng)絡(luò) 這個模糊神經(jīng)網(wǎng)絡(luò)與標(biāo)準(zhǔn)的RBF神經(jīng)網(wǎng)絡(luò)相比有如下不同點：超過3層的網(wǎng)絡(luò)結(jié)構(gòu)，但是要注意到除最后一層其他各 層權(quán)值均為1）；權(quán)值可以是輸入的函數(shù)而不是實常數(shù)；學(xué)習(xí)算法不同。所依據(jù)的機理和構(gòu)造原理不同；工作方式和網(wǎng)絡(luò)功能不同。 關(guān)于這個網(wǎng)絡(luò)的學(xué)習(xí)算法由于比較復(fù)雜和時間的限制這里不講了，請同學(xué)們參照有關(guān)文獻。（矩陣分解、奇異值分解、特征值分解、修剪技術(shù)等）11.6 標(biāo)準(zhǔn)模糊神經(jīng)控制器結(jié)構(gòu)雙入單出控制器結(jié)構(gòu)如下圖4所示，網(wǎng)絡(luò)由六層組成。11.6 標(biāo)準(zhǔn)模糊神經(jīng)控制器結(jié)構(gòu)下面對網(wǎng)絡(luò)的各層進行分析說明：第一層為網(wǎng)絡(luò)的輸入層，網(wǎng)絡(luò)輸入變

15、量為 和 。T為神經(jīng)網(wǎng)絡(luò)輸入變量采樣周期。第二層為網(wǎng)絡(luò)模糊化層，輸入量 、 ，分別劃分為n和m個模糊子集，隸屬函數(shù)都為高斯徑向基函數(shù)，則節(jié)點輸出表達式為:i=1，2，n i=1，2，m 11.6 標(biāo)準(zhǔn)模糊神經(jīng)控制器結(jié)構(gòu)第三層為網(wǎng)絡(luò)釋放強度層，層中的每個節(jié)點完成模糊推理的AND運算，輸出 代表了模糊推理規(guī)則的釋放強度，也即兩個輸入隸屬函數(shù)的乘積。式中 i=1，2，n；j=1， 2，m； k=1，2，s。第四層為網(wǎng)絡(luò)歸一化層，層中的每個節(jié)點完成模糊推論的OR運算，其輸出 表示每條規(guī)則的釋放強度在所有s條規(guī)則的釋放強度總和中所占比例。11.6 標(biāo)準(zhǔn)模糊神經(jīng)控制器結(jié)構(gòu)第五層為網(wǎng)絡(luò)模糊推理結(jié)論層， 對應(yīng)

16、于一條規(guī)則的結(jié)論部分，分別可以是模糊單點、模糊集合、函數(shù)。當(dāng)輸出采用高木-關(guān)野推理規(guī)則時：為可調(diào)參數(shù)集，節(jié)點輸出 為：第六層為模糊神經(jīng)網(wǎng)絡(luò)反模糊化輸出層，控制器輸出為：11.6 標(biāo)準(zhǔn)模糊神經(jīng)控制器結(jié)構(gòu) 網(wǎng)絡(luò)的第二、三層的節(jié)點數(shù)會隨輸入變量個數(shù)的增加而急劇膨脹，第三層通常以指數(shù)形式增加，所以特別是第三層。如果網(wǎng)絡(luò)的輸入輸出數(shù)量增加，節(jié)點數(shù)、要調(diào)整的輸出權(quán)值等數(shù)字將會增長的更快。這樣的網(wǎng)絡(luò)會使系統(tǒng)前向計算和網(wǎng)絡(luò)反傳修正的運算量都很大，嚴(yán)重影響網(wǎng)絡(luò)的運算速度。另外，對于這種網(wǎng)絡(luò)，由于結(jié)構(gòu)復(fù)雜，需要優(yōu)化調(diào)整的參數(shù)太多，很難進行網(wǎng)絡(luò)的初始化和結(jié)構(gòu)設(shè)計工作，不僅因設(shè)計性能不佳的網(wǎng)絡(luò)很難在應(yīng)用中達到理想的控制效果而且網(wǎng)絡(luò)初始化不合理直接影響到網(wǎng)絡(luò)的學(xué)習(xí)速度和收斂性。11.7 模糊RBF型神經(jīng)控制器結(jié)構(gòu) 模糊神經(jīng)控制器結(jié)構(gòu)等價于下圖所示RBF型的模糊神經(jīng)控制器，下面對網(wǎng)絡(luò)各層的功能分析說明。11.7 模糊RBF型神經(jīng)控制器結(jié)構(gòu)第一層為網(wǎng)絡(luò)的輸入層，網(wǎng)絡(luò)輸入變量為 和 。T為神經(jīng)網(wǎng)絡(luò)輸入變量采樣周期。這同標(biāo)準(zhǔn)模糊神經(jīng)網(wǎng)絡(luò)的第一層相同。第二層為網(wǎng)絡(luò)模糊運算層。這一層完成了模糊化、釋放強度、歸一化三個過程，計算推理如下:11.7 模糊RBF型神經(jīng)控制器結(jié)構(gòu)第三層為網(wǎng)絡(luò)輸出層。這一層完成網(wǎng)絡(luò)模糊推理結(jié)論和反模糊化的輸出過程，節(jié)點輸出為網(wǎng)絡(luò)輸出y。其中 的意義同模糊神經(jīng)網(wǎng)絡(luò)