模糊數(shù)學(xué)及其應(yīng)用

模糊數(shù)學(xué)及其應(yīng)用2023/8/221第1頁，課件共24頁，創(chuàng)作于2023年2月第五講模糊神經(jīng)網(wǎng)絡(luò)與模糊專家系統(tǒng)（續(xù)）

2、

人工神經(jīng)元的基本模型

對人類大腦中神經(jīng)細(xì)胞的功能進(jìn)行模擬的數(shù)學(xué)模型稱為人工神經(jīng)元。迄今為止，人們已提出了幾百種人工神經(jīng)元模型。其中，人們最早提出也是人們現(xiàn)在經(jīng)常使用的人工神經(jīng)元模型是M-P模型。見下圖。

M-P模型是一種最基本的生物神經(jīng)元簡化的數(shù)學(xué)模型。經(jīng)過不但改進(jìn)后，它假定：1、每個(gè)神經(jīng)元都是一個(gè)多輸入單輸出的信息處理基元；2、神經(jīng)元的輸入分興奮性輸入和抑制性輸入兩種類型；3、神經(jīng)元的輸出有門限特性，服從“全或無”定律。只有當(dāng)輸入總和超過其門限時(shí)，神經(jīng)元才被激活，當(dāng)輸入總和未超過其門限時(shí)，神經(jīng)元不會(huì)發(fā)生沖動(dòng)；第2頁，課件共24頁，創(chuàng)作于2023年2月4、神經(jīng)元的輸入與輸出之間有固定的時(shí)滯，時(shí)滯取決于突觸延擱；5、神經(jīng)元可具有時(shí)空整合特性和不應(yīng)期；6、神經(jīng)元本身是非時(shí)變的。在上述假定的基礎(chǔ)上，用表示t時(shí)刻神經(jīng)元i接受的神經(jīng)元j的信息輸入，表示t時(shí)刻神經(jīng)元i的信息輸出，則神經(jīng)元i的狀態(tài)可表示為式中：為輸入輸出間的固定時(shí)滯（突觸時(shí)延）；為神經(jīng)元i的閾值；為神經(jīng)元j到神經(jīng)元i的突觸耦合系數(shù)（連接權(quán)值）；為神經(jīng)元輸出的特性函數(shù)。

第五講模糊神經(jīng)網(wǎng)絡(luò)與模糊專家系統(tǒng)（續(xù)）第3頁，課件共24頁，創(chuàng)作于2023年2月盡管神經(jīng)元模型種類繁多，還是可以用不同的方法將他們進(jìn)行分類。例如，按神經(jīng)元輸入輸出信息劃分，可分為數(shù)字型和模擬型兩類；按神經(jīng)元狀態(tài)變化的時(shí)間特性劃分，可分為時(shí)間離散型和時(shí)間連續(xù)型兩類。

對于時(shí)間離散型的神經(jīng)元，通常用下式來描述其狀態(tài)及其變化。

第五講模糊神經(jīng)網(wǎng)絡(luò)與模糊專家系統(tǒng)（續(xù)）第4頁，課件共24頁，創(chuàng)作于2023年2月式中：為神經(jīng)元間的輸入輸出變量；為神經(jīng)元j到神經(jīng)元i的連接權(quán)值；為兩個(gè)由學(xué)習(xí)方法確定的非線性函數(shù)；為遺忘因子；為時(shí)間減低自適應(yīng)增益系數(shù)；為神經(jīng)元閾值；為神經(jīng)元輸出的特性函數(shù)。

對于時(shí)間連續(xù)型的神經(jīng)元，其狀態(tài)及其變化通常描述為式中：為神經(jīng)元間的輸入輸出變量；為神經(jīng)元閾值；為神經(jīng)元輸出的非線性特性函數(shù)；，為神經(jīng)元的特性參數(shù)。

第五講模糊神經(jīng)網(wǎng)絡(luò)與模糊專家系統(tǒng)（續(xù)）第5頁，課件共24頁，創(chuàng)作于2023年2月

人工神經(jīng)元的主要用途是用來構(gòu)造神經(jīng)網(wǎng)絡(luò)。在構(gòu)造神經(jīng)網(wǎng)絡(luò)的過程中，常根據(jù)不同的要求選擇不同類型的神經(jīng)元。選用較多的神經(jīng)元特性函數(shù)有

階躍函數(shù)：分段線性函數(shù)：

（a、b為常數(shù)）

S型函數(shù)：

（c為常數(shù)）

恒等線性函數(shù)：

第五講模糊神經(jīng)網(wǎng)絡(luò)與模糊專家系統(tǒng)（續(xù)）第6頁，課件共24頁，創(chuàng)作于2023年2月具有并行處理和信息分布式存儲(chǔ)能力；具有容錯(cuò)性和穩(wěn)健性；具有自學(xué)習(xí)能力；具有較強(qiáng)的非線性動(dòng)態(tài)處理能力；人工神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)第7頁，課件共24頁，創(chuàng)作于2023年2月非線性連續(xù)型模型S型或P型激發(fā)函數(shù)，要掌握其應(yīng)用范圍，否則實(shí)際應(yīng)用中可能出錯(cuò)。無論多大的輸入，S型都將它壓縮到(0,1)的范圍內(nèi)，而P型激發(fā)函數(shù)則將任意輸入壓縮到(-1,1)范圍內(nèi)。輸入在[-1,1]之間時(shí)，輸出才會(huì)具有一定差異，意即該激發(fā)函數(shù)僅在區(qū)間[-1,1]才具有敏感性，從而導(dǎo)致網(wǎng)絡(luò)的映射能力弱。S型或P型神經(jīng)元的局限性第8頁，課件共24頁，創(chuàng)作于2023年2月表達(dá)式：f(u)=a-2a/(1+exp(bu))；特點(diǎn)：它的敏感區(qū)間和輸出范圍都可由參數(shù)a、b來確定，可實(shí)現(xiàn)任意范圍內(nèi)的輸入輸出，拓展了這類神經(jīng)元模型的應(yīng)用領(lǐng)域，增強(qiáng)了網(wǎng)絡(luò)的映射能力。一種新型神經(jīng)元模型

第9頁，課件共24頁，創(chuàng)作于2023年2月解決方法：Hessian矩陣出現(xiàn)病態(tài)矩陣時(shí)，增大Hessian矩陣的主對角線元素；LM算法的搜索方向介于高斯–牛頓法和最速下降算法之間。LM算法的效率少數(shù)情況下比Gauss-Newton算法低，但其穩(wěn)健性比Gauss-Newton算法好。LM算法的缺點(diǎn)是在運(yùn)算過程中比其它算法要占用更多的計(jì)算機(jī)內(nèi)存資源。Levenberg-Marquardt算法

第10頁，課件共24頁，創(chuàng)作于2023年2月BP算法與LM算法效果比較BP算法仿真y=sin(x)LM算法仿真y=sin(x)第11頁，課件共24頁，創(chuàng)作于2023年2月神經(jīng)網(wǎng)絡(luò)適用于內(nèi)插問題，而不可用于外推，即神經(jīng)網(wǎng)絡(luò)只對學(xué)習(xí)范圍內(nèi)的數(shù)據(jù)具有識別能力，而對學(xué)習(xí)范圍外的數(shù)據(jù)沒有識別能力。神經(jīng)網(wǎng)絡(luò)用于預(yù)報(bào)的范圍

第12頁，課件共24頁，創(chuàng)作于2023年2月神經(jīng)網(wǎng)絡(luò)LM算法預(yù)報(bào)應(yīng)用實(shí)例L3H291測點(diǎn)觀測值與預(yù)測值對比圖L3H291測點(diǎn)預(yù)測誤差圖

（以效應(yīng)量作自變量）第13頁，課件共24頁，創(chuàng)作于2023年2月神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的確定帶有經(jīng)驗(yàn)性，尋求最佳網(wǎng)絡(luò)結(jié)構(gòu)比較困難；神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的物理意義無法解釋；激活函數(shù)的選取帶有隨意性；神經(jīng)網(wǎng)絡(luò)模型的局限性為了解決這些問題，下面介紹模糊神經(jīng)網(wǎng)絡(luò)。第14頁，課件共24頁，創(chuàng)作于2023年2月模糊神經(jīng)網(wǎng)絡(luò)實(shí)質(zhì)上是將模糊邏輯和模糊推理功能與神經(jīng)網(wǎng)絡(luò)中的自學(xué)習(xí)、自適應(yīng)功能結(jié)合為一體，成為一個(gè)具有學(xué)習(xí)、識別、聯(lián)想、自適應(yīng)和模糊信息處理等特性的系統(tǒng)。神經(jīng)網(wǎng)絡(luò)模擬了人腦的硬件（腦神經(jīng)），而模糊技術(shù)部分模擬了人腦的軟件（人腦的邏輯推理能力），所以它們的結(jié)合使得該系統(tǒng)同時(shí)具有神經(jīng)網(wǎng)絡(luò)的低層次的學(xué)習(xí)、計(jì)算能力和模糊系統(tǒng)的高層次的推理、決策能力。模糊神經(jīng)網(wǎng)絡(luò)

第15頁，課件共24頁，創(chuàng)作于2023年2月模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)第16頁，課件共24頁，創(chuàng)作于2023年2月隨著輸入變量的增加，模糊規(guī)則數(shù)呈指數(shù)增長，例如每個(gè)輸入取3個(gè)模糊值，n個(gè)輸入將產(chǎn)生3n條規(guī)則。眾多的模糊規(guī)則將嚴(yán)重影響網(wǎng)絡(luò)的收斂速度，一個(gè)龐大的網(wǎng)絡(luò)訓(xùn)練起來非常困難，從而限制了模糊神經(jīng)網(wǎng)絡(luò)應(yīng)用于復(fù)雜的實(shí)際問題。這便是模糊規(guī)則的組合爆炸問題。模糊規(guī)則組合爆炸問題

第17頁，課件共24頁，創(chuàng)作于2023年2月減少模糊分割數(shù)；網(wǎng)絡(luò)分解再組合；刪除無關(guān)規(guī)則；模糊規(guī)則組合爆炸問題的解決方案

第18頁，課件共24頁，創(chuàng)作于2023年2月模糊神經(jīng)網(wǎng)絡(luò)的正向計(jì)算

模糊神經(jīng)網(wǎng)絡(luò)的正向計(jì)算首先是把各輸入的清晰量經(jīng)隸屬函數(shù)轉(zhuǎn)變成模糊量，經(jīng)過各條模糊規(guī)則的推理，各條模糊規(guī)則均產(chǎn)生一個(gè)模糊輸出，再采用一定的算法集中各條規(guī)則輸出的模糊值，最后利用解模糊化的方法得到為清晰數(shù)值量的網(wǎng)絡(luò)輸出。第19頁，課件共24頁，創(chuàng)作于2023年2月試驗(yàn)表明，采用min或max操作會(huì)使大部分待調(diào)參數(shù)在迭代過程中得不到調(diào)整，從而使算法效率低下，映射精度難以提高。為了解決這個(gè)問題，宜采用sum替代min或max操作。prod操作可能會(huì)導(dǎo)致大部分第3層節(jié)點(diǎn)輸出為0，不宜采用；而probor方法會(huì)導(dǎo)致算法的復(fù)雜化，亦不宜采用。規(guī)則適用度的計(jì)算第20頁，課件共24頁，創(chuàng)作于2023年2月網(wǎng)絡(luò)的泛化能力，與網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練終止時(shí)的學(xué)習(xí)次數(shù)或訓(xùn)練誤差具有一定的關(guān)系。學(xué)習(xí)過程可以看作是曲線擬合的過程，泛化則相當(dāng)于非線性內(nèi)插。如果網(wǎng)絡(luò)學(xué)習(xí)了過多的特殊樣本，且過分追求訓(xùn)練集內(nèi)的小誤差，就會(huì)降低其泛化能力。泛化能力與訓(xùn)練次數(shù)的關(guān)系訓(xùn)練次數(shù)與評價(jià)指標(biāo)的關(guān)系訓(xùn)練次數(shù)MAPEMSEMAE1000.68510.96470.72772000.57790.79630.62682500.55910.78330.61333000.55750.77540.60524000.59370.78940.61465000.58900.78300.6086第21頁，課件共24頁，創(chuàng)作于2023年2月相對于神經(jīng)網(wǎng)絡(luò)而言，模糊神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是由輸入和模糊規(guī)則確定的，具有明確的實(shí)際意義；模糊神經(jīng)網(wǎng)絡(luò)隸屬度函數(shù)的選取也具有明確的意義，不存在類似于神經(jīng)網(wǎng)絡(luò)選取激活函數(shù)時(shí)無法解釋且映射能力弱的問題。神經(jīng)網(wǎng)絡(luò)模擬了人腦的硬件，而模糊系統(tǒng)則模擬了人腦的軟件(思維)，由兩者結(jié)合產(chǎn)生的模糊神經(jīng)