基于EKF的模糊神經(jīng)網(wǎng)絡(luò)快速自組織學(xué)習(xí)算法研究

基于EKF的模糊神經(jīng)網(wǎng)絡(luò)快速自組織學(xué)習(xí)算法研究

摘要:為了快速地構(gòu)造一個(gè)有效的模糊神經(jīng)網(wǎng)絡(luò)，提出一種基于擴(kuò)展卡爾曼濾波(EKF)的模糊神經(jīng)網(wǎng)絡(luò)自組織學(xué)習(xí)算法。在本算法中，按照提出的無(wú)須經(jīng)過(guò)修剪過(guò)程的生長(zhǎng)準(zhǔn)則增加規(guī)則，加速了網(wǎng)絡(luò)在線學(xué)習(xí)過(guò)程;使用EKF算法更新網(wǎng)絡(luò)的自由參數(shù)，增強(qiáng)了網(wǎng)絡(luò)的魯棒性。仿真結(jié)果表明，該算法能夠快速學(xué)習(xí)、良好的逼近精度和泛化能力。

關(guān)鍵詞:模糊神經(jīng)網(wǎng)絡(luò);擴(kuò)展卡爾曼濾波;自組織學(xué)習(xí)

Fastself-organizinglearningalgorithmbasedonEKFforfuzzyneuralnetwork

ZHOUShang-bo，LIUYu-jiong

(CollegeofComputerScience，ChongqingUniversity，Chongqing400044，China)

Abstract:Toconstructaneffectivefuzzyneuralnetwork，thispaperpresentedaself-organizinglearningalgorithmbasedonextendedKalmanfilterforfuzzyneuralnetwork.Inthealgorithm，thenetworkgrewrulesaccordingtotheproposedgrowingcriteriawithoutpruning，speedinguptheonlinelearningprocess.AllthefreeparameterswereupdatedbytheextendedKalmanfilterapproachandtherobustnessofthenetworkwasobviouslyenhanced.Thesimulationresultsshowthattheproposedalgorithmcanachievefastlearningspeed，highapproximationprecisionandgenerationcapability.

Keywords:fuzzyneuralnetwork;extendedKalmanfilter(EKF);self-organizinglearning

模糊神經(jīng)網(wǎng)絡(luò)起源于20世紀(jì)80年代后期的日本，由于其簡(jiǎn)單、實(shí)用，已經(jīng)被廣泛應(yīng)用在工業(yè)控制、系統(tǒng)辨識(shí)、模式識(shí)別、數(shù)據(jù)挖掘等許多領(lǐng)域[1~4]。然而，如何從可用的數(shù)據(jù)集和專家知識(shí)中獲取合適的規(guī)則數(shù)仍然是一個(gè)尚未解決的問(wèn)題。為了獲取模糊規(guī)則，研究人員提出了不同的算法，如文獻(xiàn)[5]利用正交最小二乘算法確定徑向基函數(shù)的中心，但是該算法訓(xùn)練速度比較慢;文獻(xiàn)[6]提出了基于徑向基函數(shù)的自適應(yīng)模糊系統(tǒng)，其算法使用了分層自組織學(xué)習(xí)策略，但是逼近精度低。擴(kuò)展卡爾曼濾波(EKF)算法作為一種非線性更新算法，在神經(jīng)網(wǎng)絡(luò)中得到了廣泛應(yīng)用。文獻(xiàn)[7]利用擴(kuò)展卡爾曼濾波算法調(diào)整多層感知器的權(quán)值，文獻(xiàn)[8]利用擴(kuò)展卡爾曼濾波算法調(diào)整徑向基函數(shù)網(wǎng)絡(luò)的權(quán)值。

本文提出了一種模糊神經(jīng)網(wǎng)絡(luò)的快速自組織學(xué)習(xí)算法(SFNN)。該算法基于無(wú)須修剪過(guò)程的生長(zhǎng)準(zhǔn)則增加模糊規(guī)則，加速了網(wǎng)絡(luò)學(xué)習(xí)過(guò)程，同時(shí)使用EKF調(diào)整網(wǎng)絡(luò)的參數(shù)。在該算法中，模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不是預(yù)先設(shè)定的，而是在學(xué)習(xí)過(guò)程中動(dòng)態(tài)變化的，即在學(xué)習(xí)開(kāi)始前沒(méi)有一條模糊規(guī)則，在學(xué)習(xí)過(guò)程中逐漸增加模糊規(guī)則。與傳統(tǒng)的模糊神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法相比，本算法所得到的模糊規(guī)則數(shù)并不會(huì)隨著輸入變量的增加而呈指數(shù)增長(zhǎng)，特別是本算法無(wú)須領(lǐng)域的專家知識(shí)就可以實(shí)現(xiàn)對(duì)系統(tǒng)的自動(dòng)建模及抽取模糊規(guī)則。當(dāng)然，如果設(shè)計(jì)者是領(lǐng)域?qū)＜?，其知識(shí)也可以直接用于系統(tǒng)設(shè)計(jì)。本算法所得到的模糊神經(jīng)網(wǎng)絡(luò)具有結(jié)構(gòu)小、避免出現(xiàn)過(guò)擬合現(xiàn)象等特點(diǎn)。

1SFNN的結(jié)構(gòu)

本文采用與文獻(xiàn)[9]相似的網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示。其中，r是輸入變量個(gè)數(shù);?x?i(i=1，2，…，r)是輸入語(yǔ)言變量;y是系統(tǒng)的輸出;MFij是第i個(gè)輸入變量的第j個(gè)隸屬函數(shù);R?j表示第j條模糊規(guī)則;w?j是第j條規(guī)則的結(jié)果參數(shù);u是系統(tǒng)總的規(guī)則數(shù)。

下面是對(duì)該網(wǎng)絡(luò)各層含義的詳細(xì)描述。

第一層:輸入層。每個(gè)節(jié)點(diǎn)代表一個(gè)輸入語(yǔ)言變量。

第二層:隸屬函數(shù)層。每個(gè)節(jié)點(diǎn)代表一個(gè)隸屬函數(shù)，隸屬函數(shù)采用如下的高斯函數(shù):

μij=exp(-(x?i-cij)?2σ?2ij);i=1，2，…，r;j=1，2，…，u(1)

其中:r是輸入變量數(shù);u是隸屬函數(shù)個(gè)數(shù)，也代表系統(tǒng)的總規(guī)則數(shù);μij是x?i的第j個(gè)高斯隸屬函數(shù);cij是x?i的第j個(gè)高斯隸屬函數(shù)的中心;σij是x?i的第j個(gè)高斯隸屬函數(shù)的寬度。

第三層:T-范數(shù)層。每個(gè)節(jié)點(diǎn)代表一個(gè)可能的模糊規(guī)則的IF-部分，也代表一個(gè)RBF單元，該層節(jié)點(diǎn)個(gè)數(shù)反映了模糊規(guī)則數(shù)。如果計(jì)算每個(gè)規(guī)則觸發(fā)權(quán)的T-范數(shù)算子是乘法，則在第三層中第j條規(guī)則R?j的輸出為

φ?j=exp(-?ri=1(x?i-cij)?2σ?2ij);j=1，2，…，u(2)

第四層:輸出層。該層每個(gè)節(jié)點(diǎn)代表一個(gè)輸出變量，該輸出是所有輸入變量的疊加。

y(X)=?uj=1w?jφ?j(3)

其中:y是網(wǎng)絡(luò)的輸出;w?j是Then-部分。

2SFNN的學(xué)習(xí)算法

如前文所述，第三層的每個(gè)節(jié)點(diǎn)代表一個(gè)可能的模糊規(guī)則的IF-部分或者一個(gè)RBF單元。如果需要辨識(shí)系統(tǒng)的模糊規(guī)則數(shù)，則不能預(yù)先選擇模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。于是，本文提出一種新的學(xué)習(xí)算法，該算法可以自動(dòng)確定系統(tǒng)的模糊規(guī)則并能達(dá)到系統(tǒng)的特定性能。

2.1模糊規(guī)則的產(chǎn)生準(zhǔn)則

在模糊神經(jīng)網(wǎng)絡(luò)中，如果模糊規(guī)則數(shù)太多，不僅增加系統(tǒng)的復(fù)雜性，而且增加計(jì)算負(fù)擔(dān)和降低網(wǎng)絡(luò)的泛化能力;如果規(guī)則數(shù)太少，系統(tǒng)將不能完全包含輸入/輸出狀態(tài)空間，將降低網(wǎng)絡(luò)的性能。是否加入新的模糊規(guī)則取決于系統(tǒng)誤差、可容納邊界和誤差下降率三個(gè)重要因素。

2.1.1系統(tǒng)誤差

誤差判據(jù):對(duì)于第i個(gè)觀測(cè)數(shù)據(jù)(x?i，t?i)，其中x?i是輸入向量，t?i是期望輸出，由式(3)計(jì)算網(wǎng)絡(luò)現(xiàn)有結(jié)構(gòu)的全部輸出y?i。

定義:‖e?i‖=‖t?i-y?i‖;i=1，2，…，n(4)

如果‖e?i‖>k?ek?e=max[emax×β?i，emin](5)

則說(shuō)明網(wǎng)絡(luò)現(xiàn)有結(jié)構(gòu)的性能比較差，要考慮增加一條新的規(guī)則;否則，不生成新規(guī)則。其中:k?e是根據(jù)網(wǎng)絡(luò)期望的精度預(yù)先選擇的值;emax是預(yù)定義的最大誤差;emin是期望的輸出精度;β(0<β<1)是收斂因子。

2.1.2可容納邊界

從某種意義上來(lái)講，模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)是對(duì)輸入空間的高效劃分。模糊神經(jīng)網(wǎng)絡(luò)的性能和結(jié)構(gòu)與輸入隸屬函數(shù)緊密相關(guān)。本文使用的是高斯隸屬函數(shù)，高斯函數(shù)輸出隨著與中心距離的增加而單調(diào)遞減。當(dāng)輸入變量采用高斯隸屬函數(shù)時(shí)，則認(rèn)為整個(gè)輸入空間由一系列高斯隸屬函數(shù)所劃分。如果某個(gè)新樣本位于某個(gè)已存在的高斯隸屬函數(shù)覆蓋范圍內(nèi)，則該新樣本可以用已存在的高斯隸屬函數(shù)表示，不需要網(wǎng)絡(luò)生成新的高斯單元?？扇菁{邊界:對(duì)于第i個(gè)觀測(cè)數(shù)據(jù)(x?i，t?i)，計(jì)算第i個(gè)輸入值x?i與已有RBF單元的中心c?j之間的距離d?i(j)，即

d?i(j)=‖x?i-c?j‖;i=1，2，…，n;j=1，2，…，u(6)

其中:u是現(xiàn)有的模糊規(guī)則或RBF單元的數(shù)量。令

di，min=argmin(d?i(j))(7)

如果