關(guān)于前饋網(wǎng)絡(luò)綜述

1、關(guān)于前饋網(wǎng)絡(luò)綜述關(guān)于前饋網(wǎng)絡(luò)綜述 問題，多數(shù)被冠以“加速技術(shù)”，引入了諸如遞推最小二乘法，共軛梯度法和擴(kuò)展Kalman濾波等技術(shù)；與此同時(shí)，不少學(xué)者將MLP與各自的背景相結(jié)合，對(duì)前饋網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行了改造，提出了諸如子波網(wǎng)絡(luò)，模糊網(wǎng)絡(luò)和徑向基函數(shù)等網(wǎng)絡(luò)。 與圍繞MLP的研究相對(duì)照的是關(guān)于CMAC的研究。CMAC能進(jìn)行快速學(xué)習(xí)并具有某種程度的插值和逼近能力，但是，在1975年由Albus提出后的很長(zhǎng)一段時(shí)間內(nèi)被忽視了，直到近年來才逐步得到重視，其中，最具有代表性的工作是由Miller等從1987年開始的關(guān)于機(jī)器人控制的研究，其他研究如過程控制，及學(xué)習(xí)收斂性的分析。 訓(xùn)練算法，網(wǎng)絡(luò)結(jié)構(gòu)，和輸入信息的

2、表達(dá)是影響前饋網(wǎng)絡(luò)學(xué)習(xí)性能的三個(gè)主要因數(shù)，輸入信號(hào)的表達(dá) 決定著網(wǎng)絡(luò)和訓(xùn)練樣本集的大小，通常，在保證樣本的特征性前提下應(yīng)使樣本數(shù)盡量減少，以使訓(xùn)練更容易進(jìn)行。一旦樣本集確定，訓(xùn)練算法和網(wǎng)絡(luò)結(jié)構(gòu)就成為決定網(wǎng)絡(luò)性能的內(nèi)在因素。下面將從這兩個(gè)方面對(duì)前饋網(wǎng)絡(luò)進(jìn)行闡述和分析。 1 訓(xùn)練算法 MLP的訓(xùn)練算法可分為兩種，即批處理模式(batch-mode)和順序處理模式(sequential-mode)。在批處理模式中，權(quán)值的修正只在對(duì) 訓(xùn)練樣本集中的所有樣本都處理過才進(jìn)行，而順序處理是對(duì)樣本進(jìn)行逐個(gè)學(xué)習(xí),所以，有時(shí)也稱為“在線學(xué)習(xí)”模式。無論批處理還是順序處理，都要用到誤差性能指標(biāo)(E)的梯度，其中，(

3、E)是指網(wǎng)絡(luò)實(shí)際響應(yīng)與期望輸出之間的差異，通常用對(duì)各個(gè)樣本的誤差的平方和來表示。 1.1 批處理算法 優(yōu)化算法的一種常用分類方法是根據(jù)“階”來確定，即 的導(dǎo)數(shù)的階次。第一類算法只用到 本身而毋需導(dǎo)數(shù)信息，如“多面體 (polytope)”算法，其主要問題是如何使多面體不退變；第二類也稱一階算法，用到 的一階導(dǎo)數(shù)，典型例子是“最速下降法”和共軛梯度法.二者都近似線性收斂，但后者的收斂速度更快些，共軛梯度法的一個(gè)主要優(yōu)點(diǎn)是不需要諸如學(xué)習(xí)因子等訓(xùn)練參數(shù)；第三類是以牛頓法為代表的二階算法，由于需要計(jì)算復(fù)雜的Hessian矩陣，因而應(yīng)受到限制，于是有學(xué)者提出用修正的Cholesky分解法來構(gòu)造不確定的H

4、essian矩陣以簡(jiǎn)化計(jì)算。 由于求解二階導(dǎo)數(shù)通常比較復(fù)雜且比較費(fèi)時(shí)，于是就有了一些簡(jiǎn)化算法，如正割法 (或稱準(zhǔn)牛頓法)和一步正割法(OSS)，其中，OSS法可以說是正割法與共軛梯度法的一個(gè)折中。另外，為改善算法的全局收斂性，“跳蛙”(leap-frog) 算法提供了一種可避開局部最優(yōu)的基于梯度法的優(yōu)化算法。 1.2 順序處理算法 在這種模式中，網(wǎng)絡(luò)權(quán)值的修正是隨著樣本的逐個(gè)出現(xiàn)而逐步進(jìn)行的，因而，各樣本或多或少會(huì)有些誤導(dǎo)作用，所以，在很大程度上可以說是隨機(jī)梯度下降法的變形。順序處理法的關(guān)鍵問題是，每一次權(quán)值的修正應(yīng)該多大才能使 下降的“步長(zhǎng)”最為合適？如果“步長(zhǎng)”不夠小，在總體上反而會(huì)上升，

5、但若太小，收斂時(shí)間又會(huì)很長(zhǎng)。 為解決這個(gè)問題，Barnard認(rèn)為有以下三種途徑：訓(xùn)練的不同時(shí)刻采用不同的步長(zhǎng)，并自適應(yīng)調(diào)整；對(duì)不同的網(wǎng)絡(luò)參數(shù) (如權(quán)值)采取不同的修正步長(zhǎng)；1) 引入“動(dòng)量項(xiàng)(momentum)”。 實(shí)際情況是，這幾種方法常?；旌弦黄鹗褂茫?，大多數(shù)順序處理方法都能很方便地用于對(duì)樣本集的批處理。另外一些有效的算法如采用遞推最小二乘和擴(kuò)展Kalman濾波的訓(xùn)練算法。 2 網(wǎng)絡(luò)結(jié)構(gòu) 自MLP和CMAC問世以來，許多學(xué)者從各個(gè)不同的領(lǐng)域出發(fā)，提出了一系列的網(wǎng)絡(luò)模型，比較典型的有，高階網(wǎng)(HONN)，函數(shù)連接網(wǎng)( FL)，隨機(jī)向量函數(shù)連接網(wǎng)(RVFL)，冪級(jí)數(shù)網(wǎng)(POWER)，徑向基

6、函數(shù)網(wǎng)( RBF)，模糊神經(jīng)網(wǎng)絡(luò)(FNN)，子波網(wǎng)(WLN)，和部分連接的多層感知器(PCMLP)等，上述各種網(wǎng)絡(luò)的發(fā)展框架可用圖(1)來說明。 圖圖1 前饋網(wǎng)絡(luò)的發(fā)展框架前饋網(wǎng)絡(luò)的發(fā)展框架感知器CMACMLPFLRBFFNNWLNPOWERPCMLPHONNRVFL 2.1 MLP，CMAC與PCMLP nMLP和CMAC都源于感知器(perceptron).nMLP和CMAC在結(jié)構(gòu)和算法上都有較大差異。 結(jié)構(gòu)上: 前饋網(wǎng)絡(luò)的兩種不同的設(shè)計(jì)思想， 全局性設(shè)計(jì)和局部性設(shè)計(jì)，nMLP全局性網(wǎng)絡(luò)的代表，輸出受所有權(quán)值的影響，因而學(xué)習(xí)緩慢而較適合于對(duì)固定樣本集的學(xué)習(xí)；nCMAC作為局部性網(wǎng)絡(luò)的代表，

7、輸出在任何時(shí)刻只與部分權(quán)值(即一個(gè)子網(wǎng)絡(luò))相關(guān)，所以學(xué)習(xí)較快而更適合于實(shí)時(shí)控制。n當(dāng)樣本在局部區(qū)域存在較大差異時(shí)，MLP的訓(xùn)練通常變得困難，而CMAC則能較好地處理這種學(xué)習(xí)的局部性問題。n在算法上MLP實(shí)現(xiàn)從輸入到輸出的“一到一”的映射，而CMAC的每個(gè)子網(wǎng)絡(luò)只能實(shí)現(xiàn)從每個(gè)輸入子空間到輸出的“多到一”的映射，這是一種類似于A/D轉(zhuǎn)換的映射關(guān)系，因而存在著“分辨率(resolution)”的問題。 nPCMLP (Partly Connected Multi-Layer Perceptron) 是結(jié)合MLP和CMAC的各自特點(diǎn)而提出的n它由多個(gè)既相互關(guān)聯(lián)又相對(duì)獨(dú)立的子網(wǎng)絡(luò)構(gòu)成。PCMLP采用類似

8、于CMAC確定存儲(chǔ)單元地址的方法來確定各子網(wǎng)絡(luò)的隱單元在整個(gè)隱含層中的位置，而各子網(wǎng)均采用MLP或其變形。這樣，從整體上講，PCMLP是一種局部性網(wǎng)絡(luò)，而對(duì)各個(gè)輸入子空間又實(shí)現(xiàn)“一到一”的映射，因而在對(duì)固定樣本集和對(duì)復(fù)雜系統(tǒng)的學(xué)習(xí)控制中都表現(xiàn)出良好的學(xué)習(xí)性能。 2.2 HONN與FL，RVFL，和POWER網(wǎng) 常規(guī)的前饋網(wǎng)絡(luò)(如MLP)的內(nèi)部表達(dá)形式均采用一階節(jié)點(diǎn)并使用諸如反向傳播算法的學(xué)習(xí)規(guī)則，其第I個(gè)節(jié)點(diǎn)的輸出可由下式表達(dá)：其中，x=X(j)是輸入向量，W(I,j)代表權(quán)值，N是輸入變量個(gè)數(shù)，而 則為sigmoid函數(shù)。HONN采用如下式表示的高階節(jié)點(diǎn)，)(),()(jXjiwsxnjiy

9、)1( S jjjikXkjijXjiiSxwwwy)(),()(),()()(210)2( FL，RVFL，和POWER網(wǎng)都源于高階網(wǎng)絡(luò)，但其結(jié)構(gòu)都與常規(guī)的MLP有所不同。在圖2所示的網(wǎng)絡(luò)中，原先的隱含層都下移作為增強(qiáng)的輸入節(jié)點(diǎn)，并且在原來的輸入節(jié)點(diǎn)和輸出節(jié)點(diǎn)之間增加了直接聯(lián)結(jié)。 FL最初是為了學(xué)習(xí)時(shí)間順序而設(shè)計(jì)的。圖2中，Xk代表第K時(shí)刻的狀態(tài)。網(wǎng)絡(luò)輸出為，RVFL則是在FL的基礎(chǔ)上，引入隨機(jī)向量理論而構(gòu)造的，網(wǎng)絡(luò)的輸出為， 其中， 為第個(gè)個(gè)輸出節(jié)點(diǎn)相關(guān)的極向量， 為互相增強(qiáng)節(jié)點(diǎn)的閥值， 為sigmoid函數(shù)，與常規(guī)網(wǎng)絡(luò)的不同之處在于，增強(qiáng)節(jié)點(diǎn)的參數(shù)向量 不是通過學(xué)習(xí)而是隨機(jī)產(chǎn)生的。 mj

10、imjNjjiijkXjkXjkXy1,111)3(iNjJjjjNjjiiibaXyxg,11)()4(ji bj g aj 圖2 FL、RVFL和POWER網(wǎng)的原理圖xxxx10201kxxxkx22011xx201xxxNmkx22011 ba1121g1xkxkxxxbaxxxgkxkx220221 2 1RVFLPOWERFL2221baxxJJxgyii 1i2jiji POWER網(wǎng)的基本思想是，通過一個(gè)冪級(jí)數(shù)展開式來表示任意一個(gè)函數(shù)，輸入節(jié)點(diǎn)的個(gè)數(shù)就等于該展開式的項(xiàng)數(shù)所以，對(duì)于一個(gè)具有兩個(gè)輸入變量的系統(tǒng)，若用二階冪級(jí)數(shù)表示，那么其輸出為， 由于都用到高階節(jié)點(diǎn)，并且采用相同的網(wǎng)絡(luò)結(jié)

11、構(gòu)，所以，F(xiàn)L，RVFL，和POWER網(wǎng)表現(xiàn)出很大的相似性。ibjjjjijjjijjkklliklixxxxxxxxwxxy,2202120, 3212200122,1,2,1 5 2.3 RBF，F(xiàn)NN和小波網(wǎng) 這三種網(wǎng)絡(luò)是從不同的背景提出的。小波網(wǎng)絡(luò)(WLN)基于小波(wavelet)變換理論，并采用BP類的學(xué)習(xí)方法；FNN基于模糊集合理論，是模糊規(guī)則的網(wǎng)絡(luò)化表現(xiàn)；關(guān)于RBF的出處，有一些不同的看法，poggio等認(rèn)為RBF源于經(jīng)典逼近理論中的調(diào)整(regularization)算法，而現(xiàn)在通常說的Gaussian型的RBF只是一種特例，Amari則認(rèn)為RBF和MLP同屬隨機(jī)梯度下降法。

12、 盡管源于不同的理論，產(chǎn)生于不同的年代，但是，無論在結(jié)構(gòu)和算法上，它們都表現(xiàn)出極大的相似性。 一維情況。當(dāng)只有一個(gè)輸入變量時(shí)，這三種網(wǎng)絡(luò)都可以用圖(3)來表示(圖中只保留x1)，它們的前向計(jì)算法如下： RBF： FNN：WLN：其中，對(duì)于RBF和FNN，取為零。顯然，對(duì)于一維情況，三者的差別僅在于激發(fā)函數(shù)的略為不同，RBF和FNN都采用“Gaussian型函數(shù)，且在FNN的一個(gè)擴(kuò)展形式ANFIS中，激發(fā)函數(shù)同樣可取為(7)的形式，而WLN則采用Gaussian的導(dǎo)數(shù)”形式。jjjxgwy)(1 0,exp121cbaxcxgjjjjj baxxgjjj121exp baxbaxxgjjjjj1

13、21121exp 6 7 8 9 圖 (3) RBF和WLN原理圖+gix1x2wj 二維情況。當(dāng)有兩個(gè)輸入變量時(shí)，RBF和WLN仍采用圖(3)的網(wǎng)絡(luò)結(jié)構(gòu)，而FNN的結(jié)構(gòu)就不同了。如圖(4)所示，如果變量x1和x2分別有N1和N2個(gè)模糊子集，那么，總的隱節(jié)點(diǎn)數(shù)，也即模糊規(guī)則總數(shù)N就是， 如果x1的第i個(gè)子集與x2的第k個(gè)子集構(gòu)成第j條規(guī)則，那么，其中， 和 仍采用式(8)的形式，為模糊算子，可以為“與”，“或”，或者“算術(shù)乘”等。RBF和WLN的隱節(jié)點(diǎn)個(gè)數(shù)就不存在式(10)所示的關(guān)系，其第j個(gè)隱節(jié)點(diǎn)的輸出表示為，其中， 仍為式(7)和式(9)的形式，“”為算術(shù)乘。NNN2110 xgxgxxg

14、jkjij2121, 11 gji gjk xgxgxxgjjj2121,12 gj 圖4 FNN原理圖（二維）gjkgjigi+yx1x2 3 討論 從訓(xùn)練算法和網(wǎng)絡(luò)結(jié)構(gòu)兩方面對(duì)前饋網(wǎng)絡(luò)進(jìn)行了介紹和分析，由于資料和篇幅的局限，不可能涉及全部，而只能就其最具代表性的進(jìn)行討論。另外，只適合于模糊識(shí)別的網(wǎng)絡(luò)也不在討論范圍之內(nèi)。 目前，前饋網(wǎng)絡(luò)研究所需考慮的問題主要有以下幾個(gè)方面：1) 現(xiàn)行的各種優(yōu)化算法缺乏生物學(xué)依據(jù)。目前普遍認(rèn)為，生物學(xué)上的神經(jīng)網(wǎng)絡(luò)并不實(shí)行“反向傳播”，并且，對(duì)學(xué)習(xí)中是否有一個(gè)優(yōu)化過程也尚不清楚。這就引出這樣一個(gè)問題，既人工神經(jīng)網(wǎng)絡(luò)是否要與自然神經(jīng)網(wǎng)絡(luò)完全一致？如果可以不一致，那么就給研究者更多的自由度去探尋各種優(yōu)化算法；訓(xùn)練過度(overtraining)問題。這是指，網(wǎng)絡(luò)參數(shù)和訓(xùn)練次數(shù)的增加有時(shí)反而使訓(xùn)練結(jié)果變差，這就需要從算法的優(yōu)化和訓(xùn)練過程的監(jiān)控等方面去解決；訓(xùn)練算法與網(wǎng)絡(luò)