粒子群_神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)算法氣象預(yù)報建模研究

1、第24卷 第6期 熱 帶 氣 象 學(xué) 報 Vol.24, No.6 2008年12月 JOURNAL OF TROPICAL METEOROLOGY Dec., 2008文章編號：1004-4965（2008）06-0679-08粒子群-神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)算法氣象預(yù)報建模研究吳建生1， 劉麗萍2， 金龍3（1. 柳州師范高等?？茖W(xué)校數(shù)學(xué)與計算機科學(xué)系，廣西 柳州 545004；2. 畢節(jié)地區(qū)氣象局，貴州 畢節(jié) 551700；3. 廣西區(qū)氣象減災(zāi)研究所，廣西 南寧 530022）摘 要：針對BP神經(jīng)網(wǎng)絡(luò)在實際氣象預(yù)報應(yīng)用中，網(wǎng)絡(luò)結(jié)構(gòu)難以確定以及網(wǎng)絡(luò)極易陷入局部解問題，提出一種基于神經(jīng)網(wǎng)絡(luò)的粒子群集

2、成學(xué)習(xí)算法的氣象預(yù)報模型，以BP算法為基本框架，在學(xué)習(xí)過程中引入粒子群算法，優(yōu)化設(shè)計神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和初始連接權(quán)，獲得一組合適網(wǎng)絡(luò)結(jié)構(gòu)和初始連接權(quán)，再進行新一輪BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練，獲得一批獨立的神經(jīng)網(wǎng)絡(luò)個體，以“誤差絕對值和最小”為最優(yōu)準則，采用線性規(guī)劃方法計算各集成個體的權(quán)系數(shù)，生成神經(jīng)網(wǎng)絡(luò)的輸出結(jié)論，以此建立短期氣候預(yù)測模型。以廣西的月降水量進行實例分析，計算結(jié)果表明該方法學(xué)習(xí)能力強、泛化性能高，能夠有效提高系統(tǒng)預(yù)測的準確率。 關(guān) 鍵 詞：神經(jīng)網(wǎng)絡(luò)集成；粒子群優(yōu)化； 最優(yōu)組合 中圖分類號：P456.7 文獻標(biāo)識碼：A1 引 言旱澇災(zāi)害的氣候預(yù)測問題是減災(zāi)防災(zāi)的重要研究課題，隨著我國國民經(jīng)濟

3、的高速發(fā)展，科技水平的日益提高，人們對災(zāi)害性氣候的預(yù)測精度要求越來越高。在大氣科學(xué)研究中，雖然氣候動力學(xué)方法有了很大進展，但是天氣系統(tǒng)的動力學(xué)模型往往難以客觀描述和構(gòu)造，由于天氣系統(tǒng)受眾多因素的相互作用和影響，其變化有著很強的無序性，具有顯著的非線性、時變性特征，利用傳統(tǒng)的統(tǒng)計方法很難揭示其變化規(guī)律11990年，Hansen等7開創(chuàng)性地提出神經(jīng)網(wǎng)絡(luò)集成方法，通過訓(xùn)練多個神經(jīng)網(wǎng)絡(luò)模型并將其結(jié)果合成，其目的是利用多個模型間的差異來提高系統(tǒng)的泛化能力，即使是缺乏神經(jīng)計算經(jīng)驗的普通工程技術(shù)人員也可以從中受益，被視為一種非常有效的工程化神經(jīng)計算方法8。目前神經(jīng)網(wǎng)絡(luò)集成技術(shù)已經(jīng)被成功地應(yīng)用到很多領(lǐng)域中，如

4、圖像處理、醫(yī)學(xué)等領(lǐng)域913。神經(jīng)網(wǎng)路的集成主要集中在兩個方面，（1） 集成中神經(jīng)網(wǎng)絡(luò)個體的生成，（2） 多個神經(jīng)網(wǎng)絡(luò)輸出結(jié)論的生成。個體的生成以Boosting和Bagging技術(shù)為主14152。而迅速發(fā)展起來的神經(jīng)網(wǎng)絡(luò)（Neutral，輸出結(jié)論的生成有絕對多數(shù)投票法、相對多Network，簡稱ANN）方法大大優(yōu)于統(tǒng)計方法，由于它具有很強的處理非線性問題的能力，比一般的線性統(tǒng)計預(yù)測方法具有更好的預(yù)測能力34，它為大氣科學(xué)和氣候分析提供了新技術(shù)、新方法。但由于神經(jīng)網(wǎng)絡(luò)方法缺乏嚴密理論體系指導(dǎo)，其應(yīng)用效果完全取決于使用者的經(jīng)驗。在氣象預(yù)報應(yīng)用中，由于對影響天氣系統(tǒng)的各種因素?zé)o法客觀確定，研究人員往

5、往要經(jīng)過大量費力耗時的實驗摸索或者依據(jù)經(jīng)驗，確定合適的神經(jīng)網(wǎng)絡(luò)輸入變量、網(wǎng)絡(luò)模型以及各種參數(shù)的設(shè)置，這成為神經(jīng)網(wǎng)絡(luò)方法在氣象預(yù)報應(yīng)用中的重要技術(shù)障礙56。數(shù)投票法16，線性組合集成17，選擇性集成等18。粒子群優(yōu)化（Particle Swarm Optimization，PSO）是一種基于群體智能方法的進化計算技術(shù)，它是通過個體之間的互動協(xié)作來搜尋全局最優(yōu)解，其概念簡單、易于實現(xiàn)，既適合科學(xué)研究，又適合工程應(yīng)用19。利用粒子群優(yōu)化算法提高神經(jīng)網(wǎng)絡(luò)的泛化性能是一個十分活躍的研究領(lǐng)域2021，本文利用粒子群算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和初始連接權(quán)，以優(yōu)化后的網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)作為新的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和連接權(quán)

6、，再進行新一輪的神經(jīng)網(wǎng)絡(luò)訓(xùn)練，生成神經(jīng)網(wǎng)絡(luò)集成個體，以“誤差絕對值和最小”為最優(yōu)準則進行集成，收稿日期：2007-06-04；修訂日期：2007-11-26基金項目：國家自然科學(xué)基金資助項目（40675023）；國家科技部社會公益性研究專項（2004DIB3J122）共同資助通訊作者：吳建生，男，陜西咸陽人，碩士，副教授，主要從事神經(jīng)網(wǎng)絡(luò)應(yīng)用及智能優(yōu)化算法的研究。E-mail：wjsh2002168680 熱 帶 氣 象 學(xué) 報 24卷用線性規(guī)劃方法確定集成個體的權(quán)重系數(shù)，生成的神經(jīng)網(wǎng)絡(luò)集成的輸出結(jié)論，以此建立氣候預(yù)測模型。則為0；權(quán)重系數(shù)矩陣為浮點數(shù)矩陣，取11上的均勻分布隨機數(shù)，它是控制網(wǎng)

7、絡(luò)的權(quán)值和閾值的大小。（2） 輸入訓(xùn)練樣本，依據(jù)式(1)計算每個粒子的適應(yīng)度，并且初始化個體經(jīng)歷最好位置Pbest(t)，以及群體經(jīng)歷的最好位置Pgbest(t)。（3） 對于每個個體，將其適應(yīng)度與所經(jīng)歷的最好位置的適應(yīng)度比較，若較好，則將其作為當(dāng)前最好位置；并將其適應(yīng)度與全局最好位置的適應(yīng)度比較，若較好，則將其作為全局的最好位置。（4） 粒子的速度進化方程為vij(t+1)=vij(t)+c1r1Pbest(t)xij(t)+c2r2Pgbest(t)xij(t)2 粒子群-神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)算法BP算法是最普遍的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法，由于基于梯度下降的BP算法依賴于初始權(quán)值的選擇22，加之實際問

8、題往往是極其復(fù)雜的多維曲面，所以BP算法收斂速度慢而且極易陷入局部最優(yōu)；另外在神經(jīng)網(wǎng)絡(luò)應(yīng)用中，網(wǎng)絡(luò)結(jié)構(gòu)的確定基本上依賴經(jīng)驗，主要是采用遞增或遞減的試探方法來確定的網(wǎng)絡(luò)隱節(jié)點23，這些缺陷使得神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本和檢測樣本的輸出具有不一致性和不可預(yù)測性，極大地限制了神經(jīng)網(wǎng)絡(luò)在實際氣象預(yù)報中的應(yīng)用。而粒子群算法的速度-位移搜索模型操作簡單，計算復(fù)雜度低，并通過慣性權(quán)重協(xié)調(diào)全局搜索和局部搜索，能以較大概率保證最優(yōu)解，克服BP算法局部最優(yōu)的缺陷，又可以提高局部區(qū)域的收斂速度，避免局部搜索過程中的收斂停滯現(xiàn)象。粒子群-神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)算法的基本思想是：以BP算法為主框架，利用粒子群算法全局性搜索的特點，求

9、解一個基于神經(jīng)網(wǎng)絡(luò)方法的二次非線性規(guī)劃方程，即尋找合適的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)初始連接權(quán)，使得神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和初始連接權(quán)被控制在一個有效的范圍內(nèi)，同時也使得神經(jīng)網(wǎng)絡(luò)的訓(xùn)練對初始連接權(quán)不再異常敏感，然后再進行新一輪BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練生成神經(jīng)網(wǎng)絡(luò)的集成個體。粒子群-神經(jīng)網(wǎng)絡(luò)的優(yōu)化問題數(shù)學(xué)描述如下1N1nk(t)2<1=Min(,)yk(t)yEwvN1k=1t=1pmk(t)=vjkfxwij+j+tyj=1i=11f(x)=1+exm×pp×npns.twR,vR,R,R(3)(t)=maxmaxminitermaxiter (4)其中max、min分別是慣性權(quán)重的最大值和

10、最小值，iter、itermax分別是當(dāng)前迭代次數(shù)和最大迭代次數(shù)。（5） 為保證連接結(jié)構(gòu)矩陣進化后仍取0或1，依據(jù)文獻24，連接結(jié)構(gòu)位置進化方程取為0xij(t+1)=1rr<11+expvij(t+1)11+expvij(t+1)(5)其中r為0,1均勻分布的隨機數(shù)。連接權(quán)位置進化方程為xij(t+1)=xij(t)+vij(t+1)(6)（6） 反復(fù)進行（2）（5）步，直到適應(yīng)度滿足要求或達到總的進化代數(shù)(總的進化代數(shù)K)。（7） 把進化后的最后一代L個體全部解碼，得到L組神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和網(wǎng)絡(luò)連接權(quán)，以其作為新的神經(jīng)網(wǎng)絡(luò)初始連接權(quán)和網(wǎng)絡(luò)結(jié)構(gòu)，再次利用訓(xùn)練樣(1)本進入新的BP神經(jīng)網(wǎng)絡(luò)

11、訓(xùn)練，以此生成神經(jīng)網(wǎng)絡(luò)的集成個體。k(t)為網(wǎng)絡(luò)的實際輸出，yk(t)為其中x為訓(xùn)練樣本，y3 集成結(jié)論生成設(shè)N個訓(xùn)練樣本的實際輸出為yt,t=1,2,LL,N，神經(jīng)網(wǎng)絡(luò)集成個體是由L個訓(xùn)練網(wǎng)絡(luò)的期望輸出。利用粒子群優(yōu)化算法求解式(1)的二次非線性規(guī)劃問題。定義適度函數(shù)為F(w,v,)=11+minE(w,v,)(2)后的神經(jīng)組成，各個神經(jīng)網(wǎng)絡(luò)的輸出為t(i),t=1,2,LL,N,i=1,2,LL,L，每個神經(jīng)網(wǎng)絡(luò)輸y具體實現(xiàn)步驟如下：（1） 群體的位置和速度初始化，隨機生成L個個體，每個個體由兩部分組成，第一部分是群體的位置矩陣，第二部分對應(yīng)粒子的速度矩陣。群體位置矩陣包括連接結(jié)構(gòu)矩陣和權(quán)

12、重系數(shù)矩陣，結(jié)構(gòu)矩陣為二進制變量矩陣，對應(yīng)的連接權(quán)存在則該變量為1，否出被賦予權(quán)重wi，則神經(jīng)的集成輸出為%t=wiyt(i)，wi滿足約束條件wi0，且wi=1。yi=1i=1LL記et為第t個樣本的誤差，即6期 吳建生等：粒子群-神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)算法氣象預(yù)報建模研究 681t=ytwyet=yty (7) it(i)=wiytyt(i)i=1i=1LL列的外推預(yù)測模型，輸入矩陣的質(zhì)量一定程度上影響神經(jīng)網(wǎng)絡(luò)泛化能力，但是神經(jīng)網(wǎng)絡(luò)本身并不提供如何構(gòu)造神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)矩陣的方法。而如何建立合理的神經(jīng)網(wǎng)絡(luò)輸入矩陣是神經(jīng)網(wǎng)絡(luò)建模的另一項關(guān)鍵技術(shù)問題，是保障預(yù)測模型具有良好泛化能力和進行實際應(yīng)用的重要條件

13、。本文采用奇異譜分析（Singular Spectrum Analysis，SSA）方法26對原始降水時間序列重構(gòu)，并用均生函數(shù)（Mean Generating Function，MGF）方法27對重構(gòu)序列構(gòu)造均生函數(shù)延拓矩陣，以其作為自變量，原始降水序列作為因變量，再利用偏最小二乘（Partial Least-Squares Regression，PLS）方法28進行處理，提取對因變量解釋最強的綜合變量作為神經(jīng)網(wǎng)絡(luò)的輸入因子，原始時間序列作為輸出因子。所有訓(xùn)練樣本的誤差記為Q=et，以其最小t=1N求的非負權(quán)重系數(shù)wi，即求下式的解MinQ=ett=1Ls.twi=1,wi0i=1N(8)模

14、型(8)的目標(biāo)函數(shù)中含有絕對值，直接求解模型不方便，但可將它轉(zhuǎn)化為線性規(guī)劃問題25進行求解，設(shè)|e|+et|e|et，vt=t (9) ut=t22則顯然有|et|=ut+vt，et=utvt， ut0 , vt0，Q=(ut+vt)t=1N4.1 奇異普分析（SSA）奇異普分析是Karhumen-Loeve分解理論的發(fā)展與應(yīng)用，最早應(yīng)用于數(shù)字信號處理，其后被推廣到海洋學(xué)、非線性動力學(xué)領(lǐng)域，近年來又開始應(yīng)用于氣候診斷和預(yù)測中。它可以從包含噪聲數(shù)據(jù)序列中提取盡可能多的可靠信息，并且有效利用周期分量重建序列預(yù)測模型。它的好處是能夠提煉出主要成分，濾去非周期性的異?，F(xiàn)象。SSA分析的對象是中心化的一

15、維時間序列，記為x(t),t=1,2,LL,N，其M階延遲得到矩陣Xx1x2X=MMxMX10X20MMXM0x2x3MMxM+1X11X21MMLLxNM+1LLxNM+2LLMLLMLLxNLLLLLLLLX1,NMX2,NMMMXM,NM因而可將模型(8)轉(zhuǎn)化為以下的線性規(guī)劃問題N=MinQ(ut+vt)t=1s.t.w1+w2+LL+wm=1e1(u1v1)=0(10) e2(u2v2)=0LLen(unvn)=0wi0 , ut0 , vt0 (i=1,LL,L;t=1,LL,N)進一步地，把式(9)代入式(8)得到N=MinQ(ut+vt)t=1s.tw1+w2+LL+wm=1Lw

16、yy(i)u+v=01111ii=1Lwiy2y2(i)u2+v2=0 (11)1i=LLLwyy(i)u+v=0innnni=1wi0,ut0,vt0.(i=1,LL,L;t=1,LL,N)(12)XM1LLX的第i個狀態(tài)向量為線性規(guī)劃問題(11)有L+2N個未知量和N+1個約束條件，本文利用單純形法進行線性問題(8)的最優(yōu)解求解，以其作為各集成神經(jīng)網(wǎng)絡(luò)個體的權(quán)重。xi+1X1ixXi+22iXi=MM (i=0,1,LL,NM) (13)MMxXi+MMi共NM+1個狀態(tài)，X稱相空間中的軌跡矩陣，矩陣X中的元素與原序列對應(yīng)關(guān)系為Xji=xj+i (14)X的協(xié)方差矩陣記為Tx，它是一個非負

17、的對稱矩陣，4 建模前的數(shù)據(jù)預(yù)處理把每月降水值看作一個時間序列，建立時間序其特征根也是非負的。將這些特征根按降序排列682 熱 帶 氣 象 學(xué) 報 24卷 e1e2LLeM0。矩陣Tx的特征根ek對應(yīng)的特征三角矩陣x1(1)x2(1)LxQ(1)x2(2)LxQ(2) (20) X=OMxQ()Q向量Ek稱為時間經(jīng)驗正交函數(shù)(time empirical orthogonal function，T-EOF)，第k個時間主成分(time principal component，T-PC)定義為原始序列xi在第k個時間經(jīng)驗正交函數(shù)上正交投影系數(shù)M再對其作周期性延拓，得到外延序列fl(t)=xltl

18、INTt1l(t=1,2,LL,N+P) (21)a=xi+jE,0iNM;1kM (15)kikjj=1任意T-EOF的M個分量構(gòu)成一個時間序列，反映原始序列中的時間演變型，時間主成分aik是Ek表示的時間型在原始序列的xi+1,xi+2,LL,xi+M時段的權(quán)重。SSA的重要功能由重建成分（ReconstructionTP為預(yù)報步數(shù)，從而得到外延均生函數(shù)序列矩陣。4.3 偏最小二乘回歸方法（PLS）1983年Wold S和Albano C等首次提出了偏最小二乘回歸，近幾十年來，它在理論方法和應(yīng)用方面都得到迅速發(fā)展，許多統(tǒng)計學(xué)家開始致力于其理論研究，它主要是針對多因變量對多自變量的回歸建模方

19、法，在當(dāng)因變量只有一個時，稱其為PLS1回歸。在自變量之間存在較高相關(guān)性時，特別是樣本個數(shù)較少，甚至樣本個數(shù)小于自變量個數(shù)時，該方法已經(jīng)被證明是一種非常有效的方法。偏最小二乘回歸方法與主成分分析回歸建模方法的基本思路相同，主要區(qū)別在信息綜合與篩選過程中，它不但考慮自變量的降維與信息綜合，而且要考慮新的信息對因變量具有最佳的解釋能力?？梢哉f偏最小二乘回歸方法集多元線性回歸分析、典型相關(guān)分析和主成分分析的基本功能為一體，將數(shù)據(jù)分析方法和對模型認識分析方法有機結(jié)合。以PLS1過程說明偏最小二乘的具體計算步驟28設(shè)自變量矩陣為x11x21=MMxn1x12x22MMxn2LLLLLLLLLLx1mx2

20、mM (22) MxnmComponents，RC）實現(xiàn)，用于在分析和預(yù)報中提取感興趣的信息，過濾噪聲，它是利用T-EOF和T-PC重建一個N長度為的序列。由第k個T-EOF和T-PC重建xi的成分記為xik，即1MkkMiNM+1aijEjMj=11ikkkxt=aijEj (16) 1iM1ij=1M1aikjEkNM+2iNjNi1+=+jiNMRC具有疊加性，所有RC之和等于原始序列xt=xk=1Mkt(t=1,2,LL,N) (17)在實際應(yīng)用中，只需要用前m個主成分即可重建原序列，降低噪聲的干擾，達到提煉主要趨勢的目的，即有%t=xtkxk=1m(m<M,t=1,2,LL,N

21、) (18)X0=(xij)n×m4.2 均生函數(shù)方法（MGF）均生函數(shù)方法是將一維時間序列觀測值按一定的時間間隔計算均值而得到的均值生成函數(shù)，是曹鴻興等1990年代初提出的一種預(yù)測方法，它拓廣了數(shù)理統(tǒng)計中的算術(shù)平均值的概念，建立具有多步預(yù)測能力的數(shù)學(xué)模型，能從數(shù)據(jù)中提取“自然”周期，因此能很好地與原序列擬合。設(shè)經(jīng)過標(biāo)準化的時間序列xt,t=1,2,LL,N，因變量矩陣為Y0=(yi1)n×1=*,Y0*。 標(biāo)準化數(shù)據(jù)X0y11y21M (23) Myn1（1） 標(biāo)準化自變量矩陣和因變量矩陣，得到（2） 計算主軸。MGF計算方法如下1Nl1xl(i)=x(i+jl)nlj=

22、0其中Nl=INT(i=1,2,LL,l),(1lQ) (19)NN，Q=INT，l為均生函數(shù)的周期，2lXi1Yi1wi=XYi1i1(i=1,2,LL,T) (24)Q為最大周期的長度，INT表示取整，生成如下的上相應(yīng)地得到第i個綜合變量Fi=Xi1wi，F(xiàn)i和Xi1進6期 吳建生等：粒子群-神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)算法氣象預(yù)報建模研究 683行普通最小二乘回歸估計，回歸系數(shù)pi=并計算殘差矩陣X=X計算，否則停止。ii1Xi1titi，Y=0.026F1+0.273F2+0.362F3+0.427F4+0.610F5+0.512F6+ (25) 0.189F7+0.167F8368.356Fp。

23、ii進一步以8個綜合變量作為神經(jīng)網(wǎng)絡(luò)的輸入，利用粒子群-神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法生成一組神經(jīng)網(wǎng)絡(luò)集成個體，分別采用簡單加權(quán)平均集成（Simple Average*（3） 驗交叉有效性。若Qi20.097 5，繼續(xù)（4） 提取T個成分F1,F2,LL,FT，建立X和*L,FT均是X0Y0*在其上的回歸方程。由于F的1,F2,LEnsemble，SAE）和最優(yōu)組合的集成預(yù)報模型（記為PSO-BP），以其分別對39個樣本擬合和對10個樣本預(yù)報，比較結(jié)果用來檢驗預(yù)測模型的效果。粒子群進化神經(jīng)網(wǎng)絡(luò)中的參數(shù)設(shè)置為：進化代數(shù)100，群體個數(shù)20，慣性權(quán)重最小值0.1，慣性權(quán)重最大值0.9，再次的BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練時，

24、每個都有8個輸入神經(jīng)元，1個輸出神經(jīng)元，網(wǎng)絡(luò)的初始連接權(quán)和網(wǎng)絡(luò)結(jié)構(gòu)依據(jù)粒子群優(yōu)化后的結(jié)果來確定。訓(xùn)練參數(shù)設(shè)置：訓(xùn)練次數(shù)1 000，學(xué)習(xí)因子為0.9，動量因子為0.7，總體誤差為0.001。為了定量比較二種模型的效果，引入以下4種誤差。平均相對誤差（Average Relative Errors，ARE）MAPE=i1nyiy(26) ni=1yi線性組合，故最終可改寫成Y0關(guān)于X0的回歸方程。5 應(yīng)用實例及結(jié)果分析以廣西全區(qū)7月（主汛期）降水量作為預(yù)測對象進行氣候預(yù)報建模研究，樣本長度為19572005年共49個，其中用19571995年共39個作為訓(xùn)練樣本，留取19962005年共10個作為

25、檢測樣本，檢驗預(yù)測模型實用效果。5.1 基于SSA-MGF的數(shù)據(jù)預(yù)處理利用SSA-MGF方法對49個原始降水序列重構(gòu)，選取延遲階數(shù)M=40，得到延遲矩陣X40×10，利用式（12）（18）選取方差積累貢獻率80%的值，得到重構(gòu)序列。重構(gòu)序列和原始序列的相關(guān)系數(shù)達到均方根誤差(Root Mean Square Error，RMSE)MSE=(27) 1ni (28) yiyni=10.895 6，重構(gòu)結(jié)果如圖1所示。平均絕對誤差(Mean Absolute Error，MAE)MAE=Pearson相關(guān)系數(shù)(Related Coefficient，RC)RC (29)i分別代表實際值和

26、擬合值。 其中yi、y5.2 結(jié)果對比分析圖1 原始數(shù)據(jù)和重構(gòu)數(shù)據(jù)圖2為PSO訓(xùn)練階段適應(yīng)度隨進化次數(shù)的變化曲線，從圖2可以看出適應(yīng)度的最大值、平均值、最小值隨訓(xùn)練的次數(shù)增加將趨于穩(wěn)定，使得神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和初始連接權(quán)依據(jù)訓(xùn)練樣本被控制在有效的范圍內(nèi)。圖3為三層BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和初始連接權(quán)未經(jīng)PSO訓(xùn)練，網(wǎng)絡(luò)結(jié)構(gòu)為8-8-1，連接權(quán)為區(qū)間1,1均勻分布隨機數(shù)，訓(xùn)練誤差收斂曲線；圖4是網(wǎng)絡(luò)結(jié)構(gòu)和初始連接權(quán)經(jīng)過PSO訓(xùn)練后，對同樣網(wǎng)絡(luò)結(jié)構(gòu)三層BP神經(jīng)網(wǎng)絡(luò)再次訓(xùn)練的誤差收斂曲線。從圖3可以看出，BP神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的前期，訓(xùn)練誤差反復(fù)震蕩調(diào)節(jié)，直到1 000次訓(xùn)練結(jié)束后也沒有達到目標(biāo)誤差。從圖4可

27、以看出，經(jīng)過PSO訓(xùn)由圖1可以看出，通過數(shù)據(jù)重構(gòu)有效提取了原始序列中的主要趨勢成分和振蕩周期成分，并且降低了原始序列中的噪聲。利用式（19）（20）生成均生函數(shù)矩陣X39×20，再依照式（21）對其外延10步，生原始降水序列看作因變量Y49×1，成自變量矩陣X49×20，將自變量利用偏最小二乘回歸處理，提取對因變量影響強的成分，在交叉檢驗有效時，共提取到8個綜合變量F1,F2,LL,F8，建立偏最小二乘回歸模型（記為PLS）684 熱 帶 氣 象 學(xué) 報 24卷 練后，以優(yōu)化后的值作為新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和初始連接權(quán)，再次的神經(jīng)網(wǎng)絡(luò)經(jīng)過12次訓(xùn)練就達到目標(biāo)誤差，經(jīng)過P

28、SO優(yōu)化后的神經(jīng)網(wǎng)絡(luò)達到誤差目標(biāo)的迭代次數(shù)明顯降低，即收斂速度大大提高。對比PLS模型、SAE模型和PSO-BP模型對39個訓(xùn)練樣本的擬合效果，各種統(tǒng)計指標(biāo)結(jié)果見表1，擬合效果見圖 表1 三種模型擬和結(jié)果的統(tǒng)計評價 模型 ARE/ % RMSE MAE RC PLS 17.49 41.80 32.44 88.46 SAE 16.80 36.17 28.96 89.23 PSO-BP 15.9335.35 24.03 89.555。圖2 適應(yīng)度變化曲線圖5 三種預(yù)報模型的擬合效果這三種模型都是用SSA-MGF對原始降水量序列預(yù)處理得到的建模因子，再經(jīng)過PLS方法對建模因子的數(shù)據(jù)進行分解和篩選，提

29、取對原始序列解釋性最強的綜合變量建立的預(yù)報模型，PLS模型是8個綜合變量F1,F2,LL,F8線性回歸模型，而SAE模型經(jīng)過是利用8個綜合變量作為神經(jīng)網(wǎng)絡(luò)的輸入變量，PSO訓(xùn)練，以訓(xùn)練后的網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)作為新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)，再次進行BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，把學(xué)習(xí)后的結(jié)果直接平均集成，PSO-BP模型則是對集成個體的權(quán)重，以“誤差絕對值和最小”為最優(yōu)準圖3 BP神經(jīng)網(wǎng)絡(luò)誤差收斂曲線則，采用線性規(guī)劃方法計算集成個體的權(quán)系數(shù)，進一步優(yōu)化輸出集成結(jié)論。從表1和圖5的結(jié)果可以看出，PSO-BP模型的四種指標(biāo)均好于PLS模型、SAE模型，從圖5也可以看出這三種模型在擬合時，把降水量的基本趨勢反映出來，

30、說明它們具有對歷史樣本的學(xué)習(xí)能力，只是PSO-BP模型的擬合的精度較高。評價一個模型的優(yōu)劣看其擬合效果是一個方面，但更重要的是看其預(yù)測效果的優(yōu)劣，即模型的泛化能力。表2是兩種模型對廣西全區(qū)7月份1995 2005年10個降水量的預(yù)報結(jié)果。從表2的結(jié)果可以看出，PLS模型的絕對誤差為69.27、相對誤差為28.40%；SAE模型的絕對誤差為46.62、相對誤差為19.99%；圖4 PSO訓(xùn)練后，BP神經(jīng)網(wǎng)絡(luò)誤差收斂曲線 而PSO-BP模型的絕對誤差為27.36、相對誤差為6期 吳建生等：粒子群-神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)算法氣象預(yù)報建模研究 68511.31%。由此可以看出，在建模樣本相同、預(yù)報因子相同的

31、條件下，PSO-BP最優(yōu)集成模型對10個樣本的預(yù)報精度明顯優(yōu)于PLS模型、SAE模型。同時從表2的結(jié)果可以看出，在廣西全區(qū)7月份降水量偏多的年份預(yù)測中，如1996、2001、2002、2004年，PLS模型、SAE模型。同時從表2也可以看出，在降水量和歷年持平的年份預(yù)測中，如1997、1998、1999、2000年，PSO-BP模型預(yù)測精度要遠優(yōu)于PLS模型和SAE模型。我們也對廣西全區(qū)的8、9月的降雨量分別利用上述方法建模分析，結(jié)果同樣表明，PSO-BP模型預(yù)測精度均要優(yōu)于PLS模型、SAE模型，而且廣西全區(qū)7月份降水量偏少的年份中預(yù)測中，如PSO-BP模型的旱澇年份的降水量的預(yù)測中，精度要

32、優(yōu)于PLS模型和SAE模型，而且預(yù)測結(jié)果穩(wěn)定。2003、2005年，PSO-BP模型預(yù)測精度均要略優(yōu)于表2 兩種模型對10個檢測樣本預(yù)報結(jié)果PLS模型 SAE 模型 PSO-BP 模型年份實際值誤差 誤差/ % 誤差 誤差/ %誤差 誤差/ %1996 317.09 243.50 73.59 23.21 226.08 91.01 28.70 245.43 71.66 22.60 1997 287.4 330.15 42.75 14.88 301.74 14.34 4.99 323.76 36.36 12.65 1998 274.38 209.16 65.22 23.77 229.63 44.7

33、5 16.31 275.87 1.49 0.54 1999 296.43 259.01 37.42 12.62 277.17 19.26 6.50 299.07 2.64 0.89 2000 148.6 69.973 78.63 52.91 100.72 47.88 32.22 173.06 24.46 16.46 2001 339.69 256.35 83.34 24.53 291.43 48.26 14.21 377.08 37.39 11.00 2002 312.83 216.47 96.36 30.80 285.17 27.66 8.84 278.84 33.99 10.87 2003

34、 121.68 95.745 25.94 21.31 91.20 30.48 25.05 149.31 27.63 22.71 2004 336.13 197.04 139.09 41.38 237.61 98.52 29.31 306.92 29.21 8.69 2005 130.55 80.19 50.36 38.58 86.467 44.08 33.77 139.28 8.73 6.69平均值 69.27 28.40 46.62 19.99 27.36 11.31預(yù)測值絕對相對預(yù)測值絕對相對預(yù)測值絕對相對6 結(jié) 語降水系統(tǒng)是氣候系統(tǒng)中最為活躍、相互作用最為復(fù)雜的子系統(tǒng)之一，并且由于降水變

35、化受眾多因素的影響，預(yù)報十分困難。本文利用SSA-MGF方法對原始降水序列重構(gòu)并延拓，以延拓矩陣作為自變量，原序列作為因變量，再利用PLS方法提取對系統(tǒng)解釋最強的綜合變量作為神經(jīng)網(wǎng)絡(luò)的輸入因子，原始降水序列作為輸出因子，建立基于粒子群進化算法的神經(jīng)網(wǎng)絡(luò)集成預(yù)測模型，通過對廣西全區(qū)主汛期月降水量的實例計算對比得出以下結(jié)論。（1） 利用SSA-MGF 方法對原始數(shù)據(jù)降噪和重構(gòu)，并利用PLS處理，提取對系統(tǒng)解釋性最強的綜合變量，克服了變量之間的多重相關(guān)性，提高模型精度和可靠性；又對神經(jīng)網(wǎng)絡(luò)的輸入矩陣降維，使得網(wǎng)絡(luò)結(jié)構(gòu)規(guī)模變小，增強網(wǎng)絡(luò)的穩(wěn)定性。（2）采用粒子群優(yōu)化-神經(jīng)網(wǎng)絡(luò)集成的訓(xùn)練方法，以神經(jīng)網(wǎng)絡(luò)

36、學(xué)習(xí)算法為主框架，在學(xué)習(xí)過程中利用粒子群算法求解適宜的網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)，再次利用神經(jīng)網(wǎng)絡(luò)算法進行計算，這樣做有利于基于梯度下降的指導(dǎo)學(xué)習(xí)算法提高局部搜索性能，也利于發(fā)揮粒子群算法全局搜索的特點，進一步把訓(xùn)練后神經(jīng)網(wǎng)絡(luò)采用最優(yōu)組合集成來決定最終的預(yù)測輸出，極大提高系統(tǒng)的泛化能力，在建模樣本和預(yù)報因子相同的條件下，其的預(yù)報精度明顯優(yōu)于偏最小二乘回歸模型、簡單加權(quán)平均集成模型。參 考 文 獻：1 胡江林，涂松柏，馮光柳. 基于人工神經(jīng)網(wǎng)絡(luò)的暴雨預(yù)報方法探討J. 熱帶氣象學(xué)報，2003, 19(4): 422-428.2 HSIEH W W. Nonlinear canonical correlati

37、on analysis of the tropical Pacific climate variability using Neural Network ApproachJ. Journal of Climate, 2001,14(12): 2 528-2 539.3 GRIORGIO C, GIOGIO G. Coupling Fuzzy Modeling and Neural Networks for River Flood PredictionJ. IEEE Transactions on Systems, Man, and Cybernetic-Part C: Applications

38、 and Reviews, 2005, 25(3): 382-388. 4 吳建生，金龍，汪靈枝. 遺傳算法進化設(shè)計BP神經(jīng)網(wǎng)絡(luò)氣象預(yù)報建模研究J. 熱帶氣象學(xué)報，2006，22(4)：411-416. 5 何慧，金龍，覃志年，等. 基于BP神經(jīng)網(wǎng)絡(luò)模型的廣西月降水量降尺度預(yù)報J. 熱帶氣象學(xué)報，2007，23(1)：72-77. 6 金龍, 況雪源, 等. 人工神經(jīng)網(wǎng)絡(luò)預(yù)報模型過擬和研究J. 氣象學(xué)報, 2004, 62(1): 62-69.686 熱 帶 氣 象 學(xué) 報 24卷7 HANSEN L K, SALAMON P. Neural network ensemblesJ. IEEE

39、Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(10): 993-1001.8 SOLLICH P, KROGH A. Learning with Ensembles: How Over-fitting can be usefulC/Advances in Neural Information Processing Systems 8, Cambridge: MIT Press, 1996: 190-196.9 周志華, 陳世福. 神經(jīng)網(wǎng)絡(luò)集成J. 計算機學(xué)報, 2002, 25(1): 1-8.10 MA

40、O J. A case study on bagging boosting and basic ensembles of neural networks for OCRC/Processing International Joint Conference onNeural Networks 1998. Anchorage: International Joint Conference on Neural Networks, 1998: 1 828-1 833.11 GUTTA S, WECHSLER H. Face recognition using hybrid classifier sys

41、temsC/Proceeding International Joint Conference on Neural Networks1996. Washington DC: Proceeding International Joint Conference on Neural Networks, 1996: 1 017-1 022.12 SOLLICH P, INTRATOR N. Classification of seismic signals by integrating ensembles of neural networksJ. IEEE Transactions SignalPro

42、cessing, 1998, 46(5): 1 194-1 021.13 NING L, HUAJIE Z, JINJIANG L, et al. Speculated Lesion Detection in digital mammogram based on Artificial Neural Network EnsembleC.Advances in Neural Networks ISNN, Springer Press, 2005, 3: 790-795.14 SCHAPIRE R E. The strength of weak learn-abilityJ. Machine Lea

43、rning, 1990, 5(2): 197-227.15 BREIMAN L. Bagging predictionJ. Machine Learning, 1996, 24(2): 123-140.16 PERRONE M P, COOPER L N. When network disagree: Ensemble method for Hybrid Neural NetworksR/Artificial Neural Networks for Speechand Image processing. New York: Chapm & Hall, 1993: 126-142.17

44、MERZ C J, PAZZANI M J. A principal components approach to combining regression estimatesJ. Machine Learning, 1999, 36(1-2): 9-32.18 ZHIHUA Z, JIANXIN W, WEI T. Ensembling neural networks: Many could be better than all. Artificial IntelligenceJ. 2002, 137(2): 239-263.19 BONABEAU E, DORIGO M, THERAULA

45、Z G. Inspiration for optimization from social insect behaviorJ. Nature, 2000, 406(6): 39-42.20 XIAOHUI H, EBERHART R. Multi-objective optimization using dynamic neighborhood particle swarm optimizationC/Proceeding ofcongress on Evolutionary Computation. Hawaii: Ccongress on Evolutionary Computation,

46、 2002: 1 677-1 681.21 高海兵, 高亮, 周馳, 等. 基于粒子群優(yōu)化的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法研究J. 電子學(xué)報, 2004, 32(9): 1 572-1 574.22 RUMLHART D E, HINTON G E, WILLIAMS R J. Learning representations by back propagating errorsJ. Nature, 1986, 323(9): 533-536.23 REED R. Pruning Algorithms-A SurveyJ. IEEE Transactions on Neural Networks, 1993

47、, 4(5): 740-747.24 RIGET J, VESTERSTROM J S. A diversity-guided particle swarm optimizer-the ARPSOR. Technical Report 2002-02, Department of ComputerScience, University of Aarhus, 2002: 345-350.25 馬振華. 運籌學(xué)與最優(yōu)化理論M. 北京: 清華大學(xué)出版社, 1998: 235-425.26 VAUTARD. SSA: a toolkit for noisy chaotic signalsJ. Physical D, 1992, 58: 95-126.27 魏鳳英, 曹鴻興. 長期預(yù)測的數(shù)學(xué)模型及應(yīng)用M. 北京: 氣象