論述馬爾可夫模型的降水預(yù)測方法

1、隨機過程與隨機信號處理課程論文 論述馬爾可夫模型的降水預(yù)測方法摘要：預(yù)測是人們對未知事物或不確定事物行為與狀態(tài)作出主觀的判斷。中長期降水量的預(yù)測是氣象科學(xué)的一個難點問題, 也是水文學(xué)中的一個重要問題。今年來，針對降水預(yù)測的隨機過程多采用隨機過程中的馬爾可夫鏈。本文總結(jié)了降水預(yù)測的馬爾可夫預(yù)測的多種方法和模型，對其中的各種方法的馬爾可夫鏈進(jìn)行了比較和分析，得出了一些有用的結(jié)論。關(guān)鍵字：降水預(yù)測，隨機過程，馬爾可夫鏈，模擬前言：大氣降水是自然界水循環(huán)的一個重要環(huán)節(jié)。尤其在干旱半干旱地區(qū), 降水是水資源的主要補給來源, 降水量的大小,決定著該地區(qū)水資源的豐富程度。因此, 在水資源預(yù)測、水文預(yù)報中經(jīng)常

2、需要對降水量進(jìn)行預(yù)報。然而, 由于氣象條件的變異性、多樣性和復(fù)雜性, 降水過程存在著大量的不確定性與隨機性, 因此到目前為止還難以通過物理成因來確定出未來某一時段降水量的準(zhǔn)確數(shù)值。在實際的降水預(yù)測中，有時不必預(yù)測出某一年的降水量，僅需預(yù)測出某個時段內(nèi)降水的狀況既可滿足工作需要。因此，預(yù)測的范圍相應(yīng)擴大，精度相應(yīng)提高。因此對降水的預(yù)測可采用隨機過程的馬爾可夫鏈來實現(xiàn)。用隨機過程中馬爾可夫鏈進(jìn)行預(yù)測是一種較為廣泛的預(yù)測方法。它可用來預(yù)測未來某時間發(fā)生的變化, 如預(yù)測運輸物資需求量、運輸市場等等。馬爾可夫鏈, 就是一種隨機時間序列, 它表示若已知系統(tǒng)的現(xiàn)在狀態(tài), 則系統(tǒng)未來狀態(tài)的規(guī)律就可確定, 而不

3、管系統(tǒng)如何過渡到現(xiàn)在的狀態(tài)。我們在現(xiàn)實生活中, 有很多情況具有這種屬性, 如生物群體的生長與死亡, 一群體增加一個還是減少一個個體, 它只與當(dāng)前該生物群體大小有關(guān), 而與過去生物群體大小無關(guān)。本文針對降水預(yù)測過程中采用馬爾可夫鏈進(jìn)行模擬進(jìn)行了綜述和總結(jié)。主要的方法有利用傳統(tǒng)的馬爾可夫鏈的方法模擬 ；有采用加權(quán)的馬爾可夫鏈模擬來進(jìn)行預(yù)測；還有基于模糊馬爾可夫鏈狀模型預(yù)測的方法；還有通過聚類分析建立降水序列的分級標(biāo)準(zhǔn)來采用滑動平均的馬爾可夫鏈模型來預(yù)測降水量；從這些方法中我們可以看出，馬爾可夫鏈對降水預(yù)測有著重要的理論指導(dǎo)意義。1.隨機過程基本原理 我們知道，隨機變量的特點是，每次試驗結(jié)果都是一個

4、實現(xiàn)不可預(yù)知的，但為確定的量。而在實際中遇到的許多物理現(xiàn)象，實驗所得到的結(jié)果是一個隨時間變化的隨機變量，且用一個或多個隨機變量我們有時無法描述很多這種現(xiàn)象的的全部統(tǒng)計規(guī)律，這種情況下把隨時間變化的隨機變量的總體叫做隨機過程。對隨機過程的定義如下： 設(shè)E=e是一個樣本空間，若對每一時刻tT,都有定義在E上的隨機變量X(t,e)與之對應(yīng)，則稱依耐t的一族隨機變量X(t,e),tT,eE是一個隨機過程，通常將它簡化為X(t),tT. 隨機過程一般應(yīng)表示為X(t),tT.隨機過程可分為以下兩大類，一類為時間參數(shù)集T為離散時間集合，即參數(shù)集T是一個可列集，如果 或 ，則稱X(t), tT為離散時間隨機過

5、程，或稱隨機序列。另一類為時間參數(shù)集T為連續(xù)時間集合，是一個不可列集，如果 或 則稱X(t), tT為連續(xù)時間隨機過程，或簡稱隨機過程。2.傳統(tǒng)的馬爾科夫鏈方法模擬來進(jìn)行降水預(yù)測 “馬爾可夫模型”是由俄國數(shù)學(xué)家A. A. M arkov 在1996年最早提出, 經(jīng)過幾十年不斷的發(fā)展,M arkov 過程已成為隨機過程的一個重要分支, 該方法利用變量的狀態(tài)轉(zhuǎn)移概率矩陣可預(yù)報變幅較大的隨機波動, 在生物學(xué)、物理學(xué)、天文學(xué)領(lǐng)域中已有廣泛的應(yīng)用1, 2 。馬爾可夫鏈可以描繪一個隨即變化的動態(tài)系統(tǒng), 它根據(jù)狀態(tài)之間的轉(zhuǎn)移概率來推測一個系統(tǒng)未來的發(fā)展變化, 而轉(zhuǎn)移概率反映了各隨機因素的影響程度, 反映了各

6、狀態(tài)之間轉(zhuǎn)移的內(nèi)在規(guī)律性, 適合描述隨機波動行較大的預(yù)測問題. 定義1: 設(shè)X ( t) 是一隨機過程, 當(dāng)過程在時刻t0 所處的狀態(tài)已知的條件下, 過程在時刻t ( t> t0) 所處的狀態(tài)與過程在時刻t0 之前的狀態(tài)無關(guān), 這個特性稱為無后效性。無后效性的隨機過程稱為馬爾可夫過程。 定義2: 時間離散、狀態(tài)離散的馬爾可夫過程稱為馬爾可夫鏈4 。對于馬爾可夫鏈, 用P ij 表示系統(tǒng)由狀態(tài)E j 經(jīng)過一次轉(zhuǎn)移到達(dá)狀態(tài)E j 的轉(zhuǎn)移概率。由轉(zhuǎn)移概率構(gòu)成的矩陣, 即 稱為馬爾可夫鏈的狀態(tài)轉(zhuǎn)移概率矩陣。由于從任何一個狀態(tài)Ei 出發(fā), 經(jīng)過轉(zhuǎn)移后, 必然出現(xiàn)狀態(tài)E1、E2、E3, 因此 任一系

7、統(tǒng)的狀態(tài)空間I , 可以分解為下列不相交子集之和 其中N 為所有非常返狀態(tài)組成集合, Ci (i= 1, 2, ) 是互不相交的常返狀態(tài)組成的閉集.若j 是非周期的正常返狀態(tài), 則Uj為狀態(tài)j 的平均返回時間, 我們稱概率分布為馬爾可夫鏈的平穩(wěn)分布, 其中I 為狀態(tài)空間, 若它滿足 若是馬爾可夫鏈的平穩(wěn)分布, 則 采用隨機過程的馬爾可夫進(jìn)行預(yù)測，能充分利用歷史數(shù)據(jù)的信息，其預(yù)測精度較高。同時可建立在歷史數(shù)據(jù)分析之上，歷史數(shù)據(jù)越多，越準(zhǔn)確，預(yù)測也越可靠。但同時也具有兩大缺點: 第一, 只考慮了最大概率, 忽略了其它概率的影響;第二, 不清楚預(yù)報對象在區(qū)間內(nèi)的大致位置, 無法達(dá)到預(yù)報對象具體值的要

8、求。3.加權(quán)的馬爾可夫鏈的降水預(yù)測 對于一列相依的隨機變量,用步長為1的馬爾可夫鏈模型和初始分布推算出未來時段的絕對分布來做預(yù)測分析,可稱之為基于絕對分布的馬爾可夫鏈預(yù)測方法。對于利用各階(多步長)馬爾可夫鏈求得的絕對分布疊加來做預(yù)測分析,可稱之為疊加馬爾可夫鏈預(yù)測法。對于這兩種Markov鏈預(yù)測方法,其各自都存在一定的局限性,對于基于絕對分布的馬爾可夫鏈預(yù)測方法,默認(rèn)所論的馬爾可夫鏈滿足“齊次性”缺乏依據(jù),事實上,應(yīng)用中所論及的隨機變量序列,盡管滿足馬爾可夫性,但“齊次性”一般都不滿足。另外該法沒有考慮到對應(yīng)各階(各種步長)馬爾可夫鏈的絕對分布在預(yù)測中所起的作用,因此沒有能充分利用已知數(shù)據(jù)資

9、料的信息。而對于疊加馬爾可夫鏈預(yù)測方法,盡管應(yīng)用了各階(各種步長)馬爾可夫鏈的絕對分布疊加來預(yù)測狀態(tài),但沒有考慮到各階馬爾可夫鏈對應(yīng)的絕對概率在疊加中所起的作用,即認(rèn)為各階馬爾可夫鏈的絕對概率所起的作用是相同的,這顯然是不科學(xué)的,事實上滿足馬爾可夫性的相依時間序列,其各階自相關(guān)性是不一致的。一列相依的隨機變量,其各階自相關(guān)系數(shù)刻畫了各種滯時的狀態(tài)間的相關(guān)關(guān)系的強弱。因此,可考慮先分別依其前面若干時段的指標(biāo)值的狀態(tài)進(jìn)行預(yù)測,然后,按前面各年與該年相依關(guān)系的強弱進(jìn)行加權(quán)求和,充分合理地利用信息進(jìn)行預(yù)測,這就是加權(quán)馬爾可夫鏈預(yù)測的基本思想。傳統(tǒng)的馬爾可夫鏈預(yù)測方法與加權(quán)馬爾可夫鏈預(yù)測方法都沒有對指標(biāo)

10、值序列進(jìn)行馬爾可夫性檢驗,這是一個缺陷。本研究提出的加權(quán)馬爾可夫鏈預(yù)測方法彌補了這個缺陷,具體方法如下: (1)計算指標(biāo)值序列的均值、均方差,建立指標(biāo)值的分級標(biāo)準(zhǔn),確定馬爾可夫鏈的狀態(tài)空間?？筛鶕?jù)資料序列的長短及具體問題的要求進(jìn)行?？梢詷颖揪讲顬闃?biāo)準(zhǔn) 57 也可用有序聚類的方法建立分級標(biāo)準(zhǔn) 7 將指標(biāo)進(jìn)行分級。確定馬爾可夫鏈的狀態(tài)空間E = 1, 2, , m 。 (2)按所建立的分級標(biāo)準(zhǔn),確定資料序列各時段指標(biāo)值所對應(yīng)的狀態(tài)。 (3)對所得結(jié)果進(jìn)行統(tǒng)計,可得到不同步長馬爾可夫鏈的轉(zhuǎn)移概率矩陣,它決定了指標(biāo)值狀態(tài)轉(zhuǎn)移過程的概率法則。(4)馬爾可夫性檢驗。(5)計算各階自相關(guān)系數(shù)rk , k

11、E ( E為所研究序列的狀態(tài)空間)。 式中: rk 為第k階滯時的自相關(guān)系數(shù); xl為第l時段的指標(biāo)值; x為指標(biāo)均值; n為指標(biāo)序列的長度。對各階自相關(guān)系數(shù)規(guī)范化,即 將wk 作為各種滯時(步長) 的馬爾可夫鏈的權(quán)重(m 為按時間需要計算到的最大階數(shù)) 。(6) 分別以前面若干時段的指標(biāo)值為初始狀態(tài), 結(jié)合其相應(yīng)的各階轉(zhuǎn)移概率矩陣即可預(yù)測出該時段的狀態(tài)概率P( k)i , i E, k為滯時(步長)，k=1,2,m.(7) 將同一狀態(tài)的各預(yù)測概率加權(quán)和作為指標(biāo)值處于該狀態(tài)的預(yù)測概率,即 所對應(yīng)的狀態(tài)即為該時段指標(biāo)值的預(yù)測狀態(tài)。待該時段的指標(biāo)值確定后，將其加入到原始序列中，再重復(fù)步驟(1) (

12、7) ,可進(jìn)行下一時段指標(biāo)值狀態(tài)的預(yù)測。隨機序列是否具有馬爾可夫性,是應(yīng)用馬爾可夫鏈模型分析和解決實際問題的必要前提 5 。通常離散序列的馬爾可夫鏈可用x2 統(tǒng)計量來檢驗。對于指標(biāo)值的分級,傳統(tǒng)的方法是應(yīng)用樣本均值與樣本標(biāo)準(zhǔn)差來刻畫指標(biāo)值的變化區(qū)間, 設(shè)指標(biāo)值序列為x1 , x2 , , xn ,樣本均值為x,樣本標(biāo)準(zhǔn)差為。如果這是一個弱相關(guān)(相關(guān)系數(shù)的絕對值 0. 2) 序列,則可以看做是獨立同分布的序列。由中心極限定理知: P - 1. 5s x < +1. 5s 2 (1. 5) - 1 = 0. 87; P - s x < + s 2 (1. 0)- 1 = 0. 68。于

13、是, 可按指標(biāo)是否落在( - , - 1. 0s) , ( -1. 0s, - 0. 5s) , ( - 0. 5s, + 0. 5s) , ( + 0. 5s, + 1. 0s) , ( +1. 0s, + ) 內(nèi),把指標(biāo)值分成5組。利用這種方法對指標(biāo)值進(jìn)行分類,不考慮物理成因?qū)χ笜?biāo)值的影響, 僅僅從統(tǒng)計的角度簡單地把樣本均值作為指標(biāo)值的中心, 這種方法操作較為方便,因此應(yīng)用也較廣泛。采用加權(quán)的馬爾可夫來進(jìn)行降水的預(yù)測主要優(yōu)點有(1)應(yīng)用樣本均值- 標(biāo)準(zhǔn)差分級法來確定分級數(shù),再取適當(dāng)?shù)?、2 值,可以更加充分地應(yīng)用到降水序列的數(shù)據(jù)結(jié)構(gòu),從而可以更加有效地刻畫降水序列內(nèi)在的分布規(guī)律,使劃分的降

14、水量區(qū)間分級標(biāo)準(zhǔn)更合理。(2)預(yù)測結(jié)果為降水量的某一個狀態(tài)(區(qū)間值) ,而不是一個具體的數(shù)值,在可以完全滿足實際工作的前提下,預(yù)測的范圍更廣,其可靠性也得到了提高。(3)由于各種步長的自相關(guān)系數(shù)為權(quán)重,用各種步長的馬爾可夫鏈加權(quán)來預(yù)測降水狀態(tài),與普通的馬爾可夫鏈預(yù)測相比較,它可以更充分、更合理地利用信息,使其成功地將馬爾可夫鏈與相關(guān)分析結(jié)合起來進(jìn)行預(yù)測。(4)根據(jù)最后計算出來的狀態(tài)概率分布,求所預(yù)測的降水量的具體值,仍是一個有待解決的問題,加權(quán)馬爾可夫鏈的方法為這樣的預(yù)測提供了一個新的思路。4.基于模糊馬爾可夫鏈狀模型預(yù)測的方法模糊有序聚類是對有序樣品進(jìn)行分類的一種方法,以往通常應(yīng)用降水量序列

15、的均值與方差的方法來刻畫降水量豐枯狀況的變化區(qū)間,本文提出應(yīng)用模糊有序聚類的方法來劃分降水量的變化區(qū)間,可以更加充分地考慮降水量序列的數(shù)據(jù)結(jié)構(gòu),使劃分的區(qū)間更加合理。模糊有序聚類實現(xiàn)的經(jīng)典算法是Fisher 算法,其基本原理為:設(shè)變量x1 , , xn 的某一歸類是 xi , , xj , j i ,定義其均值向量為將公式定義為 xi , , xj , j i 的直徑,其含義表示該變量段內(nèi)部各變量之間的差異情況. 其值越小,表示該段內(nèi)變量之間差異越小,或相互間越接近;反之,表示該段內(nèi)變量之間差異越大,或相互間越分散。設(shè)將n 個有序變量分為K 類,某一分法為將公式 定義這一分類的誤差函數(shù),從理論

16、上可以證明,所謂的最優(yōu)分法就是使e P( n , K) 達(dá)到最小值時的一種分法. 至于分類數(shù)K 的確定, 可以通過做e P( n , K) 與K關(guān)系的曲線圖,曲線拐彎處的K值即為最優(yōu)分類數(shù).通常一個時間序列X ( t) 的可能取值范圍是一個連續(xù)的實數(shù)區(qū)間, 如果采用上述馬爾可夫鏈狀模型預(yù)測方法, 就必須先將這個實數(shù)區(qū)間劃分成有限個明確的狀態(tài)。但是在許多問題中, 狀態(tài)并不是明確的子集合。例如我們利用降雨量來確定旱、偏旱、正常、偏澇和澇等狀態(tài)。因為它們都是模糊狀態(tài), 故要用降雨量上的模糊子集來表示才更近似于實際情況。因此, 針對此類情況必須采用基于模糊狀態(tài)的馬爾可夫鏈狀模型的預(yù)測方法。而馬爾可夫鏈

17、預(yù)測的關(guān)鍵問題在于計算轉(zhuǎn)移矩陣中的概率值, 概率計算的基礎(chǔ)在于狀態(tài)的劃分矩陣, 顯然, 將狀態(tài)劃分明確的狀態(tài)劃分矩陣即布爾矩陣進(jìn)一步拓廣為表示狀態(tài)劃分模糊的模糊狀態(tài)劃分矩陣轉(zhuǎn)移概率問題就可以解決了。設(shè)時間序列X ( t) : x 1, x 2, x 3, x n , 在其論域X(t) 上劃分出K 個模糊狀態(tài)E 1, E 2,. . . , E k 按照一定的方法總能得X ( t) 隸屬于模糊狀態(tài)E i 的隸屬度函數(shù), 滿足:從而得到矩陣稱為時間序列X ( t) 在論域X 上的模糊狀態(tài)劃分特征值矩陣, 簡稱模糊狀態(tài)劃分矩陣。顯然式( 1) 為, 為時間序列X ( t ) : x 1, x 2,x

18、 3,. . . , x n , 在其論域X 上劃分的模糊矩陣, 顧及一般性, 由于數(shù)據(jù)序列最后的狀態(tài)轉(zhuǎn)向不明確, 故計算 時不考慮時間序列X ( t) 中最后的m 個數(shù)據(jù), 則模糊狀態(tài)的馬爾可夫鏈轉(zhuǎn)移概率可作如下定義:為x t ( t= 1, 2,. . . , n- m ) 落入狀態(tài)的數(shù)據(jù)個數(shù), 易證即為狀態(tài)的初始概率為狀態(tài)經(jīng)m步轉(zhuǎn)移到狀態(tài)的數(shù)據(jù)個數(shù)，且有 即為狀態(tài)經(jīng)m步轉(zhuǎn)移到狀態(tài)的轉(zhuǎn)移概率，且滿足，從而獲得模糊狀態(tài)劃分下轉(zhuǎn)移概率矩陣。系統(tǒng)各種狀態(tài)轉(zhuǎn)移的統(tǒng)計規(guī)律在狀態(tài)概率矩陣中得到了反映, 通過考慮狀態(tài)轉(zhuǎn)移概率矩陣, 則可預(yù)測系統(tǒng)未來的發(fā)展變化。預(yù)測時需要先列出預(yù)測表。表的編制方法是: 選

19、取離預(yù)測年最近的j 個年份, 按離預(yù)測年的遠(yuǎn)近, 轉(zhuǎn)移步數(shù)分別為1, 2, j , 在轉(zhuǎn)移步數(shù)所對應(yīng)的轉(zhuǎn)移矩陣中, 取起始狀態(tài)所對應(yīng)的行向量, 從而組成新的概率矩陣。對新的概率矩陣將其列向量求和, 其和最大的列向量的狀態(tài)為預(yù)測狀態(tài), 從而實現(xiàn)了模糊狀態(tài)的馬爾可夫鏈預(yù)測計算。5滑動平均- 馬爾可夫模型根據(jù)降水過程存在大量不確定性的特點, 通過聚類分析建立降水序列的分級標(biāo)準(zhǔn), 采用規(guī)范化的各階自相關(guān)系數(shù)為權(quán)重, 用滑動平均的馬爾可夫鏈模型, 通過狀態(tài)轉(zhuǎn)移概率矩陣預(yù)測未來時段的降水狀態(tài), 并根據(jù)模糊集理論中的級別特征值計算具體的降水量,傳統(tǒng)的馬爾可夫鏈模型采用最大隸屬原則來確定預(yù)報對象的狀態(tài), 具有

20、兩大缺點: 第一, 只考慮了最大概率, 忽略了其它概率的影響; 第二, 不清楚預(yù)報對象在區(qū)間內(nèi)的大致位置, 無法達(dá)到預(yù)報對象具體值的要求。模糊集理論中的級別特征值可以有效地解決這個問題, 具體計算方法如下:首先給各狀態(tài)賦以相應(yīng)的權(quán)重, 構(gòu)成權(quán)重集D = d 1, d 2,d 3, d 4, dm , 其中m 為研究系統(tǒng)的狀態(tài)數(shù)。其中權(quán)重的大小取決于各狀態(tài)概率的大小, 即 式中: G最大概率的作用系數(shù), 通常取2。級別特征值H 可以通過下式進(jìn)行計算。 確定最大概率的狀態(tài)i 后, 可以根據(jù)上式確定系統(tǒng)在預(yù)報時段的預(yù)報值 與傳統(tǒng)的馬爾可夫過程相比, 滑動平均- 馬爾可夫模型具有以下特點: 采用了滑動

21、平均的思想, 預(yù)測未來某時段的滑動平均降水量, 預(yù)測范圍擴大, 預(yù)測精度提高。 采用了聚類的方法對滑動平均降水量進(jìn)行等級劃分,更加充分地考慮了序列中數(shù)據(jù)結(jié)構(gòu)的合理性, 更加有效地顯示了降水量序列的內(nèi)在分布規(guī)律, 使得區(qū)間的劃分更加合理。 計算序列的各階自相關(guān)系數(shù), 歸一化后作為馬爾可夫模型的權(quán)重, 充分、合理地利用已有信息, 使得預(yù)測結(jié)果更為精確。結(jié)論：通過以上分析，針對降水預(yù)測，從中可以看出，隨機過程中的馬爾可夫鏈模型在降水預(yù)測中有重要的實際指導(dǎo)意義。文中分析了馬爾可夫鏈在其中的應(yīng)用的各種模型，對具體的降水分析，可采取不同的模型。每個模型都有自身的優(yōu)缺點，可以采取將兩者或兩者以上方法結(jié)合的思想。比如利用模糊馬爾可夫鏈模型與加權(quán)馬爾可夫鏈結(jié)合進(jìn)行結(jié)合，產(chǎn)生一種模糊權(quán)馬爾可夫鏈模型，將兩者優(yōu)勢結(jié)合在一起