隨機過程報告——馬爾可夫鏈

1、馬爾可夫鏈馬爾可夫鏈是一種特殊的隨機過程，最初由a.a .m arkov所研究。它的直觀背景如下：設(shè)有一隨機運動的系統(tǒng)e（例如運動著的質(zhì)點等），它可能處的狀態(tài)記為 eo,ei,.,en,.總共有可數(shù)個或者有窮個。這系統(tǒng)只可能在時刻t=1,2,n,上改變它的狀態(tài)。隨著的運動進程，定義一列隨機變量xn,n=0,1,2,?其中xn=k,如在t=n時，位于ek。定義1.1設(shè)有隨機過程xn, nt ,若對任意的整數(shù)n t和任意的io,ii,.in 1 i，條件概率滿足0pxn1 in 1xo io，.,xnin pxn1 imxn in則稱xn, n t為馬爾可夫鏈,簡稱為馬氏鏈。實際中常常碰到具有下列

2、性質(zhì)的運動系統(tǒng)。如果己知它在t=n時的狀態(tài),則關(guān)于它在n時以前所處的狀態(tài)的補充知識，對預(yù)言在n時以后所處的狀態(tài)，不起任何作用?；蛘哒f，在己知的“現(xiàn)在”的條件下，“將來”與“過去”是無關(guān)的。這種性質(zhì)，就是直觀意義上的“馬爾可夫性”，或者稱為“無后效性”假設(shè)馬爾可夫過程xn, n t的參數(shù)集t是離散時間集合，即t=0,1,2,其相應(yīng)xn可能取值的全體組成的狀態(tài)空間是離散狀態(tài)空間i=1,2,.。定義1.2條件概率pij（n）pxm jxn i稱為馬爾可夫鏈xn, n t在時刻n的一步轉(zhuǎn)移矩陣，其中i , j i,簡稱為轉(zhuǎn) 移概率。一般地，轉(zhuǎn)移概率pjn）不僅與狀態(tài)i,j有關(guān)，而且與時刻n有關(guān)。當p不

3、依賴 于時刻n時，表示馬爾可夫鏈具有平穩(wěn)轉(zhuǎn)移概率。若對任意的i , j i,馬爾可夫鏈xn,n t的轉(zhuǎn)移概率pj與n無關(guān)，則稱馬爾可夫鏈是齊次的。定義1.3設(shè)p表示一步轉(zhuǎn)移概率p,所組成的矩陣，且狀態(tài)空間1=1,2 , - n,則pll,12pin稱為馬爾可夫鏈的一步轉(zhuǎn)移概率矩陣。它具有如下性質(zhì)：（2） pj 1,i i（1） pj 0, i，j i；. j i定理1.1設(shè)xn,n t為馬爾可夫鏈，則對任意的ij,.in i和n 1,有 n,pfm =小,無=l產(chǎn)zrp%凡&。這表明馬爾可夫鏈的有限維分布完全由它的初始概率和一部轉(zhuǎn)移概率所決定。因此，只要知道初始概率和一部轉(zhuǎn)移概率，就可

4、以知道馬爾可夫鏈的統(tǒng)計特性。定義1.4假設(shè)xn, n 0是齊次馬爾可夫鏈，其狀態(tài)空間為i,轉(zhuǎn)移概率為pij ,稱概率分布 j , j i 為馬爾可夫鏈的平穩(wěn)分布，若它滿足門=1也工專=l號之0對于不可約馬爾可夫鏈，若它的狀態(tài)是非周期，正常返的，則它是遍歷的；對于不可約馬爾可夫鏈，若它的狀態(tài)是有限且非周期的，則它是遍歷的。值得注意 的是，對于一個馬爾可夫鏈，并不是一定存在limp（n）。例如設(shè)馬爾可 n夫鏈的一部轉(zhuǎn)移矩陣為：【1刃易知p）1（單位矩陣），p（2n1） p，所以limp 不存在。 n在隨機過程理論中，馬爾可夫鏈是一類占有重要地位，具有普遍意義的隨機 過程。它廣泛應(yīng)用于現(xiàn)代社會的各個

5、領(lǐng)域， 尤其在預(yù)測領(lǐng)域有著廣泛的應(yīng)用。 馬 爾可夫鏈的預(yù)測方法分為很多種。根據(jù)指標值序列分組有3種。1）數(shù)據(jù)序列約定俗成的分組方法：根據(jù) 人 們 長 久的經(jīng)驗進行分組：由于人們在現(xiàn)實生活中積累了生活經(jīng)驗，人們對認識的事物 有了感性的了解，就可以對現(xiàn)象進行分組。 2）樣本均值一均方差分組法：對于 數(shù)據(jù)序列x1,x2，,xn,可看作是一個時間序列的前n個觀測值，算出樣本均值x和 樣本均方差s,根據(jù)具體情況以樣本均值為中心，s為標準進行分組。3）有序聚 類分組法：有序聚類是對有序樣品進行分類的一種方法， 更加充分地考慮序列的 數(shù)據(jù)結(jié)構(gòu)，使劃分的區(qū)間更加合理。有序聚類實現(xiàn)的經(jīng)典算法是fisher算法，

6、其 基本原理為：設(shè)時間序列x1,x2，,xn的某一歸類是（再，既），"i定義其均值向量為將公式。（。）=幺%-可）乜-虧）定義為x1,x2，,xn的直徑，其含義表示該變量段內(nèi)部各變量之間的差異情況。其值越小，表示該段內(nèi)變量之間差異越小，或說相互間越接近；反之，表示該段 內(nèi)變量之間差異越大，或說相互間越分散。三種馬氏鏈預(yù)測方法：1）基于絕對分布的馬爾可夫鏈預(yù)測步驟1對歷史數(shù)據(jù)進行分組；步驟2確定觀測值的狀態(tài)，寫出頻數(shù)矩陣（nij）i, j e,和一步轉(zhuǎn)移矩陣（fj）i, j e ,n .qi其中fj其中n為樣本容量，當時n ,可用頻數(shù)估計概率pj fj,從n -1而得到一步轉(zhuǎn)移概率矩陣

7、pl pj。步驟3 “馬氏性”檢驗步驟4已知時刻l時系統(tǒng)取各個狀態(tài)的概率可視為馬爾可夫鏈的初始分布，比如x1取狀態(tài)2, m=5,則始分布p(o)= (0, 1, 0, 0, 0),于是l+1時的絕對分布ri) %p (pi,p22),p3(3),p44) ,p55),可認為時刻1+1時系統(tǒng)所取的狀態(tài)j滿足pij maxp,從而預(yù)測1+ t時刻的狀態(tài)。 1 i 5步驟5還可以用馬氏鏈的平穩(wěn)性，遍歷性對系統(tǒng)分析。2)疊加馬氏鏈預(yù)測步驟1對歷史數(shù)據(jù)進行分組；步驟2計算各階的一步轉(zhuǎn)移矩陣p“ p2,pk, i 1,2,k,其中p (fj2)i,j e ,n(2)fj2,其他類推。n -2步驟3 “馬氏

8、性”檢驗步驟4如果要預(yù)測時刻1+1的狀態(tài)，可分別利用1, 1-1, ?, 1-k+1作為初始態(tài)，1+1所處的狀態(tài)j滿足pmaxrij。列表分析初始時段狀態(tài)112345來覆/4pe%g1成)曲*點瑪3福譚由舄1-32成瑁pf匕u3城)點點4合計p闔p8)p閭圖1疊加馬氏鏈預(yù)測分析表步驟5重復(fù)步驟1-4遞推預(yù)測；步驟6進行平穩(wěn)性，遍歷性及其他分析。3)加權(quán)馬氏鏈預(yù)測步驟1對歷史數(shù)據(jù)進行分組；步驟2計算各階的一步轉(zhuǎn)移矩陣p1, p2,pk, i1,2,k,其中p2 (fij2)i,j efj2 匚，其他類推。 j n -2步驟3 “馬氏性”檢驗；步驟4計算各階相關(guān)系數(shù)：i £ a - xx

9、% - 工）rk -旦一 ，上 £ e，za-才 r=1叫 e。i/gm ker步驟5預(yù)測n+1時刻的狀態(tài)步驟6重復(fù)1-5,預(yù)測n+2時刻的狀態(tài)，其余類推步驟7討論其他性質(zhì)。馬爾可夫預(yù)測方法是馬爾可夫鏈在預(yù)測領(lǐng)域的一種應(yīng)用方法。最初這種方法在水文，氣象，地震等方面有廣泛的應(yīng)用，之后經(jīng)濟學(xué)家將其應(yīng)用于研究市場占有 率，預(yù)測經(jīng)營利潤等方面。在馬爾可夫預(yù)測方法中，一個非常重要的問題就是對 一步狀態(tài)轉(zhuǎn)移概率矩陣的估算。下面以實例分析馬爾可夫鏈在現(xiàn)實生活中的應(yīng)用。下面給出長江水域6類水質(zhì)所占的比例。年份時網(wǎng)11夷u類ii類iv，v類一丁類1則014.6阻5|k,92.71,72.519%112

10、.2m 2u9.5183.9199710.513.643.22h.o3.23.51現(xiàn)31彖9口工價46.2b.22.73.41w945 041.730 32.4，q5.7200057內(nèi)35. 23n14.95.9620060.93a. 136 156 37.420027。s3s.731. 116. 12.q13.42003苦1 . 3熱.541 1-63.414.52im4925.7-40.2ji. i5 2il.9現(xiàn)在要對長江未來10年的水質(zhì)污染的發(fā)展趨勢做一個總體的預(yù)測。為此可建立長江水質(zhì)污染的馬爾可夫鏈趨勢預(yù)測的一步轉(zhuǎn)移概率矩陣估計的 最優(yōu)化模型。設(shè)枯水期長江全流域水質(zhì)在第t年屬于i類、

11、r類、田類、iv類、 v類、劣v類這6類狀態(tài)的比例向量分別為(t) ( pt (1),pt (2)，pt (6),t 0,1,2,.9 .設(shè) p ( pj ” 6 為6類狀態(tài)矩陣的一步轉(zhuǎn) 移概率，根據(jù)誤差平方和達到最小的準則，建立如下最優(yōu)化模型:(加 f + 1 ) 一 /)(比(，+ 1 ) 一 代 p v t =06廠1/卜,2 .6s. / < j = 1、0,i j = 1 ,2,.6用matlab軟件求解得0.460 70. 034 5p = 0.000 00. <xx> 00. ()0() 00.000 00.277 80.270 51.(xj0 00.110 7

12、0. 539 30.5(m 90.330 80. ()00 0(h 174 70.000 00.061 20t23 00.000 00.000 00. 000 00.060 30.000 00. ()00 00. 000 00.000 00.c61 40,c14 20.000 ()0. 174 6由下式a(9 + q 二 口(9)嚴/ = i .2,.1。可以對長江未來10年的水質(zhì)污染屬于i類、ii類、田類、iv類、v類、劣v類這6類狀態(tài)的比例向量作出預(yù)測，預(yù)測結(jié)果見下表年份附間t1類ii美修受r類奏m311)30,3超 3-fi 2fts 14, 6in 63, m25 011. ik5 7

13、2udbls. 135 128. 655 13b.u05 ujj.571 33. k2; aju. aid k2(x)712工5加62h. 235 137.m22 214. 029 ii. k22 0in. #0 435.784 928.219 13fu明 3is.976 k九m2 110js9 1200914立即417n n38, 144 214.016 qv不用1上«w6 g21)10155.941 62s. ini 33h. 191 514. ()44 bi.戲融4史 &s7 6刻1165,70138® &14.0606s. 80 75*.760«30121719s7 2弭 206 7255 114.073 7vrd6 6q. frv 4201.1is5.gt 328.217 3272 914.0h2 7工狎腳7立介訪t196 .003 b二工儂238.285 514.。密03, sio 39.6j44從預(yù)測計算結(jié)果可以看出：枯水期長江全流域水質(zhì)屬于iv類、v類、劣v類這 3 類狀態(tài)的比例并沒有發(fā)生根本性的減少，水質(zhì)污染程度依然十分嚴重。因此我們要采取積極措施，例如要嚴加控制企業(yè)廢水和城市生活垃圾亂排亂放，政府要大力推進城市發(fā)展生態(tài)農(nóng)