第九章馬爾可夫概型

第九章馬爾可夫概型分析§1概述§4遍歷定理與極限分布§5馬兒可夫概型檢驗(yàn)§6應(yīng)用簡(jiǎn)例§2馬爾可夫概型§3馬兒可夫鏈的轉(zhuǎn)移概率1§1概述任何一個(gè)地質(zhì)過(guò)程都可認(rèn)為是某些確定性地質(zhì)因素和隨機(jī)性地質(zhì)因素相互作用的產(chǎn)物。也就是說(shuō)，地質(zhì)過(guò)程都應(yīng)是確定型和隨機(jī)型地質(zhì)過(guò)程在時(shí)間上和空間上疊加的結(jié)果，因此在地質(zhì)研究工作中，應(yīng)重視上述兩類(lèi)地質(zhì)過(guò)程的作用。但是，由于產(chǎn)生隨機(jī)地質(zhì)過(guò)程的機(jī)理十分復(fù)雜，甚至連隨機(jī)性地質(zhì)因素也不容易或不可能觀察，這就給用數(shù)學(xué)校型(一個(gè)或幾個(gè))來(lái)描述隨機(jī)型地質(zhì)過(guò)程帶來(lái)了極大的、甚至是在目前條件下不可能克服的困難。這樣以來(lái)，人們自然就會(huì)側(cè)重于確定型地質(zhì)過(guò)程的研究，而使隨機(jī)型地質(zhì)過(guò)程的研究成為地質(zhì)工作中的一個(gè)薄弱環(huán)節(jié)。

2

1949年，維斯捷列馬斯在研究復(fù)式沉積層形成問(wèn)題時(shí)，首先應(yīng)用了馬爾可夫鏈。1984年，在莫斯科舉行的第27屆國(guó)際地質(zhì)會(huì)議上，維斯短列烏斯、阿柑特伯格(F．P．Agterbers)等數(shù)學(xué)地質(zhì)學(xué)家發(fā)表了莫斯科宣言，其基本思想是；隨機(jī)型模型應(yīng)作為數(shù)學(xué)地質(zhì)模型的基礎(chǔ)，并且肯定了馬爾可夫過(guò)程(特別是馬爾可夫鏈)在地質(zhì)學(xué)中應(yīng)占有特殊的地位。目前，常用馬爾可夫概型分析研究沉積旋回，進(jìn)行地層對(duì)比，查明火山巖系的噴出順序和侵入雜巖體中各個(gè)侵入體形成的先后順序，劃分礦床的成礦期和成礦階段、揭示各個(gè)成礦階段的空間分布等。到目前為止，研究隨機(jī)型地質(zhì)過(guò)程所涉及的數(shù)學(xué)方法也僅限于馬爾可夫概型分析。3

隨機(jī)過(guò)程是概率論的基本概念之一，它是依賴(lài)于參數(shù)t的一族隨機(jī)變量，記為這里的參數(shù)t一般是時(shí)間，T是它的變化范圍，隨機(jī)變量x(ti)也稱(chēng)作隨機(jī)過(guò)程x(t)在t＝ti∈T時(shí)的狀態(tài)。當(dāng)隨機(jī)過(guò)程在時(shí)刻t1所處的狀態(tài)x(t1)為已知的條件下，若隨機(jī)過(guò)程在時(shí)刻t(t＞t1)所處的狀態(tài)x(t)與隨機(jī)過(guò)程在t1時(shí)刻之前發(fā)生的狀態(tài)無(wú)關(guān)，那么這樣的隨機(jī)過(guò)程就稱(chēng)為馬爾可夫過(guò)程。

用分布函數(shù)來(lái)描述就是：如果對(duì)于參數(shù)t的任意n(n＞3)個(gè)數(shù)值t1＜t2＜…＜tn，在條件x(ti)＝xi，i＝1，2，…，n一1下隨機(jī)變量x(tn)的分布函數(shù)恰好等于在條件x(tn-1)＝xn-1的分布函數(shù)，即9.2馬爾可夫概型4則稱(chēng)x(t)為馬爾可夫過(guò)程,條件分布函數(shù)是馬爾可夫過(guò)程的概率模型,上式為馬爾可夫過(guò)程的轉(zhuǎn)移概率。

馬爾可夫過(guò)程又稱(chēng)為“無(wú)后效隨機(jī)過(guò)程”。所謂無(wú)后效性就是在已知隨機(jī)過(guò)程現(xiàn)在狀態(tài)的情況下，以后它所處的狀態(tài)與以前它所處的狀態(tài)無(wú)關(guān)?？梢詫⑵淅斫鉃椋@個(gè)過(guò)程的歷史對(duì)未來(lái)的全部影響集中在最后時(shí)刻的狀態(tài)中，即認(rèn)為過(guò)程的任何觀測(cè)結(jié)果只與緊前面的觀測(cè)結(jié)果有關(guān)。就是在已經(jīng)知道過(guò)程“現(xiàn)在”的條件下，其“將來(lái)”不依賴(lài)于“過(guò)去”。5狀態(tài)和參數(shù)都是離散的馬爾可夫過(guò)程稱(chēng)作馬爾可夫鏈，即過(guò)程為馬爾可夫鏈適用于時(shí)間離散、狀態(tài)離散的時(shí)間序列。但是，在研究地質(zhì)過(guò)程時(shí)，有時(shí)能直接確定過(guò)程在時(shí)間上的先后順序，有時(shí)則只能間接地以空間上的上下、前后、左右關(guān)系宋代替；也就是說(shuō)，在地質(zhì)過(guò)程研究中，有時(shí)可以挨到確定的時(shí)間序列，有時(shí)只能間接地用距離來(lái)代替時(shí)間參數(shù)：但是，只要空間序列有類(lèi)似于馬爾可夫性質(zhì)的關(guān)系存在，則仍然可以應(yīng)用馬爾可夫鏈對(duì)這種序列進(jìn)行研究。在此，我們將既適用于時(shí)間序列又適用于空間序列的馬爾可夫概率模型統(tǒng)稱(chēng)為“馬爾可夫概型”。6

若馬爾可夫過(guò)程的轉(zhuǎn)移概率隨著時(shí)間的推移而發(fā)生變化，則稱(chēng)其為非齊次或非乎穩(wěn)馬爾可夫過(guò)程，轉(zhuǎn)移概率不隨時(shí)間而變的馬爾可夫過(guò)程就稱(chēng)為齊次或平穩(wěn)馬爾可夫過(guò)程。目前在地質(zhì)研究中，主要是應(yīng)用平穩(wěn)馬爾可夫過(guò)程。79.3馬兒可夫鏈的轉(zhuǎn)移概率設(shè)馬爾可夫鏈中可列個(gè)發(fā)生狀態(tài)轉(zhuǎn)移的時(shí)刻為t1，t2，…tn，…，在已知時(shí)刻t＝tn時(shí)隨機(jī)過(guò)程xi所處狀態(tài)為i的條件下，把經(jīng)過(guò)一步轉(zhuǎn)移，即在時(shí)刻t＝tn+1(tn+1＞tn)轉(zhuǎn)移到狀態(tài)j上的概率記為pij，這個(gè)概率稱(chēng)為馬爾可夫鏈的一階轉(zhuǎn)移概率。把從狀態(tài)i到狀態(tài)j的一階轉(zhuǎn)移概率pij記為pij(1)

pij(k)則是從狀態(tài)i出發(fā)經(jīng)過(guò)k步轉(zhuǎn)移到狀態(tài)j上的轉(zhuǎn)移概率8對(duì)于馬爾可夫鏈來(lái)說(shuō)，轉(zhuǎn)移概率完全括述了它的概率統(tǒng)計(jì)特征，因此，如何確定轉(zhuǎn)移概率則成為研究馬爾可夫鏈的一個(gè)重要問(wèn)題。轉(zhuǎn)移概率在理論上是條件概率，而實(shí)際應(yīng)用時(shí)則是以轉(zhuǎn)移頻率nij/ni．作為條件概率的估計(jì)值，即例：一地層段由五種巖性狀態(tài)組成，以1表示礫狀砂巖和粗砂巖，2表示細(xì)砂巖，3表示粉砂巖，4表示粘土巖，5表示灰?guī)r，下面列出了自下而上的巖性狀態(tài)轉(zhuǎn)移序列，求其轉(zhuǎn)移概率。12514545245435413434235454542314545459解：首先由上面的狀態(tài)序列統(tǒng)計(jì)出轉(zhuǎn)移頻數(shù)矩陣[nij]如下1234512345列和ni·從而，由狀態(tài)i轉(zhuǎn)移到狀態(tài)j的概率pij可以由求出。10轉(zhuǎn)移概率矩陣為如果過(guò)程的狀態(tài)不是5種而是m種，即E1，E2，…，Em,那么由狀態(tài)Ei經(jīng)過(guò)一步轉(zhuǎn)移到狀態(tài)Ej的一階轉(zhuǎn)移概率矩陣為由條件分布律的性質(zhì)，知轉(zhuǎn)移概率有如下性質(zhì)：11二、高階轉(zhuǎn)移概率如果馬爾可夫鏈有，m種狀態(tài)EI，E2，…，Em，從狀態(tài)Ei出發(fā)經(jīng)兩步轉(zhuǎn)移到狀態(tài)Ej的概率(不管第一步是什么狀態(tài))稱(chēng)為二階轉(zhuǎn)移概率，記為此pij(2)，用二階轉(zhuǎn)移概率排成的矩陣為這個(gè)矩陣稱(chēng)為二階轉(zhuǎn)移概率矩陣，其中元素pij可以由實(shí)際資料統(tǒng)計(jì)出來(lái)，即12更一般地，由狀態(tài)Ei經(jīng)k步轉(zhuǎn)移到狀態(tài)Ej，的概率pij稱(chēng)為k階轉(zhuǎn)移概率，其轉(zhuǎn)移概率矩陣稱(chēng)為K階轉(zhuǎn)移概率矩陣，其中13因而有14從而，對(duì)于高階轉(zhuǎn)移概率矩陣有也就是說(shuō)，從狀態(tài)Ei出發(fā)經(jīng)過(guò)k步到達(dá)狀態(tài)Ej這一過(guò)程，可以看作它是先經(jīng)過(guò)r(o＜r＜k)步轉(zhuǎn)移到某一狀態(tài)El(l＝1，2，…，m)，再由El經(jīng)過(guò)(k—r)步轉(zhuǎn)移到達(dá)狀態(tài)Ej。15例如，對(duì)于一個(gè)包含砂巖(E1)、粉砂巖(E2)和頁(yè)巖E3的剖面，由圖9—l可見(jiàn)，從E2出發(fā)經(jīng)過(guò)兩步轉(zhuǎn)移到E3：有三條不同的途徑，它是從E2出發(fā)由三條不同途徑經(jīng)過(guò)兩步轉(zhuǎn)移到E3的概率之和。同樣可以計(jì)算：169.4遍歷定理與極限分布馬爾可夫鏈遍歷性的直觀意義是：不論從哪個(gè)初始狀態(tài)Ei出發(fā)，當(dāng)轉(zhuǎn)移步數(shù)k充分大后，它到達(dá)狀態(tài)Ej的概率是一個(gè)不隨時(shí)間變化的常數(shù)pj。

也就是說(shuō)，無(wú)論初始狀態(tài)如何，經(jīng)過(guò)若干步轉(zhuǎn)移以后，系統(tǒng)將處于平衡狀態(tài)，因而當(dāng)k充分大時(shí)，可用pj作為pij（k）的近似值。

遍歷性可以解決當(dāng)k很大時(shí)高階轉(zhuǎn)移概率的計(jì)算問(wèn)題。pj稱(chēng)為馬爾可夫鏈的極限概率。

遍歷性需要確定的中心問(wèn)題在什么樣的條件下，轉(zhuǎn)移概率的極限才是存在的；極限概率是否構(gòu)成一個(gè)概率分布；以及如何計(jì)算極限概率pj。17

遍歷性定理是指對(duì)于有限狀態(tài)的馬爾可夫鏈，若存在一個(gè)正整數(shù)s，使得pij（s）〉0對(duì)任何i，j=1，2，…，m成立，那么極限存在，并且與i無(wú)關(guān)；而上式中的{p1，p2，…，pm}是方程組在滿足條件pj>0，時(shí)的唯一解18例，有一馬爾可夫鏈，其轉(zhuǎn)移狀態(tài)有兩種：E1，E2。經(jīng)計(jì)算得出它的一階轉(zhuǎn)移概率矩陣為當(dāng)s=1時(shí)，對(duì)一切i，j，pij（1）〉0滿足遍歷性定理，故有。而pj可由方程組求出19對(duì)于本例為最后得到p2=0.26，p1=0.74。所以，其極限概率矩陣為20如果從公式P（k）=（P（1））k出發(fā)，計(jì)算其高階轉(zhuǎn)移概率有從各階轉(zhuǎn)移概率可以看出，其前三階有所不同，隨著階數(shù)增加，3、4階轉(zhuǎn)移概率矩陣相等，等于極限概率矩陣，而且矩陣中每一列內(nèi)各元素均相等，即經(jīng)過(guò)若干步轉(zhuǎn)移后，終止?fàn)顟B(tài)Ej的概率是一個(gè)常數(shù)pj。這就是狀態(tài)Ej的極限概率。21對(duì)任何一個(gè)離散的時(shí)間序列或空間序列都可以構(gòu)造出一個(gè)轉(zhuǎn)移概率矩陣。但是，它是否具有馬爾可夫概型的性質(zhì)呢？這就要對(duì)其進(jìn)行獨(dú)立性檢驗(yàn)。通常是用χ2檢驗(yàn)。皮爾遜已經(jīng)證明統(tǒng)一量在獨(dú)立假設(shè)下,當(dāng)n很大時(shí)服從自由度(m-1)2的χ2分布。其中m為過(guò)程狀態(tài)的種數(shù)；nij為轉(zhuǎn)移頻數(shù)（由狀態(tài)Ei經(jīng)過(guò)一步轉(zhuǎn)移到Ej上的次數(shù)）。22思考與練習(xí)題1.什么是馬