隨機過程馬氏過程

隨機過程馬氏過程第一頁，共二十三頁，2022年，8月28日2

我們注意到，齊次馬氏鏈的n步轉移概率當n趨于無窮時,即過程的轉移無限進行下去時,其極限可能存在，而且也可能與起始狀態(tài)i無關，例如只有兩個狀態(tài)的馬氏鏈，其一步轉移概率矩陣為易知其任意步轉移概率矩陣為第二頁，共二十三頁，2022年，8月28日3

又如一齊次馬氏鏈，狀態(tài)空間為E={1,2,3}，其一步轉移概率矩陣,二步,三步轉移概率矩陣為第三頁，共二十三頁，2022年，8月28日4

于是由此可推測第四頁，共二十三頁，2022年，8月28日5

因此,一般來說，通常討論關于齊次馬氏鏈的n步轉移概率的兩方面問題，一是其極限是否存在？二是如果此極限存在，那么它是否與現(xiàn)在所處狀態(tài)i無關，在馬氏鏈理論中，有關這兩方面問題的定理，統(tǒng)稱為遍歷性定理。第五頁，共二十三頁，2022年，8月28日6一齊次馬氏鏈的遍歷性

定義4.1

設齊次馬氏鏈的狀態(tài)空間為E={1,2,…}，若對于E中所有的狀態(tài)i,j，存在不依賴于i的常數πj，為其轉移概率的極限，即其相應的轉移矩陣有第六頁，共二十三頁，2022年，8月28日7則稱此齊次馬氏鏈具有遍歷性，并稱πj為狀態(tài)j的穩(wěn)態(tài)概率。第七頁，共二十三頁，2022年，8月28日8

定理4.1

設齊次馬氏鏈{X(n),n≥1}的狀態(tài)空間為E={1,2,…,N}，若存在正整數m，使對任意的i,j∈E，其m步轉移概率均大于0,即

則此馬氏鏈具有遍歷性；且各狀態(tài)的穩(wěn)態(tài)概率滿足下列方程組第八頁，共二十三頁，2022年，8月28日9及概率分布條件注1

判斷馬氏鏈的遍歷性有很多方法,本定理只是其中一個較為簡單的方法.注2

本定理不僅給出了判斷馬氏鏈的遍歷性的方法,也給出了求其穩(wěn)態(tài)概率的方法.第九頁，共二十三頁，2022年，8月28日10

例4.1

設齊次馬氏鏈的狀態(tài)空間E={1,2,3}，其一步轉移概率為

試問此鏈是否具有遍歷性?若有,試求其穩(wěn)態(tài)概率.第十頁，共二十三頁，2022年，8月28日11

解：注意到即知其所有的二步轉移概率均大于0，由定理4.1知，此鏈具有遍歷性.第十一頁，共二十三頁，2022年，8月28日12再由轉移概率與穩(wěn)態(tài)概率滿足的方程組得解之可得穩(wěn)態(tài)概率為第十二頁，共二十三頁，2022年，8月28日13例4.2

設齊次馬氏鏈的狀態(tài)空間E={1,2}，其一步轉移概率矩陣為試討論該鏈的遍歷性。解：容易計算得出，該鏈的其n步轉移矩陣與其一步轉移矩陣P相同，即第十三頁，共二十三頁，2022年，8月28日14故由定義4.1知，此鏈不具有遍歷性,也不存在穩(wěn)態(tài)概率。

第十四頁，共二十三頁，2022年，8月28日15二齊次馬氏鏈的平穩(wěn)分布定義4.2

設{X(n),n≥0}是一齊次馬氏鏈，若存在實數集合{rj,j∈E}，滿足則稱{X(n),n≥0}是一平穩(wěn)齊次馬氏鏈，稱{rj,j∈E}為該過程的一個平穩(wěn)分布。第十五頁，共二十三頁，2022年，8月28日16例4.3

已知{X(n),n≥0}的初始分布為其一步轉移矩陣為試說明此馬氏鏈是平穩(wěn)的,且其初始分布為其平穩(wěn)分布。第十六頁，共二十三頁，2022年，8月28日17解由平穩(wěn)分布滿足的方程組注意到第十七頁，共二十三頁，2022年，8月28日18即此初始分布滿足定義4.2中條件，故具有上述轉移概率的齊次馬氏鏈為一平穩(wěn)齊次馬氏鏈，初始分布為其一個平穩(wěn)分布。定理4.2

設{X(n),n≥0}是一平穩(wěn)齊次馬氏鏈，若其初始分布P(0)={p1(0)，p2(0),…,pj(0),…}為此鏈的平穩(wěn)分布時，則對任何n≥1，絕對概率等于初始概率，即：證若平穩(wěn)齊次馬氏鏈的初始分布為平穩(wěn)分布時,則有第十八頁，共二十三頁，2022年，8月28日19而齊次馬氏鏈的絕對概率為其初始分布與轉移概率確定第十九頁，共二十三頁，2022年，8月28日20第二十頁，共二十三頁，2022年，8月28日21

由此可見，當我們能判定齊次馬氏鏈的初始分布是一平穩(wěn)分布時，則該馬氏鏈在任何時刻的絕對概率分布都與初始分布相同。事實上，平穩(wěn)分布就是不因轉移步數變化而改變的分布。此時馬氏鏈處于狀態(tài)j的概率與時間推移無關，即具有平穩(wěn)性。注1

一般來說，平穩(wěn)齊次馬氏鏈的平穩(wěn)分布并不唯一.注2

在定理4.1條件下,平穩(wěn)齊次馬氏鏈的穩(wěn)態(tài)概率即為其平穩(wěn)分布。第二十一頁，共二十三頁，2022年，8月28日22例4.4

設齊次馬氏鏈的狀態(tài)空間為E={1,2},其一步轉移概率矩陣為由例4.2知