數(shù)理統(tǒng)計(jì)與隨機(jī)過(guò)程馬爾科夫鏈

數(shù)理統(tǒng)計(jì)與隨機(jī)過(guò)程馬爾科夫鏈第1頁(yè)，共34頁(yè)，2023年，2月20日，星期六第十一章馬爾可夫鏈本章首先從隨機(jī)過(guò)程在不同時(shí)刻狀態(tài)之間的特殊的統(tǒng)計(jì)聯(lián)系，引入馬爾可夫(Markoff)過(guò)程的概念。然后，對(duì)馬爾可夫鏈(狀態(tài)、時(shí)間都是離散的馬爾可夫過(guò)程)的兩個(gè)基本問(wèn)題，即轉(zhuǎn)移概率的確定以及遍歷性問(wèn)題作不同程度的研究和介紹。馬爾可夫過(guò)程的理論在近代物理、生物學(xué)、管理科學(xué)、經(jīng)濟(jì)、信息處理以及數(shù)字計(jì)算方法等方面都有重要應(yīng)用。第2頁(yè)，共34頁(yè)，2023年，2月20日，星期六§11.1馬爾可夫過(guò)程及其概率分布在物理學(xué)中，很多確定性現(xiàn)象遵從如下演變?cè)瓌t：由時(shí)刻t0系統(tǒng)或過(guò)程所處的狀態(tài)，可以決定系統(tǒng)或過(guò)程在時(shí)刻t>t0所處的狀態(tài)，而無(wú)需借助于t0以前系統(tǒng)或過(guò)程所處狀態(tài)的歷史資料。如微分方程問(wèn)題所描繪的物理過(guò)程就屬于這類確定性現(xiàn)象。把上述原則延伸到隨機(jī)現(xiàn)象，即當(dāng)一物理系統(tǒng)或過(guò)程遵循的是某種統(tǒng)計(jì)規(guī)律時(shí)，可仿照上面的原則，引入以下的馬爾可夫性或無(wú)后效性：過(guò)程(或系統(tǒng))在時(shí)刻t0所處的狀態(tài)為已知的條件下，過(guò)程在時(shí)刻t>t0所處狀態(tài)的條件分布與過(guò)程在t0之前所處的狀態(tài)無(wú)關(guān)。通俗地說(shuō)，就是在已經(jīng)知道過(guò)程“現(xiàn)在”的條件下，其“將來(lái)”不依賴于“過(guò)去”。第3頁(yè)，共34頁(yè)，2023年，2月20日，星期六

現(xiàn)用分布函數(shù)來(lái)表述馬爾可夫性.設(shè)隨機(jī)過(guò)程{X(t),t∈T}的狀態(tài)空間為I。如果對(duì)時(shí)間t的任意n個(gè)數(shù)值t1<t2<…<tn,

n≥3,ti

∈T，在條件X(ti)=xi,xi∈I,i=1,2,…,n-1下,X(tn)的條件分布函數(shù)恰等于在條件X(tn-1)=xn-1下X(tn)的條件分布函數(shù)則稱過(guò)程{X(t),t∈T}具有馬爾可夫性或無(wú)后效性，并稱此過(guò)程為馬爾可夫過(guò)程。(1.1)第4頁(yè)，共34頁(yè)，2023年，2月20日，星期六例1設(shè){X(t),t

≥0}是獨(dú)立增量過(guò)程，且X(0)=0，證明{X(t),t

≥0}是一個(gè)馬爾可夫過(guò)程。證由(1.1)式知，只要證明在已知X(tn-1)=xn-1的條件下X(tn)與X(tj),j=1,2,…,n-2相互獨(dú)立即可?，F(xiàn)由獨(dú)立增量過(guò)程的定義知道，當(dāng)0<tj<tn-1<tn,j=1,2,…,n-2時(shí)，增量X(tj)-X(0)與X(tn)-X(tn-1)相互獨(dú)立。根據(jù)條件X(0)=0和X(tn-1)=xn-1,即有X(tj)與X(tn)-X(tn-1)相互獨(dú)立。再由第三章§4定理知，此時(shí)X(tn)與X(tj)，j=1,2,…,n-2相互獨(dú)立。這表明X(t)具有后無(wú)效性,即{X(t),t

≥0}是一個(gè)馬爾可夫過(guò)程?！跤缮侠?，泊松過(guò)程是時(shí)間連續(xù)狀態(tài)離散的馬氏過(guò)程；維納過(guò)程是時(shí)間狀態(tài)都連續(xù)的馬氏過(guò)程。第5頁(yè)，共34頁(yè)，2023年，2月20日，星期六時(shí)間和狀態(tài)都是離散的馬爾可夫過(guò)程稱為馬爾可夫鏈，簡(jiǎn)稱馬氏鏈，記為{Xn=X(n),n=0,1,2,…}，它可以看作在時(shí)間集T1={0,1,2,…}上對(duì)離散狀態(tài)的馬氏過(guò)程相繼觀察的結(jié)果.我們約定記鏈的狀態(tài)空間I={a1,a2,…},ai∈R。在鏈的情形，馬爾可夫性通常用條件分布律來(lái)表示，即對(duì)任意的正整數(shù)n,r和0≤t1<t2<…<tr<m；m,n∈T1，有(1.2)其中ai∈I。記上式右端為Pij(m,m+n),我們稱條件概率

Pij(m,m+n)=P{Xm+n=aj∣Xm=ai}為馬氏鏈在時(shí)刻m處于狀態(tài)ai條件下，在時(shí)刻m+n轉(zhuǎn)移到狀態(tài)aj的轉(zhuǎn)移概率。(1.3)第6頁(yè)，共34頁(yè)，2023年，2月20日，星期六

由于鏈在時(shí)刻m從任何一狀態(tài)ai出發(fā)，到另一時(shí)刻m+n，必然轉(zhuǎn)移到a1,a2,…諸狀態(tài)中的某一個(gè)，所以(1.4)由轉(zhuǎn)移概率組成的矩陣P(m,m+n)=(Pij(m,m+n))稱為馬氏鏈的轉(zhuǎn)移概率矩陣。由(1.4)式知，此矩陣的每一行元之和等于1。當(dāng)轉(zhuǎn)移概率Pij(m,m+n)只與i,j及時(shí)間間距n有關(guān)時(shí)，把它記為Pij(n)，即

Pij(m,m+n)=Pij(n)并稱此轉(zhuǎn)移概率具有平穩(wěn)性。同時(shí)也稱此鏈?zhǔn)驱R次的或時(shí)齊的。以下我們限于討論齊次馬氏鏈。第7頁(yè)，共34頁(yè)，2023年，2月20日，星期六在馬氏鏈為齊次的情形下，由(1.3)式定義的轉(zhuǎn)移概率Pij(n)=P{Xm+n=aj∣Xm=ai}稱為馬氏鏈的n步轉(zhuǎn)移概率，P(n)=(Pij(n))為n步轉(zhuǎn)移概率矩陣。在以下的討論中特別重要的是一步轉(zhuǎn)移概率Pij=Pij(1)=P{Xm+1=aj∣Xm=ai}或由它們組成的一步轉(zhuǎn)移概率矩陣在上述矩陣的左側(cè)和上邊標(biāo)上狀態(tài)a1,a2,…是為了顯示Pij是由狀態(tài)ai經(jīng)一步轉(zhuǎn)移到狀態(tài)aj的概率。第8頁(yè)，共34頁(yè)，2023年，2月20日，星期六例2

（0-1傳輸系統(tǒng)）在如下圖只傳傳輸數(shù)字0和1的串聯(lián)系統(tǒng)中，設(shè)每一級(jí)的傳真率（輸出與輸入數(shù)字相同的概率稱為系統(tǒng)的傳真率，相反情形稱為誤碼率）為p，誤碼率為q=1-p，并設(shè)一個(gè)單位時(shí)間傳輸一級(jí)，X0是第一級(jí)的輸入，Xn是第n級(jí)的輸出(n≥1)，那么{Xn,n=0,1,2,…}是一隨機(jī)過(guò)程，狀態(tài)空間I={0,1}，而且當(dāng)Xn=i,i∈I為已知時(shí),Xn+1所處的狀態(tài)的概率分布只與Xn=i

有關(guān)，而與時(shí)刻n以前所處的狀態(tài)無(wú)關(guān)，所以它是一個(gè)馬氏鏈，而且還是齊次的。它的一步轉(zhuǎn)移概率和一步轉(zhuǎn)移概率分別為和第9頁(yè)，共34頁(yè)，2023年，2月20日，星期六例2

一維隨機(jī)游動(dòng)設(shè)一醉漢Q在如下圖所示直線的點(diǎn)集I={1,2,3,4,5}上作隨機(jī)游動(dòng)，且僅在1秒、2秒等時(shí)刻發(fā)生游動(dòng)。游動(dòng)的概率規(guī)則是：如果Q現(xiàn)在位于點(diǎn)i(1<i<5)，則下一時(shí)刻各以1/3的概率向左或向右移動(dòng)一格，或以1/3的概率留在原處；如果Q現(xiàn)在位于1(或5)這點(diǎn)上，則下一時(shí)刻就以概率1移動(dòng)到2(或4)這一點(diǎn)上。1和5這兩點(diǎn)稱為反射壁。上面這種游動(dòng)稱為帶有兩個(gè)反射壁的隨機(jī)游動(dòng)。第10頁(yè)，共34頁(yè)，2023年，2月20日，星期六若以Xn表示時(shí)刻n時(shí)Q的位置，不同的位置就是Xn的不同狀態(tài)，那么{Xn

,n=0,1,2…}是一隨機(jī)過(guò)程，狀態(tài)空間就是I，而且Xn=i,i∈I為已知時(shí)，Xn+1所處的狀態(tài)的概率分布只與Xn=i

有關(guān)，而與Q在時(shí)刻n以前如何達(dá)到i是完全無(wú)關(guān)的，所以{Xn

,n=0,1,2…}是一馬氏鏈，而且還是齊次的，它的一步轉(zhuǎn)移概率和一步轉(zhuǎn)移概率矩陣分別為010001/31/31/30001/31/31/30001/31/31/3000101

234512345和P=第11頁(yè)，共34頁(yè)，2023年，2月20日，星期六如果把1這一點(diǎn)改為吸收壁，即是說(shuō)Q一旦到達(dá)1這一點(diǎn)，則就永遠(yuǎn)留在點(diǎn)1上，此時(shí)，相應(yīng)鏈的轉(zhuǎn)移概率矩陣只須把P中的第一橫行改為(1,0,0,0,0)。總之，改變游動(dòng)的概率規(guī)則,就可得到不同方式的隨機(jī)游動(dòng)和相應(yīng)的馬式鏈。隨機(jī)游動(dòng)的思想在數(shù)值計(jì)算方法方面有重要應(yīng)用。例4排隊(duì)模型設(shè)服務(wù)系統(tǒng)由一個(gè)服務(wù)員和只可以容納兩個(gè)人的等候室組成，見(jiàn)圖11-3。服務(wù)規(guī)則是：先到先服務(wù)，后來(lái)者首先需在等候室。假定一顧客到達(dá)系統(tǒng)時(shí)發(fā)現(xiàn)系統(tǒng)內(nèi)已有3個(gè)顧客(一個(gè)正在接受服務(wù)，兩個(gè)在等候室排隊(duì))，則該顧客即離去。設(shè)時(shí)間間隔Δt內(nèi)有一個(gè)顧客進(jìn)入系統(tǒng)的概率為q，有一原來(lái)被服務(wù)的顧客離開(kāi)系統(tǒng)(即服務(wù)完畢)的概率為p。又設(shè)當(dāng)Δt充分小時(shí)，在這時(shí)間間隔內(nèi)多于一個(gè)顧客進(jìn)入或離開(kāi)系統(tǒng)實(shí)際上是不可能的。再設(shè)有無(wú)顧客來(lái)到與服務(wù)是否完畢是相互獨(dú)立?，F(xiàn)用馬氏鏈來(lái)描述這個(gè)服務(wù)系統(tǒng)。第12頁(yè)，共34頁(yè)，2023年，2月20日，星期六圖11-3

設(shè)Xn=X(nΔt)表示時(shí)刻nΔt

時(shí)系統(tǒng)內(nèi)的顧客數(shù)，即系統(tǒng)的狀態(tài),{Xn

,n=0,1,2…}是一隨機(jī)過(guò)程,狀態(tài)空間I={0,1,2,3},可知它是一個(gè)齊次馬氏鏈。下面來(lái)計(jì)算此馬氏鏈的一步轉(zhuǎn)移概率。

p00—在系統(tǒng)內(nèi)沒(méi)有顧客的條件下，經(jīng)Δt后仍沒(méi)有顧客的概率(此處是條件概率，以下同)p00=1-q.

p01---在系統(tǒng)內(nèi)沒(méi)有顧客的條件下，經(jīng)Δt

后有一顧客進(jìn)入系統(tǒng)的概率，p01=q.

p10---系統(tǒng)內(nèi)恰有一個(gè)顧客正在接受服務(wù)的條件下，經(jīng)Δt后系統(tǒng)內(nèi)無(wú)人的概率，它等于在Δt

間隔內(nèi)顧客因服務(wù)完畢而離去，且無(wú)人進(jìn)入系統(tǒng)的概率，p10=p(1-q)第13頁(yè)，共34頁(yè)，2023年，2月20日，星期六

p11—系統(tǒng)內(nèi)恰有1個(gè)顧客的條件下，在Δt間隔內(nèi)，他因服務(wù)完畢而離去，而另一顧客進(jìn)入系統(tǒng)，或者正在接受服務(wù)的顧客將繼續(xù)要求服務(wù)，且無(wú)人進(jìn)入系統(tǒng)的概率。p11=pq+(1-p)(1-q).p12

—正在接受服務(wù)的顧客繼續(xù)要求服務(wù)，且另一個(gè)顧客進(jìn)入系統(tǒng)的概率p12=q(1-p).p13

—正在接受服務(wù)的顧客繼續(xù)要求服務(wù)，且在Δt

間隔內(nèi)有兩個(gè)顧客進(jìn)入系統(tǒng)的概率，由假設(shè)，后者實(shí)際上是不可能發(fā)生的，p13=0.

類似地，有p21=p32=p(1-q),p22=pq+(1-p)(1-q),p23=q(1-p),pij=0(|i-j|≥2).p33

—一人因服務(wù)完畢而離去且另一人將進(jìn)入系統(tǒng)，或者無(wú)人離開(kāi)系統(tǒng)的概率，p33=pq+(1-p)第14頁(yè)，共34頁(yè)，2023年，2月20日，星期六

于是該馬氏鏈的一步轉(zhuǎn)移概率矩陣為

在實(shí)際問(wèn)題中，一步轉(zhuǎn)移概率通?？赏ㄟ^(guò)統(tǒng)計(jì)試驗(yàn)確定，下面看一實(shí)例。例5

計(jì)算機(jī)機(jī)房的一臺(tái)計(jì)算機(jī)經(jīng)常出故障，研究者每隔15分鐘觀察一次計(jì)算機(jī)的運(yùn)行狀態(tài)，收集了24小時(shí)的數(shù)據(jù)（共作97次觀察）。用1表示正常狀態(tài)，用0表示不正常狀態(tài)，所得的數(shù)據(jù)序列如下：1110010011111110011110111111001111111110001101101111011011010111101110111101111110011011111100111第15頁(yè)，共34頁(yè)，2023年，2月20日，星期六設(shè)Xn為第n(n=1,2…,97)個(gè)時(shí)段的計(jì)算機(jī)狀態(tài),可以認(rèn)為它是一個(gè)馬氏鏈,狀態(tài)空間I={0，1}.96次狀態(tài)轉(zhuǎn)移的情況是:0→0,8次；0→1,18次；

1→0,18次；1→1,52次.因此，一步轉(zhuǎn)移概率可用頻率近似地表示為第16頁(yè)，共34頁(yè)，2023年，2月20日，星期六例6（續(xù)例5）

若計(jì)算機(jī)在前一段(15分鐘)的狀態(tài)為0，問(wèn)在此條件下從此時(shí)段起此計(jì)算機(jī)能連續(xù)正常工作3刻鐘(3個(gè)時(shí)段)的概率為多少？解

由題意，某一時(shí)段的狀態(tài)為0就是初始狀態(tài)為0，即X0=0。由乘法公式、馬氏性和齊次性得，所求條件概率為第17頁(yè)，共34頁(yè)，2023年，2月20日，星期六接著，我們來(lái)研究齊次馬氏鏈的有限維分布。首先，記稱它為馬氏鏈的初始分布。再看馬氏鏈在任意時(shí)刻n∈T1的一維分布：顯然，應(yīng)有由全概率公式即(1.6)(1.7)一維分布(1.6)也可用行向量表示成

p(n)=(p1(n),p2(n),…pj(n),…)這樣，利用矩陣乘法(I是可列無(wú)限集時(shí)，仍用有限階矩陣乘法的規(guī)則確定矩陣之積的元)，(1.7)式可寫(xiě)成

p(n)=p(0)P(n)此式表明，馬氏鏈在任一時(shí)刻n∈T1時(shí)的一維分布由初始分布p(0)和n

步轉(zhuǎn)移概率矩陣所確定。(1.6)′(1.7)′第18頁(yè)，共34頁(yè)，2023年，2月20日，星期六

又,對(duì)于任意n個(gè)時(shí)刻t1<t2<…<tn,ti∈T1

以及狀態(tài)，馬氏鏈的n維分布：(1.8)由此，并結(jié)合(1.7)或(1.7)′可知：齊次馬氏鏈的有限維分布同樣完全由初始分布和轉(zhuǎn)移概率確定?？傊D(zhuǎn)移概率決定了馬氏鏈的統(tǒng)計(jì)規(guī)律。因此，確定馬氏鏈的任意n步轉(zhuǎn)移概率就成為馬氏鏈理論中的重要問(wèn)題之一。第19頁(yè)，共34頁(yè)，2023年，2月20日，星期六

§11.2多步轉(zhuǎn)移概率的確定為了確定齊次馬氏鏈的n步轉(zhuǎn)移概率Pij(n)，首先介紹Pij(n)所滿足的基本方程。設(shè){X(n),n∈T1}是一齊次馬氏鏈,則對(duì)任意的u,v∈T1,有方程(2.1)就是著名的切普曼-柯莫哥洛夫(Chapman-Kolmogorov)方程，簡(jiǎn)稱C-K方程。

C-K方程基于下述事實(shí)，即“從時(shí)刻s所處的狀態(tài)ai，即X(s)=ai出發(fā)，經(jīng)時(shí)段u+v轉(zhuǎn)移到狀態(tài)aj

,即X(s+u+v）=aj”這一事件可分解成“從X(s)=ai

出發(fā)，先經(jīng)時(shí)段u轉(zhuǎn)移到中間狀態(tài)ak(k,=1,2…)，再?gòu)腶k經(jīng)時(shí)段v轉(zhuǎn)移到狀態(tài)aj”這樣一些事件和事件(見(jiàn)圖11-4)。第20頁(yè)，共34頁(yè)，2023年，2月20日，星期六圖11-4

方程(2.1)的證明如下：先固定ak∈I

和s∈T1，由條件概率定義和乘法定理，有(2.2)第21頁(yè)，共34頁(yè)，2023年，2月20日，星期六又由于事件組“X(s+u)=ak”,k=1,2,…構(gòu)成一劃分，故有將(2.2)式代入上式，即得所要證明的C-K方程。

C-K方程也可寫(xiě)成矩陣形式：

P(u+v)=P(u)P(v)(2.1)′

利用C-K方程我們?nèi)菀状_定n步轉(zhuǎn)移概率。事實(shí)上，在(2.1)′式中令u=1,v=n-1，得遞推關(guān)系：

P(n)=P(1)P(n-1)=PP(n-1),從而可得P(n)=Pn.(2.3)就是說(shuō)，對(duì)齊次馬氏鏈而言，n步轉(zhuǎn)移概率矩陣是一步轉(zhuǎn)移概率矩陣的n次方。進(jìn)而可知，齊次馬氏鏈的有限維分布可由初始與一步轉(zhuǎn)移概率完全確定。第22頁(yè)，共34頁(yè)，2023年，2月20日，星期六例1

設(shè){Xn,n≥0}是具有三個(gè)狀態(tài)0,1,2的齊次馬氏鏈，一步轉(zhuǎn)移概率矩陣為初始分布pi(0)=P{X0=i}=1/3,i=0,1,2.試求:(i)P{X0=0,X2=1};(ii)P{X2=1}解先求出二步轉(zhuǎn)移概率矩陣于是(i)(ii)由(1.7)式，第23頁(yè)，共34頁(yè)，2023年，2月20日，星期六例2在§1例2中,(i)設(shè)p=0.9,求系統(tǒng)二級(jí)傳輸后的傳真率與三級(jí)傳輸后的誤碼率；(ii)設(shè)初始分布P1

(0)=P{X0

=1}=α，P0

(0)=P{X0

=0}=1-α

，又已知系統(tǒng)經(jīng)n級(jí)傳輸后輸出為1，問(wèn)原發(fā)字符也是1的概率是多少？解先求出n步轉(zhuǎn)移概率矩陣P(n)=Pn。由于有相異的特征值λ1=1,λ2=p-q,由線形代數(shù)知識(shí)，可將P表示成對(duì)角陣的相似矩陣。具體做法是：求出λ1,λ2對(duì)應(yīng)的特征相量(q=1-p)(q=1-p)第24頁(yè)，共34頁(yè)，2023年，2月20日，星期六令則(2.4)

(i)由(2.4)式可知，當(dāng)p=0.9時(shí)，系統(tǒng)經(jīng)二級(jí)傳輸后的傳真率與三級(jí)傳輸?shù)恼`碼率分別為

(ii)根據(jù)貝葉斯公式，當(dāng)已知系統(tǒng)經(jīng)n級(jí)傳輸后輸出為1，原發(fā)字符也是1的概率為第25頁(yè)，共34頁(yè)，2023年，2月20日，星期六對(duì)于只有兩個(gè)狀態(tài)的馬氏鏈，一步轉(zhuǎn)移概率矩陣一般可表示為：利用類似于例2的方法，可得n步轉(zhuǎn)移概率矩陣為第26頁(yè)，共34頁(yè)，2023年，2月20日，星期六§11.3遍歷性對(duì)于一般的兩個(gè)狀態(tài)的馬氏鏈，由(2.5)式可知,當(dāng)0<a,b<1時(shí)，pij(n)有極限上述極限的意義：對(duì)固定的狀態(tài)j，不管鏈在某一時(shí)刻從什么狀態(tài)（i=0或1)出發(fā)，通過(guò)長(zhǎng)時(shí)間的轉(zhuǎn)移，到達(dá)狀態(tài)j的概率都趨近于

j。這就是所謂的遍歷性。又由于

0+

1=1，所以(

0,

1)=構(gòu)成一分布律，稱它為鏈的極限分布。另外，如若我們能用其他簡(jiǎn)便的方法直接由一步轉(zhuǎn)移概率求得極限分布，則反過(guò)來(lái)，當(dāng)n>>1時(shí)就可得到n步轉(zhuǎn)移概率的近似值：pij(n)≈

j

第27頁(yè)，共34頁(yè)，2023年，2月20日，星期六一般，設(shè)齊次馬氏鏈的狀態(tài)空間為I，若對(duì)于所有ai,aj∈I，轉(zhuǎn)移概率Pij(n)存在極限或則稱此鏈具有遍歷性，又若，則同時(shí)稱為鏈的極限分布。齊次馬氏鏈在什么條件下才具有遍歷性？如何求出它的極限分布？這問(wèn)題在理論上已經(jīng)完滿解決,下面僅就只有有限個(gè)狀態(tài)的鏈,即有限鏈的遍歷性給出一個(gè)充分條件。第28頁(yè)，共34頁(yè)，2023年，2月20日，星期六定理

設(shè)齊次馬氏鏈{Xn

,n≥1}的狀態(tài)空間為I={a1

,a2

,…,aN},P是它的一步轉(zhuǎn)移概率矩陣，如果存在整數(shù)m，使對(duì)任意的ai

,aj∈I，都有

Pij(m)>0,i,j=1,2,…,N,(3.1)則此鏈具有遍歷性,且有極限分布=(1,

2,…,N)，它是方程組

=P或即(3.2)的滿足條件(3.3)的唯一解。

依照定理，為證有限鏈?zhǔn)潜闅v的，只需要找一正整數(shù)m，使m步轉(zhuǎn)移概率矩陣Pm無(wú)零元。而求極限分布的問(wèn)題，化為求解方程組(3.2)的問(wèn)題。注意，方程組(3.2)中僅N-1個(gè)未知數(shù)是獨(dú)立的，而唯一解可用歸一條件確定。第29頁(yè)，共34頁(yè)，2023年，2月20日，星期六在定理的條件下，馬氏鏈的極限分布又是平穩(wěn)分布。意即，若用作為鏈的初始分布，即p(0)=,則鏈在任一時(shí)刻n∈T1的分布p(n)永遠(yuǎn)與一致。事實(shí)上，有

p(n)=p(0)p(n)=

pn

=

pn-1

=…=

p=例1

試說(shuō)明§1例2中，帶有兩個(gè)放射壁的隨機(jī)游動(dòng)是遍歷的，并求其極限分布(平穩(wěn)分布)。解為簡(jiǎn)便計(jì)，以符號(hào)“×”代表轉(zhuǎn)移概率矩陣的正元素，于是，由§1例2中的一步轉(zhuǎn)移概率矩陣P，得第30頁(yè)，共34頁(yè)，2023年，2月20日，星期六即P(4)無(wú)零元。由定理，鏈?zhǔn)潜闅v的。再根據(jù)(3.2)和