第章離散時間的馬爾可夫鏈

1、離散時間的馬爾可夫鏈 1隨機過程的基本概念定義1設(shè)(F ,P)是概率空間，(E, E )是可測空間，T是指標(biāo)集.若對任何t T , 有a E，且Xt F E，則稱 X( )，t T是(j F , P)上的取值于(E,E )中的隨機 過程，在無混淆的情況下簡稱XKJ, r T為隨機過程，稱(E,E )為狀態(tài)空間或相空間， 稱e中的元素為狀態(tài)，稱t為時間域.對每個固定的 ，稱xt()為;、XtC ), L T?對應(yīng)于的軌道或現(xiàn)實，對每個固定的T，稱Xt(J為E值隨機元.有時Xt()也記為設(shè)t r，F(xiàn)t,r T?是F中的一族單調(diào)增的子、二代數(shù)(二代數(shù)流)，即 -t T = Ft F，且Ft是二代數(shù)；

2、 - s, t T, s ： t= Fs 二 Ft .若Xt Ft E (-t T)，則稱:Xt, t T 是適應(yīng)的隨機過程，或適應(yīng)于 件 的隨機 過程特別地，若令是由：Xs，s_t, sTJ所生成的二代數(shù)，貝U 1Xt, t T?是FJ適應(yīng)的隨機過程.當(dāng)(E, E ) =(R, B 1)時，稱:Xt, t T?為實值隨機過程;當(dāng)(E, E ) =(C, B c)時，稱:Xt, t T?為復(fù)值隨機過程；當(dāng)(E, E ) =(Rn, B n)時，稱風(fēng),t T?為n維隨機過程；當(dāng)E是可列集(有限集)時，稱:Xt, r T?為可列(有限)隨機過程；當(dāng)t二r, r+或a, b 1時，稱:Xt, L門為

3、連續(xù)參數(shù)的隨機過程；當(dāng)T二Z或Z+時，稱:Xt, r T?為離散參數(shù)的隨機過程(隨機序列)；當(dāng) T 二Rn, (R + )n, Zn或(Z + )n (n 一2)時，稱:Xt, t T?為隨機場.隨機過程的四種類型：(1) 指標(biāo)集T離散，狀態(tài)空間E離散的隨機過程;(2) 指標(biāo)集T離散，狀態(tài)空間E連續(xù)的隨機過程；(3) 指標(biāo)集T連續(xù)，狀態(tài)空間E離散的隨機過程；(4) 指標(biāo)集T連續(xù)，狀態(tài)空間E連續(xù)的隨機過程.然而，以上分類是表面的，更深刻的是按隨機過程的概率結(jié)構(gòu)而分類.例如：馬爾可夫(Markov)過程、平穩(wěn)過程、獨立增量過程、二階矩過程、正態(tài)過程、 泊松(Poisson )過程、生滅過程、分枝過

4、程、更新過程、鞅等 .對于隨機過程 % L而言，可以這樣設(shè)想，有一個作隨機游動的質(zhì)點 M，以Xt表 示在時刻t質(zhì)點M的位置，于是Xt, L描繪了質(zhì)點M所作的隨機運動的變化過程，一 般把“ Xt二x ”形象地說成“在時刻t質(zhì)點M處于狀態(tài)x ” .定義2設(shè):Xt, t門是概率空間(JF ,P)上的、以(EE )為狀態(tài)空間的隨機過程，T =R+ (或R或直線上的任一區(qū)間).如果- A E，有 則稱臥,t T?是可測的.設(shè)Ft, t T 是F中的一族單調(diào)增的子匚代數(shù).如果-t，T, A E ,有 則稱乂, t T ?關(guān)于沢,t T ?循序可測.命題1設(shè)Xt E , X Ft E (-tT) ,Ft,t

5、.T?是F中的一族單調(diào)增的子匚代數(shù)如果X，t T關(guān)于/Ft, r V：循序可測，則Xt, r T是可測的.定義3設(shè)Xt, tT?是隨機過程，稱為隨機過程:Xt, t T 的一維分布函數(shù)；稱為隨機過程 X, t T?的二維分布函數(shù)；一般地，稱為隨機過程xt, t T?的n維分布函數(shù)；而稱 為隨機過程:Xt, t T?的有限維分布函數(shù)族.隨機過程IXt, t T?的有限維分布函數(shù)族F具有下列性質(zhì)：1. 對-n_1，-2,|(擊 T，及 畀2,|尢的任意排列smtin，有和“叫區(qū)禮MX.)二FtimaMjILXn)(對稱性)2. 對 T _ m _ n，有Fti,t2,.|,tm(X1,X2,|(

6、,Xm) = Fti,t2,”|,tm,tmi,”|,tn(Xl,X2,|),Xm, ：,H：)(相容性)注 若知道了隨機過程:Xt, t T?的有限維分布函數(shù)族F，便知道了這一隨機過程中任 意有限個隨機變量的聯(lián)合分布，也就可以完全確定它們之間的相互關(guān)系可見，隨機過程的有限維分布函數(shù)族能夠完整地描述隨機過程的統(tǒng)計特征但是在實際問題中，要知道隨機過程的有限維分布函數(shù)族是不可能的，因此，人們想到了用隨機過程的某些數(shù)字特征來 刻畫隨機過程定義4設(shè)Xt, r T 是隨機過程，稱為IXt, t T?的均值函數(shù)；稱為YXt, t T ?的方差函數(shù)；稱為1xt, tT?的協(xié)方差函數(shù)；稱為X, t T ?的相

7、關(guān)函數(shù).注 若:Xt, r門是復(fù)值隨機過程，則方差函數(shù)的定義為 協(xié)方差函數(shù)的定義為 相關(guān)函數(shù)的定義為性質(zhì)(1) c(t,t)二D(t), t T ；(2) C(s,t) =R(s, t)m(s)m(t), s, t T ；(3) 若 m(t) =0，貝U C(s,t)二 R(s,t), s,t T . 2馬爾可夫鏈的定義在實際中有一類很廣泛的隨機過程，其特點是：過去只影響現(xiàn)在，而不影響將來 這 種隨機過程稱為馬爾可夫過程.狀態(tài)離散的馬爾可夫過程稱為馬爾可夫鏈，本章介紹時間 離散的馬爾可夫鏈(簡稱馬爾可夫鏈)馬爾可夫(Markov)過程的研究始于1906年，是隨機過程的一個重要分支，它在近代 物

8、理、生物學(xué)、管理科學(xué)、信息處理、自動控制、金融保險等方面有著許多重要應(yīng)用.在本章中，無特別聲明我們總是假設(shè)：1. 參數(shù)集合T *0,1,2,；2. 狀態(tài)空間S0,1,2,川；或S =川,2,1,0,1,2川|或其子集.定義5 設(shè)Xn, n_0；是定義在概率空間(F , P)上的隨機過程，狀態(tài)空間為S.若 對于任意的 n_1 及任意的整數(shù) 0H :t2 ：|：tn ：t, ii,i2,|l(,inj S，有 則稱:Xn, n _0為馬爾可夫鏈，簡稱馬氏鏈.等式C)稱為馬氏性或無后效性，且假定(“)式 兩端的條件概率都有意義(以下涉及到條件概率的式子都作類似的假定)定理1隨機過程:Xn, n_0是

9、馬爾可夫鏈的充要條件是對任意的n_1及任意的i1, i2d IL in, j S，有 3轉(zhuǎn)移概率對于馬爾可夫鏈:Xn, n _0l,描述它概率性質(zhì)最重要的是它在時刻m的一步轉(zhuǎn)移概率Pj(m)j Xm 川，i,j S.馬爾可夫鏈?zhǔn)敲枋瞿承┨囟ǖ碾S機現(xiàn)象的數(shù)學(xué)模型，而產(chǎn)生這種特定的隨機現(xiàn)象的具 體模型一般稱為系統(tǒng)，因此我們經(jīng)常把事件Xm=U說成是在時刻m時系統(tǒng)處于狀態(tài)i，把PXm+ = j|Xm =i說成已知在時刻m時系統(tǒng)處于狀態(tài)i，而在時刻m+1時系統(tǒng)轉(zhuǎn)移到狀態(tài) j的概率等等.定義6設(shè):Xn, n_0：是狀態(tài)空間為S的馬爾可夫鏈，稱為系統(tǒng)在時刻m時處于狀態(tài)i的條件下，經(jīng)n步轉(zhuǎn)移到狀態(tài)j的n步轉(zhuǎn)移

10、概率，簡稱時刻m 的n步轉(zhuǎn)移概率.顯然，p(n) (m)具有下列性質(zhì)：(1) p(n)(m)0, i,j = S ；(2) pij)(m) - S P XmHn = j X - 1, S.j - Sj S上述性質(zhì)說明了，對于任意給定的iS及m王0, n , p(n)(m),產(chǎn)S)是一個概率分 布.規(guī)定：(1) p(1) (m) = Pj(m)；1 i = j(2) P(0)(m)=禹=仁 jI。，i 式 j.若p(n) (m)與m無關(guān)，則稱Xn,0是時齊的或齊次的馬爾可夫鏈.此時，記p(n) = p(n)(m), i,j-S,淪 1 ; 一步轉(zhuǎn)移概率記為 Pj = p，i,產(chǎn) S.對時齊的馬爾

11、可夫鏈Xn, n -01,有以下恒設(shè)馬爾可夫鏈:Xn, n-0l是時齊的，并簡稱為馬爾可夫鏈.性質(zhì) 馬爾可夫鏈Xn, n_0l的n步轉(zhuǎn)移概率pjn)具有下列性質(zhì)(1) 一 i, j S, p(n) 一0 ；(2) - i S, pj =1.定理2( Chapman-KolmogoroV設(shè)p(n)是馬爾可夫鏈xn, n0的n步轉(zhuǎn)移概率，則-i, j S, m,n 一0，有Pi嚴(yán)=送 pikm)pkn)( C-K方程)證明Pi(mHn) = PXmHn = j X 門=卩口邛Xm = k Xmdn = j X定理3馬爾可夫鏈 X, n_0?的一步轉(zhuǎn)移概率pj可以確定所有的n步轉(zhuǎn)移概率p(n). 證

12、明由C-K方程，顯然.記P(n(pi(n)i,js, P = P-(pj,焙.稱P(n)為馬爾可夫鏈Xn, n的n步轉(zhuǎn)移矩 陣，稱P為馬爾可夫鏈:Xn, n_ 0的(一步)轉(zhuǎn)移矩陣.此時，C-K方程可表示為p(mdA)= p (m) p (n)且 p (n)=戸 n定義7設(shè) Xn，n0是馬爾可夫鏈，對任意的nO,稱n n = PXn = i, i S為絕 對概率，特別地，稱n(0) = PCX。=門，i S為初始概率.顯然，絕對概率和初始概率具有下列性質(zhì)：故對任意n亠0，、n( n), i Sf是概率分布，通常稱為絕對(概率)分布；特別，：n(0), i S? 稱為初始(概率)分布.記二(0)

13、=n(0)1iS,二(n) n(n)S.定理4設(shè)fXn, n _0?是馬爾可夫鏈，則它的任意有限維概率分布完全由初始分布和 一步轉(zhuǎn)移概率決定.證明 對任意的n_1,任意的整數(shù)0乞ti池 汕| :tn及任意的ii,i2,|l(,in S，有 4若干例子n定義8設(shè)S 1, 2，川是取整數(shù)值的獨立同分布的隨機變量序列，令Xn=7 ，則kA稱Xn, n _0；為隨機游動.定理5隨機游動:Xn, n _0l是時齊的馬爾可夫鏈.(證明略)例1 (無限制的隨機游動)若隨機游動:Xn, n0?的狀態(tài)空間為SklH,-2,-1,0,1,2, IH且轉(zhuǎn)移概率為其中0p1,q=1-p.求：n步轉(zhuǎn)移概率p(n).解

14、設(shè)在n步轉(zhuǎn)移中，向右移動x步，向左移動y步，則經(jīng)n步從i到達j，x和y應(yīng)滿 足 x y = n, x_y=j-i.所以由于x, y只能取正整數(shù)，故n (j -i)與n-(j-i)必須是偶數(shù).又因在n步轉(zhuǎn)移中有x 步向右移動，故經(jīng)n步轉(zhuǎn)移由i至U j共有C：種方式，于是特別例2 (帶有一個吸收壁的隨機游動)S二0,1,2，川1,若轉(zhuǎn)移概率為 則稱：Xn, n 一01為帶有吸收壁0的隨機游動例3 (帶有兩個吸收壁的隨機游動)SO1,2,lH,b1,其轉(zhuǎn)移概率為其轉(zhuǎn)移矩陣為例4 (帶有一個反射壁的隨機游動)S工0,1,2，川？，其轉(zhuǎn)移概率為其轉(zhuǎn)移矩陣為例5 (帶有兩個反射壁的隨機游動):Xn, n

15、一0；，其轉(zhuǎn)移概率為設(shè)Xn, n 0?是隨機游動，其狀態(tài)空間為其轉(zhuǎn)移矩陣為設(shè)Xn, n 0?是隨機游動，其狀態(tài)空間為設(shè)Xn, n 0?是隨機游動，其狀態(tài)空間為設(shè)Xn, n 0?是隨機游動，其狀態(tài)空間為其轉(zhuǎn)移矩陣為例6 (帶有彈性壁的隨機游動) 設(shè):Xn, n_0?是隨機游動，其狀態(tài)空間為 S =汕|, 2, 1,0,1,2,川，其轉(zhuǎn)移概率為其轉(zhuǎn)移矩陣為例7設(shè):Xn, n_0：是只有兩個狀態(tài)(S=0, 1?)的隨機游動，其轉(zhuǎn)移矩陣為這里p - q未必等于1.解求 p(n),p (n)(n)1葉%(n).lim n(n)n i:由C-K方程，得同理可求p0n), PW) , p1in)，故 設(shè)初始

16、分布為二(0) n(0), i(O*，則故 lim n0(n)=，同理 lim 帀(n)=.n_f：p qnF：p q例8設(shè)fXn, n _0l是馬爾可夫鏈，狀態(tài)空間S=1,2,3?，轉(zhuǎn)移矩陣為初始分布為 * (0), 2(0), 3(0)；1 ;2 1 ，求(1) 二步轉(zhuǎn)移矩陣P;(2) P：X2,X3 =1 ;(3) px3 =2,X2 式2, X1 H2X0 =2.q/4 3/405/4 3/40、廣1/4383/8 解(1) P =P 2 =1/4 1/4 1/21/4 1/4 1/2=1/85/81/403/4 1/4 k且k j，則 i )j ； (2)若 h k且j，則 ij .

17、證明 因ik且k j，所以 m_1, n_1，使得p(km) 0, pkn)0,由C-K方程，有 p：mF p(mt(性 Pi(km)pkn)0,故 It j.(2)由(1)易知(2)成立.定理 11 設(shè) i, j S，則(1) i j 二 fij0 ； (2) i j ：= fj 柿.0 .證明 只證明(1).=設(shè)i，j，貝Un_1,使p(n) -0，而因此，fj，fj，川，fj(n)中至少有一個大于0 ,從而帀八 応0.二設(shè) fj 0，因 fj =- m；fj(m)，所以 n_1,使 fj(n) -0，故 即 i r j .定理 12(1) |eSrU= Z 軌絆；(2) ifn 遲仁Pi

18、(n)s，這時必有 limpi(n)=0 ；n 工nC(3) 若 i, j S, iSr ,i r j，則 jSr，且fii二fj二f ji二 fjj - 1 .證明 由定理7及定理9的推論即知(1)和(2)； (3)略.對于常返狀態(tài)，即r Sr，由于fii八，心們=1，因此fii(n), n1是一個概率分布，易知叫定義12 設(shè)狀態(tài)i是常返的，即i Sr .若h o，則稱i是正常返的；若 出=o，則 稱i是零常返的.記S=i:iESR,卄蘭血, j，則稱C是不可約的；（3）若S是不可約的，則稱馬氏鏈:Xn, n_Ol 是不可約的（即- i, j S= i j）.定理13設(shè)C S，則下列各條等價

19、（1）C是閉集；（2）- L C, j - C, n _1 二 =0 ；（3）- i C, jC = fj -0.注（1）若 C 是閉集，貝U - r C, n _1，有 V . C Pi（n） =1.（2）整個狀態(tài)空間S是閉集，是最大的閉集；吸收狀態(tài)i （即Pii =1）是閉集，是最小 的閉集.定理14 Sr, Sr, SR都是閉集.證明 設(shè)i Sr, j Sr.若fij 0，則i r j，故j Sr .矛盾，從而fj = 0，由上面的 定理13,知Sr是閉集.同理可證Sr, SR也是閉集.例11設(shè):Xn, n0是馬爾可夫鏈，狀態(tài)空間為S1,2,3,4,5 ?，轉(zhuǎn)移矩陣為 問狀態(tài)空間S11,

20、2,3,4,5 1中是否含有真的不可約的閉子集？: Xn, n_0l是否是不可約馬爾可夫鏈.解 易知，狀態(tài)3是吸收狀態(tài)，故3是閉集；1,4?,1,3,4?,1,2,3,4?均是閉集；其 中3二1,4 均是不可約的；因為S含有真的閉子集，所以:Xn, n_0l為非不可約馬爾可夫 鏈.例12設(shè)馬爾可夫鏈:Xn, n_0l的狀態(tài)空間為S1,2,川,9?,狀態(tài)之間的轉(zhuǎn)移概率如 圖所示.由圖可見：自狀態(tài)1出發(fā)，再返回狀態(tài)1的可能步數(shù)為顯然T的最大公約數(shù)為2.但2，T，即自狀態(tài)1出發(fā)經(jīng)過2步不能返回狀態(tài)1.但我 們?nèi)园?定義為狀態(tài)2的周期.22/3i定義周期.4定義14設(shè)一0的狀態(tài)空間為專移概率為Pj（n

21、），對于i S，為狀態(tài)i的周 :n: n -1, p（n）由定義知，如果狀態(tài)i有周期d，則對一切n 0mod（d）】，都有p（n）=0.但這并不是 說對任意的nd，都有p（nd） 0.如在例12中，狀態(tài)1的周期d = 2，但p；? =0.然而有如n-1,即、d 1，0.是空集0）非空，則稱該集狀態(tài).zi為周期d/】：稱狀態(tài)i為非周期的.若下結(jié)論.定理15設(shè)狀態(tài)i的周期為d，則存在正整數(shù)M，對一切n M，有p（nd） - 0.證明略（證明用到了初等數(shù)論的知識）(n)0 l非空，則c = G.C.Dn n _ 1, fii證明記 d =G.C.Dn n 1, 從而 in n 31, p(n) a0

22、=)n n A1, f(n) - 0?，由定理6有1.如果 0?的公約數(shù)即可.換言之，只需證定理16設(shè)狀態(tài)i S，如果集合in n丄1, fii p(n)m，(n)i(n) .Of，于是有 1_d_c.如果 c = 1，則 d=c = c1，只需證明d 3c，為此只需證明c是n n 1, p( 明對于一切n式Oimod(c)，都有Pi(n)=0.二0 .于是，對仁n : c,有 注意到n = 0 mod I時，有時”，=0 .(n)n HOlmod(c)】時，有 p(n)=0.17設(shè)狀態(tài)i常返且有周期d，則lim p(nd) 叫“:時，約定d.T =0)見可數(shù)狀態(tài)的馬爾可夫過程，胡迪鶴，武漢大

23、學(xué)出版社，1983, P25公.15非周期的正常返狀態(tài)稱為遍歷狀態(tài).18設(shè)i是常返狀態(tài)，則(n)實際上，由c的定義知，當(dāng)1 r : c時，有fH(r) 現(xiàn)假設(shè)當(dāng)n =kc r, k =0,1,2川|小一1時，有p = 0 . 則由定理6得 于是，由歸納法知，當(dāng)二.(其中為狀態(tài)i的平均返回定理 時間，當(dāng)證明定義 定理 i是零常返狀態(tài)二=lim p(n) = 0 ； i是遍歷狀態(tài)二=lim p(n) =1叫 0.nsc1，由定理 17,得 lim Pi(nd) = 0，而當(dāng) n = 0mod(d)l nJaC證明設(shè)i是零常返狀態(tài)，則：時，有P(n) =0，于是得limp(n)=0.反之，設(shè)lim

24、p(n) = 0，假設(shè)i是正常返狀態(tài)，貝艸i 0，矛盾.n咨 設(shè)lim Pi(n) =10，由知，i不能是零常返狀態(tài)，從而只能是正常返狀態(tài)，由定nr理17,得lim p(nd) =d/E，注意到lim p(nd)=lim p(n)，得d =1，所以，i是遍歷狀態(tài).反之, nin_C由定理17是顯然的.定理19設(shè)狀態(tài)i, j S,且h j，貝U(1) i與j同為常返狀態(tài)或同為非常返狀態(tài)；如果同為常返狀態(tài)，貝U它們同為正常返狀 態(tài)或同為零常返狀態(tài).(2) i與j有相同的周期.證明 (1)由于h j，由可達的定義知存在l -1和n_1,使得 由C-K方程，對任意的m_1，總有p(rHp(in)Pi(

25、m)Pi(lp p(m)(l4m+)(l) (m) (n) R (m)Pii - Pij Pjj PjiPjj將上式兩邊從1到：求和，得送迓p(f切詡送跡p(m) J m 壬 Pii一厶 m# Pjj 可見， ki Pi(k)與心卩鴿相互控制，所以它們同為無窮或同為有限.由定理12知，i與j 同為常返狀態(tài)或同為非常返狀態(tài).若i與j同為常返狀態(tài)，在以上的不等式中取極限，令m：，得lim pi(l_m_h) AoP lim p(jm) , lim p(l 如加 A limp(m)mmmm 5：因此，lim pi(k)與lim p(k)同為正或同為零，由定理18知，i與j同為正常返狀態(tài)或同為零常 k

26、k_ac返狀態(tài).(2)設(shè)狀態(tài)i的周期為d，狀態(tài)j的周期為c.因為Pi(i. 0, p(n).o，所以對 任一使p0的m，必有p(l4m_k乏p(l) pj p律p 0，從而d可除盡I + m + n .又因 為prppjnP 0，所以d也可除盡l+n.因此，d可除盡m.這說明d蘭c.同理 可證d _c.故d =c，即狀態(tài)i與j有相同的周期.注 狀態(tài)的常返性與馬爾可夫鏈的初始分布是無關(guān)的定理20狀態(tài)空間S可唯一地分解成有限個或可列無窮個互不相交的子集之和，即 s =Sn UsV UsR2)，且使得(1) 每個sRk)是常返狀態(tài)組成的不可約閉集；(2) sRk)中的狀態(tài)或全是正常返狀態(tài)，或全是零常

27、返狀態(tài)，且有相同的周期；(3) Sn是由全體非常返狀態(tài)組成，自sRk)中的狀態(tài)不能到達Sn中的狀態(tài).定理21周期為d的不可約馬爾可夫鏈，其狀態(tài)空間S可唯一地分解為d個互不相交的子集之和，即S二S0U3US2Sd d，且使得自Sr中任一狀態(tài)出發(fā)，經(jīng)一步轉(zhuǎn)移必進入 Sr 1 中，r =0,112j|,d -1 .(約定：Sd 二 s。)證明 (1)任意取定一狀態(tài)L S，令Sr =j| m n30,使 Pi(nd+):0, r = 0,1,2,川,d-1因s是不可約的，即s中的狀態(tài)是互通的，故 U；：Sr=S.(2) 若m jESrDStdHt)，由定義知，必存在非負整數(shù)n和m使得 曙切0, p(m

28、d:0. 又由于p i，必存在正整數(shù)h，使p(ih) 0，于是由C-K方程，有(nd r -.h)(nd r) (h)(md t.h)(md t) (h)Pii-PijPji0，Pii-PijPji0所以，d能除盡nd r h，又能除盡md t h，從而d能除盡 故d能除盡r -t，注意到0乞r遼d -1, 0遼t遼d -1，故只能r - t =0，這說明，當(dāng)r F時， Sr ClSt f .(3) 下面證明對任一 j Sr，有V ks. Pjk 事實上最后一個等式是因：jSr，由定義有 岸f0,而當(dāng)Sr卅時，由定義有PikndE=0， 由 C-K方程，有 0 二貴 丫 _ Pi(nd r)p

29、jk，故 Pjk =0.(4) 最后證明分解的唯一性，這只需證明,0冷2,1戌&不依賴于最初取定的狀態(tài)i .亦即只需證明：對取定的狀態(tài)i，如果j, k Sr，則對另取的狀態(tài)i，仍有j, k Sr ( r 可以與r不同).設(shè)對i的分解為恥忌川,J，對的分解為；、s S2JH,，又設(shè)j, k Sr，r St.于是，當(dāng)r -t時，自出發(fā)，以概率1只能在r -t, r -t d, r -t 2d,Hl等這些步 上轉(zhuǎn)移到j(luò)或k ，從而j, k Sr _t ；當(dāng)r ： t時，自i出發(fā)，以概率1只能在 d -(t - r) r - t ,dr- t2,dr-t3等:這些步上轉(zhuǎn)移到j(luò) 或 k，從而 j, k

30、Sr_t.定理22設(shè)Xn, n0?是周期為d的不可約的馬爾可夫鏈，則得一新的馬爾可夫鏈 Xnd, n 一0匚其一步轉(zhuǎn)移矩陣為P(d) =(p(d)，原馬爾可夫鏈Xn, n 0：按照定理21分解 出的每個Sr，是新馬爾可夫鏈Xnd, n 0?的不可約的閉集，且Sr中的狀態(tài)對新馬爾可夫鏈?zhǔn)欠侵芷诘?證明略)例13設(shè)不可約馬爾可夫鏈Xn, nO的狀態(tài)空間為S=1,2,3,4,5,6 ，周期為d = 3, 轉(zhuǎn)移矩陣為對取定的狀態(tài)1,易知故S二So Us US2 1,4,6：U：3,5?U空.馬爾可夫鏈 %, n _ 0?的轉(zhuǎn)移矩陣為 6 n步轉(zhuǎn)移概率p(jn)的漸近性質(zhì)與平穩(wěn)分布對p極限性質(zhì)，我們討論

31、兩個問題.一是lim PijA)是否存在；二是其極限是否與i有關(guān). 這就與馬爾可夫鏈的所謂平穩(wěn)分布有密切聯(lián)系定理23若j = S是非常返狀態(tài)或零常返狀態(tài)，則對任意i e S，有l(wèi)im p(n) = 0.n_sc證明 因j S是非常返狀態(tài)或零常返狀態(tài)，所以lim p(jn)=0 (由定理12和定理18).由 n_ic定理6,對正整數(shù)N ： n，有固定N，令n：，得再令N -:，因二們叮，所以lim p(n) =0.JF j推論1如果馬爾可夫鏈的狀態(tài)空間 S是有限集，則S中的狀態(tài)不可能全是非常返狀 態(tài)，也不可能含有零常返狀態(tài)，從而不可約的有限馬爾可夫鏈的狀態(tài)都是正常返狀態(tài) .證明 設(shè)S =0,1,

32、2, MN.如果所有狀態(tài)都是非常返狀態(tài)，則對任意i, j= S，由定理 N23 知lim p(n) = 0 ,從而 1 =送 Pi(n)t 0 ( nT ).矛盾.Fj出如果S中有零常返狀態(tài)i，設(shè)C=j|jS, iT j ，若iT j，由定理12,有jT i， 即C中的狀態(tài)是互通的，從而C是不可約.又由定理19知，C中全是零常返狀態(tài)，從而由 定理14知，C是閉集，即C是不可約的閉集.故1 = j C PA .令n：，注意到C是有 限集，由定理23得1=2 p(n)T0 (nT co).矛盾.于是，有限馬爾可夫鏈的狀態(tài)空間必含有正常返狀態(tài).對于不可約的有限馬爾可夫鏈，由于所有狀態(tài)是互通的，故所有

33、狀態(tài)都是正常返狀態(tài).推論2若馬爾可夫鏈的非常返狀態(tài)構(gòu)成的集合 Sn是有限集，則Sn不是閉集.證明 若Sn是閉集，將產(chǎn)生矛盾.推論3若馬爾可夫鏈的狀態(tài)空間S有一個零常返狀態(tài)，則必有無限多個零常返狀態(tài).證明 設(shè)有零常返狀態(tài)L S，令j j S, j 若C是有限集，將產(chǎn)生矛盾.定理23考慮的是非常返狀態(tài)或零常返狀態(tài)的漸近分布，但當(dāng)P S是正常返狀態(tài)時，”mp(n)不一定存在，即使存在也可能與i有關(guān).因此，我們退而研究p(nd)及丄區(qū)；mP(k)的 極限.記fj(r)二7 mz0 fij(md r), 0 _ r _ d -1 .則fij (r)表示系統(tǒng)從狀態(tài)i出發(fā)，經(jīng) n =rmod(d) 1步首次

34、到達狀態(tài)j的概率，顯然定理24 設(shè)j S是正常返狀態(tài)，周期為d，則- i S及0汀豈d -1，有證明 因為當(dāng)n =0lmod(d)時，p(n) =0.所以于是，對1 -N 5，有固定N，令n_. ，由定理17,得再令Nr-，得于是，得推論 設(shè)周期為d的、不可約的、正常返的馬爾可夫鏈的狀態(tài)空間為 S，則對一切 i, j S，有d其中S =UySk為定理21中所給出.特別，當(dāng)d =1時，對一切i, S，有證明在定理24中，令r = 0，得其中市(0)=瓦爲(wèi)fj(md) 如果i與j不在同一個Sk中，則由定理21知p(訕=0,注意到 (nd) . (nd)(nd)fijPij ，得 fij0，故 fi

35、j(0) =0.如果i與j同屬于某個Sk，則當(dāng)n式Olmod(d)時，p(n)=0，從而=0,故 由定理12( 3)知，fj =1.定理25對任意狀態(tài)i, j S，有證明 當(dāng)j為非常返狀態(tài)或零常返狀態(tài)時，由定理 23知，limp(n)=0，故n_sc 現(xiàn)設(shè)j為正常返狀態(tài)，周期為d .注意到：如果有d數(shù)列 滿足 lim and r = d , r = 0,1,2，川,d -1 .貝U必有n.令 and r 二 Pi(nd r), r =0,1,2, |H，d -1.由定理 24,有 從而得推論 設(shè)不可約的、常返的馬爾可夫鏈的狀態(tài)空間為S，則對- i, j S，有當(dāng)叫二：時，約定十=0 .-j證明

36、 由定理19知，S中的狀態(tài)或全為正常返狀態(tài)或全為零常返狀態(tài).如果全為正常 返狀態(tài)，則：，f (定理12)，由定理25得 如果全為零常返狀態(tài)，則Jj =:,由定理25得注 由定理25知，當(dāng)j為正常返狀態(tài)時，盡管lim p(n)不一定存在，但其平均值極限nSC 1 n1 nlim -Z p(k)總存在.特別，當(dāng)馬爾可夫鏈還是不可約時，lim - Z p(k)與i無關(guān).n廠n心n廠n心定義16設(shè)汶.，n01是狀態(tài)空間為S的馬爾可夫鏈，如果存在實數(shù)集合n,jS?, 滿足(1) n 一0, j s ；(2) 7 . s n 二1;(3) n = ： i S n Pj, j s .則稱Xn, n-0l是平穩(wěn)的馬爾可夫鏈，稱:n-, j S為馬爾可夫鏈Xn, n-0：的平穩(wěn)分布. 對于平穩(wěn)分布n, j S?，有一般，有n =無卮nPi(n), n糾.若初始分布 5(0),廠S是馬爾可夫鏈Xn, n-0l的平穩(wěn)分布，貝U即對任何n-1,絕對概率等于初始概率.由此可見，當(dāng)我們能判定馬爾可夫鏈的初始分布5（0），S是一平穩(wěn)分布時，則該馬爾可夫鏈在任何時刻的絕對分布 n（n）,S都與初始分布相同.事實上，平