隨機過程四轉移概率穩(wěn)態(tài)性能

移概率的穩(wěn)態(tài)性爾可夫鏈是否具有統(tǒng)計意義下的穩(wěn)態(tài)性,即要

n時,{p(n)}是否收斂

若若

(n)

pp(pp(n)

1.轉移概率的極由已有知識可

0

ji但!又由已有知識可(2)j

lim不存 就這 極限

那么,如 ??由周期鏈的性質得到啟發(fā)我p(ndjr)當

時的極限問

r1,f(r)

f(ndjr

i,jS,

r1, , n0fij(r)表示f(r)(d df(r)(

d且且(ndjr)(ndjr)(f(ndjr)

fr f

ijn0 r1ff

(m)

定理 設j是正常返狀態(tài)，

p(ndjr)

(r)

,iS,

,d其中jj是j的平均轉,d p證明 p

不能整除時，p(n)僅當

ld

(ndjrv)p(ndjrp

ndjn

f

(ndjrv)ppl

f(ldjr

((nl)djppp即(ndjr)p即

nln

f(ldjr

((nl)djpp

f(ldjr

p((nl)dj)

p(ndjr

(ldjr

p((nl)dj)

f(ldjrl

l

lNp固定N，讓npNNl

f(ldjr

d

(ndjr)

(ndjrpp,d再讓N,d

NlN

f(ldjr

d

lN

f(ldjr

p(ndjr)

(r)

iS,

n

}設{Xnn0,1}

dJm,狀態(tài)都是正常返的，而且都dJm,S

jS,d若i,j于同一pp

(nd 特別的，如果d=1,i,n

(n) p p證 在以上定理中取r=d,則

p(nd)

(d)nfijfij(r)f(ndjr

f(d)

f(nd

p(nd

0

f(nd) f

若d不能整除時，p(n) f(d)

f(nd

(m) 即得到結論

ij證

jS,

(m)

0i

jS不可約閉pS的狀態(tài)都是非周ppp

jS,

(n)當S中有一個為正常返,則均為為正常返

jS, n

(n) p p

p(n)

定理3

C0 C C

其中DC

C

mm

j C0,imnm

p(n)p

ij

jC遍歷，i 0,jC有周期，iC0 C,l 一般不存在，jC有周期，i C 推論設{Xn,n0,1,2, }是不可約的馬爾可夫鏈，其i,

極限n

且此極限值與初始狀態(tài)i無關，記作j,

p(n)

定理 設C為互通的遍歷狀態(tài)構成的閉集， 證明由以上推

n

(n) p p由C是閉集

由Fatou引理(lim交換,且lim

lim

f jC又對自然數(shù)m，由Ｃ-Ｋ方

p(nm)p(n)p(m) 令n取極限，并應用Fatou

p(m)

00

j

１

(

p(m)

(

p(m))

p(m)

令m，并應用控制收斂定

jC}設{Xnn0,1}

i,

p(n)

,且

}{Xn,n0,1,}

不可約馬爾可夫鏈是遍歷鏈的充要條件p可通過對極限 p

2平穩(wěn)分

(的馬爾可夫鏈的一個平穩(wěn)分布.如j

i

j

說明若齊次馬爾可夫鏈有一個平穩(wěn)分布:{i,i

j

定理5設{i,i

是齊次馬爾可夫鏈{Xn,n0,1,

為{Xn,n0,1, 的初始分布

P(X0

i

iS,則對任意的正整數(shù)nP(Xn 并且對任意的正整數(shù)n，m,以

S,P(Xtmi1,Xtmi2 ,Xt

in P(Xt ,Xt

in

P(Xn

P(X0

k)P(Xn

X0k)

(n)p p

i

P(Xtmi1,Xtmi2 ,Xt

(X0i0),Xtmi1,Xtmi2 ,Xt

in 12P(X012

Xt ii0p0 i

(t2t1pp

(tntn1ppP(Xt

P(X P(X

P(Xt ,

說明了若鏈有平穩(wěn)分布,且以它作為初始分布,則其絕對一個重要的問題 在特殊情況下,回答上述問題,即定理引理1

i,jS,

(m

nmn

ij

j是正常返狀

i, n

npnmnp

當

時，約定 定理6{Xn,n0,1, 其狀態(tài)空間S中的每個狀態(tài)都是正常返狀態(tài)

,n0,1, 1

j 特別的，若S中的每個狀態(tài)都是遍歷狀態(tài)，Xn0,1

1

j 且此時的平穩(wěn)分布就是極限分布

平穩(wěn)分布通

pkj

j求解右方程

其次對一般的馬爾可夫鏈,如果不是不可約,則極限平穩(wěn)分布可能存在,也可能不存在若存在,可能不唯一(有無窮多個 有定理引理2設C是周期為d的正常返狀態(tài)的不可約閉集, jC定理7設S C0 C C H,其中D m非常返狀態(tài)集，C0是零常返狀態(tài)集C(m1, m是正常返狀態(tài)的不可約閉集Q

jS,

{j

充要條件是存在非負數(shù)列{，

j

jC,推論 對于齊次馬爾可夫 不可約鏈存在唯一的平穩(wěn)分布的充要條件是所有}定理8不可約齊次馬爾可夫鏈{Xnn0,1}zj

zi

pij

j

jS},0

j

ji 1設狀態(tài)空間為S={0,1,2,}的馬爾可夫鏈,其一步÷ ÷÷?÷P= 試求它的極限分解易知此鏈為不可約遍歷鏈.

=0T 0T

p=

= 例2設齊次馬爾可夫鏈的狀態(tài)空間S={0,1,2,3,4},其 0 0 P 0 2 3 2 3 求它的平穩(wěn)分知是不可約鏈,且為遍歷鏈. 1p0=

p1=

p2=

p3=

p4=平穩(wěn)分布為 例3設有狀態(tài)空間S={0,1,2,3,4,5,6}的齊次馬爾可夫鏈 002/02/1/000/ 2/00000000000000001111111777777 0 0P 0 0 1 7試對S進行分類，并說明各狀態(tài)類求平穩(wěn)分布，其平穩(wěn)分布是否唯一？為什么

P(Xn2

1

0),P(Xn2

Xn111 S=D }U,,由(1)知,該鏈有三個不同的正常返不可約閉所以平穩(wěn)分布不112三個閉集對應的轉移概率1121解方程

122312??12??0?1

013÷ 213÷2323÷

12

3

(2)＝(2Ｐ

(3)＝

(1)

3(2)3

(3)

π(1)

{2,3,

π(2)

{1,1}

π(3)