隨機過程第四章復習題及其解答馬爾科夫鏈

第四章1.2.{?T}pj=p{X0=j}為X的初始pj（n）n{X,n?T}n3.{nij4.iij

aijijj5.fijij0n06.fii

,稱為fii

i為7.8.E={0，±1，±2n=0的概(0)=P{X(0)=i},i{p為ii9.E={0，±1，±2n時(n)=P{X(n)=i},i{p為該馬ii10.C

及j

C,pC為閉的狀C成ij11.12.

,jIj

13.、昨日、今日都下雨，明日有雨的概率為昨日無雨，今日有雨、明日有雨的概率為0.5；日有雨，今日無雨，明日有雨的概率為0.4昨日、今日均無雨，明日有雨的概率為0.2。星期一、星期二均有雨，求星期四下雨的概率。

000.50.5解：設昨日、今日連續(xù)兩天有雨稱為狀態(tài)0昨日無雨、今日有雨稱為狀態(tài)1昨日有雨、今日無雨稱為狀態(tài)2昨日、今日無雨稱為狀態(tài)3于是此題可看作一個四狀態(tài)的馬爾可夫鏈，其一步轉移概率矩陣為：

00

0102

03

0

p20

p21p22

23

=

0.50

31p

0.8其兩步轉移概率矩陣為：P

00.3000.3000.800.20

=

0.490.350.200.10

0.120.210.200.150.300.120.200.160.100.64

0或1，因(2)(2){有3個狀態(tài)0,1,2的

1/4424/44

布p=P{X(0)=i}=1/3,i=0,1,2,i：0

(2)

01而p(0)=1/3,p(2)0

01

=1/1/2=1/1/21/51/23/1641/

41/40

/851/16

P

）

1/1/21/403/41/4

1/49/16p01

率P{X(0)=0,X(2)=1}=p0

(2)

01

）p1=p0

(2)

01

+p(0)p1

(2)

+p(0)p112

(2)

21鏈X}間，轉移陣為n}

1/2

021/2010000

，}n1/21

2114

53

1知3是吸收故3}。{1,4}中3}{I故X}n

的

））f(1)(n)3333f

(n)44

<144=0態(tài)3、態(tài)f11

(1)11

(2)

11f=22n

f

(n…=122態(tài)1、態(tài)

nf

()

n

(n)22

…+n*1/n

+…=3<∞

121121態(tài)1態(tài)為態(tài)

IC

,中

，12

11212

2313集C上的平穩(wěn)分布為

21，33

0.70.10.80.050.9

0.70.050.2

0.17650.23530.5882

1

1

1

58583/0.60.40.20.81/4

設，P=8

limn

P=?解:ππPπ1=3/4*π1+5/8*π2π1+π2=1π1=5/7（5/7,2/7）limnp

(n)ij

=

Pn=

41/4

2/7=2/的

0.600.40

算=2|Xn+2nn+2n）轉移概率矩P

0.4

為1.3}，{2,4}ππPπ（π1,π2，，π4

π4=1

0.60.40.20.8π1=π3π=k,其中0<k<0.5,平=3|Xn+2n*p+p*p*p