概率論與隨機過程

9.2定義2.1.i可達(dá)j,ijE，若存在正整數(shù)pp

0。記為i

。若同時有ji，則稱ij互通，記為ij對稱性(Symmetric)：若ij，則j傳遞性(Transitive)：若ij,jkik.自返性(Reflexive)i對稱性(Symmetric)：若ij，則j傳遞性(Transitive)：若ij,jk則i證明(3).ikij,jkmnpp

pn

pmnpmpnpm

因此i 同理可證ki.故i C 如果對任意的iC,jC,有i定理2.2.C是閉集的充要條件是對任意的iC,jC,pij 若(aij)為一矩陣i,jA,A是有限集或可 (1)0

(2)aij則稱(aij為一隨機矩陣定理 若(p(n))是狀態(tài)空間為E的馬氏鏈的轉(zhuǎn)移矩陣C是E中的閉集，則p(ni,jC 模型)系統(tǒng)的狀態(tài)是0到n，反映 期間擁有的錢數(shù)。當(dāng)他輸光或擁有錢數(shù)為n時，賭 。假設(shè)每次他以概率p贏得1，以概率q1p輸?shù)?。000000p000000p000q0p00000q000000 0P

0

1例.(帶有一次贊助的賭 模型)設(shè)上例中當(dāng)賭徒輸光時 0q0 q0 0P000 0000 0

10,1,2,…,n-1n-1n定義 對任意的兩個i，j，定Tij()min{n:X0i,Xnminn:X0i,Xn ,如果上面集合為顯然，Tij是一個 量 f(n)

n|

i) f

P j, j,m1, ,n

,記fij,

(ff

0f(n)f fijP{Tij|X0下 引理

fn

j1j2 jn1jjsj1sn1 例 P

2

E{12}.求fn,fn12 12 3

解

12

f(2) 111; n2f(n) (

)n

12 ,n2,3, f11

3引理2.2.

i,j

n1，有pn

flpnln nl證明：設(shè)l是從狀態(tài)i首達(dá)狀態(tài)j的時間,n

PX , j,

j,

j

,Xl,Xl1jX0n

Pl

j,

PXn,,Xl1

X0i,X1

j,Xll

nl f f 的充要條件是i證明（充分性）i

n0

pppnpij

nln

l nl f1,

2,,

有中至少有一為正。 fij有

(,f,f

ff

（必要性）如果

n

使得

npnflpnlfnn

fn l

所以i

i

0且fji1212例 P

122,狀態(tài) E122,狀態(tài)13 13解 f(n)p(p)n

1

21

,n 63

1

n1263

2.5我們做如下定義：如果fii1，則稱狀態(tài)i是常返的，否則稱狀態(tài)i是非常返（或暫留）的。如果狀態(tài)i是常返的，定nf若

，稱狀態(tài)i是正常返的；若

，稱狀態(tài)i例.pi,i1而其它的pij

0,pi,i2idn,pn的最大公約數(shù)為通常的，如果d>1，則稱狀態(tài)j是周期的。如果d=1態(tài)j是非周期的。如果j正常返，非周期，稱j為遍歷注：如 p

0不空，則一定包含無窮多個元素。若

n0mod(d

(

有的n，有p(nd)定理2.6.若d(j)d，則存在整數(shù)M，使得對一切nM，pnd)0。

n常返fii

n周期d非周期d

定理 j常

(n)p(p

若j

p

1fnpnn

flpnl

l推論 若j非常返，則limp(n) 定理2.8.若j常返且周期為d

limp(nd)d當(dāng)j時 j

j推論2.3.若j零常返或非常返，則對任一iElimp(n)推論2.4.若jj

limp(n) j

limp(n)1 jlimp(n) j

j

(pp

j

j定理2.9.若i常返且ij,則jfji

p(n)P{X k,1mn1, j|

f(n)P{X {j,k},1mn1,

j|X

(

f(

p(r (nr)fij

n1

r

i

所以，存在N，

f(N)01

f(N)(1 )

(N)(1

fji

k

j

p(s)0p(r)0由C-K

p(rn

p(r)p(

p(s)cp(n)

p于是由p

(n)

(pp

定理2.10.若ij,ij同為常返或非常返；若同為常返，它們同為i和j例 4P 0 0 1因為p1114

的最大公約數(shù)為1。即態(tài)1是非周期的。所以，每個狀態(tài)都是非周期下面我 狀態(tài)1是否常返。根據(jù)定義，我們要判

中的11是否等于1f1p1 f

P 1,X

X 0PX21,X1 0

X0PX21,X14X0PX2

X0PX2

X0

p1