北大隨機(jī)過(guò)程課件：第2章第3講馬爾可夫狀態(tài)分析

1、馬爾可夫鏈狀態(tài)分類(lèi)1馬爾可夫鏈中狀態(tài)的分類(lèi):1.1到達(dá)和相通：定義1:狀態(tài)1可到達(dá)狀態(tài)J,如果對(duì)狀態(tài)1和J存在某個(gè)ni）使得0,即由狀態(tài)1出發(fā)，經(jīng)過(guò)n步狀態(tài)轉(zhuǎn)移，以正的概率到達(dá)狀態(tài)j,則稱自狀態(tài)1可到達(dá)狀態(tài)J,并記為iTj反之,如狀態(tài)1不能到達(dá)狀態(tài)j,記為i+Tj，此時(shí)對(duì)于一切n,/?；*.=0。定義2：狀態(tài)1和狀態(tài)j互通，有兩個(gè)狀態(tài)1和j,如果由狀態(tài)1可以到達(dá)狀態(tài)j,且由狀態(tài)j可以到達(dá)狀態(tài)1,則稱狀態(tài)1狀態(tài)j相通，記作ij定理1：到達(dá)的傳遞性，如果由狀態(tài)1可以到達(dá)狀態(tài)k,由狀態(tài)k可以到達(dá)狀態(tài)j,則由狀態(tài)1可以到達(dá)狀態(tài)j,即到達(dá)具有傳遞性。定理2：相通具有傳遞性。如果由狀態(tài)1和狀態(tài)k相通，狀態(tài)

2、k和狀態(tài)j相通，則由狀態(tài)1和狀態(tài)j相通，即相通具有傳遞性。1.2狀態(tài)空間的分解：定義1,狀態(tài)空間的類(lèi)，如果兩個(gè)狀態(tài)和通，則稱兩個(gè)狀態(tài)處同一類(lèi)中。可以按照相通的概念把狀態(tài)空間分成一些隔離的類(lèi)。狀態(tài)空間分解成隔離的類(lèi)，對(duì)每個(gè)類(lèi)都有和應(yīng)的狀態(tài)轉(zhuǎn)移矩陣。定義2,狀態(tài)空間的閉集，設(shè)C為狀態(tài)空間的一個(gè)子集，如果從C中的任何一個(gè)狀態(tài)1不能到達(dá)C以外的任何狀態(tài)則稱C是閉集。如果單個(gè)狀態(tài)構(gòu)成一個(gè)閉集，則稱這個(gè)狀態(tài)為吸收態(tài)。整個(gè)狀態(tài)空間必定構(gòu)成一個(gè)閉集。閉集的充分必要條件是，Pjj=OJeC定義3,不可約的馬爾可夫鏈如果除了整個(gè)狀態(tài)空間以外，沒(méi)有別的閉集的馬爾可夫鏈稱為不可約的，這時(shí)所有的狀態(tài)是相通的。定理1,在

3、m步轉(zhuǎn)移概率矩陣中，如果只保留閉集中各狀態(tài)間的轉(zhuǎn)移概率，而把其他所有行和列的元素刪去，則留卜的概率矩陣滿足工血=1,feCokec1.3狀態(tài)的常返態(tài)和滑過(guò)態(tài)定義1,對(duì)J：任意兩個(gè)狀態(tài)1,j,設(shè)7；丿代表從狀態(tài)1出發(fā)首次進(jìn)入狀態(tài)j的最早時(shí)刻，即T,j()=niin/2:歹(0)=i,旳)=j,n1.定義2,從狀態(tài)1經(jīng)過(guò)n步第一次到達(dá)狀態(tài)j的概率，z(;)=k；=()=/h定義3,從狀態(tài)1遲早到達(dá)狀態(tài)J的概率，fij=Xfi?=工好兀=/?(0)=Z1/2001/KCO定理1,対F任意的/,JG/J770的充要條件，iTj推論，1,J相通的充要條件是/；/0,/y.0定義4,如果fn=1,則稱狀態(tài)

4、1是常返的。定義5,如果ft.1,則稱狀態(tài)1是非常返的，是滑過(guò)態(tài)。定理3狀態(tài)1是常返的的充要條件是，=co,如果狀態(tài)1是非常返的，則n=lTOC o 1-5 h z8In=l1_Jii證明：引入系統(tǒng)從狀態(tài)I出發(fā)經(jīng)過(guò)n步，到達(dá)狀態(tài)j的概率於?對(duì)應(yīng)的母函數(shù)，乙(滬備n=0/?=1同時(shí)引入從狀態(tài)1第一次到達(dá)狀態(tài)J的槪率(;)對(duì)應(yīng)的母函數(shù)Fj勺啓n=0考慮到=f用處廠)，有;=1H=1T+f:自加廠卜n=lr=l丿T+Wf（加）防嚴(yán)）n=lr=l7廣土（f汐程Ap嚴(yán)）r=ln=rr=l川=0=&j+Fij（s）Pjj（s）令j=i有匕=1+你匕注意到&Q）=i踣，你（i）=f卅也n=0n=Q狀態(tài)1是常

5、返的fti=1,恥）=成）=s,=1狀態(tài)1是非常返的九VI,匕（1）=工M?vs,n=l定理4,兩個(gè)相通的狀態(tài)、若一個(gè)是常返的，另一個(gè)必是常返的。定理5,如果狀態(tài)j是非常返的，則對(duì)每一個(gè)狀態(tài)1,WVs,liin=0o/2=12814周期的狀態(tài)和非周期的狀態(tài)定義1,周期性的狀態(tài)，只有當(dāng)轉(zhuǎn)移步數(shù)n是整數(shù)d的正倍數(shù)時(shí)，相應(yīng)的轉(zhuǎn)移概率為非零值，定義2,遍歷態(tài)非周期的常返態(tài)定義為遍歷態(tài)。2馬爾可夫鏈的狀態(tài)空間舉例繪出各個(gè)狀態(tài)之間的轉(zhuǎn)移圖。研究狀態(tài)的到達(dá)和和通，進(jìn)行狀態(tài)空間的分解。研究狀態(tài)空間的周期性。研究狀態(tài)的常返性和非常返性。例1設(shè)有三個(gè)狀態(tài)（0,1,2）的馬爾可夫鏈，它的一步轉(zhuǎn)移概率矩陣是,，求各個(gè)

6、狀態(tài)之間的關(guān)系。解：繪出各個(gè)狀態(tài)Z間的轉(zhuǎn)移圖。研究狀態(tài)的到達(dá)和相通，進(jìn)行狀態(tài)空間的分解。狀態(tài)（0,1）是一個(gè)閉集，狀態(tài)（2）是一個(gè)滑過(guò)態(tài)，是非常返的，狀態(tài)（3）是一個(gè)吸收態(tài)，也是一個(gè)閉集。例3設(shè)有9個(gè)狀態(tài)（0,1,2,3,4,5,6,7,8）的馬爾可夫鏈，它的一步轉(zhuǎn)移概率矩陣如廠其中*表示正概率元素，試對(duì)它的狀態(tài)進(jìn)行分類(lèi)。00000*0000*0*0000000000*0000000000000、0000000000*000*00000000*0*00QQ*00*00；繪出各個(gè)狀態(tài)Z間的轉(zhuǎn)移圖。研究狀態(tài)的到達(dá)和相通，進(jìn)行狀態(tài)空間的分解。狀態(tài)0是一個(gè)吸收態(tài)，狀態(tài)1,2；3,4,5分別組成兩個(gè)閉集

7、。狀態(tài)6；7,8都是滑過(guò)態(tài)。例4設(shè)有四個(gè)狀態(tài)（0,1,2,3）的馬爾可夫鏈，它的一步轉(zhuǎn)移概率矩陣是，r01p=03TOC o 1-5 h z01/21/2、000,求各個(gè)狀態(tài)之間的關(guān)系。100100丿解：繪出各個(gè)狀態(tài)之間的轉(zhuǎn)移圖。研究狀態(tài)的到達(dá)和相通，進(jìn)行狀態(tài)空間的分解。這是一個(gè)有限狀態(tài)的馬爾可夫鏈，所有狀態(tài)都是相通的，都是常返的。例5設(shè)有五個(gè)狀態(tài)（0,1,2,3,4）的馬爾可夫鏈，它的一步轉(zhuǎn)移概率矩陣是,1/21/21/21/200000)0p=001/21/20,求各個(gè)狀態(tài)Z間的關(guān)系。001/21/20J/41/4001/2丿解：繪出各個(gè)狀態(tài)Z間的轉(zhuǎn)移圖。研究狀態(tài)的到達(dá)和相通，進(jìn)行狀態(tài)空間

8、的分解。（0,1）是一個(gè)閉集，這兩個(gè)狀態(tài)是常返的，（2,3）是一個(gè)閉集，這兩個(gè)狀態(tài)是常返的，（4）是一個(gè)非常返的滑過(guò)態(tài)。例6試研究無(wú)限制隨機(jī)游動(dòng)各狀態(tài)的性質(zhì)。解：它的一步轉(zhuǎn)移概率是，mi=qp,j=0,if由J無(wú)限制隨機(jī)游動(dòng)各狀態(tài)都相通，則所有狀態(tài)或全部是常返的或全部是非常返TOC o 1-5 h zcoco的。研究狀態(tài)o的常返和非常返的性質(zhì)，可以計(jì)算需）。如果/需）是有限11=111=100的，則0狀態(tài)是非常返的，如果工P紀(jì)是無(wú)限的，則0狀態(tài)是常返的。研究狀態(tài)n=l0080的常返和非常返的性質(zhì)，也可以計(jì)算工盤(pán)。如果工盤(pán)小于1，則0狀態(tài)是/?=1/2=1非常返的，如果f人絆等于1，則0狀態(tài)是常返的。/：=!從0狀態(tài)出發(fā)，經(jīng)過(guò)偶數(shù)次轉(zhuǎn)移，它所取的狀態(tài)一定