馬爾可夫過程與泊松過程

1、 第六章第六章 馬爾可夫過程馬爾可夫過程馬爾可夫過程馬爾可夫過程 在在電子系統(tǒng)電子系統(tǒng)中，是研究熱噪聲和散彈噪聲的數(shù)學基礎(chǔ)，在中，是研究熱噪聲和散彈噪聲的數(shù)學基礎(chǔ)，在通信系統(tǒng)通信系統(tǒng)中，是研究多級傳輸、網(wǎng)絡(luò)傳輸?shù)戎T多問題時，需要中，是研究多級傳輸、網(wǎng)絡(luò)傳輸?shù)戎T多問題時，需要用到的重要隨機過程。用到的重要隨機過程。 馬爾可夫過程是一類重要的隨機過程，廣泛應(yīng)用在近代物馬爾可夫過程是一類重要的隨機過程，廣泛應(yīng)用在近代物理、生物（生滅過程）、公用事業(yè)、信號處理、自動控制等方理、生物（生滅過程）、公用事業(yè)、信號處理、自動控制等方面。面。馬爾可夫過程馬爾可夫過程馬爾可夫性馬爾可夫性( (無后效性無后效性)

2、 )： 當隨機過程在時刻當隨機過程在時刻 所處的狀態(tài)已知時，過程在時所處的狀態(tài)已知時，過程在時刻刻 所所處的狀態(tài)僅與過程在處的狀態(tài)僅與過程在 時刻的狀態(tài)有關(guān)，時刻的狀態(tài)有關(guān)，而與過程在而與過程在 時刻以前所處的狀態(tài)無關(guān)。時刻以前所處的狀態(tài)無關(guān)。it()it ttitit=將來現(xiàn)在，過去將來現(xiàn)在PP 1. 1.馬爾可夫鏈馬爾可夫鏈 時間離散，狀態(tài)離散；時間離散，狀態(tài)離散；2.2.離散馬爾可夫過程離散馬爾可夫過程 時間連續(xù)，狀態(tài)離散；時間連續(xù)，狀態(tài)離散；3.3.馬爾可夫序列馬爾可夫序列 時間離散，狀態(tài)連續(xù)；時間離散，狀態(tài)連續(xù)；4.4.連續(xù)馬爾可夫過程連續(xù)馬爾可夫過程 時間連續(xù)，狀態(tài)連續(xù)。時間連續(xù)，

3、狀態(tài)連續(xù)。馬爾可夫過程分類：馬爾可夫過程分類：馬爾可夫馬爾可夫馬爾可夫過程馬爾可夫過程6.1 馬爾可夫鏈馬爾可夫鏈6.3 馬爾可夫過程馬爾可夫過程6.4 獨立增量過程獨立增量過程馬爾可夫過程馬爾可夫過程 獨立增量過程獨立增量過程 正交增量過程正交增量過程 泊松過程泊松過程 維納列維過程維納列維過程 獨立隨機過程獨立隨機過程6.1 6.1 馬爾可夫鏈馬爾可夫鏈主要內(nèi)容：主要內(nèi)容： 馬爾可夫（馬爾可夫（MarkovMarkov）鏈）鏈 馬爾可夫鏈的定義及一般特性馬爾可夫鏈的定義及一般特性 齊次馬爾可夫鏈齊次馬爾可夫鏈 平穩(wěn)馬爾可夫鏈及其求解平穩(wěn)馬爾可夫鏈及其求解 馬爾可夫鏈狀態(tài)分類馬爾可夫鏈狀態(tài)分

4、類 馬爾可夫鏈的遍歷性馬爾可夫鏈的遍歷性一、定義及一般特性一、定義及一般特性6.1 6.1 馬爾可夫鏈馬爾可夫鏈 狀態(tài)和時間參量都是離散的隨機過程，若過程狀態(tài)和時間參量都是離散的隨機過程，若過程 在時在時刻刻t tm+km+k變成任一狀態(tài)的概率，只與過程在變成任一狀態(tài)的概率，只與過程在t tm m時刻的狀態(tài)有關(guān)，時刻的狀態(tài)有關(guān)，而與過程在而與過程在t tm m時刻以前的狀態(tài)無關(guān)，則該過程稱馬爾可夫鏈。時刻以前的狀態(tài)無關(guān)，則該過程稱馬爾可夫鏈。 )(tX1111|,m kmmm kimimiiP XaXaXaXa|m kmm kimiP XaXau 定義定義一、定義及一般特性一、定義及一般特性6

5、.1 6.1 馬爾可夫鏈馬爾可夫鏈u 典型馬爾可夫鏈典型馬爾可夫鏈 一維隨機游動一維隨機游動1 p0px031245671234+tXn11(1|)(1|)nnnnP XkXkpP XkXkq一、定義及一般特性一、定義及一般特性6.1 6.1 馬爾可夫鏈馬爾可夫鏈u 典型馬爾可夫鏈典型馬爾可夫鏈 二元通信信道二元通信信道01011 1 nX1nX11(1|0)(0|1)nnnnP XXP XX一、定義及一般特性一、定義及一般特性6.1 6.1 馬爾可夫鏈馬爾可夫鏈u 馬爾可夫鏈的一般特性馬爾可夫鏈的一般特性狀態(tài)概率：狀態(tài)概率：( )injp nP Xa概率分布列：概率分布列：12( )( )(

6、 )( )TNp np np npn狀態(tài)轉(zhuǎn)狀態(tài)轉(zhuǎn)移概率：移概率：( , )|ijnjsip s nP Xa Xa1111( , )( , )( , )( , )( , )PNNNNps nps ns nps nps n轉(zhuǎn)移矩陣：轉(zhuǎn)移矩陣：一、定義及一般特性一、定義及一般特性6.1 6.1 馬爾可夫鏈馬爾可夫鏈u 馬爾可夫鏈的性質(zhì)馬爾可夫鏈的性質(zhì)1( )1Njjp n(1)(3)1( )( , )( )Njijiip np s n p s(4)( )( , ) ( )pPpTns ns(2)11( , )| 1NNijnjsijjp s nP Xa Xa一、定義及一般特性一、定義及一般特性u 馬

7、爾可夫鏈的性質(zhì)馬爾可夫鏈的性質(zhì)1( , )( , )( , )Nijikkjkp s nps r pr nnrs，(5) 切普曼柯爾莫哥洛夫方程切普曼柯爾莫哥洛夫方程ttstrtnxs=aixn=aja1aNakpkj(r,n)pik(s,r)幾何解釋幾何解釋二、齊次馬爾可夫鏈二、齊次馬爾可夫鏈6.1 6.1 馬爾可夫鏈馬爾可夫鏈 如果馬爾可夫鏈的轉(zhuǎn)移概率只取決于如果馬爾可夫鏈的轉(zhuǎn)移概率只取決于n-sn-s，而與，而與n n和和s s本身的值無關(guān)，則稱為齊次馬爾可夫鏈，簡稱本身的值無關(guān)，則稱為齊次馬爾可夫鏈，簡稱齊次鏈齊次鏈。 ( , )()ijijp s np ns一步轉(zhuǎn)移概率：一步轉(zhuǎn)移概率

8、： (1)ijijppn-sn-s步轉(zhuǎn)移矩陣：步轉(zhuǎn)移矩陣： 1111()()()()()NNNNpnspnsP nspnspns 對于齊次馬爾可夫鏈，狀態(tài)概率由初始概率和一步轉(zhuǎn)移概率對于齊次馬爾可夫鏈，狀態(tài)概率由初始概率和一步轉(zhuǎn)移概率決定。即利用初始分布和一步轉(zhuǎn)移概率矩陣就能完整地描述齊決定。即利用初始分布和一步轉(zhuǎn)移概率矩陣就能完整地描述齊次馬爾可夫鏈的統(tǒng)計特性。次馬爾可夫鏈的統(tǒng)計特性。 二、齊次馬爾可夫鏈二、齊次馬爾可夫鏈6.1 6.1 馬爾可夫鏈馬爾可夫鏈令令 ，利用切普曼方程，有，利用切普曼方程，有 1TP PTnn ( )( , ) ( )pPpTns ns()( ) ( )( )pP

9、ppTnnknkk (1)( ) (1)(1)pPppTnnn 二、齊次馬爾可夫鏈二、齊次馬爾可夫鏈例例1 分析用于表征通信系統(tǒng)的錯誤產(chǎn)生機制的馬爾可夫模型，分析用于表征通信系統(tǒng)的錯誤產(chǎn)生機制的馬爾可夫模型，假定其級數(shù)為假定其級數(shù)為2，求二步轉(zhuǎn)移概率矩陣，求二步轉(zhuǎn)移概率矩陣 。三、平穩(wěn)鏈三、平穩(wěn)鏈6.1 6.1 馬爾可夫鏈馬爾可夫鏈 如果齊次鏈中所有時刻的狀態(tài)概率分布列相同，即：如果齊次鏈中所有時刻的狀態(tài)概率分布列相同，即： 則此齊次鏈是則此齊次鏈是平穩(wěn)平穩(wěn)的。的。( )(1)ppn 對于齊次鏈：對于齊次鏈：( , )( , ) ( , )pps ns r p r n由切普曼由切普曼- -柯爾

10、莫哥洛夫定理柯爾莫哥洛夫定理2(2)(1) (1)(1)pppp( )(1)ppnn ( )( , ) ( )() ( )pPpPpTTns nsnss()( ,) ( )( ) ( )( )pPpPp pTTnnkk knknkk三、平穩(wěn)鏈三、平穩(wěn)鏈如果齊次鏈的狀態(tài)概率都相同，即如果齊次鏈的狀態(tài)概率都相同，即p(n)=p(1)p(n)=p(1)，則稱為平穩(wěn)鏈，則稱為平穩(wěn)鏈只要只要p(2)=p(1),p(2)=p(1),則必定則必定p(n)=p(1)p(n)=p(1)因為因為 p(n)=Pp(n)=PT T(s,n)p(s)(s,n)p(s)，所以，所以p(2)=Pp(2)=PT T(1,2)

11、p(1) (1,2)p(1) 或者或者 p(2)=Pp(2)=PT T(1)p(1) (1)p(1) p(3)=Pp(3)=PT T(2,3)p(2)(2,3)p(2)p(3)=Pp(3)=PT T(1)p(2)= P(1)p(2)= PT T(1)p(1)=p(2)=p(1)(1)p(1)=p(2)=p(1)對于平穩(wěn)鏈對于平穩(wěn)鏈: :三、平穩(wěn)鏈三、平穩(wěn)鏈u平穩(wěn)鏈狀態(tài)概率的計算平穩(wěn)鏈狀態(tài)概率的計算(1) (1)(1)PppT(2)(1) (1)pPpT在方程在方程 , , 中取中取N-1N-1個方程個方程(1) (1)(1)PppT12(1),pTNp pp111212111212222211

12、22NNNNNNNNNNpppppppppppp 121Nppp求出求出 N N 個未知數(shù)個未知數(shù)ip三、平穩(wěn)鏈三、平穩(wěn)鏈u平穩(wěn)鏈狀態(tài)概率的計算平穩(wěn)鏈狀態(tài)概率的計算0-2L2L-LL例例2：具有反射壁的隨機游動。設(shè)有一質(zhì)點在線段上游動，具有反射壁的隨機游動。設(shè)有一質(zhì)點在線段上游動， 終端設(shè)有反射壁。質(zhì)點只能停留在終端設(shè)有反射壁。質(zhì)點只能停留在 上，游動的概率法則如下：如果游動前上，游動的概率法則如下：如果游動前 質(zhì)點在質(zhì)點在 位置，則以位置，則以1/2概率向前或向后移動一概率向前或向后移動一 單位單位L，在，在 位置，則以概率位置，則以概率1游動到游動到 ，在在 位置，則以概率位置，則以概率1

13、游動到游動到 ，畫出狀態(tài)轉(zhuǎn)移圖，并求概率分布列。畫出狀態(tài)轉(zhuǎn)移圖，并求概率分布列。 , 0,2321alalalala2,54432,aaa1at2a5a4a三、平穩(wěn)鏈三、平穩(wěn)鏈u平穩(wěn)鏈狀態(tài)概率的計算平穩(wěn)鏈狀態(tài)概率的計算計算舉例計算舉例-反射壁反射壁 010001 201 200P 101 201 20001 201 200010 2131224335412345222221pppppppppppppppp 2341,4ppp(1) (1)(1) TPpp1518pp三、平穩(wěn)鏈三、平穩(wěn)鏈u平穩(wěn)鏈狀態(tài)概率的計算平穩(wěn)鏈狀態(tài)概率的計算上例中反射壁換成吸收壁上例中反射壁換成吸收壁 100001 201

14、200P 101 201 20001 201 200001 2131223122222qqqqqqq 13,4q 21,2q 314q 四、狀態(tài)分類四、狀態(tài)分類6.1 6.1 馬爾可夫鏈馬爾可夫鏈1 1、到達和相通到達和相通 如果對于狀態(tài)如果對于狀態(tài)a ai i與與a aj j( (簡寫為簡寫為i i與與j)j)，總存在某個，總存在某個n(nn(n 1)1)，使得使得P Pijij(n)0(n)0，即：由狀態(tài)，即：由狀態(tài)i i出發(fā)，經(jīng)出發(fā)，經(jīng)n n步轉(zhuǎn)移以正的概率到達步轉(zhuǎn)移以正的概率到達狀態(tài)狀態(tài)j j，則稱自狀態(tài)，則稱自狀態(tài)i i可達可達狀態(tài)狀態(tài)j j，記為，記為此時對任意的此時對任意的n(n

15、n(n 1)1)，總有，總有無限制的隨機游動，每個狀態(tài)都是可到達的，帶吸收壁的隨機無限制的隨機游動，每個狀態(tài)都是可到達的，帶吸收壁的隨機游動，吸收壁狀態(tài)不能到達任何其它狀態(tài)。游動，吸收壁狀態(tài)不能到達任何其它狀態(tài)。ij反之，反之，i i不能到達不能到達j j，記為，記為i j( )0ijp n 四、狀態(tài)分類四、狀態(tài)分類6.1 6.1 馬爾可夫鏈馬爾可夫鏈1 1、到達和相通到達和相通 設(shè)兩狀態(tài)設(shè)兩狀態(tài)i i與與j j，由狀態(tài)，由狀態(tài)i i可達可達狀態(tài)狀態(tài)j j，從狀態(tài)，從狀態(tài)j j也也可達可達狀狀態(tài)態(tài)i i，則稱狀態(tài)，則稱狀態(tài)i i與與j j相通相通，記為，記為: :ij無限制的隨機游動，所有狀態(tài)

16、都是相通的，帶吸收壁的隨機游無限制的隨機游動，所有狀態(tài)都是相通的，帶吸收壁的隨機游動，除吸收壁外，其余狀態(tài)都是相通的。動，除吸收壁外，其余狀態(tài)都是相通的。F性質(zhì)：性質(zhì)：l到達具有傳遞性。即：若到達具有傳遞性。即：若i ir r，r rj j，則，則i ij j。l相通具有傳遞性。即：若相通具有傳遞性。即：若i ir r，r rj j，則，則i ij j。四、狀態(tài)分類四、狀態(tài)分類6.1 6.1 馬爾可夫鏈馬爾可夫鏈1 1、到達和相通到達和相通 設(shè)兩狀態(tài)設(shè)兩狀態(tài)i i與與j j，由狀態(tài)，由狀態(tài)i i可達可達狀態(tài)狀態(tài)j j，從狀態(tài)，從狀態(tài)j j也也可達可達狀狀態(tài)態(tài)i i，則稱狀態(tài)，則稱狀態(tài)i i與與

17、j j相通相通，記為，記為: :ij無限制的隨機游動，所有狀態(tài)都是相通的，帶吸收壁的隨機游無限制的隨機游動，所有狀態(tài)都是相通的，帶吸收壁的隨機游動，除吸收壁外，其余狀態(tài)都是相通的。動，除吸收壁外，其余狀態(tài)都是相通的。F性質(zhì)：性質(zhì)：l到達具有傳遞性。即：若到達具有傳遞性。即：若i ir r，r rj j，則，則i ij j。l相通具有傳遞性。即：若相通具有傳遞性。即：若i ir r，r rj j，則，則i ij j。四、狀態(tài)分類四、狀態(tài)分類2 2、狀態(tài)空間的分解狀態(tài)空間的分解 設(shè)設(shè)C C I I，若從子集，若從子集C C內(nèi)任一狀態(tài)內(nèi)任一狀態(tài)i i不能到達不能到達C C外的任一狀態(tài)，外的任一狀態(tài)，

18、則稱則稱C C為為閉集閉集。l 閉集的閉集的充分必要條件充分必要條件是：是：i i C C，j j在在C C外，恒有外，恒有 P Pijij(n)=0, n(n)=0, n 1 1l 若單個狀態(tài)若單個狀態(tài)i i構(gòu)成一個閉集，則稱此閉集為構(gòu)成一個閉集，則稱此閉集為吸收態(tài)吸收態(tài)。l 除了整個狀態(tài)空間外，沒有別的閉集的馬氏鏈稱為除了整個狀態(tài)空間外，沒有別的閉集的馬氏鏈稱為不可約不可約的；的； 此時，所有狀態(tài)相通。此時，所有狀態(tài)相通。四、狀態(tài)分類四、狀態(tài)分類2 2、狀態(tài)空間的分解狀態(tài)空間的分解例：例：設(shè)有三個狀態(tài)設(shè)有三個狀態(tài)(0,1,2)(0,1,2)的馬爾可夫鏈，它的一步轉(zhuǎn)移概的馬爾可夫鏈，它的一步

19、轉(zhuǎn)移概率矩陣為率矩陣為1/21/20(1)1/21/41/401/32/3P01221212141314132三個狀態(tài)均相通，所以是不可約的。三個狀態(tài)均相通，所以是不可約的。四、狀態(tài)分類四、狀態(tài)分類2 2、狀態(tài)空間的分解狀態(tài)空間的分解例例：設(shè)有四個狀態(tài)的馬爾可夫鏈：設(shè)有四個狀態(tài)的馬爾可夫鏈(0,1,2,3)(0,1,2,3)，一步轉(zhuǎn)移概率矩陣，一步轉(zhuǎn)移概率矩陣為為1/21/2001/21/2001/41/41/41/40001狀態(tài)狀態(tài)3 3為閉集，它是一個吸狀態(tài)。為閉集，它是一個吸狀態(tài)。0 0，1 1兩個狀態(tài)與其它狀態(tài)也不相通，兩個狀態(tài)與其它狀態(tài)也不相通，0 0，1 1兩個狀態(tài)也是一個閉集。兩

20、個狀態(tài)也是一個閉集。023212141112121414411P33=1,P32=P31=P30=0四、狀態(tài)分類四、狀態(tài)分類3 3、常返態(tài)和滑過態(tài)（非常返態(tài)）常返態(tài)和滑過態(tài)（非常返態(tài)）定義定義T Tijij為自為自i i出發(fā)首次到達狀態(tài)出發(fā)首次到達狀態(tài)j j的時刻的時刻 對于某個狀態(tài)對于某個狀態(tài)j,xj,xn n可能永遠也不為可能永遠也不為j,j,那么上式就不存在那么上式就不存在n,n,這時規(guī)定這時規(guī)定 永不出現(xiàn)永不出現(xiàn) 終身等待終身等待ijT為一隨機變量，取值范圍為為一隨機變量，取值范圍為1,2,.,N0min:,;1ijnTn xi xj nijT 四、狀態(tài)分類四、狀態(tài)分類3 3、常返態(tài)和

21、滑過態(tài)（非常返態(tài)）常返態(tài)和滑過態(tài)（非常返態(tài)）10(1)|ijijfP xj xiP很顯然，很顯然，一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率自自i i出發(fā)，永遠也不能到達狀態(tài)出發(fā)，永遠也不能到達狀態(tài)j j的概率。的概率。定義：定義：0( );,1,2,.,1|ijnmfnP xj xj mnxi0( );1|ijnfP xjnxi對一切 自狀態(tài)自狀態(tài)i i出發(fā)，在時刻出發(fā)，在時刻n n首次到達狀態(tài)首次到達狀態(tài)j j的概率的概率四、狀態(tài)分類四、狀態(tài)分類3 3、常返態(tài)和滑過態(tài)（非常返態(tài)）常返態(tài)和滑過態(tài)（非常返態(tài)）永遠也不能到達狀態(tài)永遠也不能到達狀態(tài)j j的概率的概率011( )|ijijijijnnffnP Tn

22、xiP T 定義：定義：自狀態(tài)自狀態(tài)i i出發(fā)，遲早要到達狀態(tài)出發(fā)，遲早要到達狀態(tài)j j的概率的概率( )1ijijijP Tff 很顯然很顯然, ,0( )1ijijfnf四、狀態(tài)分類四、狀態(tài)分類3 3、常返態(tài)和滑過態(tài)（非常返態(tài)）常返態(tài)和滑過態(tài)（非常返態(tài)）定理定理: : 對任意的對任意的 及及, i jI1n 1( )( )()nijijj jmP nfm Pnm給出了給出了 和和 的聯(lián)系：的聯(lián)系：( )ijfn( )ijP n-自狀態(tài)自狀態(tài)i i出發(fā)出發(fā), ,經(jīng)經(jīng)n n步首次到達狀態(tài)步首次到達狀態(tài)j j的概率。的概率。( )ijfn-自狀態(tài)自狀態(tài)i i出發(fā)出發(fā), ,經(jīng)經(jīng)n n步到達狀態(tài)步到

23、達狀態(tài)j j的概率。的概率。( )ijP n定理定理： 的的充要條件充要條件是是0ijf ij四、狀態(tài)分類四、狀態(tài)分類3 3、常返態(tài)和滑過態(tài)（非常返態(tài)）常返態(tài)和滑過態(tài)（非常返態(tài)）定理：定理：狀態(tài)狀態(tài)i i 是常返的是常返的充要條件充要條件是是-自自i i出發(fā)首次返回狀態(tài)出發(fā)首次返回狀態(tài)i i 所需要的時間。所需要的時間。iiT-自自i i出發(fā)經(jīng)有限步遲早要返回狀態(tài)出發(fā)經(jīng)有限步遲早要返回狀態(tài)i i的概率。的概率。iif根據(jù)根據(jù) 的取值不同，將狀態(tài)的取值不同，將狀態(tài)i i 分成如下兩類：分成如下兩類：iif（1 1）如果）如果 , ,則稱狀態(tài)則稱狀態(tài)i i 為為常返態(tài)常返態(tài)；1iif （2 2）如

24、果）如果 , ,則稱狀態(tài)則稱狀態(tài)i i為為非常返態(tài)非常返態(tài)，或滑過態(tài)；，或滑過態(tài)；1iif 1( )iinP n四、狀態(tài)分類四、狀態(tài)分類3 3、常返態(tài)和滑過態(tài)（非常返態(tài)）常返態(tài)和滑過態(tài)（非常返態(tài)）定理：定理：狀態(tài)狀態(tài)i i 是是常返常返的的充要條件充要條件是是1( )iinP n如果狀態(tài)如果狀態(tài)i i 為為非常返態(tài)非常返態(tài)，則，則11( )1iiniiP nf說明如下：說明如下： 如果如果i i狀態(tài)為常返態(tài)，則從狀態(tài)為常返態(tài)，則從i i狀態(tài)出發(fā)，經(jīng)過有狀態(tài)出發(fā)，經(jīng)過有限步的轉(zhuǎn)移遲早要返回狀態(tài)限步的轉(zhuǎn)移遲早要返回狀態(tài)i i，即，即 , ,這樣，過程自這樣，過程自i i狀狀態(tài)出發(fā)，返回，再出發(fā)，再

25、返回，周而復始，如果過程無態(tài)出發(fā)，返回，再出發(fā)，再返回，周而復始，如果過程無限地進行下去，那么，訪問限地進行下去，那么，訪問i i的次數(shù)也無限地增加。的次數(shù)也無限地增加。1iif 四、狀態(tài)分類四、狀態(tài)分類3 3、常返態(tài)和滑過態(tài)（非常返態(tài)）常返態(tài)和滑過態(tài)（非常返態(tài)） 如果如果i i狀態(tài)為非常返的，則自狀態(tài)為非常返的，則自i i狀態(tài)出發(fā)，經(jīng)過有限步轉(zhuǎn)狀態(tài)出發(fā)，經(jīng)過有限步轉(zhuǎn)移返回狀態(tài)移返回狀態(tài)i i的概率的概率f fiiii10,4-14-0,4-1但但0-4,1-40-4,1-4，00，11組成一個閉集，也是常返態(tài)，組成一個閉集，也是常返態(tài)，而而44為非常返的。為非常返的。四、狀態(tài)分類四、狀態(tài)分類

26、4 4、周期狀態(tài)和非周期狀態(tài)周期狀態(tài)和非周期狀態(tài)定義：定義：如果有正數(shù)如果有正數(shù)d,dd,d11，只有當，只有當 n=d,2d,3d,n=d,2d,3d,時，時，無限制隨機游動是周期的，周期為無限制隨機游動是周期的，周期為2 2。則稱則稱i i 是周期的。是周期的。( )0iip n 四、狀態(tài)分類四、狀態(tài)分類4 4、周期狀態(tài)和非周期狀態(tài)周期狀態(tài)和非周期狀態(tài)例例 設(shè)有四個狀態(tài)（設(shè)有四個狀態(tài)（0 0，1 1，2 2，3 3）的馬爾可夫鏈，其一步轉(zhuǎn)）的馬爾可夫鏈，其一步轉(zhuǎn)移概率矩陣為移概率矩陣為002/ 12/ 1002/ 12/ 13/ 13/2003/23/ 100) 1 (P0 01 12 2

27、2 21 12 21 12 21 12 21 13 31 13 31 13 32 23 33 32 2- - 2 24 4個狀態(tài)可以分成個狀態(tài)可以分成0,10,1和和2,32,3兩個類，該過程具有確定性周兩個類，該過程具有確定性周期轉(zhuǎn)移。期轉(zhuǎn)移。0,10,12,32,30,10,12,32,3周期為周期為2 2四、狀態(tài)分類四、狀態(tài)分類5 5、遍歷性遍歷性定義：定義：對于齊次馬爾可夫鏈，如果對一切對于齊次馬爾可夫鏈，如果對一切i i和和j j，存在不依賴，存在不依賴i i的極限，的極限，則稱該鏈具有遍歷性。則稱該鏈具有遍歷性。lim( )ijjnP np含義：含義：當轉(zhuǎn)移步數(shù)足夠長時，不論當轉(zhuǎn)移

28、步數(shù)足夠長時，不論 n n 步之前是處于哪種狀態(tài)，步之前是處于哪種狀態(tài)，n n步后轉(zhuǎn)移到狀態(tài)步后轉(zhuǎn)移到狀態(tài)j j的概率接近的概率接近 p pj j。定理：定理：對于有限狀態(tài)的馬爾可夫鏈，如存在正整數(shù)對于有限狀態(tài)的馬爾可夫鏈，如存在正整數(shù)s s，使，使則該鏈具有遍歷性。則該鏈具有遍歷性。( )0ijP s 四、狀態(tài)分類四、狀態(tài)分類5 5、遍歷性遍歷性例：例：下面的馬爾可夫鏈是遍歷的。下面的馬爾可夫鏈是遍歷的。pqpqpq000) 1 (P2222222)2(ppqpqqppqqppqpqqP不遍歷的例子不遍歷的例子 10011P 10011)(nnPP四、狀態(tài)分類四、狀態(tài)分類5 5、遍歷性遍歷性

29、例例3：設(shè)馬爾可夫鏈的一步轉(zhuǎn)移矩陣為，分析其遍歷性。設(shè)馬爾可夫鏈的一步轉(zhuǎn)移矩陣為，分析其遍歷性。pqpqpq000) 1 (P2222222)2(ppqpqqppqqppqpqqP 10011P 10011)(nnPP一、定義一、定義6.2 6.2 馬爾可夫序列馬爾可夫序列 一個隨機序列一個隨機序列X(n)X(n)，若對任意的，若對任意的n n，有，有1211(|,)(|)nnnnnf xxxxf xx稱此序列為稱此序列為馬爾可夫序列馬爾可夫序列。顯然，顯然，聯(lián)合概率密度聯(lián)合概率密度可表示為可表示為121211(,)(|)(|) ()nnnf x xxf xxf xxf x二、性質(zhì)二、性質(zhì)6.2 6.2 馬爾可夫序列馬爾可夫序列(|)(|) (|)nsnrrsrf xxf xxf xx dx由馬爾可夫序列的定義可得：由馬爾可夫序列的定義可得：馬爾可夫序列轉(zhuǎn)移概率密度滿足下列方程：馬爾可夫序列轉(zhuǎn)移概率密度滿足下列方