馬爾可夫鏈課件

1、CHAPTER 5 馬爾可夫鏈第一節(jié) 基本概念1、分類離散連續(xù)離散連續(xù)馬爾可夫鏈馬爾可夫序列可數狀態(tài)馬爾可夫過程連續(xù)狀態(tài)馬爾可夫過程按馬爾可夫過程參數空間和狀態(tài)空間的不同可分為一、馬爾可夫鏈的定義及例子 隨機過程 稱為馬爾可夫鏈，若它只取有限或可列個值（稱為過程的狀態(tài)，記為0，1，2，），并且，對任意 及狀態(tài) ，有2. 馬爾可夫鏈的定義 定義 稱 為n時刻的一步轉移概率。 若 ，即pij與n無關，稱轉移概率具有平穩(wěn)性.此時稱Xn,n0為齊次（或時齊的）馬爾可夫鏈。記P=(pij)，稱P為Xn,n0的一步轉移概率矩陣.3、轉移概率4、馬爾可夫鏈的例子顯然Yn , n1也是一馬爾可夫鏈。例1 獨立

2、隨機變量和的序列 設 Yn,n1為獨立同分布隨機變量序列，且Yn取值為非負整數，其概率分布為PYn=i=ai，i=0,1,2, 令X0=0,Xn=Y1+ Yn ，則易證Xn,n0是一馬爾可夫鏈，且例2 M/G/1排隊系統 假設顧客依參數為 的泊松過程來到一服務中心，只有一個服務員，來客發(fā)現服務員空著即刻得到服務；其他人排隊等待服務。相繼來到的顧客的服務時間Ti假定為相互獨立的隨機變量，具有共同的分布G；且假定他們與來到過程獨立。 M/G/1排隊系統中字母M代表顧客來到時間間隔服從指數分布， G代表服務時間的分布， 數字1代表只有一個服務員。 若以X(t)記在t時刻系統中的顧客數，X(t),t0

3、則不具馬爾可夫性。因為，若我們知道在t時刻系統中的顧客數，那么為了預測將來的狀態(tài)，我們不用關心從最近的一位顧客來到后已過去了多長時間（因為來到過程是無記憶的），但和服務中的顧客服務了多長時間有關（因為服務時間分布不具無記憶性）。Xn-第n個顧客走后剩下的顧客數，Yn -第n+1個顧客接受服務期間來到的顧客數，則容易證明Yn，n1獨立同分布，且因此， Xn，n1是馬爾可夫鏈。其轉移概率為 為了克服上述困難，我們可以只在顧客離去的時刻考察系統，記例3 G / M /1排隊系統 來到時間間隔分布為G，服務時間分布為指數分布，參數為 ，且與顧客到達過程獨立。 Xn-第n個顧客來到時見到系統中的顧客數（

4、包括該顧客），則Xn，n1是馬爾可夫鏈。記 Yn -第n個顧客來到時刻到第n+1個顧客來到時刻之間系統服務完的顧客數，則 pi0公式略有不同，它是服務臺由有i個顧客轉為空閑的概率，即第n個顧客來到時刻到第n+1個顧客來到時刻之間系統服務完的顧客數i+1。例4 直線上的隨機游動 （1）無限制的隨機游動 設有一質點在數軸上隨機游動，每隔一單位時間移動一次，每次只能向左或向右移動一單位，或原地不動。設質點在0時刻的位置為a,向右移動的概率為p，向左移動的概率為q，原地不動的概率為r(p+q+r=1),且各次移動相互獨立，以Xn表示質點經n次移動后所處的位置，則Xn,n0是一馬爾可夫鏈,轉移概率為Pi

5、,i+1=p, Pi,i-1=q, Pi,i=r, 其余Pi,j=0 （2）帶吸收壁的隨機游動 設（1）中的隨機游動限制在S=0,1,2, b，當質點移動到狀態(tài)0或b后就永遠停留在該位置，即p00=1, pbb=1，其余pij(1i,j b-1)同（1），這時Xn,n0稱為帶兩個吸收壁0和b的隨機游動 ，它是一有限狀態(tài)馬爾可夫鏈。例5 Polya（波利亞）模型 罐中有b只黑球及r只紅球，每次隨機地取出一只后把原球放回，并加入與抽出球同色的球c只，再第二次隨機地取球重復上面步驟進行下去，Xn=i表示第n回摸球放回操作完成后，罐中有i只黑球這一事件，所以這是一個非齊次的馬爾可夫鏈，在傳染病研究中有

6、用。 下面的定理提供了一個非常有用的獲得馬爾可夫鏈的方法，并可用于檢驗一隨機過程是否為馬爾可夫鏈。定理：設隨機過程Xn,n0滿足 （1） Xn=f(Xn-1,Yn),(n 1), 其中f:S S S,且Yn取值在S上， （2） Yn,n1為獨立同分布隨機變量，且X0與Yn,n1也相互獨立，則Xn,n0是馬爾可夫鏈，其一步轉移概率為 pij=Pf(i,Y1)=j證明：設n1 ，則Yn+1與X0, X1, , Xn相互獨立，事實上， 因為X1=f(X0,Y1)， Y2與X0,Y1獨立，所以， Y2與X1， X0獨立。同理， X2=f(X1,Y2)= f(f(X0,Y1),Y2)，所以， Y3與X2

7、， X1， X0獨立。歸納可得Yn+1與X0, X1, , Xn相互獨立。所以Xn,n0是馬爾可夫鏈，且所以有二、切普曼-柯爾莫哥洛夫方程 顯然馬爾可夫鏈Xn,n0的一步轉移概率矩陣P為隨機矩陣。2，n步轉移概率定義：設Xn,n0是一馬爾可夫鏈，稱1，隨機矩陣 定義：稱矩陣A=(aij)SS為隨機矩陣，若aij 0，且為馬爾可夫鏈Xn,n0的n步轉移概率。記稱為n時刻Xn的概率分布向量。稱為馬爾可夫鏈Xn,n0的初始分布向量。 結論：一個馬爾可夫鏈的特性完全由它的一步轉移概率矩陣及初始分布向量決定。 類似地可以證明馬爾可夫鏈任意個時刻的聯合分布也完全由一步轉移概率矩陣及初始分布向量決定。事實上

8、3、定理：切普曼-柯爾莫哥洛夫方程（C-K方程）或其中為馬爾可夫鏈Xn , n0的n步轉移概率矩陣。證明： 例（馬爾可夫預測）某種鮮奶A改變了廣告方式，經調查發(fā)現購買A種鮮奶及另外三種鮮奶B、C、D的顧客每兩個月的平均轉換率為：（假設市場上只有這4種鮮奶） A A（95%） B（2%） C（2%） D（1%） B A（30%） B（60%）C（6%） D（4%） C A（20%） B（10%）C（7%） D（0%） D A（20%） B（20%）C（10%） D（50%）假設目前購買A、B、C、D 4種鮮奶的顧客的分布為（25%，30%，35%，10%），求半年后鮮奶A、B、C、D的市場份額。

9、解 一階轉移矩陣為初始分布為則半年后A種鮮奶的市場占有率為（1）寫出狀態(tài)空間；（2）求P(2)；（3）問在甲獲得1分的情況下，再賽二局可以結束比賽的概率是多少？例 甲、乙兩人進行比賽，設每局比賽中甲勝的概率p，乙勝的概率是q，和局的概率是 r,(p+q+r=1)。設每局比賽后，勝者記“+1”分，負者記“-1”分，和局不記分。當兩人中有一人獲得2分結束比賽。以Xn表示比賽至第n局時甲獲得的分數。 解 （1）記甲獲得“負2分”為狀態(tài)1，獲得“負1分”為狀態(tài)2，獲得“0分”為狀態(tài)3，獲得“正1分”為狀態(tài)4，獲得“正2分”為狀態(tài)5，則狀態(tài)空間為一步轉移概率矩陣為（2）二步轉移概率矩陣（3）在P2中P4

10、5(2)是在甲得1分的情況下經二步轉移至2分從而結束比賽的概率； P41(2)是在甲得1分的情況下經二步轉移至-2分（即乙得2分）從而結束比賽的概率。解例 某計算機房的一臺計算機經常出故障,研究者每隔15分鐘觀察一次計算機運行狀態(tài),收集了24小時的數據 (共作97次觀察) . 用1表示正常狀態(tài), 用0表示不正常狀態(tài), 所得的數據序列如下:1110010011111110011110111111001111111110001101101分析狀態(tài)空間: I=0, 1. 例11101101101011110111011110111111001101111110011196 次狀態(tài)轉移的情況:因此,

11、一步轉移概率可用頻率近似地表示為:第二節(jié) 狀態(tài)的分類及性質 定義1 : 若存在某個n使得 ，則稱從狀態(tài)i可達狀態(tài)j，記為ij，如果ij且 j i ，則稱 i 與 j 相通，記為 。若一馬爾可夫鏈的任意兩個狀態(tài)都是相通的，則稱該馬爾可夫鏈是不可約的。 若pii=1。則稱狀態(tài) i 為吸收態(tài)。定理：相通是一種等價關系。即 定義2：若集合 則稱該數集的最大公約數d(i)為狀態(tài) i 的周期。若d(i) 1，稱i為周期的，若d(i) =1，稱i為非周期的。 注意：若狀態(tài) i 的周期為d ,則對一切n0（mod(d)）都有 ,但并非對任意的n，都有 。例如定理：則 d ( i )=d ( j )。證明：若i

12、與j相通，則存在m,n，使得對任意的s，若有 ，則則，對應狀態(tài)1而言，集合的最大公約數為2，所以， 。但是，當 時， 。但可以證明：對于充分大的n，有 。 因為d(i)是i的周期，所以d(i)應同時整除n+m和n+m+s，則d(i)一定整除s，而d(j)是j的周期，所以d(i)整除d(j)。反過來也可證明d(j)整除d(i)，于是d(i)= d(j)。定義3：首達時間定義為若右邊為空集，則令 Tij表示從i出發(fā)首次到達j的時間，Tii表示從 i 出發(fā)首次回到 i 的時間.定義4：首達概率定義為表示從i經n步首次到達j的 概率。顯然有定義5 fij表示過程從i出發(fā)在有限步內能夠到達j的概率，（或

13、者說從i出發(fā)遲早轉移到狀態(tài)j的概率）。fii表示過程從i出發(fā)在有限步內（遲早）回到狀態(tài)i的概率。定義6: 若fii=1, 則稱 i 為常返狀態(tài)， 若fii1, 則稱 i 為非常返狀態(tài)（或瞬時狀態(tài)或稱滑過的）。定義7: 若 i 為常返狀態(tài)，即 fii=1, 記稱 為從狀態(tài) i 出發(fā)再回到 i 的平均回轉時間（或平均回轉步數）。若 ，稱為正常返狀態(tài)，若 ，稱為零常返狀態(tài)。 定義8: 若狀態(tài) i 是正常返的并且是非周期的，則稱狀態(tài) i 為遍歷狀態(tài)。注：當 i 為非常返狀態(tài)（滑過的）時， 。定理： 與 有如下關系定理：狀態(tài) i 是常返狀態(tài)，當且僅當狀態(tài) i 是非常返狀態(tài)，當且僅當證明：約定 ，的含義則

14、表示過程到達 i 的次數。所以表示過程從 i 出發(fā)返回到 i 的平均次數。 若狀態(tài) i 是滑過的（非常返的）則 即滑過狀態(tài)i只能有限次到達i 。從而有限狀態(tài)的馬爾可夫鏈不可能全部狀態(tài)都是滑過的。即有限狀態(tài)的馬爾可夫鏈至少有一個狀態(tài)是常返的。 定理：若 ，則 i, j 同為常返的和非常返的。即常 返性具有類性質。若為常返的，則它們同為正常返狀態(tài)或零常返狀態(tài)。 證明：由 ，知存在n, m， 使得 ，由C-K方程總有所以， 相互控制，同為無窮或有限，從而同為常返或非常返。 以Nj(t)記到時刻t為止轉移到j的次數。若j是常返的，且X0=j，則因為一旦轉移到j，過程在概率上重新從頭開始，故Nj(t),

15、t0是一個來到時間間隔分布為 的更新過程。若X0=i ， ，且j是常返的，則Nj(t),t0是一個延遲更新過程，其初始來到時間間隔分布為 。 為什么要將狀態(tài)進行分類呢？ 常返態(tài)表明，過程從常返狀態(tài)出發(fā)能無窮次返回該狀態(tài)，而滑過狀態(tài)最多只能有限次地返回，因此，隨著時間的發(fā)展，滑過狀態(tài)將逐漸消失。所以，在對Markov鏈作穩(wěn)態(tài)設計時，滑過狀態(tài)是不予考慮的，這也說明了區(qū)分常返態(tài)與滑過狀態(tài)是十分重要的。例 考慮直線上無限制的隨機游動，狀態(tài)空間為轉移概率為則對于狀態(tài)0，有由斯特林(Stirling)公式可知：當n充分大時有所以注意到所以，當 時， 此時，狀態(tài)0是常返的。當 時，此時，狀態(tài)0是滑過的。 由

16、于過程的各個狀態(tài)都是相通的，由此可判斷其它狀態(tài)的常返性。例轉移矩陣試對其狀態(tài)分類。解按一步轉移概率，畫出各狀態(tài)間的傳遞圖21/4111/41/411/4143從圖可知，此鏈的每一狀態(tài)都可到達另一狀態(tài)，即4個狀態(tài)都是相通的?？紤]狀態(tài)1是否常返，類似地可求得所以于是狀態(tài)1是常返的。又因為所以狀態(tài)1是正常返的。由定理可知，此鏈所有狀態(tài)都是正常返的。例設馬氏鏈的狀態(tài)空間I=0,1,2,，其一步轉移概率為其中試證此馬氏鏈是一個不可約常返態(tài)鏈證先證I不可約設i，j是I中任意兩個狀態(tài)，則有類似地可證所以即I中任意兩個狀態(tài)都是相通的。因此，I是一個不可約的閉集再證I中狀態(tài)0是一個常返態(tài)：由狀態(tài)的轉移規(guī)則，得所

17、以102345由定義知狀態(tài)0為常返態(tài)。因此，由定理知I中所有狀態(tài)都是常返態(tài)。故此馬氏鏈為不可約常返鏈。 例 股票價格的馬爾科夫性 考慮離散時間的股票價格過程，對時間t (t=0,1,2, ),設S(t)表示某一股票在t 時刻的價格，每間隔一個單位時間股票價格以概率q上升到前一期的u倍，或以概率1-q下降到前一期的 d 倍，且各次漲跌是相互獨立的，即以概率q,以概率1-q, 設S(0)=S，則 定義獨立同分布的隨機變量序列第 i 次上漲,第 i 次下跌。則并且定義第 i 次上漲,第 i 次下跌。則 是一Markov鏈。(隨機游動) 狀態(tài)空間的分解 定義1 設馬爾可夫鏈的狀態(tài)空間為S， ，若對任意

18、的 ，都有 ，則稱 C 為（隨機）閉集。若C 的狀態(tài)相通，則稱閉集C 是不可約的。 注：狀態(tài) i 是吸收態(tài)等價于單點集 i 是閉集；馬爾可夫鏈的整個狀態(tài)空間為 S 構成一閉集。 閉集 C 的直觀意義是自 C 的內部不能到達 C 的外部，這意味著系統狀態(tài)一旦進入閉集 C 內，它就永遠在C 中運動。 引理1 C是閉集的充要條件是對任意的都有 。 證明：充分性顯然，下證必要性，用歸納法證明：當n=1時，由定義知結論成立，假設 n=k 時結論成立，即對任意的 有 則 引理2 若 i 是常返的，且 ，則 。 證明：若假如 ，則以正概率 ，使得從 j 出發(fā)不能在有限步內到達 i 。而 ，這意味著系統中存在

19、著一個正概率，使得它從 i 出發(fā)不能在有限步內回到 i , 從而 ，與 i 是常返狀態(tài)矛盾，所以只能 。 引理3 若 i 是常返的，且 ，則 j 是常返的。 證明：由引理 2 知 ，于是存在 n 使得從而 ，即 。所以 。即 j 也是常返狀態(tài)。 定理1 所有的常返狀態(tài)構成一閉集。 證明：設 i 是常返狀態(tài)，且 ，則引理1，2知 ，且 j 也是常返狀態(tài)，說明從常返狀態(tài)出發(fā)只能到達常返狀態(tài)，不可能到達非常返狀態(tài)。 定理2 馬爾可夫鏈的狀態(tài)空間 S 可分解為其中 為基本常返閉集，且T 為所有非常返狀態(tài)組成的集合（不一定是閉集）。 【注】當系統從某非常返狀態(tài)出發(fā)，系統可能一直在非常返集 T 中（當 T

20、 為閉集時），也可能在某時刻離開 T 進入到基本常返集中運動，一旦進入到基本常返集，就永遠在該常返集中運動。 定理3 若 S 為有限集，則所有非常返狀態(tài)組成的集合 T 一定是非閉集。即不管系統自什么狀態(tài)出發(fā)，遲早要進入常返閉集。 推論 有限不可約馬爾可夫鏈的狀態(tài)都是常返態(tài)。即 定理4 設 是閉集，只考慮 上所得的 m步轉移概率子矩陣 ，則 是一隨機矩陣。 證明：顯然 ， 任取所以，矩陣 為隨機矩陣。 定理5 （系統進入基本常返閉集后的運動情形） 若基本常返閉集 中的狀態(tài)的周期為d，則 可進一步 d 個不交子集之和，即這些子集有性質：自 中任一狀態(tài)出發(fā)， 下一步（經1步轉移）必轉移到 中去。 如

21、果 i=d-1，則 i+1=d 解釋為0，即 中的的狀態(tài)下一步轉移到 中去。證略。第三節(jié) 極限定理與平穩(wěn)分布 一、極限定理 在實際應用中，人們常常關心兩個問題： （1）當 時， 的極限是否存在？ （2）當什么條件下，一個馬爾可夫鏈是一個平穩(wěn)序列？ 注意到： ，故對（1）的研究可轉化為對 的漸近性質的研究。即 是否存在？若存在，其極限是否與狀態(tài) i 有關？Markov鏈理論中，有關這一問題的定理統稱為遍歷定理。 問題(2) 的實際上是討論馬爾可夫鏈平穩(wěn)分布是否存在的問題。這兩個問題之間有密切聯系。 例1 設馬爾可夫鏈的轉移概率矩陣為現在來計算令則所以 定理1 若 j 是非常返態(tài)（滑過的）則對任意

22、的 i 有證明：因為所以，令 ，得（因為 j 是非常返態(tài)）顯然此時有 定理2 若 j 是常返態(tài)，則（1）若 ， 則有（2）若 時（不可達）則有證明（1）若 ，則 使得而故 （2）顯然。的含義則表示過程到達 j 的次數。所以表示過程從 i 出發(fā)進入狀態(tài) j 的平均次數。 定理3 若 j 是非常返態(tài)或零常返態(tài)，則對任意的 i 有 證明：定理1已證 j 是非常返態(tài)情形，當 j 是零常返態(tài)時，取 有，先固定 m ，令 得這是因為上式中 ，且是有限項和。從而再令 ，注意到所以 推論1 有限狀態(tài)的馬爾可夫鏈沒有零常返態(tài)。 推論2 有限狀態(tài)的馬爾可夫鏈的狀態(tài)不可能全為非常返狀態(tài)。 推論3 不可約的有限狀態(tài)馬

23、爾可夫鏈的狀態(tài)全為正常返的。 推論4 若馬爾可夫鏈有一個零常返態(tài)，則必有無限個零常返態(tài)。（由推論1可得）。 定理4 若 j 是正常返態(tài)，周期為 d , 則對任意的 i 及 有 當 j 是正常返狀態(tài)時情況較復雜，此時 不一定存在，即使存在也可能與 i 有關。這時有一下結論: (證略)其中 表示從狀態(tài) i 出發(fā)，在時刻 n=r (mod(d) 首次到達狀態(tài) j 的概率。且 推論1 若 j 是遍歷狀態(tài)（正常返的并且是非周期的），則對任意的狀態(tài) i S 有 證明：在定理4 中取 d =1, r = 0。 推論2 對于不可約的遍歷鏈（即所有狀態(tài)是遍歷狀態(tài)且相通），若對任意狀態(tài) i ，jS，有 注意到：若

24、 ，且 j 為常返態(tài)，則 。由推論1即得。 定理4 若 j 是常返狀態(tài)，則對任意的 i S， 有 推論 若不可約馬爾可夫鏈的狀態(tài)是常返狀態(tài)，則對任意的 i ，j S， 有 注意： 表示過程從 i 出發(fā)前 n個單位時間進入狀態(tài) j 的總的平均次數， 表示每單位時間到達狀態(tài) j 的平均次數，與 表達的含義相同。狀態(tài)性質判別法：i非常返i零常返i正常返i遍歷的二、平穩(wěn)分布與極限分布 1，定義：設pij是馬爾可夫鏈Xn, n1的轉移概率。若概率分布pj , j 0滿足則稱pj, j 0為Xn, n1的平穩(wěn)分布。記 則平穩(wěn)分布可表示為如下矩陣形式顯然有即 注意：由 知， 所以1是矩陣 P 的左特征值，平

25、穩(wěn)分布 是 P 的左特征向量。 證明：若馬爾可夫鏈 Xn, n0 的初始分布 即Xn與X0有相同的 分布，這說明過程Xn, n0是平穩(wěn)過程。這也是稱分布pj=PX0=j 為平穩(wěn)分布的原因。 定理：設 Xn, n0 是馬爾可夫鏈， 則 Xn, n0是平穩(wěn)過程的充要條件是其初始分布是平穩(wěn)分布。 是平穩(wěn)分布，則對任意的 n ，有 反之，若Xn, n0 是平穩(wěn)過程，則而所以即 是平穩(wěn)分布。 平穩(wěn)分布 可通過求方程組的非負解得到。其中 。 2，定義：若不可約馬爾可夫鏈是遍歷的（即所有狀稱為馬爾可夫鏈的極限分布。態(tài)相通且均為周期為1的正常返態(tài)），則極限 定理：不可約遍歷的馬爾可夫鏈有唯一的平穩(wěn)分布此時唯一

26、的平穩(wěn)分布就是極限分布。即 注：若狀態(tài)都是滑過的（非常返）或都是零常返的，則平穩(wěn)分布不存在。 證明：由定理4的推論2知不可約遍歷的馬爾可夫鏈的極限分布存在，且下證 是平穩(wěn)分布。由于則有易知上式中極限與求和可交換，則有再由C-K方程得，兩邊取極限得，即 ，從而 是平穩(wěn)分布。再證平穩(wěn)分布的唯一性： 假設還有另外一個平穩(wěn)分布 ，則有歸納可證令 有，因為 ，所以有 ，即平穩(wěn)分布是唯一的。 定理：一個不可約非周期的馬爾可夫鏈屬于下列兩種情況之一： 1，狀態(tài)或全是滑過的（非常返的）或全是零常返的。此時對一切的 i, j 有因而不存在平穩(wěn)分布。2，狀態(tài)全是正常返態(tài)。即此時 是平穩(wěn)分布，且不存在任何其它的平穩(wěn)

27、分布。此時極限分布即是平穩(wěn)分布。注：1，對于不可約的遍歷鏈（不可約、正常返、周期為1）因為所以， 可被解釋為馬爾可夫鏈長時間之后處于狀態(tài)j 的時間所占的比率。2，對于不可約的遍歷鏈，因為極限分布存在且等于平穩(wěn)分布，這意味著當n充分大時有， 即Xn,n0是一漸近平穩(wěn)序列(平穩(wěn)過程)，這在實際問題中是很有意義的。例設馬氏鏈的狀態(tài)空間I = 0,1,2,，轉移概率為試討論各狀態(tài)的遍歷性。解根據轉移概率作出狀態(tài)傳遞圖1/21/21/21/21/21/20121/231/2從圖可知，對任一狀態(tài) 都有 ，故由定理可知，I 中的所以狀態(tài)都是相通的，因此只需考慮狀態(tài)0是否正常返即可。故從而0是常返態(tài)。又因為所

28、以狀態(tài)0為正常返。又由于故狀態(tài)0為非周期的從而狀態(tài)0是遍歷的。故所有狀態(tài)i都是遍歷的。例設有6個球（其中2個紅球，4個白球）分放于甲、乙兩個盒子中，每盒放3個，今每次從兩個盒中各任取一球并進行交換，以 表示開始時甲盒中紅球的個數， （ ）表示經n次交換后甲盒中的紅球數。( 1 ) 求馬氏鏈 ， 的轉移概率矩陣；( 2 ) 證明 ， 是遍歷的；（3）求（4）求解其一步轉移矩陣為甲乙紅球0白球3紅球2白球1紅球1白球2紅球1白球2紅球2白球1紅球0白球3并作出狀態(tài)傳遞圖1/32/95/92/32/91/30122/3（2）由于它是一個有限馬氏鏈，故必有一個常返態(tài)，又鏈中三個狀態(tài)0、1、2都相通，所

29、以每個狀態(tài)都是常返態(tài)。所以是一個不可約的有限馬氏鏈，從而每個狀態(tài)都是正常返的。所以此鏈為非周期的。故此鏈是不可約非周期的正常返鏈，即此鏈是遍歷的。（2）可以利用定理證明遍歷性解之得故得（4）討論對時間連續(xù)狀態(tài)離散的馬爾可夫過程，取時間參數 ，狀態(tài)空間I=0,1,2,第五節(jié) 時間連續(xù)馬爾可夫鏈一、定義及性質時間連續(xù)的馬爾可夫鏈轉移概率齊次馬氏鏈轉移概率僅由t決定而與s無關2性質性質1切普曼柯爾莫哥洛夫方程性質2連續(xù)時間齊次馬氏鏈的有限維概率分布由它的初始分布和轉移矩陣所確定注性質3注對時間來說是可逆性性質4已知現在，那么過去與將來是獨立注性質5 （遍歷性定理）馬爾可夫定理設 , 是狀態(tài)空間I=0,1，2,s的時間連續(xù)的齊次馬氏鏈，則的滿足條件的唯一解。例1考慮一個電話總機接到的呼喚流，以 表示這個總機在0，t中接到的呼喚次數，由于呼喚流在不相交的時間區(qū)間中接到的呼喚次數是相互獨立的，且 服從泊松分布，所以 是一個時間連續(xù)狀態(tài)離散的馬氏過程，而且是齊次的。寫出它的轉移概率。當呼喚次數 時轉移概率當 時其狀態(tài)空間I=0，1，2，轉移概率為1隨機連續(xù)則稱 是隨機連續(xù)的