隨機(jī)過程第五章馬爾可夫過程

1、第五章 馬爾可夫過程5.1 馬爾可夫過程定義5.2 馬爾可夫鏈的轉(zhuǎn)移概率及概率分布5.3 齊次馬爾可夫鏈狀態(tài)的分類5.4 轉(zhuǎn)移概率的穩(wěn)定性能5.5 狀態(tài)離散參數(shù)連續(xù)的馬爾可夫過程5.6 Kolmogorov1馬爾可夫過程是隨機(jī)過程中歷史最悠久且充滿活力的一類隨機(jī)過程.自20世紀(jì)初俄羅斯數(shù)學(xué)家A.A.MapkoB等人開始研究馬爾可夫過程以來,可以說久盛不衰. 它有極為深厚的理論基礎(chǔ),如拓?fù)鋵W(xué)、函數(shù)論、泛函分析、近世代數(shù)和幾何學(xué); 又有廣泛的應(yīng)用空間,如近代物理、隨機(jī)分形、公共事業(yè)中的服務(wù)系統(tǒng)、電子信息、計(jì)算機(jī)技術(shù)等. 自然界很多現(xiàn)象遵從這樣的演變規(guī)則:由時(shí)刻t0系統(tǒng)或過程所處的狀態(tài)(現(xiàn)在)可以決

2、定系統(tǒng)或過程在時(shí)刻tt0所處的狀態(tài)(將來),而無需借助于t0以前系統(tǒng)或過程所處狀態(tài)(過去)的歷史資料. 如微分方程初值問題即屬于此.25、1 馬爾可夫過程定義3452）時(shí)間離散 狀態(tài)連續(xù) 馬爾可夫序列3）時(shí)間連續(xù) 狀態(tài)離散 純不連續(xù)馬爾可夫過程 泊松過程 更新過程 生滅過程 排隊(duì)服務(wù)系統(tǒng)4）時(shí)間狀態(tài)連續(xù) 維納過程65、2 馬爾可夫鏈的轉(zhuǎn)移概率及概率分布設(shè)Markov鏈 狀態(tài)空間為S1轉(zhuǎn)移概率(1) 定義： n時(shí)刻 k步轉(zhuǎn)移 n+k時(shí)刻 稱為n時(shí)刻的k步轉(zhuǎn)移概率， 描述Markov鏈特性的重要概念，為條件概率。7(2) 性質(zhì) 故 作為第i行，第j列元素構(gòu)成矩陣 , 為轉(zhuǎn)移概率矩陣， 隨機(jī)矩陣：

3、每元素非負(fù)， 每行元素之和為1。8(3) 一步轉(zhuǎn)移概率如果k=1 記為一步轉(zhuǎn)移概率矩陣 9(4) 0步轉(zhuǎn)移概率k=0 連續(xù)性條件 則 單位矩陣10例 狀態(tài)空間 ，系統(tǒng)在n時(shí)刻的k步轉(zhuǎn)移概率矩陣為112、chapman-kolmogorov方程 （C-K方程）描述轉(zhuǎn)移概率之間的關(guān)系.過程開始 n時(shí)刻處于i狀態(tài) 經(jīng)過k+m步的轉(zhuǎn)移到達(dá)j狀態(tài)轉(zhuǎn)移概率滿足如下方程 C-K方程的矩陣形式 12利用全概率公式，條件概率公式ijn+knln+k+m證明：13特殊地，在C-K方程中，m=1, 有14故有結(jié)論：馬爾可夫鏈的k步轉(zhuǎn)移概率由一步轉(zhuǎn)移概率完全決定。153、馬爾可夫鏈的分布（1）初始分布時(shí)間 ，n=0為

4、初始時(shí)刻，此時(shí)的概率分布 為馬爾可夫鏈的初始分布 所有的 構(gòu)成矢量（行） ，為初始分布向量16（2）有限維分布： 由初始分布和一步轉(zhuǎn)移概率決定證明： 狀態(tài) ,有限維分布為17故可知馬氏鏈的有限維分布由初始分布和一步轉(zhuǎn)移概率決定18（3）絕對(duì)分布n時(shí)刻系統(tǒng)處于某狀態(tài)的概率 為馬氏鏈的絕對(duì)分布構(gòu)成絕對(duì)分布的行矢量 絕對(duì)分布由初始分布和轉(zhuǎn)移概率決定19由全概率公式和馬爾可夫性用矩陣和矢量表示為 20相鄰兩時(shí)刻的絕對(duì)分布的關(guān)系 或 214、齊次馬爾可夫鏈轉(zhuǎn)移概率描述Markov鏈 如果 與起始時(shí)刻無關(guān)，則稱為齊次馬氏鏈。只與轉(zhuǎn)移的步長(zhǎng)有關(guān)，用 表示k步轉(zhuǎn)移概率可假設(shè)時(shí)間起點(diǎn)為0，即 22轉(zhuǎn)移矩陣為 此

5、時(shí)一步轉(zhuǎn)移概率可表示為 一步轉(zhuǎn)移概率矩陣為 ，主要討論齊次鏈如狀態(tài)空間23對(duì)齊次鏈可用狀態(tài)轉(zhuǎn)移圖表示01211/21/21/21/224對(duì)齊次鏈，有關(guān)C-K方程和概率分布可簡(jiǎn)化C-K方程 絕對(duì)分布 故有 255舉例 例1：天氣預(yù)報(bào)問題假如明天是否有雨僅與今日是否有雨有關(guān)，與過去的天氣無關(guān)。設(shè)今日下雨明日下雨的概率為0.7，今日無雨明日有雨的概率為0.4。又假設(shè)有雨定義為0狀態(tài)、無雨定義為1狀態(tài)，則可以表示為兩個(gè)狀態(tài)的馬爾可夫鏈， ，一步狀態(tài)轉(zhuǎn)移概率矩陣為26由CK方程，兩步轉(zhuǎn)移矩陣為四步轉(zhuǎn)移矩陣為 27如今日為時(shí)刻0，則今日有雨且第四日仍有雨的概率為 又設(shè)今日有雨的概率為則第四日仍然有雨的概率

6、為 28例2： 多級(jí)數(shù)字信號(hào)傳輸（級(jí)聯(lián)）傳送兩種信號(hào)0，1 每級(jí)正確傳送概率為p，錯(cuò)誤為1-p單位時(shí)間傳送一級(jí)， 是第一級(jí)的輸入， 是第n級(jí)的輸入，則 是以 為狀態(tài)空間的齊次馬氏鏈，一步轉(zhuǎn)移概率矩陣為 29(1)設(shè) ，求系統(tǒng)二級(jí)傳輸后的傳真率、三級(jí)傳輸后的誤碼率。(2)設(shè)初始分布為 ， ，又已知系統(tǒng)經(jīng)n級(jí)傳輸后的輸出為1，求原發(fā)的數(shù)字信息是1的概率01qqpp30解： 求解多步轉(zhuǎn)移概率矩陣 利用矩陣的相似變換 ，則 H由P的特征向量構(gòu)成。 由 構(gòu)成方程組，求得特征值為 相應(yīng)的特征向量是方程組的解 31解得 故 32 因此 （1） 系統(tǒng)二級(jí)傳輸后的傳真率為 三級(jí)傳輸后的誤碼率為 33（2）由Ba

7、yes公式，如n級(jí)輸出為1，原發(fā)送為1的概率為 34例3： 無限制的隨機(jī)游動(dòng)質(zhì)點(diǎn)在直線上作隨機(jī)游動(dòng)，如果在某時(shí)刻處于i，則下時(shí)刻以概率p向右移動(dòng)一格到i+1，或以概率q=1-p向左移動(dòng)到i-1。以 表示n時(shí)刻所處的位置，則 是一個(gè)隨機(jī)過程，且具有無后效性，為一齊次馬氏鏈，狀態(tài)空間為 。 35一步轉(zhuǎn)移概率為用矩陣表示為 36用狀態(tài)轉(zhuǎn)移圖 i-1ii+1ppppqqqq37例4：帶有一個(gè)吸收壁的隨機(jī)游動(dòng)規(guī)則如上，當(dāng)質(zhì)點(diǎn)一點(diǎn)到達(dá)0狀態(tài)就停止不動(dòng)，0稱為吸收狀態(tài)狀態(tài)空間為 0121qqp.p38例5 帶有二個(gè)吸收壁的隨機(jī)游動(dòng) 0，a為吸收態(tài)0121qqppa139例6 帶有反射壁的隨機(jī)游動(dòng)設(shè)定不同的規(guī)

8、則，可得到各種不同的隨機(jī)游動(dòng)模型012qqqp.012qqqppa40例7：艾倫菲斯特問題設(shè)壇中裝有m個(gè)球，或?yàn)榧t色，或?yàn)楹谏?，從壇中隨機(jī)取出一球，并換入一個(gè)相反顏色的球，設(shè)經(jīng)過n次取球后，壇中黑球數(shù)為 ，則 為齊次鏈， 一步轉(zhuǎn)移概率為 41i=0時(shí) m個(gè)紅球 ， 其他 i=1時(shí) m-1個(gè)紅球 1個(gè)黑球 ，其他 i=2時(shí) m-2個(gè)紅球 2個(gè)黑球 ，其他 . . .i=m時(shí),m個(gè)黑球 ，其他 42則43例8：離散分枝過程考慮某一群體，用 表示第n代中個(gè)體的數(shù)目。若某一代的每一個(gè)個(gè)體可以產(chǎn)生Y個(gè)下一代個(gè)體，Y為整值隨機(jī)變量，且 。又假設(shè)某一代中的各個(gè)個(gè)體產(chǎn)生下一代的個(gè)數(shù)是相互統(tǒng)計(jì)獨(dú)立的與Y同分布的

9、隨機(jī)變量序列 。因此，已知 ，則 可以表示為是一個(gè)馬爾可夫鏈。這類過程稱為離散分枝過程。44例8：馬爾可夫性的證明 已知一獨(dú)立隨機(jī)變量序列 ，其PDF為 ，另一序列 ，求證 ： 具有馬爾可夫性。證明： 或 與 無關(guān)45左邊 ， ， J=146右邊 47而左=右 具有馬爾可夫性。485、3 齊次馬爾可夫鏈狀態(tài)的分類從轉(zhuǎn)移概率出發(fā)，定義有關(guān)的數(shù)字特征（首達(dá)概率，首達(dá)時(shí)間，平均返回時(shí)間），根據(jù)它們對(duì)狀態(tài)進(jìn)行分類，進(jìn)行狀態(tài)空間的分解。一、狀態(tài)的基本屬性1、首達(dá)概率，遲早進(jìn)入概率1）首達(dá)概率（首次進(jìn)入概率）系統(tǒng)在0時(shí)從狀態(tài)i出發(fā)經(jīng)過n次轉(zhuǎn)移后首次到達(dá)狀態(tài)j的概率492）遲早進(jìn)入概率 系統(tǒng)在0時(shí)從狀態(tài)i出

10、發(fā)經(jīng)過有限步轉(zhuǎn)移后，遲早要回到j(luò)的概率特殊的， 為從狀態(tài)i出發(fā)永遠(yuǎn)也不能回到j(luò)的概率 表示從狀態(tài)i出發(fā)經(jīng)有限步回到i的概率50例：012515253例： 甲、乙兩人比賽，設(shè)甲勝的概率為p，乙勝的概率為q，和局的概率為r， 。設(shè)每局比賽后，勝者記1分；負(fù)者記1分；和局不記分。當(dāng)兩人中有人獲得2分結(jié)束比賽。以 表示比賽至n局時(shí)甲的得分。（1）寫出狀態(tài)空間。（2）寫出一步轉(zhuǎn)移概率矩陣。（3）求甲獲得1分的情況下，再比賽2局結(jié)束比賽的概率。54解： 有兩個(gè)吸收壁的隨機(jī)游動(dòng)。狀態(tài)空間 一步轉(zhuǎn)移概率矩陣為 55畫出狀態(tài)轉(zhuǎn)移圖甲獲得1分的情況下，再比賽2局結(jié)束比賽的概率為 。21012563） 的關(guān)系證明：

11、5758證明：根據(jù)首次進(jìn)入j狀態(tài)的時(shí)刻i的不同分成兩兩不相容的事件5960612、首達(dá)時(shí)（首次進(jìn)入時(shí)間）及有關(guān)關(guān)系定義： ，定義為系統(tǒng)從狀態(tài)i出發(fā)，首次到達(dá)狀態(tài)j的時(shí)間， ，從i狀態(tài)出發(fā)，到達(dá)j的首達(dá)時(shí)不同， 為一隨機(jī)變量，取值為非零正整數(shù)。當(dāng) 時(shí)，系統(tǒng)在有限時(shí)間內(nèi)不能從i到達(dá)j狀態(tài)，終生等待。62如 1) 13 632) 3) 平均轉(zhuǎn)移步長(zhǎng) 從狀態(tài)i出發(fā)，到達(dá)j的平均轉(zhuǎn)移步長(zhǎng) 平均返回時(shí)間643、周期設(shè) ，若集合 ，則其最大公約數(shù)為狀態(tài)i的周期，記為 。4、狀態(tài)類別 1）常返態(tài)和非常返態(tài) 為常返態(tài)，返回狀態(tài)， 為非常返態(tài)，滑過狀態(tài)65 2）正常返態(tài)和零常返態(tài) 平均返回時(shí)間 ，有限，正常返，積

12、極常返態(tài) 無限，零常返，消極常返態(tài) 3）周期態(tài)和非周期態(tài) ，i為周期態(tài)， ，為非周期態(tài) 4）遍歷態(tài) 正常返的非周期狀態(tài)665、到達(dá)、相通及有關(guān)關(guān)系1）定義 ，若 , 則稱i可到達(dá)j, 記為 ， 若 ，則i和j相通，記為 。2）到達(dá)的傳遞性 證明： 推廣67 3） 的充要條件 證明：充分性：若 ， ，即 故 ，使 ， 必要性 ： 如 68 而 ， 。 推廣，有 4）設(shè) ，j是常返態(tài)， ，則 ， 且 。69二、狀態(tài)屬性的判定1利用 判斷常返態(tài)和非常返態(tài)1） 的含義：從i出發(fā)返回i的平均次數(shù)定義 ， ，從i出發(fā)到達(dá)i的次數(shù)平均 70因此，常返態(tài) ，經(jīng)有限步總可以返回i，這樣從i出發(fā)、返回、出發(fā)、返回

13、，周而復(fù)始，無窮從返回i，次數(shù)無窮；而非常返態(tài) ，運(yùn)動(dòng)過程中，存在無法返回的可能，故有限次返回i。712） 狀態(tài)i為常返態(tài)，充要條件 如i為非常返態(tài)，則證明：概率分布 、 存在概率生成函數(shù)令 （s1）代入 7273 時(shí)，則有 對(duì)任意正整數(shù)N， 時(shí)，有 時(shí)， 不減，故在上式中先令 ，再對(duì) ，可得 74故對(duì) 兩邊取極限，可得故 的充要條件為 當(dāng)i為非常返態(tài)時(shí)， ， 。 752、常返態(tài)的判別（1） （2） （3）3、非常返態(tài)的判別（1） （2） （3） 76例 01237778而 ，其他 ，故 所有 ，故 因此 0、1為正常返態(tài)，2、3為非常返態(tài)。79例 常返態(tài)0，1，3非常返態(tài) 2012380例

14、， 021381同理狀態(tài) 1，2，3的周期也為2。故此鏈為周期為2的周期鏈。824、推論1 若j為非常返態(tài)，則對(duì)任意 ，有證明： 對(duì)兩邊求和83求極限又由于 ，故 845、推論2 若j為常返態(tài)，則 時(shí)，否則證明： 因 使 。而 85對(duì)上式兩邊求和 ，有而 當(dāng)i不能到達(dá)j時(shí)，顯然成立。6、定理 ，i為常返態(tài)且周期為 ，則 存在。 是狀態(tài)i的平均返回時(shí)間。867、定理設(shè)i為常返態(tài)，則a)i是零常返態(tài)的充要條件為 ， 。b)i為遍歷的充要條件為 （正常返，非周期態(tài)）。 推論： 是非常返態(tài)或零常返態(tài)，則 。878、周期性狀態(tài)的判定（1）若 ，使得 ，則狀態(tài)i非周期。 (2) 若 ,使得m步轉(zhuǎn)移概率矩陣

15、 中相對(duì)于狀態(tài)j的那列元素全不為0，則j非周期。利用C-K方程，可推到（1）情況。（3）設(shè)狀態(tài)i的周期為d，則必存在正整數(shù) ，使得當(dāng) 時(shí)都有 。889、互通的狀態(tài)具有相同的狀態(tài)類型 ，則i和j或同為非常返態(tài)、零常返態(tài)、正常返非周期狀態(tài)（遍歷態(tài)）、正常返周期狀態(tài)且周期相同。例：設(shè) 為貝努利方程，定義另一個(gè)過程 ，如 ；如 則 。 表示在n時(shí)和n前 連續(xù)出現(xiàn)的次數(shù).89（1）說明 ，為馬爾可夫鏈。（2）求 。（3）判斷此馬爾可夫鏈的常返性和非常返性。（4）設(shè)T表示連續(xù)兩個(gè) 之間的時(shí)間，求其均值，方差。90解：1）貝努利過程 且各 之間統(tǒng)計(jì)獨(dú)立，討論 的關(guān)系. 已知 的條件下，故 只與 有關(guān)，與n-

16、1時(shí)之前的狀態(tài)無關(guān)，具有無后效性，為馬爾可夫鏈。91寫出一步轉(zhuǎn)移概率，狀態(tài)空間0123pppqqq9293平均返回時(shí)間所以, 狀態(tài)0為常返態(tài)，又各狀態(tài)相通，故為正常返鏈，且是不可約的。 944）為齊次鏈，時(shí)刻從0開始所求的即是從0狀態(tài)到0狀態(tài)的首達(dá)時(shí)間而95或直接利用公式 96例 壇中有紅、黃、黑三種顏色的球，隨機(jī)從壇中取球。取到紅球和黑球的概率為0.4，取到黑球的概率為0.2。根據(jù)取到的球的顏色積分，紅球得1分，黑球得負(fù)1分，黑球得0分。以 表示第n次的總積分，且設(shè) 。（1）說明 是一個(gè)齊次馬爾可夫鏈；（2）寫出狀態(tài)空間和一步狀態(tài)轉(zhuǎn)移概率矩陣；（3）求兩步狀態(tài)轉(zhuǎn)移概率矩陣；（4）求 和 。9

17、7解：（1）設(shè)第n次取球的結(jié)果用 表示，假設(shè)取紅球時(shí) 取黑球時(shí) 取黃球時(shí) 由題意可得 可以看出，在 狀態(tài)已知的條件下， 的狀態(tài)只與 有關(guān)，與 之前的狀態(tài)無關(guān)，具有無后效性。又概率與起始和終止時(shí)刻無關(guān)，是齊次的馬爾可夫鏈。98（2）狀態(tài)空間為 轉(zhuǎn)移概率為99三、狀態(tài)空間的分解 利用狀態(tài)相通，等價(jià)關(guān)系（自反性，對(duì)稱性，傳遞性）進(jìn)行狀態(tài)空間分解1、有關(guān)概念1）閉集：設(shè)C是S的一個(gè)子集，如果 ，有 ，則稱C為閉集，或 ，有 ，集合C中的狀態(tài)不能到集合外的狀態(tài)。 2）吸收狀態(tài)：設(shè) ，如集合 為閉集，則為吸收態(tài)。3）不可約閉集：設(shè)C為閉集，如C中不再含有任何非空真子集，則C為不可約閉集，或C為不可約的。4

18、）不可約馬爾可夫鏈：如果狀態(tài)空間S是不可約的，則為不可約鏈，包含唯一的閉集，本身。1002、有關(guān)定理和結(jié)論1）C是閉集的充要條件為 證：設(shè)C為閉集，顯然 反之，利用 ，推出C為閉集， 即 。 。 101假設(shè) 時(shí)， ， 。 當(dāng) 時(shí)， 所以 成立。 所以 當(dāng) 時(shí)， 成立， 故 C 為閉集。1022） C是閉集的充要條件為 則以C為狀態(tài)空間邊構(gòu)成一馬氏鏈， ，稱為原鏈的子鏈。 。3） C是閉集的充要條件為 。4） 是吸收態(tài)的充要條件為 。5）設(shè)C為閉集，當(dāng)且僅當(dāng)C中的任何兩個(gè)狀態(tài)相通時(shí)，C 是不可約的，不包含其它的子閉集。6）所有常返態(tài)構(gòu)成一個(gè)閉集。 1033、狀態(tài)空間分解 齊次馬氏鏈的的狀態(tài)空間可

19、唯一分解成有限個(gè)或可列個(gè)互不相交的子集 ， 其中D為所有非常返態(tài)集合， 為常返態(tài)組成的不可約閉集（基本常返閉集） 各子集中的狀態(tài)有相同的類型。4、有限馬爾可夫鏈的狀態(tài)空間 有限鏈的所有非常返態(tài)構(gòu)成的集合不是閉集。 有限鏈沒有零常返態(tài)，只有正常返態(tài)和非常返態(tài)。1045、不可約馬爾可夫鏈的狀態(tài)空間 不可約鏈或沒有非常返態(tài)或沒有常返態(tài)。 有限不可約鏈只有正常返態(tài)。 例： 105分析狀態(tài)間的到達(dá)，相通，狀態(tài)分類，寫出所有閉集，馬氏子鏈、解：相通狀態(tài) 常返態(tài)， 非常返態(tài) 閉集 ，為可約的鏈 其中馬爾可夫子鏈的狀態(tài)空間為 ，其一步轉(zhuǎn)移概率矩陣為 ，為隨機(jī)矩陣。 1065、4 轉(zhuǎn)移概率的穩(wěn)定性能在實(shí)際應(yīng)用中

20、，關(guān)心 （1）絕對(duì)分布 的極限是否存在？由于 ，故可轉(zhuǎn)換為研究 的漸進(jìn)性質(zhì)，即 的極限是否存在？如存在，是否與i或j有關(guān)？ （2）什么條件下是平穩(wěn)序列？即平穩(wěn)分布問題。107一、轉(zhuǎn)移概率的極限1、狀態(tài)j為零常返態(tài)或非常返態(tài) 對(duì)任意的 ，此時(shí)有 2、狀態(tài)j為正常返態(tài) 若j為正常返態(tài)，周期為d，則對(duì)任意的 ， 有其中 ，108如 周期為3的馬爾可夫鏈 有 109若j為遍歷態(tài)，則對(duì)任意，有對(duì)不可約的遍歷鏈， ，有 此時(shí)轉(zhuǎn)移概率矩陣的極限為110如某鏈的一步轉(zhuǎn)移概率矩陣為故即不論系統(tǒng)從哪一狀態(tài)出發(fā)，當(dāng)轉(zhuǎn)移步長(zhǎng)足夠大時(shí)，轉(zhuǎn)移到某一狀態(tài)的概率為常數(shù)，與初始狀態(tài)無關(guān)。1113、定理 有限狀態(tài)的馬爾可夫鏈，狀

21、態(tài)空間為S，m步轉(zhuǎn)移概率矩陣為 。如果存在 ，使對(duì)狀態(tài)空間中的任何狀態(tài)i和j，有 ，則 存在與i無關(guān)，即 或 1124、定理 若馬爾可夫鏈?zhǔn)遣豢杉s的遍歷鏈，則 是方程組滿足條件的唯一解。113二、平穩(wěn)分布1、定義 定義在S上的概率分布 ，如果滿足即 或 則稱 為鏈的一個(gè)平穩(wěn)分布。對(duì)一個(gè)平穩(wěn)分布 ，滿足 或 1142、設(shè) 為馬爾可夫鏈，則 是嚴(yán)格平穩(wěn)過程的充要條件是其初始分布 為平穩(wěn)分布，即 證明：充分性 設(shè) 由于初始分布即是平穩(wěn)分布，故 115即任意時(shí)刻的絕對(duì)分布恒為 ，保持不變 ，狀態(tài) ， 任意的t有限維分布為 有限維概率分布不隨著時(shí)間的變化而變化，是嚴(yán)格平穩(wěn)過程。116必要性 如果 是嚴(yán)格

22、平穩(wěn)過程，則其一維分布與時(shí)間無關(guān)有由于 ，可得 ，即 為平穩(wěn)分布3、結(jié)論1 不可約馬氏鏈的遍歷鏈存在唯一平穩(wěn)分布且 。 在不可約的遍歷態(tài)構(gòu)成的馬氏鏈中，平穩(wěn)分布唯一且為極限分布。 117可通過解方程組求平穩(wěn)分布例 狀態(tài)空間 ，判斷是否遍歷？求極限分布 。 解： 118故為遍歷的且為不可約鏈，正常返態(tài)。設(shè)平穩(wěn)分布為 ，滿足 如為可約的馬氏鏈，平穩(wěn)分布如何？4、結(jié)論2 對(duì)齊次馬氏鏈1）平穩(wěn)分布存在的充要條件存在正常返態(tài)的不可約閉集2）存在唯一平穩(wěn)分布 只有一個(gè)正常返態(tài)的不可約閉集3）存在無限個(gè)平穩(wěn)分布 至少有兩個(gè)不同的正常返的不可約閉集4）不可約鏈存在唯一平穩(wěn)分布 所有狀態(tài)都是正常返態(tài)119 例

23、狀態(tài)空間 ，一步轉(zhuǎn)移概率矩陣為 狀態(tài)轉(zhuǎn)移圖為120常返態(tài)為 4， 非常返態(tài)為0，1，2，3閉集：0,1,2,3,4、4非周期鏈，是只有一個(gè)常返態(tài)的不可約閉集平穩(wěn)分布唯一 ，為 。例 的齊次馬氏鏈1）狀態(tài)分類，寫出所有閉集；2）求平穩(wěn)分布，是否唯一；3）求121（1）所有閉集 狀態(tài)空間分解為 所有閉集： 5、0,1,2、3,4、5,0,1,2（基本常返閉集） 5,3,4、0,1,2,3,4、5,0,1,2,3,4、6,5,0,1,2,3,4 122（2）存在平穩(wěn)分布，不唯一 ，設(shè) 平穩(wěn)分布123（3）從狀態(tài)轉(zhuǎn)移圖可以求出5、動(dòng)態(tài)平衡法求平穩(wěn)分布 時(shí)，過程達(dá)到穩(wěn)態(tài)，把狀態(tài)空間分成兩個(gè)子集則從的狀態(tài)

24、進(jìn)入內(nèi)的狀態(tài)的的概率為稱為從等于從到的概率流。 同理，從 的狀態(tài)進(jìn)入 內(nèi)的狀態(tài)的的概率為 ，稱為從等于從 到 的概率流124不論 如何劃分，總有證明： ， 即 有 分別對(duì) 求和 125上兩式相減而故有126可以利用動(dòng)態(tài)平衡法來求平穩(wěn)分布。例設(shè)平穩(wěn)分布為解得123127例 具有一個(gè)反射壁的隨機(jī)游動(dòng)，向右移動(dòng)一格的概率為p，向左移動(dòng)一格的概率為q，狀態(tài)空間為0,1,2,3,，各狀態(tài)之間是相通，是不可約的馬爾可夫鏈， 求平穩(wěn)分布。解： 轉(zhuǎn)移概率為 其它設(shè)平穩(wěn)分布為0123j128根據(jù)動(dòng)態(tài)平衡法，將狀態(tài)空間分為0、1,2,3,得到將狀態(tài)空間分為0,1、2,3,，可得同理 又 當(dāng) 時(shí)，收斂 ， 為正常返

25、鏈。129平均返回時(shí)間為 ，狀態(tài)j距離0狀態(tài)越遠(yuǎn)，平均返回時(shí)間越長(zhǎng)。當(dāng) 時(shí)， ，發(fā)散， 為零常返鏈，平均返回時(shí)間為無窮。當(dāng) 時(shí)， ，發(fā)散， 非常返鏈，無極限分布。1305、5 狀態(tài)離散參數(shù)連續(xù)的馬爾可夫過程純不連續(xù)的馬爾可夫過程一基本概念與性質(zhì)1定義 隨機(jī)過程 ，時(shí)間參數(shù)集合可數(shù)狀態(tài)空間 ，對(duì)任意n個(gè)時(shí)刻 ，狀態(tài) ，均有則 為一連續(xù)時(shí)間的可數(shù)狀態(tài)的馬爾可夫過程，或純不連續(xù)的馬爾可夫過程。 如泊松過程、生滅過程等。131此過程參數(shù)連續(xù)，狀態(tài)可數(shù)，系統(tǒng)處于某個(gè)狀態(tài)不變，直到某個(gè)瞬間狀態(tài)發(fā)生跳躍到另一狀態(tài)。此后一直停留在這一狀態(tài)中知道發(fā)生新的跳躍為止。狀態(tài)在t1 ,t2 發(fā)生跳躍， 隨機(jī)變量， 跳躍

26、大小也隨機(jī)。 假定右連續(xù)，在跳躍點(diǎn)進(jìn)入狀態(tài) X(t)=X(t+0)0 t1 t2 t3 t41322. 轉(zhuǎn)移概率 兩時(shí)刻 狀態(tài)3C-K方程 馬氏鏈 此時(shí) 或 133二齊次的純不連續(xù)馬爾可夫過程若狀態(tài)可數(shù)的馬爾可夫過程的轉(zhuǎn)移概率只與轉(zhuǎn)移的時(shí)間差有關(guān)（ ），與時(shí)刻本身無關(guān)，則為齊次的純不連續(xù)馬爾可夫過程。即 t為時(shí)間差可構(gòu)成狀態(tài)轉(zhuǎn)移概率矩陣 其C-K方程為 用矩陣表示 1345、6 Kolmogorov方程1標(biāo)準(zhǔn)狀態(tài)轉(zhuǎn)移概率矩陣 （齊次過程）如 滿足連續(xù)性條件 則稱 為標(biāo)準(zhǔn)狀態(tài)轉(zhuǎn)移概率矩陣，表明系統(tǒng)剛進(jìn)入一狀態(tài)又離開是不可能的，也就是無窮短的時(shí)間內(nèi)不可能發(fā)生跳躍。1352跳躍強(qiáng)度和密度矩陣轉(zhuǎn)移概率

27、是關(guān)于t的一致連續(xù)且可微的函數(shù)對(duì)一切很小的 ，有 存在且有限則稱 為純不連續(xù)馬爾可夫過程的無窮小轉(zhuǎn)移率或跳躍強(qiáng)度136或 討論 的特點(diǎn)： 非負(fù)數(shù) 非正數(shù)又137由跳躍強(qiáng)度定義轉(zhuǎn)移率矩陣、密度矩陣、Q矩陣可得到Q矩陣的特點(diǎn)：每行元素之和為0，非對(duì)角線元素為非負(fù)數(shù)，對(duì)角線元素為非正數(shù) 。Q矩陣的結(jié)構(gòu)決定了不同的Markov過程。下面討論如何求 (根據(jù)Q矩陣) 是由 得到的 比 易求出。1383. 柯爾莫洛夫-費(fèi)勒前進(jìn)方程 （固定i,求 ， 的行）利用Q矩陣的定義 、C-K方程推導(dǎo)，求t內(nèi)的狀態(tài)轉(zhuǎn)移概率 很小，代入跳躍強(qiáng)度 139加上初始條件 構(gòu)成前進(jìn)方程，求140B： 如為有限狀態(tài) 定義一行矩陣

28、則前進(jìn)方程 方便固定i，研究 。141C： 由 構(gòu)成轉(zhuǎn)移概率矩陣則方程的形式為 初始化條件 1424?？?普朗克方程根據(jù)初始分布和前進(jìn)方向，求在t時(shí)刻過程所處狀態(tài)的絕對(duì)概率已知初始分布 t時(shí)刻的分布其中處于j狀態(tài)的概率 143 矩陣形式 求導(dǎo)有 ?？?普朗克方程求任意時(shí)刻過程處于某一狀態(tài)的絕對(duì)概率1445柯爾莫洛夫-費(fèi)勒后退方程方便固定j, 求145146列矢量C 構(gòu)成矩陣 方便固定j. 求注：前進(jìn)后退方程雖形式不同，但解是相同的147例：排隊(duì)問題設(shè)有一服務(wù)臺(tái)，(0,t)內(nèi)到達(dá)服務(wù)臺(tái)的客戶服從泊松分布的隨即變量，即客戶流為泊松過程。單位時(shí)間內(nèi)到達(dá)服務(wù)臺(tái)的平均人數(shù)為 。服務(wù)臺(tái)有一服務(wù)員，對(duì)顧客的

29、服務(wù)時(shí)間是按負(fù)指數(shù)分布的隨即變量。平均服務(wù)時(shí)間為 。如果服務(wù)臺(tái)空閑，到達(dá)的顧客立即接受服務(wù)；如果有一個(gè)顧客在接受服務(wù)，他排隊(duì)等候；如顧客到達(dá)時(shí)已有2個(gè)在等候，他就離開。設(shè)X(t)表示在t時(shí)刻系統(tǒng)內(nèi)的顧客人數(shù)(被服務(wù)的和排隊(duì)的)148系統(tǒng)的狀態(tài) S=0，1，2，3又設(shè)t=0時(shí)系統(tǒng)內(nèi)無顧客。求t時(shí)刻系統(tǒng)處于j狀態(tài)的無條件概率所滿足的微分方程。解：關(guān)鍵求Q矩陣。只要確定非對(duì)角線上的元素 （ij）1）i=0 在時(shí)間內(nèi)有一顧客到達(dá)的概率 而在 內(nèi)兩人或兩人以上到達(dá)的概率為 故 1492） 系統(tǒng)內(nèi)原有一顧客正在接受服務(wù)，時(shí)間內(nèi)此顧客服務(wù)完,同時(shí)也無人來。服務(wù)時(shí)間指數(shù)分布 服務(wù)時(shí)間的指數(shù)分布具有無記憶性。在服務(wù)了一段時(shí)間后，剩余服務(wù)時(shí)間的分布獨(dú)立于已服務(wù)過的時(shí)間，也為指數(shù)分布。150因此在服務(wù)時(shí)間已經(jīng)服務(wù)了t的條件下，又服務(wù)時(shí)間 內(nèi)就結(jié)束的概率為服務(wù)時(shí)間小于 的概率 （服務(wù)時(shí)間小于 ） 故系統(tǒng)狀態(tài)由1 0的概率為 151而系統(tǒng)中1 的概率為 沒有被服務(wù)完，又有另一個(gè)人到達(dá)；服務(wù)完，又有二人到達(dá)，.系統(tǒng)中1 的概率 1523） i=2 2 0 2 1 內(nèi)無人來，一人服務(wù)完1532 3 內(nèi)一人來，無人服務(wù)完； 內(nèi)來2人，一人服務(wù)完離開； 內(nèi)來3人，2