隨機(jī)過(guò)程教學(xué)課件：第四章 連續(xù)時(shí)間的馬爾可夫鏈

1、第四章：連續(xù)時(shí)間的馬爾可夫鏈v連續(xù)時(shí)間馬爾可夫鏈定義v無(wú)窮小轉(zhuǎn)移概率矩陣vKolmogorov向前方程與向后方程v連續(xù)時(shí)間馬爾可夫鏈的應(yīng)用定義5.1：設(shè)隨機(jī)過(guò)程X(t),t0，狀態(tài)空間I=in, n0，若對(duì)任意0t1t2tn1及i1,i2,in+1I，有)(|)()(,)(,)(|)(11221111nnnnnnnnitXitXPitXitXitXitXP則稱X(t),t0為連續(xù)時(shí)間馬爾可夫鏈。上式中條件概率的一般表現(xiàn)形式為),()(|)(tspisXjtsXPij定義：若pij(s,t)的轉(zhuǎn)移概率與s無(wú)關(guān)，則稱連續(xù)時(shí)間馬爾可夫鏈具有平穩(wěn)的或齊次的轉(zhuǎn)移概率，此時(shí)轉(zhuǎn)移概率簡(jiǎn)記為其轉(zhuǎn)移概率矩陣簡(jiǎn)記

2、為)(),(tptspijij)()(tptijP時(shí)間軸0ts狀態(tài)i狀態(tài)i持續(xù)時(shí)間i|tPstsPiii在0時(shí)刻馬爾可夫鏈進(jìn)入狀態(tài)i，而且在接下來(lái)的s個(gè)單位時(shí)間中過(guò)程未離開狀態(tài)i，問(wèn)在隨后的t個(gè)單位時(shí)間中過(guò)程仍不離開狀態(tài)i的概率是多少？一個(gè)連續(xù)時(shí)間的馬爾可夫鏈，每當(dāng)它進(jìn)入狀態(tài)i，具有如下性質(zhì)：1. 在轉(zhuǎn)移到另一狀態(tài)之前處于狀態(tài)i的時(shí)間服從參數(shù)為vi的指數(shù)分布；2. 當(dāng)過(guò)程離開狀態(tài)i時(shí)，接著以狀態(tài)pij進(jìn)入狀態(tài)j，1ijijp當(dāng)vi=時(shí)，稱狀態(tài)i為瞬時(shí)狀態(tài)；當(dāng)vi0時(shí)，稱狀態(tài)i為吸收狀態(tài)。一個(gè)連續(xù)時(shí)間馬爾可夫鏈?zhǔn)前凑找粋€(gè)離散時(shí)間的馬爾可夫鏈從一個(gè)狀態(tài)轉(zhuǎn)移到另一個(gè)狀態(tài)，但在轉(zhuǎn)移到下一個(gè)狀態(tài)之前，它

3、在各個(gè)狀態(tài)停留的時(shí)間服從指數(shù)分布，此外在狀態(tài)i過(guò)程停留的時(shí)間與下一個(gè)到達(dá)的狀態(tài)必須是相互獨(dú)立的隨機(jī)變量。定理：齊次馬爾可夫過(guò)程的轉(zhuǎn)移概率具有下列性質(zhì)：1. 2. 3. 0)(tpij1)(IjijtpIkkjikijsptpstp)()()(正則性條件jijitpijt,0,1)(lim定義5.3對(duì)于任一t0，記IjjXPppjtXPtpjjj,)0()0(,)()(分別稱pj(t),jI和pj,jI為齊次馬爾可夫過(guò)程的絕對(duì)概率分布和初始概率分布。定理5.2齊次馬爾可夫過(guò)程的絕對(duì)概率及有限維概率分布具有下列性質(zhì)：1. 2. 3. 4. 5. 0)(tpj1)( IjjtpIiijijtpptp

4、)()(Iiijijptptp)()()(IinniiiiiiinnttpttptppitXitXPnn)()()()(,)(1121111211例題：證明泊松過(guò)程X(t)為連續(xù)時(shí)間齊次馬爾可夫鏈定理5.3設(shè)pij(t)是齊次馬爾可夫過(guò)程的轉(zhuǎn)移概率，則下列極限存在：1. 2. 無(wú)窮小轉(zhuǎn)移概率矩陣iiiiitqvttp)(1lim0引理5.1設(shè)齊次馬爾可夫過(guò)程滿足正則性條件，則對(duì)于任意固定的I,jI，pij(t)是t的一致連續(xù)函數(shù)。jiqttpijijt,)(lim0若連續(xù)時(shí)間齊次馬爾可夫鏈?zhǔn)蔷哂杏邢逘顟B(tài)空間I=1,2, ,n，則其轉(zhuǎn)移速率可構(gòu)成以下形式的矩陣nnnnnnqqqqqqqqq101

5、111000100QQ矩陣的每一行元素之和為0，對(duì)角線元素為負(fù)或0，其余qij0利用Q矩陣可以推出任意時(shí)間間隔t的轉(zhuǎn)移概率所滿足的方程組，從而可以求解轉(zhuǎn)移概率。定理5.4（ Kolmogorov向后方程）假設(shè) ，則對(duì)一切i,j及t0，有 iiikikqq )()()(tpqtpqtpijiiikkjikij證明定理5.5（ Kolmogorov向前方程）在市擔(dān)的正則條件下，則對(duì)一切i,j及t0，有 jjijjkkjikijqtpqtptp)()()(利用Kolmogorov向后方程或向前方程及下述初始條件，可以解得pij(t)0)0(1)0(ijiippKolmogorov向后和向前方程所求得

6、的解pij(t)是相同的在實(shí)際應(yīng)用中，當(dāng)固定最后所處狀態(tài)j，研究pij(t)時(shí)（i=0,1, ），采用向后方程較方便；當(dāng)固定狀態(tài)i，研究pij(t)時(shí)（j=0,1, ），采用向后前程較方便；Kolmogorov向后和向前方程的矩陣表達(dá)形式為QPPQPP)()(t)(ttt連續(xù)時(shí)間馬爾可夫鏈的轉(zhuǎn)移概率的求解問(wèn)題就是矩陣微分方程的求解問(wèn)題，其轉(zhuǎn)移概率由其轉(zhuǎn)移速率矩陣Q決定。若Q是一個(gè)有限維矩陣，則上述矩陣方程的解為0!)()(jjQtjQtetP定理5.6齊次馬爾可夫過(guò)程在t時(shí)刻處于狀態(tài)jI的絕對(duì)概率pj(t)滿足下列方程jkkjkjjjjqtpqtptp)()()(定義5.4設(shè)pij(t)為連續(xù)

7、時(shí)間馬爾可夫鏈的轉(zhuǎn)移概率，若存在時(shí)刻t1和t2，使得0)(, 0)(1tptpjiij則稱狀態(tài)i和j是互通的。若所有狀態(tài)都是互通的，則稱此馬爾可夫鏈為不可約的。轉(zhuǎn)移概率pij(t)在t時(shí)的性質(zhì)及其平穩(wěn)分布關(guān)系定理5.7設(shè)連續(xù)時(shí)間的馬爾可夫鏈?zhǔn)遣豢杉s的，則有下列性質(zhì)：1. 若它是正常返的，則極限 存在且等于j0，jI。這里j是方程組 的唯一非負(fù)解，此時(shí)稱j,jI是該過(guò)程的平穩(wěn)分布，并且有2. 若它是零常返的或非常返的，則)(limtpijt1Ijjjkkjkjjjqqjjttp)(limIjitptpjtijt, 0)(lim)(lim例題5.2考慮兩個(gè)狀態(tài)的連續(xù)時(shí)間馬爾可夫鏈，在轉(zhuǎn)移到狀態(tài)1之前在狀態(tài)0停留的時(shí)間是參數(shù)為的指數(shù)變量，而在回到狀態(tài)0之前它停留在狀態(tài)1的時(shí)間是參數(shù)為的指數(shù)分布，求該馬爾可夫鏈的平穩(wěn)分布和在時(shí)刻t的絕對(duì)分布。例題5.3：機(jī)器維修問(wèn)題設(shè)例題5.2中狀態(tài)0代表某機(jī)器正常工作，狀態(tài)1代表機(jī)器出故障。狀態(tài)轉(zhuǎn)移概