北大隨機(jī)過程課件：第3章第2講馬爾可夫過程

1、馬爾可夫過程1馬爾可夫過程概論41.1馬爾可夫過程處J：某個(gè)狀態(tài)的概率1.2馬爾可夫過程的狀態(tài)轉(zhuǎn)移概率41.3參數(shù)連續(xù)狀態(tài)離散馬爾可夫過程的狀態(tài)轉(zhuǎn)移的切普曼-柯爾莫哥洛夫方程切普曼-柯爾莫哥洛夫方程齊次切普曼-柯爾莫哥洛夫方程轉(zhuǎn)移概率分布函數(shù)、轉(zhuǎn)移概率密度函數(shù)41.4馬爾可夫過程狀態(tài)瞬時(shí)轉(zhuǎn)移的跳躍率函數(shù)和跳躍條件分布函數(shù)瞬時(shí)轉(zhuǎn)移概率分布函數(shù)1.5確定馬爾可夫過程Q矩陣跳躍強(qiáng)度、轉(zhuǎn)移概率Q矩陣2參數(shù)連續(xù)狀態(tài)離散馬爾可夫過程的前進(jìn)方程和后退方程柯爾莫哥洛夫-費(fèi)勒前進(jìn)方程（利用Q矩陣可以導(dǎo)出、轉(zhuǎn)移概率的微分方程）?？?普朗克方程（狀態(tài)概率的微分方程）柯爾莫哥洛夫-費(fèi)勒后退方程（利用Q矩陣可以導(dǎo)出、轉(zhuǎn)

2、移概率的微分方程）3典型例題排隊(duì)問題、機(jī)器維修問題、隨機(jī)游動問題的分析方法4馬爾可夫過程的漸進(jìn)特性穩(wěn)態(tài)分布存在的條件和性質(zhì)穩(wěn)態(tài)分布求解5馬爾可夫過程的研究1概論1.1定義及性質(zhì)1.2狀態(tài)轉(zhuǎn)移概率13齊次馬爾可夫過程的狀態(tài)轉(zhuǎn)移概率L5跳躍強(qiáng)度、轉(zhuǎn)移概率Q矩陣2前進(jìn)方程和后退方程2.1切普曼-柯爾莫哥洛夫方程2.2柯爾莫哥洛夫費(fèi)勒前進(jìn)方程2.2福克-普朗克方程2.3柯爾莫哥洛夫.費(fèi)勒后退方程3典型的馬爾可夫過程舉例例1例2例3例4,隨機(jī)游動4馬爾可夫過程的漸進(jìn)特性4.1引理14.2定理24.3定理5馬爾可夫過程的研究6關(guān)于負(fù)指數(shù)分布的補(bǔ)充說明:1概論1.1X義：馬爾可夫過程郭）：參數(shù)域?yàn)?連續(xù)參數(shù)

3、域。以卜分析中假定T=O,S）；狀態(tài)空間為I，離散狀態(tài)。以下分析中取7=0,1,2,-；對于txt2tmrm+1gT,若在12-tmgT時(shí)刻的條件概率滿足：Pg）=細(xì)）=L，広（G=i訃=P郭”G=jg=im9jgI則稱這類隨機(jī)過程為具有馬爾可夫性質(zhì)的隨機(jī)過程或馬爾可夫過程。1.2定義：齊次馬爾可夫過程對于馬爾可夫過程郭），如果轉(zhuǎn)移概率Pt2）=（/）=,只是時(shí)間差2-人的函數(shù)，這類馬爾可夫過程稱為齊次馬爾可夫過程。1.3性質(zhì)馬爾可夫過程具有過程的無后效性：參數(shù)連續(xù)狀態(tài)離散的馬爾可夫過程的條件轉(zhuǎn)移概率為：P%）=血）0“*顛2）=弘）胡ZE馬爾可夫過程的有限維聯(lián)合分布律可以用轉(zhuǎn)移概率來表示p=

4、kt2）=j=i=p伽）=燈靈2）=州弘）=弘）=非側(cè)）=inm,j,kei馬爾可夫過程的有限維條件分布律可以用轉(zhuǎn)移概率來表示狀態(tài)轉(zhuǎn)移概率P饑2）=）狀態(tài)轉(zhuǎn)移概率滿足：歟）=池0工p）=殂）=1jel齊次馬爾可夫過程的狀態(tài)轉(zhuǎn)移概率:匕（C滿足：珞C）no,工珞&）=1跳飯強(qiáng)度坊(/)=P.(0)+qiAr+0(d)=8.+%t+0(A0箱耐盼）7（。）山ToAr其中坊（0）=5廠1i=j0i*j稱為為參數(shù)連續(xù)狀態(tài)離散齊次馬爾可夫過程的跳躍強(qiáng)度當(dāng)心j時(shí)，=limJAA業(yè)TV幾（山）一1當(dāng)I=J時(shí)，Qu=hmJfT/跳躍強(qiáng)度的性質(zhì)：工務(wù)=0i轉(zhuǎn)移率矩陣（跳躍強(qiáng)度矩陣）：稱Q=qij為過程的轉(zhuǎn)移率矩

5、陣;1.5馬爾可夫過程研究的問題馬爾可夫過程的描述：轉(zhuǎn)移率矩陣：狀態(tài)轉(zhuǎn)移概率矩陣：P(r)=/y(r)從特定狀態(tài)轉(zhuǎn)移到任意狀態(tài)的轉(zhuǎn)移概率矩陣：記作P),為P(r)=y(r)J的第1行的行欠量從任意狀態(tài)轉(zhuǎn)移到特定狀態(tài)的轉(zhuǎn)移概率矩陣：記作s,r),為P(r)=y(r)J的第j行的列欠量t時(shí)刻系統(tǒng)狀態(tài)的概率分布律矩陣：w(f)=vv.(/)=%(f),W(0,叫(f),-從實(shí)際物理問題，確定馬爾可夫過程描述，相應(yīng)的Q矩陣根據(jù)Q矩陣，確定某一時(shí)刻在各個(gè)狀態(tài)上的概率分布；根據(jù)Q矩陣，確定經(jīng)過一段時(shí)間的狀態(tài)轉(zhuǎn)移概率：漸進(jìn)分析：確定當(dāng)fTS時(shí)，在各個(gè)狀態(tài)上的概率分布：典型問題：機(jī)器維修問題設(shè)某機(jī)器的正常工作

6、時(shí)間是一負(fù)指數(shù)分布的隨機(jī)變鼠，平均正常工作時(shí)間為1/入，它損壞后的修復(fù)時(shí)間也是一個(gè)負(fù)指數(shù)分布的隨機(jī)變最，它的平均修復(fù)時(shí)間為1/卩。如機(jī)器在t=0時(shí)是正常工作的，問在t=10時(shí)機(jī)器正常工作的概率如何？2前進(jìn)方程利后退方程2.1福哀普朗充方程設(shè)t時(shí)刻系統(tǒng)狀態(tài)概率記為：w(/),初始概率為w(0)若已知初始概率和轉(zhuǎn)移率矩陣Q:如何求w(f)?根據(jù)全概率公式，有w/r+Ar)=工(/)k=wQ(/)+工、v()仏(d)=wj(f)l+Cjj-Ar+0(d)+XWA(/)Vlkj/+0(3)=wf)+工叫(0qkj-Ar+0(b)krr甘嘰j寫成矩陣形式有敘(f)=w(OQ初始條件：w(0)由此，可以根

7、據(jù)初始概率和轉(zhuǎn)移率矩陣得到w(/)。若已知初始概率和轉(zhuǎn)移概率矩陣P：如何求w(/)?根據(jù)全概率公式：w(0=w(0)P(0求解機(jī)器維修問題2.2切醬旻柯爾典哥洛失方租H3)=j/i)=0=xPg=k!絢)=iPg(fJ=j/弘)kel(gvOSiJ)齊次馬爾可夫過程的切普曼柯爾莫哥洛夫方程:乙用+廠二工匕(/)(ro,ro,ijelkel2.2柯爾其哥洛夫-費(fèi)勒畑進(jìn)方程根據(jù)轉(zhuǎn)移率矩陣Q求經(jīng)過時(shí)間t以后的轉(zhuǎn)移概率。從切普曼-柯爾莫哥洛夫方程，可以得到匕(/+山)=%(/)k=你(/)匕3)+工(/)/)好j=你(/)1+cljj+0(b)+工凡(0為m+0()好j=你(/)+工加f)皿廠d+o(

8、Mk由此得到關(guān)j:狀態(tài)轉(zhuǎn)移概率的一個(gè)方程：柯爾莫哥洛夫-費(fèi)勒前進(jìn)方程：弩5刁恥)湖初始條件：p?(o)=P(:=“、I。(心J)考慮矩陣柯爾莫哥洛夫費(fèi)勒前進(jìn)方程中的第門亍，將矩陣P(f)的第7行記作PC)P,(O=PI(OQ初始條件是p,(0)是第i個(gè)元素為1、其他尤素為零的列欠最。由此可以根據(jù)Q矩陣，確定經(jīng)過時(shí)間t從狀態(tài)i到其它狀態(tài)轉(zhuǎn)移的概率?？聽柲缏宸?費(fèi)勒前進(jìn)方程的矩陣形式：P(0=P(0Q初始條件：P(o)=I上述方程表示了根據(jù)Q矩陣，確定經(jīng)過時(shí)間t狀態(tài)轉(zhuǎn)移概率矩陣。2.3柯爾莫哥洛夫費(fèi)勒后退方程根據(jù)轉(zhuǎn)移率矩陣Q求經(jīng)過時(shí)間t以后的轉(zhuǎn)移概率。匕。+f)=工pik(/)Pkj(o=p,.

9、(/)pj(o+Sh(“)(okki=1+%+0(d)Pij(t)+工阪d+0(d)Pkj(t)j=匕0)+工%心+。(山)叱用)k由此得到關(guān)j:狀態(tài)轉(zhuǎn)移概率的一個(gè)方程：柯爾莫哥洛夫費(fèi)勒后退方程：初始條件是1恥甘。0=7）（i工J）考慮矩陣柯爾莫哥洛夫費(fèi)勒后退方程中的第丿列，將矩陣P(/)的第J列記作s,f)s.(/)=Qsy(/)初始條件是sy(0):是第，個(gè)元素為1、其他元素為零的列欠最。由此可以根據(jù)Q矩陣，確定從各狀態(tài)出發(fā)，經(jīng)過時(shí)間t至I打狀態(tài)的轉(zhuǎn)移概率?？聽柲缏宸?費(fèi)勒后退方程的矩陣形式：P(0=QP(0初始條件是P(o)=I上述方程表示了根據(jù)Q矩陣，確定經(jīng)過時(shí)間t狀態(tài)轉(zhuǎn)移概率矩陣。

10、前進(jìn)方程，先選擇初始態(tài)去分析，后退方程，先選擇結(jié)束態(tài)去分析。前進(jìn)方程和后退方程都是解決根據(jù)Q矩陣，確定轉(zhuǎn)移概率矩陣的問題。例43舉例設(shè)有一個(gè)時(shí)間連續(xù)、狀態(tài)離散的馬爾可夫過程(/),fno,它的狀態(tài)空間是I:1,2,mo當(dāng)i工j,i,j=,2,m時(shí)9口=1;當(dāng)i=j=1,2,時(shí)g*=l-7。解:寫出馬爾科夫過程的Q矩陣或者繪出系統(tǒng)的狀態(tài)轉(zhuǎn)換圖。給出m=4的一個(gè)例子：寫出這個(gè)馬爾科夫過程的Q矩陣，或者繪出系統(tǒng)的狀態(tài)轉(zhuǎn)換圖。-3q1_111-3Q=(/)=PJ2條用)=(1一4比(f)+工耳(f)dlk*j對應(yīng)統(tǒng)一的形式為務(wù)耳(/)=(1一加尤(/)+工匕(/)好j給出冷(/)的聯(lián)立微分方程組缺(f

11、)=(7一1尤(/)+工恥)考慮到規(guī)一化條件,工恥)=1k1-伙)=工恥)k豐j進(jìn)一步得到微分方程是，為(0=一(7一1)弘)+1一弘)=-城(/)+1解微分方程(待定系數(shù)法)得到#)=4嚴(yán)+1/加考慮系統(tǒng)的初始條件，比，廿你0)=1,孑i=j相應(yīng)微分方程的解是，Pii(t)=(rn-Y)/me-m,+/m=+1/加求出Q矩陣建立狀態(tài)轉(zhuǎn)移概率的微分方程、狀態(tài)轉(zhuǎn)移概率的歸一化條件；例2機(jī)娜維修問題設(shè)某機(jī)器的正常工作時(shí)間是一負(fù)指數(shù)分布的隨機(jī)變鼠，平均正常工作時(shí)間為i/入，它損壞后的修復(fù)時(shí)間也是一個(gè)負(fù)指數(shù)分布的隨機(jī)變最，它的平均修復(fù)時(shí)間為1/卩。如機(jī)器在t=0時(shí)是正常工作的，問在t=10時(shí)機(jī)器正常工

12、作的概率如何？解1:設(shè)飢f)代表在t時(shí)刻機(jī)器的狀態(tài)，有兩個(gè)狀態(tài)：工作中、維修中則狀態(tài)空間記為I：0,1。機(jī)器從正常工作到故障的時(shí)間間隔是負(fù)指數(shù)分布的：機(jī)器從維修到恢復(fù)工作的時(shí)間間隔是副指數(shù)分布的：負(fù)指數(shù)分布是無記憶的、無后效性的。v1(r)e=w0(r)叫:4-H,0(o=-/lvv0(r)+x/vv1(/)at4-yr1(r)=2vv0(/)-/vv1(r)at初始條件：w0(O)=1,vv/0)=0解得：%(滬亠+厶穴訕x+/x+/w】(f)=-厶嚴(yán)”X+/A+P解2:利用系統(tǒng)的后退方程求解(終結(jié)狀態(tài)是正常工作的0狀態(tài)),若：wo(r=o)=1,嗎(/=0)=0d=Q佻(小2、心)、di腫

13、)丿So(60而：系統(tǒng)同時(shí)增加或減小兩個(gè)和兩個(gè)以上的顧客的概率是趨J：0的，j(zV)=o(zV),z=0,l,2,(/+l)J53或i=1,2,3,0J(/-1)則：q=0,z=0,l,2,(/+l)丿3或i=1,2,3,0j(i-1)根據(jù)工給=0,得ch=-一工知，心0,1，2,3z聲則：(-2,j=04,產(chǎn)-(幾+“)，i=1,2-“，i=3因此，系統(tǒng)地Q矩陣為：-/l/00、n=/(2+/)A0V0“_(2+“)00“一.t時(shí)刻系統(tǒng)內(nèi)有n個(gè)顧客的概率分布根據(jù)福克半朗克方程：纟、v(f)=、v(/)Qat初始條件：w(0)由此，可以根據(jù)初始概率和轉(zhuǎn)移率矩陣得到w(r)o即:和o(f)=一

14、2%(/)+“W礦）唄）+“唄）dItdItw3(r)=2w2(r)-/w3(/)vv2(/)=2W(/)-(兄+“)(/)+“旳(/)系統(tǒng)的初始條件是，%（0）=1州（0）=0,i=l,2,3對聯(lián)合微分方程組求解。例4連換參數(shù)K機(jī)游動間題設(shè)在1,5的線段上有一個(gè)質(zhì)點(diǎn)作隨機(jī)游動,此質(zhì)點(diǎn)只能停留在1,2,3,4,5,諸點(diǎn)上。質(zhì)點(diǎn)任何時(shí)刻都可能發(fā)生移動，其移動的規(guī)則是：（1）若在時(shí)刻t質(zhì)點(diǎn)位于2,3,4中的一點(diǎn),則在（t+At）中以概率入At+O（At）向右移動一格，以概率UAt+O（At）向左移動一格；（2）若在時(shí)刻t質(zhì)點(diǎn)位于1,則在（t+At）中以概率入At+O（At）向右移動一格：（3）若在

15、時(shí)刻t質(zhì)點(diǎn)位于5,則以后遠(yuǎn)停留在5；（4）在（t+At）發(fā)生其他移動的概率是O（At）a求p/y（0滿足的微分方程。解：寫出馬爾科夫過程的Q矩陣或者繪出系統(tǒng)的狀態(tài)轉(zhuǎn)換圖。系統(tǒng)由1,2,3,4,5等5個(gè)狀態(tài)。相應(yīng)的Q矩陣是，000、_（/+）200Q=0_+)/000A_(2+A)200000,根據(jù)柯爾莫哥洛夫-費(fèi)勒前進(jìn)方程，可以列出P,）滿足的微分方程:中i,jwl初始條件：用0)=5打=根據(jù)柯爾莫哥洛夫費(fèi)勒后退方程，可以列出PiQ滿足的微分方程:初始條件：Rj(0)=門=O那么/加Pf.(0=卩存在且與1無關(guān)。fT8JJ4.3定理對J：任何時(shí)間連續(xù)、時(shí)間離散的馬爾可夫過程，若存在一個(gè)如使得對

16、丁任何1,rel有Pir0，貝II吧PiQ=Pj，I吧PQ=Pj可以解得轉(zhuǎn)移概率如卜:恥2尙一詬7嚴(yán)訕耿）=2_2+/廠(人+“”IT71(0=71+“+“2+/2+/因此轉(zhuǎn)移概率存在極限分布:久+“2+/t時(shí)刻的狀態(tài)分布存在極限:W(/)=久2+/2+/幾+“l(fā)imvv0(Z)=lim/?/0(/)f-x/-Xlimvv1(r)=lim/;,(/)f-xfTA5馬爾可夫過程的研究建立馬爾可夫過程的模型馬爾可夫過程的狀態(tài)、狀態(tài)空間、相應(yīng)的概率，馬爾可夫過程的狀態(tài)轉(zhuǎn)移概率.齊次馬爾科夫過程的狀態(tài)轉(zhuǎn)移概率齊次馬爾科夫過程的狀態(tài)轉(zhuǎn)移概率矩陣從任意狀態(tài)轉(zhuǎn)移到特定狀態(tài)的概率從特定狀態(tài)轉(zhuǎn)移到任意狀態(tài)的概率

17、狀態(tài)轉(zhuǎn)移跳躍率確定馬爾可夫過程Q矩陣確定馬爾可夫過程的基本方程馬爾可夫過程狀態(tài)概率的微分方程切普曼-柯爾莫哥洛夫方程從狀態(tài)1出發(fā)到達(dá)任意狀態(tài)的轉(zhuǎn)移概率前進(jìn)微分方程從任意狀態(tài)出發(fā)到達(dá)狀態(tài)j的轉(zhuǎn)移概率后退微分方程求解基本方程解微分方程組用拉氏變換利用母函數(shù)求解建立均值函數(shù)微分方程求解建立穩(wěn)態(tài)概率微分方程求解6關(guān)于負(fù)指數(shù)方布的補(bǔ)充說明例1、顧客接受服務(wù)的時(shí)間服從負(fù)指數(shù)分布，其服務(wù)時(shí)間是t的概率密度函數(shù)是,(f)=c嚴(yán)X由歸一化條件，=1得到0嚴(yán)X得到由平均服務(wù)時(shí)間,人df0例2、顧客接受服務(wù)的時(shí)間服從負(fù)指數(shù)分布，其服務(wù)時(shí)間是t的概率密度函數(shù)是,工作壽命人的概率是,X00fs(0dt=peldt=e-

18、工作壽命人Jt的條件卜，繼續(xù)工作壽命人J：u的概率是:結(jié)論：顧客接受服務(wù)的時(shí)間服從負(fù)指數(shù)分布，其繼續(xù)工作的壽命與他過去接受服務(wù)的時(shí)間無關(guān)。負(fù)指數(shù)分布是無記憶的、無后效性的。例3關(guān)負(fù)指數(shù)分布的離去率。首先計(jì)算負(fù)指數(shù)分布的服務(wù)過程，在T時(shí)刻的離去概率。顧客在(0,T)區(qū)間得到服務(wù)，在(T,T+At)區(qū)間離開的概率可以寫作，7+1/7*+AfJfs(t)dt=j=-*葉)+廠丁=-“AroTT這個(gè)概率是兩個(gè)聯(lián)合事件的概率，即在(0,T)區(qū)間沒有離去(得到服務(wù))，而在(T,T+At)區(qū)間離開的聯(lián)合概率。這兩個(gè)事件是相互獨(dú)立的，顧客在(0,T)區(qū)間得到服務(wù)，在(T,T+At)區(qū)間離開的概率等在(0,T)區(qū)間沒有離去(得到服務(wù))的概率與在(T,T+At)區(qū)間離開的概率之積。在(0,T)區(qū)間沒有離去的概率是，fXt)dt=dt=eTTT在(T,T+t)區(qū)間離開的概率是，7關(guān)于獨(dú)立壇覺過程的馬爾科夫性質(zhì)的證明設(shè)n(/),/