應用隨機過程課件 ch5 連續(xù)時間馬氏鏈

應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE12/77第五章連續(xù)時間馬氏鏈第五章連續(xù)時間馬氏鏈應用隨機過程中國人民大學出版社本章內(nèi)容本章內(nèi)容1定義和例子1連續(xù)時間馬氏鏈的概念連續(xù)時間馬氏鏈的性質(zhì)轉移速率2連續(xù)時間馬氏鏈的例子轉移概率2柯爾莫哥洛夫向后方程轉移概率的求解3極限行為3

平穩(wěn)分布細致平衡條件4嵌入鏈4嵌入鏈的概念及特征利用嵌入鏈計算平穩(wěn)分布5離出時間和離出分布離出時間的計算離出分布的計算5連續(xù)時間馬氏鏈的概念連續(xù)時間馬氏鏈的概念連續(xù)時間馬氏鏈的概念定義和例子對于任意狀態(tài)i,j,i0,...,in連續(xù)時間馬氏鏈的概念定義和例子0≤s0<s1<···<sn<s，有：P(Xt+s=j|Xs=i,Xsn=in,...,Xs0=i0)=P(Xt+s=j|Xs=i)=P(Xt=j|X0=i)滿足上式的就是連續(xù)時間馬氏鏈。注意：在離散時間馬氏鏈中，時間和狀態(tài)均是離散的。而在連續(xù)時間馬氏鏈中，時間是連續(xù)的，狀態(tài)是離散的。從時刻s的狀態(tài)i到時刻(t+s)的狀態(tài)j的概率，只依賴于時間間隔t，而與起始時間s無關。注意：在離散時間馬氏鏈中，時間和狀態(tài)均是離散的。而在連續(xù)時間馬氏鏈中，時間是連續(xù)的，狀態(tài)是離散的。定義和例子 定義和例子 連續(xù)時間馬氏鏈的概念連續(xù)時間馬氏鏈的概念(cont.)為了便于區(qū)分，離散時間馬氏鏈經(jīng)過n步，從狀態(tài)i轉移到狀態(tài)j的概率記作pn(i,)（注意：n是以上標形式體現(xiàn)，即：pn(i,j)=P(Xt+n=j|Xt=i)=P(Xn=j|X0=i), n,t∈Zh>0ij的概率記作h(,j)（注意：h是以下標形式體現(xiàn)，即：ph(i,j)=P(Xt+h=j|Xt=i)=P(Xh=j|X0=i), h,t∈R+此處的連續(xù)時間馬氏鏈仍然假設其具有時間齊次性。定義和例子 定義和例子 連續(xù)時間馬氏鏈的性質(zhì)連續(xù)時間馬氏鏈的性質(zhì)——p(is,k)p(kt,j)=ps+t(i,j)kC-KC-K方程：

i k j0 s s+ts t與離散時間馬氏鏈類似，由連續(xù)時間馬氏鏈的C-K方程也可以得到如下不等式：ps+t(i,j)≥ps(i,k)·pt(k,j), ?k定義和例子 定義和例子 連續(xù)時間馬氏鏈的性質(zhì)連續(xù)時間馬氏鏈的相關定理假設Ti是連續(xù)時間馬氏鏈停留在狀態(tài)i的時長，則Ti服從指數(shù)分布。對于連續(xù)時間馬氏鏈，若對于某個t>0，有pt(i,j)>0，則對任意s>0，均有pt+s(i,j)>0。連續(xù)時間馬氏鏈中的所有狀態(tài)均是非周期的，因此無須考慮周期性。定義和例子 定義和例子 轉移速率轉移速率當h→0時，引入轉移速率q(i,j)，即：q(i,j)=limph(i,j)=limP(Xt+h=j|Xt=i)h→0 h h→0 h其中，q(i,j)表示從狀態(tài)i跳到j的轉移速率。在連續(xù)時間馬氏鏈中，除了要考慮某一時刻馬氏鏈處于什么狀態(tài)以外，還要關心它在離開這個狀態(tài)之前會停留多長時間。前面已經(jīng)證明了這個停留時間具備無記憶性，服從指數(shù)分布。通常在連續(xù)時間下，通過轉移速率來描述系統(tǒng)更為簡單。轉移速率轉移速率q(i,j)的性質(zhì)轉移速率定義和例子q(i,i)≤0, i=1,2,...,轉移速率定義和例子寸q(i,j)≥0,i?=j, i,j=1,2,...,N寸Nj=1

q(i,j)=0, i=1,2,...,N由于狀態(tài)間的轉移是發(fā)生在狀態(tài)空間內(nèi)，因此總的轉移速率應當為AB處的xBA?x，流速之和仍然為零。q(ijjq(ij0i是吸收態(tài)。此時的轉移速率均為零，對應到轉移速率矩陣上，體現(xiàn)為狀態(tài)i一行的元素取值均為零，說明馬氏鏈將永遠停留在狀態(tài)i處。應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE9/77寸Nj=1q(i,j)=0的含義q(i,j)寸Nj=1q(i,j)=0的含義q(i,j)可看成是轉移概率ph(i,j)關于時間h的導數(shù)。轉移速率定義和例子寸h→0 h寸由于 j∈Sph(i,j)=1，即轉移概率之和是常數(shù)1，所以其對時間h的導數(shù)為0，即：j∈Sj∈Sj∈Sj∈Sj∈Sj∈Sh→0hh→0hlim1—h(,j)=—「limh(,j)1j∈Sj∈Sj∈Sj∈Sj∈Sj∈Sh→0hh→0h因此總的轉移速率之和應當為零。定義和例子 定義和例子 轉移速率轉移速率矩陣 q(1,1) q(1,2) ··· q(1 Q= q(2,1) q(2,2) ··· q(2,N . . . q(N,1)q(N,2)··· q(N,N)—需要注意的是，由于轉移速率矩陣每行元素之和等于零，因此該矩q(ii)的絕對值應當?shù)扔谠撔衅渌刂停矗骸獆(i,)|= q(i,k), ?ik?=i記i=|(i,i)|=?q(,i)，這里的i就是離開狀態(tài)i的速率。定義和例子 定義和例子 連續(xù)時間馬氏鏈的例子舉例1：泊松過程N(t)表示速率為λ的泊松過程到時刻t為止的到達數(shù)。對于任意時間段h，到達數(shù)由n增加到(n+1)的概率為：ph(

n,n

+1)=

(λh)1e?λh1!

=λhe?λh3!2因此：3!2

λh「1λh+

1(λh)2?1(λh)3+···1q(n,n+1)=limh(n,n+1)「?3!h→0 「?3!2=limλ1 λh+2h→0

1(λh)2?1(λh)3+···1=λ定義和例子 定義和例子 連續(xù)時間馬氏鏈的例子泊松過程(cont.)在時間h內(nèi)至少經(jīng)歷兩步轉移的概率為：=1?（e?λh+λe?λh）=1?(1+λh)e?λhP[=1?（e?λh+λe?λh）=1?(1+λh)e?λh3!2因此：3!2

=1?(1+λh)「1?λh+1(λh)2?1(λh)3+···1P[N(t+h)≥n+2|N(t)=n] 12

132h =2λh?3λhlimP[N(t+h)≥n+2|N(t)=n]=o(h)

+···從而：

h→0 hq(n,n+k)=0, k≥2因此，在到達發(fā)生的速率為λ的泊松過程中，到達數(shù)N(t)由n增加到(n+1)的速率為λ，其余情形下超過兩步的轉移速率為0，即：q(n,n+k)=0, q(n,n+k)=0, k≥2

?n≥0?λ λ 0 0 ··· 0 ?λ λ 0 · Q= 0 0 ?λ λ ···0 0 0 ?λ··應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE14/77泊松過程的轉移速率圖泊松過程的轉移速率圖連續(xù)時間馬氏鏈的例子定義和例子q(n,n連續(xù)時間馬氏鏈的例子定義和例子q(n,n+k)=0, k≥2

?n≥0λ λ λ λ泊松過程屬于計數(shù)過程，因此m>n時，q(m,n)=0泊松過程屬于計數(shù)過程，因此m>n時，q(m,n)=0。說明：應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE15/77舉例舉例2：生滅過程連續(xù)時間馬氏鏈的例子定義和例子{012N的生滅過程（birth-and-deathprocess）λnμ連續(xù)時間馬氏鏈的例子定義和例子q(n,n+1)=λn, n=0,1,2,...,N?1q(n,n?1)=μn, n=1,2,...,N相應的轉移速率矩陣Q如下：?λ0 λ0 0 0 ··· μ1 ?(λ1+μ1) λ1 0 ··· 0 0 ..Q= 0 μ2 ?(λ2+μ2)λ2 ··· 0 0. . .

. ... .0 0 0 0 μN?1 ?(λN?1+μN?1)λN?10 0 0 0 ··· μN ?μN應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE16/77生滅過程的轉移速率圖生滅過程的轉移速率圖連續(xù)時間馬氏鏈的例子定義和例子q(n,n+1)=λn, n=0,1,2,...,N?連續(xù)時間馬氏鏈的例子定義和例子q(n,n?1)=μn, n=1,2,...,Nλ0 λ1 λ2 λ30 1 2 3μ1 μ2 μ3 μ4

···

λN?1NμN應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE17/77舉例舉例3：純生過程連續(xù)時間馬氏鏈的例子定義和例子當μ=0時，生滅過程稱為純生過程（pure-birthprocess連續(xù)時間馬氏鏈的例子定義和例子q(n,n+1)=λn, n=0,1,2,...q(n,n?1)=0, n=1,2,...相應的轉移速率矩陣Q如下：?λ0 λ0 0 0 ·?λ0 λ0 0 0 ···Q=0 0 ?λ2 λ2 ··應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE18/77純生過程的轉移速率圖純生過程的轉移速率圖連續(xù)時間馬氏鏈的例子定義和例子λ0 λ1 λ連續(xù)時間馬氏鏈的例子定義和例子泊松過程可看作轉移速率不變（λn=λ）的純生過程。注意：0 1 2 ·泊松過程可看作轉移速率不變（λn=λ）的純生過程。注意：應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE19/77舉例舉例4：M/M/s排隊系統(tǒng)連續(xù)時間馬氏鏈的例子定義和例子顧客按速率λ到達，柜臺有s個服務窗口，對每個顧客的服務時間相互獨立且服從速率為連續(xù)時間馬氏鏈的例子定義和例子q(n,n+1)=λ, n=0,1,2,...s?1sμ, n≥sq(n,n?1)=nμ, 0≤sμ, n≥s(nsnμ(ns時，所有服務窗口都在sμ。應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE20/77舉例舉例4：M/M/s排隊系統(tǒng)(cont.)連續(xù)時間馬氏鏈的例子連續(xù)時間馬氏鏈的例子定義和例子質(zhì)：τ1τ2τnE(λ)，下式成立：τ=min(τ1,τ2,...,τn)～E(nλ)因此，在有n位顧客正在接受服務的情況下，最先結束服務離開的時間就是τ，相應的離開速率即為nλ。λ λ λ0 1 2μ 2μ 3μ

···

λ λssμ sμ

···定義和例子 定義和例子 連續(xù)時間馬氏鏈的例子舉例5：分支過程假設每個個體死亡的速率為μ；生育一個新個體的速率為λ，則有：q(n,n+1)=nλ, q(n,n?1)=nμλ0 1μ 2μ

2λ2 ···3μ

(n?1)λnnμ

nλ說明：(n+1)μ說明：

···當當μ=0時，該過程也稱為尤爾過程（uleprocess。轉移概率 轉移概率 柯爾莫哥洛夫向后方程柯爾莫哥洛夫向后方程將[0,t+h]拆分成[0,h]和[h,t+h]狀態(tài)時刻時間段

i k j0 h t+hh tkp+h(i,)?pt(i,j)=「—ph(i,k)t(k,j)l?pt(i,j)k— = ph(i,k)pt(k,j)+[ph(i,i)?1]pt(i,— k?=i對上式兩端同時除以h，并令h→0。轉移概率?=i?=i柯爾莫哥洛夫向后方程h→0hh→0hh→0hp′(ijq(ik)pt(kj「limph(ii11pt(ij)limt+h(i,j)?t(i,j)=lim?=i?=i柯爾莫哥洛夫向后方程h→0hh→0hh→0hp′(ijq(ik)pt(kj「limph(ii11pt(ij)tkilimlimph(i,i)?1=?lim—h(i,k)=?—q(i,k)=q(i,i)

h→0 h因此：

h→0 h

h→0ki h

k?=i—t?=ih→0hp′(i,j)=—q(i,k)pt(k,j)?「lim1?ph(i,i)1pt—t?=ih→0h= q(i,k)pt(k,j)+q(i,i)pt(i,j)—k?=i—= q(i,k)pt(k,j)k應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE24/77轉移概率對應的矩陣形式如下：

j)= q(i,k)pt(k,j)柯爾莫哥洛夫向后方程—柯爾莫哥洛夫向后方程—t(1,1)··· pt(1,) q(1,1)··· q(1,n)t(1,1)··· t(1,n) 1)··· n) = q(2,1)··· q(2,n) pt(2,1)··· pt(2, . .

.

. . . ppt(n,1)··· pt(n,n)1)··· n)q(n,1)··· q(n,n)pt(n,1)··· pt(n,n)使用矩陣符號，上式可簡寫為：dPtdt=QPtvbackwardequationQ[0th[0h[hth]。轉移概率 轉移概率 柯爾莫哥洛夫向后方程舉例6：泊松過程的柯爾莫哥洛夫向后方程假設泊松過程的速率為λ，因此：q(i,i+1)=λ, q(i,i)=?λ根據(jù)p′t(i,j)=寸kq(i,k)pt(k,j)，可得：p′t(i,j)=q(i,i+1)pt(i+1,j)+q(i,i)pt(i,j)=λpt(i+1,j)?λpt(i,j)轉移概率 轉移概率 柯爾莫哥洛夫向后方程舉例7：生滅過程的柯爾莫哥洛夫向后方程假設生滅過程的出生速率為λn，死亡速率為μn，因此：q(n,n+1)=λn, q(n,n?1)=μn, q(n,n)=?(λn+μn)根據(jù)p′t(n,m)=寸kq(n,k)pt(k,m)，可得：(n,m)=q(n,n+1)pt(n+1,m)+q(n,n?1)pt(n?1,m)+q(n,n)pt(n,m)=λnpt(n+1,m)+μnpt(n?1,m)?(λn+μn)pt(n,m)轉移概率 轉移概率 柯爾莫哥洛夫向后方程柯爾莫哥洛夫向前方程[0th][0t][tth]，那么得到的方程稱為柯爾(Kolmogorovforwardequation)，使用矩陣符號可以簡寫為：dPtdt=PtQ轉移概率 轉移概率 轉移概率的求解轉移概率的求解根據(jù)微分方程的知識，以下方程的通解為P(t)=Ceat：dP(t)dt =aP(t)在多維情形下也有類似的結論。由于：因此：

dPtdt=QPt,

dPtdt=PtQPt=eQt其中，Q是轉移速率矩陣；Pt是轉移概率矩陣。舉例舉例轉移概率的求解轉移概率「 l考慮兩狀態(tài){0,轉移概率的求解轉移概率「 lQ=?1 12 ?2要計算轉移概率矩陣Pt，就要求得eQt。轉移概率 轉移概率 轉移概率的求解舉例(cont.)將矩陣Q對角化：Q→Λ，相應地：eQt→eΛt=diag（eλ1t,eλ2t,...,eλnt）diag(λ1λ2λn)Q0?3，相應的矩陣可寫為：其中：

「1 1l

Q=XΛX?1「0 0l ? 「2 1l1111X=1?2

, Λ= , X1= 3 30?3 3 ?3相應地：Pt=eQt=XeΛtX?1「1 0l?

「2 1l11

?t「1

?1l22=X0e?3t

X1= 323

3 +e3 3 323 ?3 32最終可得轉移概率矩陣：Qt

「2 1l11

?t「1

?1l22Pt=e = 323

3 +e3 3 323 ?3 32=3333「2+1e?3t 1?1e?3tl=333333332?2e?3t 1+2e?3t3333Pt=3333「2+1e?3t 1?1e?Pt=333333332?2e?3t 1+2e?3t3333當t→2 1limPt= 3 333t→∞ 2 133該連續(xù)時間馬氏鏈的平穩(wěn)分布為2 1π1=3, π2=3極限行為 極限行為 平穩(wěn)分布不可約馬氏鏈如果對任意狀態(tài)如果對任意狀態(tài)i和j，都有可能從i經(jīng)過有限步轉移到j，則稱馬氏鏈是不可約的，即，存在狀態(tài)序列k0=i,k1,...,kn=j，使得q(km?1,km)>0(1≤m≤n)。定義定理如果一個連續(xù)時間馬氏鏈Xt不可約，且t>0，則pt(i,j)>0。如果一個連續(xù)時間馬氏鏈Xt不可約，且具有平穩(wěn)分布π，則：定義定理limpt(i,j)=π(j)t→∞平穩(wěn)分布平穩(wěn)分布平穩(wěn)分布極限行為平穩(wěn)分布極限行為當且僅當πQ=0時，π是一個平穩(wěn)分布。定理在離散時間下，平穩(wěn)分布是πP=π的一個解；而在連續(xù)時間下，?tπPtπPtπ當且僅當πQ=0時，π是一個平穩(wěn)分布。定理應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE35/77平穩(wěn)分布平穩(wěn)分布(cont.)簡單證明平穩(wěn)分布極限行為由概率平穩(wěn)性的定義可知：πPt=π簡單證明平穩(wěn)分布極限行為dPtdt=PtQ方程兩端同時左乘平穩(wěn)概率π，可得：d(πPt)dt =(πPt)Qdπdt=πQ由于平穩(wěn)概率π與時間t無關，因此可得：πQ=0應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE36/77舉例舉例7：天氣鏈平穩(wěn)分布極限行為某地的天氣有三種狀態(tài)，分別為晴、霧、雨。已知晴天的持續(xù)時間3天的指數(shù)分布，隨后會變?yōu)殪F天；霧天的持續(xù)時間服從均4平穩(wěn)分布極限行為33?1 1 03344Q=0 ?1 144思路：求每種天氣所占的比例。思路：

1 0 ?1根據(jù)根據(jù)πQ=0計算。應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE37/77天氣鏈天氣鏈(cont.)平穩(wěn)分布極限行為平穩(wěn)分布極限行為?1+π3=03 12?π1131?12?π1131?4π=01π2=0.5

=0.3751 212+π2+π3134π2+π2+π313

π==1

=0.12522因此，晴天、霧天和雨天所占的比例分別為37.5%、50%和12.5%。應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社38/77使用軟件求解使用軟件求解平穩(wěn)分布極限行為平穩(wěn)分布極限行為?π1+π3=013 13?1=011π1?4π2=3?1=011π1?4π2=031π1?π3331+π2+π34ππ1π21+π2+π34ππ

31 42+π++π+π=1=1 1 2=11231+π2+1+π2+π3=1刪減后的方程組的矩陣-向量形式如下：0 ?110 ?11=? πA=bπ1π1 π2 π3001＿3 3 ＿ 4 001001

1 0 1、 .,

、 .,極限行為 極限行為 平穩(wěn)分布使用軟件求解(cont.)應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE39/77對矩陣-向量形式的方程進行運算，可得：將數(shù)值代入計算，可得：

π=bA?10 ?10 ?1001001＿3 3 001 40014001 40014π=π=bA?1=π的結果剛好就是對應的A?1的最后一行。π=0.3750.50.125＿極限行為 極限行為 細致平衡條件細致平衡條件連續(xù)時間馬氏鏈，若對?j?=k，均有：π(k)q(k,j)=π(j)q(j,k)離散時間馬氏鏈的細致平衡條件：π(k)離散時間馬氏鏈的細致平衡條件：π(k)p(k,j)=π(j)p(j,k)對比：細致平衡條件細致平衡條件(cont.)細致平衡條件細致平衡條件極限行為π(k)q(k,j)=π(j)q(j,k), ?j?=k則π是一個平穩(wěn)分布。可以根據(jù)此定理，利用細致平衡條件，進而求得平穩(wěn)分布π，從而不必通過πQ=0來求平穩(wěn)分布。應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE42/77舉例舉例8：生滅鏈細致平衡條件極限行為考慮狀態(tài)空間為S={0,1,...,N細致平衡條件極限行為q(n,n+1)=λn, n<Nq(n,n?1)=μn, n>0求其平穩(wěn)分布。應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE43/77生滅鏈生滅鏈(cont.)細致平衡條件細致平衡條件極限行為π(n)q(n,n+1)=π(n+1)q(n+1,n)π(n)λn=π(n+1)μn+1因此：

π(n+1)π(n)

=λnμn+1π(n+1)·π(n)·····π(1)=λn·λn?1·····λ0π(n)

π(n?1)

π(0)

μn+1 μn μ1從而：

π(n+1)=λn·λn?1·····λ0π(0)μn+1·μn·····μ1·π(n)=λn?1·λn?2·····λ0π(0), 0<n<N·μn·μn?1·····μ1其中，π(n)是生滅鏈中狀態(tài)n的平穩(wěn)概率。應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE44/77極限行為細致平衡條件舉例9：M/M/∞排隊系統(tǒng)細致平衡條件狀態(tài)S={0,1,...}，其轉移速率如下：q(n,n+1)=λ, q(n,n?1)=nμM/MM/M/s(s可看作生滅過程的特殊形式。μn=nμ,λ0=λ1=···=λ思路：應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE45/77極限行為細致平衡條件M/M/∞排隊系統(tǒng)(cont.)細致平衡條件根據(jù)生滅鏈的公式可得：λn?1·λn?2·····λ0

λn (λ/μ)nπ(n)=

μn·μn?1

·····μ1

π(0)=n!μnπ(0)=

n! π(0)進一步地，由于概率要滿足完備性，因此：—π(n)=—π(n)=—λπ(0)=π(0)·—(λ/μ)=1因此：最終可得：

n=0

n=0

n!μnπ(0)=e?λ/μ

n!n=0(λ/μ)n

?λ/μπ(n)=

n! ·e由此可見，M/M/∞排隊系統(tǒng)的平穩(wěn)分布π服從均值為λ/μ的泊松分布。應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE46/77舉例舉例10：理發(fā)店問題細致平衡條件極限行為3（這里以每小時的顧客數(shù)為單位，即每位顧客的理發(fā)時間服從均值為20分鐘的指數(shù)分布，假設顧客按照細致平衡條件極限行為2222220 1 2 33 3 3思路：轉移速率圖極限行為 極限行為 細致平衡條件理發(fā)店問題(cont.)該問題中的狀態(tài)空間S={0,1,2,3}，其對應的轉移速率如下：q(n,n?1)=3, n=1,2,3(,q(n,n?1)=3, n=1,2,3根據(jù)細致平衡條件π(n)q(n,n+1)=π(n+1)q(n+1,n)，有：π(0)q(0,1)=π(1)q(1,π(1)q(0,2)=π(2)q(2,1)π(2)(0,3)=π(3)(3,2)

π(0)=3π(1)22π(1)=3π(2)?π(2)=3π(3)?π(0)π(1)π(2)π(3)1，可得：π(0)=

27, π(1)=65

18, π(2)=65

12 8, π(3)=65 65 若采用πQ=0 ? Q 0 3 ?5 20 0 3 ?3從而得到：

?2π0+3π1=0π0?π1+3π2=022π1?5π2+3π3=0

27=π1=1812π=π1=1812π? 65?652π2

?3π3=0

π2=65π0+π1+ππ0+π1+π2+π3=165應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE49/77嵌入鏈嵌入鏈定義嵌入鏈的概念及特征嵌入鏈嵌入鏈（定義嵌入鏈的概念及特征嵌入鏈對于轉移速率矩陣為Q的連續(xù)時間馬氏鏈而言，滿足如下條件的r(i,j)所構成的就是對應的嵌入鏈。r(i,j)=

q(i,j)寸i?=jq寸

(i,j)=q(i), i?=j0, i=j其中，q(i,j)是轉移速率矩陣Q的對應元素，q(i)是離開狀態(tài)i的速率，并且q(i)=?q(i,i)。應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE50/77理發(fā)店問題回顧理發(fā)店問題回顧嵌入鏈的概念及特征嵌入鏈狀態(tài)空間S={0,1,2,3}對應的轉移速率矩陣嵌入鏈的概念及特征嵌入鏈Q= 3200?5Q= 3200?5203?52003?30 550 1 0 03025302500 3 0 20 0 1 00 0 1 0 5 50 0 1 0R0 0 1 0R=0 0 1 0嵌入鏈 嵌入鏈 嵌入鏈的概念及特征理發(fā)店問題(cont.)3 0 25 30250R=50 1R=50 1 0 0 5 50 0 1 0這里轉移概率的取值是假設轉移服從速率為q(i,j)的指數(shù)分布，并利用指數(shù)分布的性質(zhì)得到的。注意：i這里轉移概率的取值是假設轉移服從速率為q(i,j)的指數(shù)分布，并利用指數(shù)分布的性質(zhì)得到的。注意：Q=R=3003 ?5 2 0525?2 2 0 0Q=R=3003 ?5 2 05250 3 ?5 20 0 3 0 0 3

0 3

0 20 0 3 0 0 1 00 0 1 0 5 50 0 3 0 0 1 00 0 1 0從狀態(tài)1轉移到狀態(tài)0的速率為3，轉移到狀態(tài)2的速率為2，因此從狀態(tài)1首先轉移到狀態(tài)0的概率為：P(X

=0|X

=1)=P[T

3 31122+35=min(T,T1122+35τ00類似地，從狀態(tài)1首先轉移到狀態(tài)2的概率為：τ00τP(Xτ

=2|X

=1)=P[T

2 22122+35=min(T,T2122+35應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE53/77泊松過程的嵌入鏈泊松過程的嵌入鏈嵌入鏈的概念及特征嵌入鏈q(ii1)λq(ii?嵌入鏈的概念及特征嵌入鏈r(i,i)=0, r(i,i+1)=1相應的轉移速率矩陣與嵌入鏈的轉移概率矩陣分別如下： ?λ λ 0 0 0 0 · Q= 0 Q= 0 0 ?λ λ 0 0 ···0 0 0 ?λ λ 0 ···...0 0 0 0 ?λλ·· . . . .

010000··· R= 000100···000010···...000001·· . . . . . . . . . . . . . . 應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE54/77有吸收態(tài)的嵌入鏈有吸收態(tài)的嵌入鏈嵌入鏈的概念及特征嵌入鏈嵌入鏈的概念及特征嵌入鏈000?2010?3002000100?40Q=Q=0 1000 0300 0對于有吸收態(tài)i的連續(xù)時間馬氏鏈，q(i,i)=0。同時，與之對應的嵌入鏈轉移概率r(i,i)=1。上面的轉移速率矩陣Q有兩個吸收態(tài)1和5。于是對應的嵌入鏈轉移概率矩陣R如下：0001/201/20001/201/2001/302/301/4000001R= 0R= 0

003/40嵌入鏈 嵌入鏈 嵌入鏈的概念及特征嵌入鏈轉移概率的特點嵌入鏈的轉移概率與連續(xù)時間馬氏鏈的轉移概率的不同之處在于，前者并未考慮時間因素，只關心狀態(tài)與狀態(tài)之間的轉移概率。嵌入鏈 嵌入鏈 利用嵌入鏈計算平穩(wěn)分布嵌入鏈根據(jù)πQ=0可得：iij—π(i)q(i,j)=0 ? —π(i)q(i,j)=π(j)q(j)iij定義ψ(i)=π(i)q((寸i

jπ(i)q(ij寸

i?=j

ψ(i)(i,j)

i?=j

ψ(i)r(i,j)因此：

π(j)q(j)=ψ(j)

ψ(j)=—ψ(i)r(i,j)ijijijij其中，r(i,j)是嵌入鏈對應的轉移概率，反映了連續(xù)時間馬氏鏈狀態(tài)之間轉移的概率。矩陣矩陣-向量形式利用嵌入鏈計算平穩(wěn)分布嵌入鏈—ψ(j)= ψ(i)r(i,利用嵌入鏈計算平穩(wěn)分布嵌入鏈—i?=j上式的矩陣-向量形式如下：

ψR=ψ可根據(jù)該性質(zhì)，通過嵌入鏈R計算連續(xù)時間馬氏鏈的平穩(wěn)分布π。可根據(jù)該性質(zhì)，通過嵌入鏈R計算連續(xù)時間馬氏鏈的平穩(wěn)分布π。注意：應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE58/77通過嵌入鏈計算平穩(wěn)分布的具體步驟通過嵌入鏈計算平穩(wěn)分布的具體步驟利用嵌入鏈計算平穩(wěn)分布嵌入鏈 1基于嵌入鏈R，利用ψR=ψ利用嵌入鏈計算平穩(wěn)分布嵌入鏈 1ψ=ψ(1)ψ(2)··· ψ(n)將得到的嵌入鏈平穩(wěn)分布中的各元素分別除以對應的轉移速率矩陣主對角線元素的絕對值，即ψ(i)/q(i)，從而得到向量π，即： π=q(1)

ψ(2)q(2)

··· (n)＿最后對向量π進行歸一化（normalize分布π，即：

1 1 ＿····π=A=A

ψ(1)

ψ(2)q(2)

ψ(n)q(n)k=1q(k)其中，Ak=1q(k)

ψ(k)。應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE59/77ππ(i)與ψ(i)的關系利用嵌入鏈計算平穩(wěn)分布嵌入鏈π(i)iψ(i衡量利用嵌入鏈計算平穩(wěn)分布嵌入鏈簡言之，π關注花費在各狀態(tài)上的時間所占的比重；ψ關注各狀態(tài)轉移的次數(shù)所占的比重。應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE60/77舉例：舉例：利用嵌入鏈計算平穩(wěn)分布嵌入鏈利用嵌入鏈計算平穩(wěn)分布嵌入鏈 Q= 2 ?4 24 4 ?8求該鏈的平穩(wěn)分布π。應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE61/77解法一解法一利用嵌入鏈計算平穩(wěn)分布嵌入鏈使用πQ=利用嵌入鏈計算平穩(wěn)分布嵌入鏈?2π(1)+2π(2)+4π(3)=π(1)?4π(2)+4π(3)=0

π(1)=47? π(2)=27777π77π(1)+π(2)+π(3)=1π(3)=1應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE62/77解法二解法二利用嵌入鏈計算平穩(wěn)分布嵌入鏈 由轉移速率矩陣Q利用嵌入鏈計算平穩(wěn)分布嵌入鏈 0 0.50. R= 0 0.50.5 0由于該鏈是一個雙隨機鏈，因此：從而：

ψ= 1 1 1「1q(3)28612「1q(3)28612q(1)「ψq(1)

ψ(2)qq(2)

ψ(3)1「1/3

1/344

1/31=「1 1

112424應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE63/77解法二解法二(cont.)利用嵌入鏈計算平穩(wěn)分布利用嵌入鏈計算平穩(wěn)分布嵌入鏈A=1+1+1=7因此：

6 12 24 24A761224777π=1=24「1 1 11=「4 2 11A761224777不難看出，兩種解法得到的結果完全相同。不難看出，兩種解法得到的結果完全相同。不難看出，兩種解法得到的結果完全相同。不難看出，兩種解法得到的結果完全相同。離出時間和離出分布連續(xù)時間馬氏鏈吸收態(tài)的特征離出時間和離出分布連續(xù)時間馬氏鏈吸收態(tài)的特征Qi行的所有矩陣元素取值均為iR上，體現(xiàn)為r(ii)1r(ij)0,j?=i。為了繼續(xù)研究含吸收態(tài)的連續(xù)時間馬氏鏈，可以對其中的狀態(tài)進行簡單的分類。其中的吸收態(tài)記作A，非常返態(tài)記作T，于是狀態(tài)空間S=A∪T，相應的轉移速率矩陣Q可以表示成如下的分塊矩陣形式：「A「A0B0lQ=TA離出時間和離出分布 離出時間和離出分布 離出時間的計算離出時間離出時間，是指非常返態(tài)最終被吸收態(tài)所吸收的期望時長。由于連i的停留時間服從指數(shù)分布，相應的停留時間q(i)1/q(i)?！沢(i)表示從狀態(tài)i,i∈T，最終被吸收的期望時間?！猤(i)=1+q(i)

r(i,j)g(j)—「 1j?=i,j∈—「 1=1+q(i) —j?=i, —

q(i,j)g(j)q(i)=1 1+q(i)

(i,j)(j)j?=i,j∈T離出時間的計算離出時間的計算離出時間的計算g(i)=1 1離出時間的計算q(i)

(i,j)(j)離出時間和離出分布 —j?=i離出時間和離出分布 —由于q(i)=?q(i,i)，上式可以進一步化簡：ji,∈T

q(i,j)g(j)+q(i,i)g(i)=?1—q(i,j)g(j)=?1—j∈T應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE67/77離出時間的計算離出時間的計算(cont.)離出時間的計算離出時間和離出分布—q(i,j)g(j)=離出時間的計算離出時間和離出分布—j∈T由于i,j∈T，因此q(i,j)對應的是轉移速率矩陣Q的分塊矩陣A。于是上式可以進一步表示為矩陣-向量形式如下：g=1 ? g=??1其中，A是(k×k)的分塊矩陣，當中包含了k個非常返態(tài)；g與1均是(k×1)1各元素的取值均為。應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE68/77例題例題1離出時間的計算離出時間和離出分布121、2、離出時間的計算離出時間和離出分布提示：求病人的平均生存期。提示：

?2 1.5 0.0 0 0Q=0 ?.52.0 0 0本題中的狀態(tài)本題中的狀態(tài)3是吸收態(tài)，對應的狀態(tài)1和2則是非常返態(tài)。應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE應用隨機過程第五章連續(xù)時間馬氏鏈中國人民大學出版社PAGE