第五章連續(xù)時間的Markov鏈教育課資

1、第五章 連續(xù)時間的馬爾可夫鏈 第四章我們討論了時間和狀態(tài)都是離散的鏈，本章我們研究的是時間連續(xù)、狀態(tài)離散的過程，即連續(xù)時間的鏈. 連續(xù)時間的鏈可以理解為一個做如下運動的隨機過程：它以一個離散時間鏈的方式從一個狀態(tài)轉移到另一狀態(tài)，在兩次轉移之間以指數分布在前一狀態(tài)停留. 這個指數分布只與過程現在的狀態(tài)有關，與過去的狀態(tài)無關（具有無記憶性），但與將來轉移到的狀態(tài)獨立. 5.1 連續(xù)時間馬爾可夫鏈的基本概念 定義 5.1 設隨機過程，狀態(tài)空間，若對任意的正整數及任意的非負整數，條件概率滿足 （5.1）則稱為連續(xù)時間的鏈.由定義知，連續(xù)時間的鏈是具有性（或稱無后效性）的隨機過程，它的直觀意義是：過程在

2、已知現在時刻及一切過去時刻所處狀態(tài)的條件下，將來時刻的狀態(tài)只依賴于現在的狀態(tài)而與過去的狀態(tài)無關.記(5.1)式條件概率的一般形式為 （5.2）它表示系統(tǒng)在時刻處于狀態(tài)，經過時間后在時刻轉移到狀態(tài)的轉移概率，通常稱它為轉移概率函數.一般地，它不僅與有關，還與有關.定義 5.2 若(5.2)式的轉移概率函數與無關，則稱連續(xù)時間鏈具有平穩(wěn)的轉移概率函數，稱該鏈為連續(xù)時間的齊次（或時齊）鏈. 此時轉移概率函數簡記為.相應地，轉移概率矩陣簡記為.若狀態(tài)空間，則有 （5.3） 假設在某時刻，比如說時刻0，鏈進入狀態(tài)，在接下來的個單位時間內過程未離開狀態(tài)（即未發(fā)生轉移），我們要討論的問題是在隨后的個單位時間

3、中過程仍不離開狀態(tài)的概率是多少？由性知，過程在時刻處于狀態(tài)的條件下，在區(qū)間中仍處于狀態(tài)的概率正是它處在狀態(tài)至少個單位時間的（無條件）概率，若記為過程在轉移到另一狀態(tài)之前停留在狀態(tài)的時間，則對一切有可見，隨機變量具有無記憶性，因此，服從指數分布.因此，一個連續(xù)時間的鏈，每當它進入狀態(tài)，具有如下性質：（1） 在轉移到另一個狀態(tài)之前處在狀態(tài)的時間服從參數為的指數分布；（2） 當過程離開狀態(tài)時，接著以概率進入狀態(tài),且 .當時，稱狀態(tài)是瞬時狀態(tài)，因為過程一旦進入狀態(tài)就離開；若，稱狀態(tài)為吸收狀態(tài). 因為過程一旦進入永遠不再離開.盡管瞬時狀態(tài)在理論上是可能的，但我們以后還是假設一切，.因此，考慮連續(xù)時間鏈，

4、可以按照離散時間的鏈從一個狀態(tài)轉移到另個狀態(tài)，但在轉移到另一狀態(tài)之前，它在各個狀態(tài)停留的時間服從指數分布，而且在狀態(tài)停留的時間與下一個狀態(tài)必須是相互獨立的隨機變量.定理5.1 齊次鏈的轉移概率函數具有下列性質：（1）；（2）；（3）.（2）式表明轉移概率矩陣中任一元素行和為1；（3）式稱為連續(xù)時間齊次鏈的方程，簡稱方程.證明 （1）和（2）由概率定義及的定義易知，下面只證明（3）式由全概率公式和性可得 對于轉移概率函數，我們約定 （5.4）稱上式為連續(xù)性條件或正則性條件.連續(xù)性條件保證轉移概率函數在邊界點處右連續(xù).它的直觀意義在于：當系統(tǒng)經過很短時間，其狀態(tài)幾乎不變，也就是認為系統(tǒng)剛進入一個狀

5、態(tài)又立刻離開這個狀態(tài)是不可能的. 定義 5.3 連續(xù)時間鏈在初始時刻（即零時刻）取各狀態(tài)的概率 （5.5）稱為它的初始分布.在時刻取各狀態(tài)的概率 稱為它在時刻的絕對（概率）分布.初始分布和絕對分布都是概率分布，對于任意，總滿足：（1）；（2）.利用全概率公式容易得到 （5.6）（5.6）式表明：連續(xù)時間鏈的絕對概率分布完全由其初始分布和轉移概率函數所確定.下面舉一個簡單的例子說明轉移概率函數的計算方法.例5.1 證明過程是連續(xù)時間的齊次鏈.證明 先證明過程具有性.由過程的獨立增量性和，對任意，有= 另一方面，因為=因此 =即過程是連續(xù)時間的鏈. 再證齊次性. 當時，由過程的定義，得到當時，由于

6、過程的增量只取非負整數值，因此，故即轉移概率函數只與有關，因此，過程具有齊次性.容易看出，固定時，是關于的連續(xù)可微函數。5.2 微分方程 對于離散時間齊次鏈，如果已知其一步轉移概率矩陣，則步轉移概率矩陣由一步轉移概率矩陣的次方即可求得.但是，對于連續(xù)時間齊次鏈，由于“步長”的概念失效，轉移概率函數的求法較為復雜，一般通過解微分方程求出轉移概率函數.為此，我們首先討論的可微性及所滿足的微分方程.定理5.2 設齊次鏈滿足連續(xù)性條件(5.4)，則對于任意固定的轉移概率函數是的一致連續(xù)函數.證明 設，由方程，有由此可知 以及 因此 對于，可得到類似的不等式.因此 .由連續(xù)性條件，令可得到證明.定理5.

7、3 設是齊次連續(xù)時間鏈的轉移概率函數，則有； (5.7) (5.8)證明：略定理5.3中定義的是齊次連續(xù)時間鏈從狀態(tài)到狀態(tài)的轉移概率密度或稱轉移速率（ ）.也可稱為從狀態(tài)到狀態(tài)的跳躍強度.轉移速率函數刻畫了鏈的轉移概率函數在零時刻對時間的變化率. 定理中極限的概率意義為：在長為的時間區(qū)間內，過程從狀態(tài)轉移到狀態(tài)的概率，等于加上一個比高階的無窮小量；從狀態(tài)到轉移到另一其它狀態(tài)的轉移概率等于加上一個比高階的無窮小量.轉移速率函數也可以表示為以下形式：當充分小時 推論 對有限齊次過程，有 （5.9）證明 由定理5.1，即由于求和是在有限集上進行，因此即.證畢.對于狀態(tài)是無限的齊次過程，一般只有.若連

8、續(xù)時間齊次鏈是具有有限狀態(tài)空間，則其轉移概率速率可構成以下形式的矩陣 （5.10）由(5.10)知，q矩陣的每一行元素之和為0，主對角線元素為負或為0，其余時，.利用q矩陣可以推出任意時間間隔的轉移概率函數所滿足的方程組，從而可以求出轉移概率函數.下面我們給出轉移概率函數滿足的微分方程.定理5.4 (向后方程) 設是滿足連續(xù)性條件的有限齊次鏈的轉移概率函數，則對一切及，有 (5.11)證明 由方程于是，由速率函數的定義，得 定理5.4中滿足的微分方程組稱為向后方程（或稱后退方程）（ ），是因為在計算時刻狀態(tài)的概率分布時，我們對退后時刻的狀態(tài)取條件，即我們從 開始計算. 對于時刻的狀態(tài)取條件，類

9、似地可以導出另一組方程，稱為向前方程或前進方程（ ）. 定理5.5 (向前方程)在連續(xù)性條件下，有， (5.12)利用向后方程和向前方程及初始條件可以求出.向后方程和向前方程雖然形式上不同，但可以證明它們所求得解是相同的，在實際應用中，當固定最后所處狀態(tài),研究時，采用向后方程較為方便；當固定狀態(tài)，研究，則采用向前方程較方便. 需要指出的是：對于狀態(tài)空間為的齊次鏈，當時，向后方程和向前方程依然成立.向后方程和向前方程可以寫成矩陣形式 （5.13） （5.14）此時q矩陣為 （5.15）其中矩陣的元素為矩陣各元素的導數，而 （5.16）由此，連續(xù)時間鏈轉移概率函數的求解問題就是矩陣微分方程的求解問

10、題，其轉移概率函數由其轉移速率矩陣決定.特別地，若矩陣是一個有限維矩陣，則(5.13),(5.14)的解為 （5.17） 有關齊次鏈在時刻處在狀態(tài)的絕對分布，我們有下面的定理定理5.6（方程） 齊次鏈在時刻處在狀態(tài)的絕對分布滿足下列方程： （5.18）證明 由于，將向前方程兩邊乘以，并對求和，得因此 由式（5.18）可得到任意時刻時鏈的一維分布.同離散鏈類似，在時的性質，如連續(xù)性、可微性，這些性質稱為的無窮小性質.下面我們進一步討論當時的性質（即遍歷性）. 定義 5.4 設為連續(xù)時間鏈的轉移概率，若存在時刻和，使得 （5.19）則稱狀態(tài)是互通的；若所有的狀態(tài)都是互通的，則稱此鏈是不可約的. 定

11、義 5.5 設為連續(xù)時間鏈的轉移概率函數，為一概率分布，如果對于一切，有 （5.20）則稱概率分布為鏈的平穩(wěn)分布. 我們知道，所謂平穩(wěn)分布就是不因轉移而變化的分布，與無條件概率相比較，當無條件概率是與有關的常數時，該鏈存在平穩(wěn)分布. 如果連續(xù)時間的鏈存在平穩(wěn)分布，記（常數）， （5.21）則用乘以向前方程的兩邊，再對相加，可得 （5.22）（5.22）給出了平穩(wěn)分布所必須滿足的方程. 定理5.7 設連續(xù)時間鏈是不可約的，則有下面的性質：（1） 若它是正常返的，則極限存在且等于，這里是方程組 （5.23）的唯一非負解，此時，稱是該過程的平穩(wěn)分布，且（2） 若它是零常返的或非常返的，則 （5.24

12、）證明：略在實際應用中，有些問題可以直接用向前或向后方程求解，有些問題不能直接求解，我們用（5.23）來求解.例5.2 設鏈的狀態(tài)空間為，當時，；當時，.求解 根據向前方程（5.12），由于，因此，所以 解得 利用初始條件 ，則當時，而當時，于是 ， 例5.3 （隨機信號）設信號僅取兩個可能值“”和“”，表示時刻接收到的信號.是狀態(tài)空間為的齊次鏈.設在轉移到狀態(tài)之前在狀態(tài)停留的時間是參數為的指數變量，而在回到狀態(tài)之前它停留在狀態(tài)的時間是參數為的指數變量，即轉移概率函數為 ，由此并利用定理5.3，有，故得q矩陣為 相應的向前方程為，初始條件為 化為一階線性微分方程可解得，記，則，而 ，.令，可得

13、 ，.由此可見，當時，存在且與無關，由定理5.7，平穩(wěn)分布為 若取初始分布為平穩(wěn)分布，即 則在時刻的絕對概率分布為在平穩(wěn)狀態(tài)時，此鏈的均值函數和協(xié)方差函數分別為 ， 例5.4 （機器維修問題）設在例5.3中，狀態(tài)代表某機器正常工作，狀態(tài)代表機器出現故障.狀態(tài)轉移概率與例5.3中相同，即在時間內，機器從正常工作變?yōu)槌龉收系母怕蕿椋辉跁r間內，機器從有故障變修復后正常工作的概率為，求在時正常工作的機器，在時為正常工作的概率.解 由例5.3，要求機器最后所處的狀態(tài)為正常工作，只需計算即可.由于 ，且 因此 例5.5 （排隊問題）設有一隨機服務系統(tǒng)到達服務臺的顧客數是強度為的過程.服務臺只有一個服務員，

14、對顧客的服務時間是服從參數為的指數分布的隨機變量.假定顧客接受服務的時間與顧客到達服務臺的人數情況相互獨立，如果服務員空閑時到達的顧客立刻接受服務；如果顧客到達時服務員正在為一顧客服務，則他必須排隊等待；如果一顧客到達時發(fā)現已經有兩個人在等待，則他就離開不再回來.設是時刻服務臺里的顧客數（包括正在被服務的顧客和排隊等待的顧客），這是一個連續(xù)時間的鏈，其狀態(tài)空間為，假設在0時刻系統(tǒng)處在零狀態(tài)，求在時刻系統(tǒng)處在狀態(tài)的概率所滿足的微分方程.解 考慮建立方程，為此，先求鏈的矩陣.若，當有一顧客來到服務臺時，則狀態(tài)由轉移到，因到達服務臺的顧客數是強度為的過程，因此，在內有一顧客達到服務臺的概率為因此有

15、在有兩個或兩個以上顧客到達的概率為，故有又利用矩陣的性質，得到.若，表示在時刻有一顧客正在被服務，由于對顧客服務的時間是服從參數為的指數分布的隨機變量，則在內完成服務的概率為.因此，在內系統(tǒng)由狀態(tài)轉移到狀態(tài)的概率，也就是在這段時間內沒有顧客到來，且完成對那個顧客的服務的概率為=因此 同理 =從而得到 ， 同理，=仿上面的做法，得到 若，則這時系統(tǒng)不能接受新顧客，則狀態(tài)只能轉移到狀態(tài)或仍保持在狀態(tài)，在此情況下，在內對顧客服務結束的概率為 ，從而，由此得到，.所求的q矩陣為 根據方程得初始條件為5.3 生滅過程5.3.1 生滅過程的基本概念連續(xù)時間的鏈的一類重要的特殊情況是生滅過程，它的特征是在很

16、短時間內，系統(tǒng)的狀態(tài)只能從狀態(tài)轉移到狀態(tài)或或保持不變，而且生滅過程的所有狀態(tài)都是互通的，確切的定義如下： 定義5.6 設連續(xù)時間的齊次鏈的狀態(tài)空間為，轉移概率函數為，如果 （5.25）則稱為生滅過程，為出生率，為死亡率.若，為正常數），則稱為線性生滅過程；若，則稱為純生過程；若，則稱為純滅過程.從定義可以看出，如果不計高階無窮小，則生滅過程的變化狀態(tài)只有3種情形：或由變到，即增加1（如果是群體個數，則表明“生”了一個個體），其概率為；或由變到，即減少1（表明群體“死”了一個個體），其概率為；或群體個數沒有變化，其概率為.因此，生滅過程所有狀態(tài)是相通的，但在很短的時間內，只能在相鄰的狀態(tài)內變化：

17、或狀態(tài)無變化，或“生”一個，或“滅”一個，故有生滅過程之稱.由定理5.3得，由此我們得到生滅過程的q矩陣為 （5.26）相應地，向后方程， （5.27）向前方程是 （5.28）因為上述方程組的求解比較困難，同離散時間的鏈的情形一樣，我們通過引進遍歷性、極限分布來討論其平穩(wěn)分布，由定理5.7 （5.29）用遞推法得利用，得到平穩(wěn)分布， (5.30)上式也指出生滅過程平穩(wěn)分布存在的充要條件是 （5.31） 生滅過程在計算機（通信網絡）、系統(tǒng)更換（維修）、生態(tài)學等問題有廣泛的應用，下面給出幾個實例. 5.3.2 生滅過程的幾個應用實例例5.6 (排隊系統(tǒng)) （續(xù)例5.5）假設顧客按照參數為的過程來到

18、一個有個服務員的服務站，即相繼來到之間的時間是均值為的獨立指數隨機變量，每個顧客一來到，如果有服務員空閑，則直接進行服務，否則此顧客要加入排隊行列（即在隊中等待）.當一個服務員結束對一個顧客的服務時，顧客就離開服務系統(tǒng)，排隊中的下一位顧客（若有顧客等待）進入服務.假定相繼服務時間是相互獨立的指數隨機變量，均值為.如果記為時刻系統(tǒng)中的人數，則是生滅過程 （5.32）排隊系統(tǒng)中表示過程，代表個服務員.特別地，在排隊系統(tǒng)中，于是若，則由(5.25)式得要平穩(wěn)分布（即極限分布）存在，必須小于是直觀的.顧客按速率到來且以速率受到服務，因此，當時，他們到來的速率高于他們接受服務的速率，排隊的長度趨于無窮；

19、的情況類似于對稱的隨機游動，它是零常返的，從而沒有極限概率.例5.7 （電話問題的愛爾朗（）公式）兩個電話分局，假定它們之間有條線路，兩電話局用戶之間通話要占用這些中繼線，每個電話局都有許多用戶，其數量比大得多，因此，不管通話的用戶占有幾條中繼線，不在通話的用戶幾乎總是不變的.因此，可以假定在中又有一用戶要求通話的概率為，而與正在通話的用戶無關，如此時有空著的中繼線，則上述用戶就可以占用空著的中繼線路而進行通話，否則該用戶的要求因線路占滿而取消.再假定每一個時刻占用中繼線通話的用戶，在內將結束通話，從而空出一條中繼線的概率為，并且各用戶之間是相互獨立的.在上述假定下，用表示時刻正在使用的中繼線

20、路的條數，則是一個齊次的有限鏈，記其轉移概率為，則有 .這是一個生滅過程，相應的 由(5.30)知它的平穩(wěn)分布為于是 （5.33）這就是著名的公式.例5.8 (機床維修) 設有臺機床，個維修工人（），機床或者工作，或者等待維修.機床損壞后，如有維修工人空著，則空著的工人立即來維修，否則等待，直到有一個工人修好手中的一臺機床后再來維修，機床按先壞先修的原則排隊，如果進一步假定：（1） 在時刻正在工作的一臺機床在中損壞的概率為；（2） 在時刻正在修理的一臺機床在中被修好的概率為；（3） 各機床之間的狀態(tài)（指工作或損壞）是相互獨立的.在上述假定下，如用表示在時刻損壞了的（包括正在維修和等待維修的，即

21、不在工作的）機床臺數，則是一個齊次的有限鏈，用表示該鏈的轉移概率，根據上述假設，有事實上，表明在時刻有臺機床損壞的條件下，在中又有一臺機床損壞且臺正在修理的機床在該段時間內都未修好的概率為即 類似地，有 可見這是一個純生過程，相應地有 因此，可以得到它的平穩(wěn)分布如下：（1） 當時，有（2） 當時，有 而 由此可見，在給定的之后，對于不同的s就可用上述公式求出相應的，進而求出相應的均值（即安排s個維修工人時，平均不工作的機床臺數）等，根據這些數據來確定合適的工人數.例5.9 (尤爾（）過程) 設群體中各個個體的繁殖是相互獨立、強度為的過程.若假設沒有任何成員死亡，以記時刻群體的總數量，則是一個純生過程，其.稱此純生過程為尤爾過程，計算（1） 從一個個體開始，在時刻群體總量的分布；（2） 從一個個體開始，在時刻群體諸成員年齡之和的均值.解 記為第個與第個成員出生之前的時間，即是群體總數從變化到所花的時間.由尤爾過程的定義知道，是獨立的具有參數為的指數分布，因此 由歸納法可以證明由于 因此 由此可見，從一個個體開始，在時刻群體的總量具有幾何分布，其均值為.一般地，如果群體從個個體開始，在時刻群體總量是個獨立同幾何分布隨機變量之和，具有負二項分布，即 （2）記為群體在時刻諸成員年齡之和，則可以證明其中是最初個體在的年齡，取期望得 例5.10 (傳染模型) 有個個體的群體，在時刻0由一個