隨機(jī)過程 13吸收概率和吸收的期望時(shí)間課件

吸收概率和吸收的期望時(shí)間吸收概率和吸收的期望時(shí)間1.如果如果一個(gè)馬爾科夫鏈只有一個(gè)常返類，加上一些可能存在的非常返狀態(tài)，對每一個(gè)狀態(tài)j，處于狀態(tài)j的概率rij(n)趨近于一個(gè)獨(dú)立于初始狀態(tài)i的極限值.2.如果有兩個(gè)或多個(gè)常返類，則rij(n)的極限值一定依賴于初始狀態(tài)3.如果馬爾科夫鏈?zhǔn)怯兄芷诘?，則rij(n)沒有極限值。本節(jié)介紹第二種情況，當(dāng)存在兩個(gè)或多個(gè)常返類時(shí)，馬爾科夫鏈的狀態(tài)轉(zhuǎn)移規(guī)律。1.如果如果一個(gè)馬爾科夫鏈只有一個(gè)常返類，加上一些可能存在的如果一個(gè)馬爾科夫鏈有兩個(gè)或多個(gè)常返類，則pij(n)的極限值依賴于初始狀態(tài)。但當(dāng)j是非常返狀態(tài)時(shí)，pij(n)的極限值等于0如果一個(gè)馬爾科夫鏈有兩個(gè)或多個(gè)常返類，則pij(n)的極限值本節(jié)學(xué)習(xí)馬爾科夫鏈的短期行為，考慮開始于非常返狀態(tài)的情形。我們感興趣的是1.首次訪問常返態(tài)的分布(吸收概率),2.對應(yīng)的到達(dá)時(shí)間分布。本節(jié)學(xué)習(xí)馬爾科夫鏈的短期行為，考慮開始于非常返狀態(tài)的情形。我們稱一個(gè)狀態(tài)為吸收狀態(tài)，如果pkk=1,pkj=0,對所有的j≠k當(dāng)我們我們討論吸收概率和吸收的期望時(shí)間的問題時(shí)，馬爾科夫鏈到達(dá)常返態(tài)之后的后續(xù)行為是不重要的.因此，我們可以把一個(gè)常返類看作是一個(gè)吸收狀態(tài)。我們稱一個(gè)狀態(tài)為吸收狀態(tài)，如果例如,下面的馬爾科夫鏈可以進(jìn)行如下分解：非常返集合D={1}兩個(gè)常返類：C1={2,3,4}；C2={5,6,7}合并之后變?yōu)椋豪?下面的馬爾科夫鏈可以進(jìn)行如下分解：如果只有一個(gè)吸收態(tài)k，那么穩(wěn)態(tài)概率為1。(因?yàn)槠渌袪顟B(tài)為非常返的，穩(wěn)態(tài)概率都是0）。從任何一個(gè)初始的非常返狀態(tài)出發(fā)，將以概率1達(dá)到這個(gè)吸收態(tài)。如果有多個(gè)吸收狀態(tài)，那么經(jīng)過若干步轉(zhuǎn)移，這個(gè)狀態(tài)最后終將到達(dá)某個(gè)吸收態(tài)。但具體到達(dá)哪一個(gè)吸收態(tài)，是隨機(jī)的，并且到達(dá)各吸收態(tài)的概率分布依賴于初始狀態(tài)。如果只有一個(gè)吸收態(tài)k，那么穩(wěn)態(tài)概率為1。(因?yàn)槠渌袪顟B(tài)為現(xiàn)在固定一個(gè)吸收態(tài)，設(shè)為s，令ais表示鏈從狀態(tài)i開始，最終到達(dá)s的概率：ais=P(Xn最終等于吸收狀態(tài)s|X0=i)這個(gè)概率稱為吸收概率，該吸收概率可以通過解以下線性方程組得到：吸收概率現(xiàn)在固定一個(gè)吸收態(tài)，設(shè)為s，令ais表示鏈從狀態(tài)i開始，最終吸收概率方程組考慮一個(gè)馬爾科夫鏈，它的每一個(gè)狀態(tài)或者是非常返的，或者是吸收的，并固定一個(gè)吸收狀態(tài)s。那么從狀態(tài)i開始，最終達(dá)到s的概率ais是下列方程組的唯一解：吸收概率方程組由吸收概率的定義，很明顯得到方程ass=1以及對于所有吸收狀態(tài)i≠s，ais=0下面證明剩下的方程組?？紤]一個(gè)非常返狀態(tài)i，令A(yù)表示狀態(tài)s最終被達(dá)到的事件。我們有：由吸收概率的定義，很明顯得到方程ass=1以及對于所有吸收狀固定狀態(tài)1，則解得同理，固定狀態(tài)4，得注意：固定狀態(tài)1，則解得同理，固定狀態(tài)4，得注意：例10下圖(a)有兩個(gè)常返類{1}和{4,5}，我們計(jì)算開始于一個(gè)非常返狀態(tài)，最終進(jìn)入常返類{4,5}的概率。例10下圖(a)有兩個(gè)常返類{1}和{4,5}，我們計(jì)算開始為了解決這個(gè)問題，考慮常返類{4,5}內(nèi)的可能轉(zhuǎn)移不是實(shí)質(zhì)性的，所以我們將它們堪稱單個(gè)吸收狀態(tài)（稱之為狀態(tài)6）?，F(xiàn)在只需計(jì)算在新鏈中，最終進(jìn)入狀態(tài)6的概率為了解決這個(gè)問題，考慮常返類{4,5}內(nèi)的可能轉(zhuǎn)移不是實(shí)質(zhì)性從非常返狀態(tài)2和3，,最終達(dá)到6的概率滿足一下方程組：利用事實(shí)我們得到：因?yàn)橹挥袃蓚€(gè)吸收狀態(tài)，所以：從非常返狀態(tài)2和3，,最終達(dá)到6的概率滿足一下方程組：利用事例11(賭徒破產(chǎn)問題)一個(gè)賭徒每局以概率p贏一元，同時(shí)以概率1-p輸?shù)粢辉＜僭O(shè)不同的賭局之間是相互獨(dú)立的。賭徒會一直賭博直到資金到達(dá)某個(gè)目標(biāo)總數(shù)m時(shí)，或者輸?shù)羧康腻X。請問最終資金到達(dá)目標(biāo)m或者輸?shù)羲抠Y金的概率是多少？例11(賭徒破產(chǎn)問題)一個(gè)賭徒每局以概率p贏一元，同時(shí)以概解我們建立馬爾科夫鏈模型，狀態(tài)i表示每次賭局開始時(shí)，賭徒的資金。狀態(tài)i=0和i=m分別表示最終輸和贏。除了最終輸和贏的狀態(tài)是吸收的，其余狀態(tài)都是非常返的。所以問題變成對應(yīng)計(jì)算每個(gè)吸收態(tài)的吸收概率。這些吸收概率會依賴于初始狀態(tài)i的選取。我們令s=m,且吸收概率asm表示從狀態(tài)i出發(fā)，最終贏得概率。那么概率滿足解我們建立馬爾科夫鏈模型，狀態(tài)i表示每次賭局開始時(shí)，賭徒的隨機(jī)過程13吸收概率和吸收的期望時(shí)間課件這些方程組可以通過多種方法求解，下面利用一種比較簡單的方法求解。對于每一個(gè)aim，我們有令以及從而方程組變?yōu)橛纱丝傻媒Y(jié)合等式這些方程組可以通過多種方法求解，下面利用一種比較簡單的方法求可得也就是因?yàn)橐约皬囊粋€(gè)狀態(tài)i出發(fā)，最終贏的概率aim是可得也就是因?yàn)橐约皬囊粋€(gè)狀態(tài)i出發(fā)，最終贏的概率aim是如果一個(gè)人帶了8元，目標(biāo)是10元，p=1/2,則ρ=1，最終贏的概率是8/10.如果p=1/3,則ρ=(1-p)/p=2,某人帶了9元，最終贏的概率為如果一個(gè)人帶了8元，目標(biāo)是10元，p=1/2,這個(gè)結(jié)果揭示了，如果ρ>1,也就是p<1/2,對于賭徒每次贏得概率相對小，那么最終贏得概率，不管初始資金是多少，隨著m→∞趨近于0，這就表明，在不理想的概率下(每次贏的概率小于輸?shù)母怕?,想贏取更大資金，最終完全破產(chǎn)幾乎是一定的。這個(gè)結(jié)果揭示了，如果ρ>1,也就是p<1/2,對于賭徒每次贏平均吸收時(shí)間對于一個(gè)馬爾科夫鏈，我們不僅希望知道從一個(gè)非常返狀態(tài)出發(fā)，被某一個(gè)常返類吸收的概率，還希望知道被吸收之前的轉(zhuǎn)移步數(shù)，被稱為平均吸收時(shí)間。例如，在蒼蠅和蜘蛛的問題中，我們希望知道一個(gè)蒼蠅被吃掉之前，轉(zhuǎn)移的步數(shù)，賭博問題中，我們希望知道賭徒停止賭博之前可以賭多長時(shí)間。平均吸收時(shí)間對于一個(gè)馬爾科夫鏈，我們不僅希望知道從一個(gè)非常返平均吸收時(shí)間從一個(gè)特定的非常返狀態(tài)出發(fā)，直到到達(dá)一個(gè)常返狀態(tài)（我們稱之為吸收）的平均步數(shù)，稱為平均吸收時(shí)間。對于任何一個(gè)i，定義：注意如果i本身為常返態(tài)，根據(jù)定義，平均吸收時(shí)間從一個(gè)特定的非常返狀態(tài)出發(fā)，直到到達(dá)一個(gè)常返狀態(tài)平均吸收時(shí)間方程組：平均吸收時(shí)間1,...,m是下列方程組的唯一解關(guān)于i的方程組我們利用全期望定理得到。從一個(gè)非常返狀態(tài)i出發(fā)直到進(jìn)入吸收狀態(tài)所需要的時(shí)間的期望值等于1加上從下一個(gè)狀態(tài)j出發(fā)直到進(jìn)入吸收狀態(tài)所需時(shí)間的加權(quán)平均，權(quán)值恰好就是轉(zhuǎn)移概率pij。平均吸收時(shí)間方程組：例12(蒼蠅和蜘蛛)我們計(jì)算蒼蠅被捕捉的平均步數(shù)。我們有：例12(蒼蠅和蜘蛛)我們計(jì)算蒼蠅被捕捉的平均步數(shù)。我們有：當(dāng)m=4的時(shí)候，方程組可以簡化為解得當(dāng)m=4的時(shí)候，方程組可以簡化為解得例4.18設(shè)馬爾可夫鏈轉(zhuǎn)移概率矩陣為求每一個(gè)不可約閉集的平穩(wěn)分布及吸收概率、平均吸收時(shí)間。例4.18設(shè)馬爾可夫鏈轉(zhuǎn)移概率矩陣為求每一個(gè)不可約閉集解從狀態(tài)轉(zhuǎn)移圖看出，狀態(tài)空間可分解為兩個(gè)不可約常返閉集C1={2,3,4}和C2={5,6,7}，一個(gè)非常返集N={1}。在常返集上求平穩(wěn)分布。在C1上，對應(yīng)的轉(zhuǎn)移概率矩陣為解從狀態(tài)轉(zhuǎn)移圖看出，狀態(tài)空間可分解為兩個(gè)不可約常返閉集C1上的平穩(wěn)分布為{0,0.4,0.2,0.4,0,0,0}同理可求得C2上的平穩(wěn)分布為{0,0,0,0,1/3,1/3,1/3}吸收概率：把{2,3,4}看做狀態(tài)8，{5,6,7}看做狀態(tài)9，得到方程組：C1上的平穩(wěn)分布為吸收概率：則到達(dá){2,3,4}的概率為下列方程組的解：解得即從狀態(tài)1出發(fā)，最終到達(dá){2,3,4}的概率是同理,從狀態(tài)1出發(fā)最終到達(dá){5,6,7}的概率是則到達(dá){2,3,4}的概率為下列方程組的解：即從狀態(tài)1出發(fā)，解得：解得：平均首訪時(shí)間及回訪時(shí)間用于計(jì)算平均吸收時(shí)間的想法也可以用于計(jì)算開始于任何其他狀態(tài)，到達(dá)某特定常返狀態(tài)的平均時(shí)間。為了簡化，我們只考慮只有單個(gè)常返類的馬爾科夫鏈。平均首訪時(shí)間及回訪時(shí)間用于計(jì)算平均吸收時(shí)間的想法也可以用于對于一個(gè)特定的常返狀態(tài)s，令tis表示從狀態(tài)i到狀態(tài)s的平均首訪時(shí)間，定義為tis=E[從狀態(tài)i開始,首次達(dá)到狀態(tài)s的轉(zhuǎn)移步數(shù)]=E[min{n≥0|Xn=s}|X0=i]到達(dá)狀態(tài)s之后的轉(zhuǎn)移和計(jì)算平均首訪時(shí)間是沒有關(guān)系的，所以，我們將特殊狀態(tài)s看成一個(gè)吸收狀態(tài)(設(shè)定Pss=1,Psj=0對于所有的j≠s),新的馬爾科夫鏈本質(zhì)上是和原來一致的。通過這個(gè)轉(zhuǎn)化，除了s外所有狀態(tài)都是非常返的。于是利用前面的公式，計(jì)算ti相當(dāng)于計(jì)算從狀態(tài)i出發(fā)被吸收的平均步數(shù)。對于一個(gè)特定的常返狀態(tài)s，令tis表示從狀態(tài)i到狀態(tài)s的平均我們有：該線性方程組能用于解未知的ti,并且只有唯一解。上述方程組給出了從任何其他狀態(tài)開始，達(dá)到狀態(tài)s的平均時(shí)間。我們也可以計(jì)算到達(dá)特殊狀態(tài)s的平均回訪時(shí)間，定義為我們有：該線性方程組能用于解未知的ti,并且只有唯一解。上述ts*=E[從狀態(tài)s開始,首次回到狀態(tài)s的轉(zhuǎn)移步數(shù)]=E[min{n≥1|Xn=s}|X0=s]只要我們具有首次訪問時(shí)間ti，就可以通過以下方程組得到ts*ts*=E[從狀態(tài)s開始,首次回到狀態(tài)s的轉(zhuǎn)移步數(shù)]例13例1中愛麗絲聽課的兩種狀態(tài)“進(jìn)步”和“落后”，她的狀態(tài)形成一個(gè)馬爾科夫鏈，狀態(tài)1和狀態(tài)2分別對應(yīng)進(jìn)步和落后，且轉(zhuǎn)移概率為P11=0.8，P12=0.2，P21=0.6，P22=0.4對于狀態(tài)s=1，計(jì)算從狀態(tài)2開始到達(dá)狀態(tài)1的平均首訪時(shí)間。我們有t1=0以及由此：到達(dá)狀態(tài)1的平均回訪時(shí)間是：例13例1中愛麗絲聽課的兩種狀態(tài)“進(jìn)步”和“落后”，她的狀平均首訪時(shí)間和回訪時(shí)間方程組考慮只有一個(gè)常返類的馬爾科夫鏈，令s為特殊的常返狀態(tài)。從狀態(tài)i到狀態(tài)s的平均首訪時(shí)間ti，是下列方程組的唯一解狀態(tài)s的平均回訪時(shí)間ts*為平均首訪時(shí)間和回訪時(shí)間方程組隨機(jī)過程13吸收概率和吸收的期望時(shí)間課件3.如果馬爾科夫鏈?zhǔn)怯兄芷诘?，則rij(n)沒有極限值。但有以下結(jié)論：推論設(shè)不可約、正常返、周期為d的馬氏鏈，其狀態(tài)空間為C，則對一切i,jC

有:其中當(dāng)d=1時(shí)，則對一切i,j有3.如果馬爾科夫鏈?zhǔn)怯兄芷诘?，則rij(n)沒有極限值。但有例3狀態(tài)轉(zhuǎn)移矩陣為12311例312311吸收概率和吸收的期望時(shí)間吸收概率和吸收的期望時(shí)間1.如果如果一個(gè)馬爾科夫鏈只有一個(gè)常返類，加上一些可能存在的非常返狀態(tài)，對每一個(gè)狀態(tài)j，處于狀態(tài)j的概率rij(n)趨近于一個(gè)獨(dú)立于初始狀態(tài)i的極限值.2.如果有兩個(gè)或多個(gè)常返類，則rij(n)的極限值一定依賴于初始狀態(tài)3.如果馬爾科夫鏈?zhǔn)怯兄芷诘模瑒trij(n)沒有極限值。本節(jié)介紹第二種情況，當(dāng)存在兩個(gè)或多個(gè)常返類時(shí)，馬爾科夫鏈的狀態(tài)轉(zhuǎn)移規(guī)律。1.如果如果一個(gè)馬爾科夫鏈只有一個(gè)常返類，加上一些可能存在的如果一個(gè)馬爾科夫鏈有兩個(gè)或多個(gè)常返類，則pij(n)的極限值依賴于初始狀態(tài)。但當(dāng)j是非常返狀態(tài)時(shí)，pij(n)的極限值等于0如果一個(gè)馬爾科夫鏈有兩個(gè)或多個(gè)常返類，則pij(n)的極限值本節(jié)學(xué)習(xí)馬爾科夫鏈的短期行為，考慮開始于非常返狀態(tài)的情形。我們感興趣的是1.首次訪問常返態(tài)的分布(吸收概率),2.對應(yīng)的到達(dá)時(shí)間分布。本節(jié)學(xué)習(xí)馬爾科夫鏈的短期行為，考慮開始于非常返狀態(tài)的情形。我們稱一個(gè)狀態(tài)為吸收狀態(tài)，如果pkk=1,pkj=0,對所有的j≠k當(dāng)我們我們討論吸收概率和吸收的期望時(shí)間的問題時(shí)，馬爾科夫鏈到達(dá)常返態(tài)之后的后續(xù)行為是不重要的.因此，我們可以把一個(gè)常返類看作是一個(gè)吸收狀態(tài)。我們稱一個(gè)狀態(tài)為吸收狀態(tài)，如果例如,下面的馬爾科夫鏈可以進(jìn)行如下分解：非常返集合D={1}兩個(gè)常返類：C1={2,3,4}；C2={5,6,7}合并之后變?yōu)椋豪?下面的馬爾科夫鏈可以進(jìn)行如下分解：如果只有一個(gè)吸收態(tài)k，那么穩(wěn)態(tài)概率為1。(因?yàn)槠渌袪顟B(tài)為非常返的，穩(wěn)態(tài)概率都是0）。從任何一個(gè)初始的非常返狀態(tài)出發(fā)，將以概率1達(dá)到這個(gè)吸收態(tài)。如果有多個(gè)吸收狀態(tài)，那么經(jīng)過若干步轉(zhuǎn)移，這個(gè)狀態(tài)最后終將到達(dá)某個(gè)吸收態(tài)。但具體到達(dá)哪一個(gè)吸收態(tài)，是隨機(jī)的，并且到達(dá)各吸收態(tài)的概率分布依賴于初始狀態(tài)。如果只有一個(gè)吸收態(tài)k，那么穩(wěn)態(tài)概率為1。(因?yàn)槠渌袪顟B(tài)為現(xiàn)在固定一個(gè)吸收態(tài)，設(shè)為s，令ais表示鏈從狀態(tài)i開始，最終到達(dá)s的概率：ais=P(Xn最終等于吸收狀態(tài)s|X0=i)這個(gè)概率稱為吸收概率，該吸收概率可以通過解以下線性方程組得到：吸收概率現(xiàn)在固定一個(gè)吸收態(tài)，設(shè)為s，令ais表示鏈從狀態(tài)i開始，最終吸收概率方程組考慮一個(gè)馬爾科夫鏈，它的每一個(gè)狀態(tài)或者是非常返的，或者是吸收的，并固定一個(gè)吸收狀態(tài)s。那么從狀態(tài)i開始，最終達(dá)到s的概率ais是下列方程組的唯一解：吸收概率方程組由吸收概率的定義，很明顯得到方程ass=1以及對于所有吸收狀態(tài)i≠s，ais=0下面證明剩下的方程組?？紤]一個(gè)非常返狀態(tài)i，令A(yù)表示狀態(tài)s最終被達(dá)到的事件。我們有：由吸收概率的定義，很明顯得到方程ass=1以及對于所有吸收狀固定狀態(tài)1，則解得同理，固定狀態(tài)4，得注意：固定狀態(tài)1，則解得同理，固定狀態(tài)4，得注意：例10下圖(a)有兩個(gè)常返類{1}和{4,5}，我們計(jì)算開始于一個(gè)非常返狀態(tài)，最終進(jìn)入常返類{4,5}的概率。例10下圖(a)有兩個(gè)常返類{1}和{4,5}，我們計(jì)算開始為了解決這個(gè)問題，考慮常返類{4,5}內(nèi)的可能轉(zhuǎn)移不是實(shí)質(zhì)性的，所以我們將它們堪稱單個(gè)吸收狀態(tài)（稱之為狀態(tài)6）?，F(xiàn)在只需計(jì)算在新鏈中，最終進(jìn)入狀態(tài)6的概率為了解決這個(gè)問題，考慮常返類{4,5}內(nèi)的可能轉(zhuǎn)移不是實(shí)質(zhì)性從非常返狀態(tài)2和3，,最終達(dá)到6的概率滿足一下方程組：利用事實(shí)我們得到：因?yàn)橹挥袃蓚€(gè)吸收狀態(tài)，所以：從非常返狀態(tài)2和3，,最終達(dá)到6的概率滿足一下方程組：利用事例11(賭徒破產(chǎn)問題)一個(gè)賭徒每局以概率p贏一元，同時(shí)以概率1-p輸?shù)粢辉?。假設(shè)不同的賭局之間是相互獨(dú)立的。賭徒會一直賭博直到資金到達(dá)某個(gè)目標(biāo)總數(shù)m時(shí)，或者輸?shù)羧康腻X。請問最終資金到達(dá)目標(biāo)m或者輸?shù)羲抠Y金的概率是多少？例11(賭徒破產(chǎn)問題)一個(gè)賭徒每局以概率p贏一元，同時(shí)以概解我們建立馬爾科夫鏈模型，狀態(tài)i表示每次賭局開始時(shí)，賭徒的資金。狀態(tài)i=0和i=m分別表示最終輸和贏。除了最終輸和贏的狀態(tài)是吸收的，其余狀態(tài)都是非常返的。所以問題變成對應(yīng)計(jì)算每個(gè)吸收態(tài)的吸收概率。這些吸收概率會依賴于初始狀態(tài)i的選取。我們令s=m,且吸收概率asm表示從狀態(tài)i出發(fā)，最終贏得概率。那么概率滿足解我們建立馬爾科夫鏈模型，狀態(tài)i表示每次賭局開始時(shí)，賭徒的隨機(jī)過程13吸收概率和吸收的期望時(shí)間課件這些方程組可以通過多種方法求解，下面利用一種比較簡單的方法求解。對于每一個(gè)aim，我們有令以及從而方程組變?yōu)橛纱丝傻媒Y(jié)合等式這些方程組可以通過多種方法求解，下面利用一種比較簡單的方法求可得也就是因?yàn)橐约皬囊粋€(gè)狀態(tài)i出發(fā)，最終贏的概率aim是可得也就是因?yàn)橐约皬囊粋€(gè)狀態(tài)i出發(fā)，最終贏的概率aim是如果一個(gè)人帶了8元，目標(biāo)是10元，p=1/2,則ρ=1，最終贏的概率是8/10.如果p=1/3,則ρ=(1-p)/p=2,某人帶了9元，最終贏的概率為如果一個(gè)人帶了8元，目標(biāo)是10元，p=1/2,這個(gè)結(jié)果揭示了，如果ρ>1,也就是p<1/2,對于賭徒每次贏得概率相對小，那么最終贏得概率，不管初始資金是多少，隨著m→∞趨近于0，這就表明，在不理想的概率下(每次贏的概率小于輸?shù)母怕?,想贏取更大資金，最終完全破產(chǎn)幾乎是一定的。這個(gè)結(jié)果揭示了，如果ρ>1,也就是p<1/2,對于賭徒每次贏平均吸收時(shí)間對于一個(gè)馬爾科夫鏈，我們不僅希望知道從一個(gè)非常返狀態(tài)出發(fā)，被某一個(gè)常返類吸收的概率，還希望知道被吸收之前的轉(zhuǎn)移步數(shù)，被稱為平均吸收時(shí)間。例如，在蒼蠅和蜘蛛的問題中，我們希望知道一個(gè)蒼蠅被吃掉之前，轉(zhuǎn)移的步數(shù)，賭博問題中，我們希望知道賭徒停止賭博之前可以賭多長時(shí)間。平均吸收時(shí)間對于一個(gè)馬爾科夫鏈，我們不僅希望知道從一個(gè)非常返平均吸收時(shí)間從一個(gè)特定的非常返狀態(tài)出發(fā)，直到到達(dá)一個(gè)常返狀態(tài)（我們稱之為吸收）的平均步數(shù)，稱為平均吸收時(shí)間。對于任何一個(gè)i，定義：注意如果i本身為常返態(tài)，根據(jù)定義，平均吸收時(shí)間從一個(gè)特定的非常返狀態(tài)出發(fā)，直到到達(dá)一個(gè)常返狀態(tài)平均吸收時(shí)間方程組：平均吸收時(shí)間1,...,m是下列方程組的唯一解關(guān)于i的方程組我們利用全期望定理得到。從一個(gè)非常返狀態(tài)i出發(fā)直到進(jìn)入吸收狀態(tài)所需要的時(shí)間的期望值等于1加上從下一個(gè)狀態(tài)j出發(fā)直到進(jìn)入吸收狀態(tài)所需時(shí)間的加權(quán)平均，權(quán)值恰好就是轉(zhuǎn)移概率pij。平均吸收時(shí)間方程組：例12(蒼蠅和蜘蛛)我們計(jì)算蒼蠅被捕捉的平均步數(shù)。我們有：例12(蒼蠅和蜘蛛)我們計(jì)算蒼蠅被捕捉的平均步數(shù)。我們有：當(dāng)m=4的時(shí)候，方程組可以簡化為解得當(dāng)m=4的時(shí)候，方程組可以簡化為解得例4.18設(shè)馬爾可夫鏈轉(zhuǎn)移概率矩陣為求每一個(gè)不可約閉集的平穩(wěn)分布及吸收概率、平均吸收時(shí)間。例4.18設(shè)馬爾可夫鏈轉(zhuǎn)移概率矩陣為求每一個(gè)不可約閉集解從狀態(tài)轉(zhuǎn)移圖看出，狀態(tài)空間可分解為兩個(gè)不可約常返閉集C1={2,3,4}和C2={5,6,7}，一個(gè)非常返集N={1}。在常返集上求平穩(wěn)分布。在C1上，對應(yīng)的轉(zhuǎn)移概率矩陣為解從狀態(tài)轉(zhuǎn)移圖看出，狀態(tài)空間可分解為兩個(gè)不可約常返閉集C1上的平穩(wěn)分布為{0,0.4,0.2,0.4,0,0,0}同理可求得C2上的平穩(wěn)分布為{0,0,0,0,1/3,1/3,1/3}吸收概率：把{2,3,4}看做狀態(tài)8，{5,6,7}看做狀態(tài)9，得到方程組：C1上的平穩(wěn)分布為吸收概率：則到達(dá){2,3,4}的概率為下列方程組的解：解得即從狀態(tài)1出發(fā)，最終到達(dá){2,3,4}的概率是同理,從狀態(tài)1出發(fā)最終到達(dá){5,6,7}的概率是則到達(dá){2,3,4}的概率為下列方程組的解：即從狀態(tài)1出發(fā)，解得：解得：平均首訪時(shí)間及回訪時(shí)間用于計(jì)算平均吸收時(shí)間的想法也可以用于計(jì)算開始于任何其他狀態(tài)，到達(dá)某特定常返狀態(tài)的平均時(shí)間。為了簡化，我們只考慮只有單個(gè)常返類的馬爾科夫鏈。平均首訪時(shí)間及回訪時(shí)間用于計(jì)算平均吸收時(shí)間的想法也可以用于對于一個(gè)特定的常返狀態(tài)s，令tis表示從狀態(tài)i到狀態(tài)s的平均首訪時(shí)間，定義為tis=E[從狀態(tài)i開始,首次達(dá)到狀態(tài)s的轉(zhuǎn)移步數(shù)]=E[min{n≥0|Xn=s}|X0=i]到達(dá)狀態(tài)s之后的轉(zhuǎn)移和計(jì)算平均首訪時(shí)間是沒有關(guān)系的，所以，我們將特