應(yīng)用隨機(jī)過程--第五章匯編

1、定義定義5.15.1：,),(TttX 設(shè)設(shè)隨隨機(jī)機(jī)過過程程, 2 , 1 , 0 T其中其中),(, 1 , 0nXnXn，或，或（或（或 2 , 1 ,0 S狀狀態(tài)態(tài)空空間間,n若若對對任任意意一一時時刻刻jiiiinn,110 以以及及任任意意狀狀態(tài)態(tài)有有),|(1111001nnnnniXiXiXiXjXP )|(1nnniXjXP 鏈鏈為一為一則稱則稱MarkovnXn0 .（或馬氏鏈）（或馬氏鏈）定義定義5.25.2：中中的的條條件件概概率率稱稱定定義義1 .5)|(1nnniXjXP )(npij , 1 , 0 nXMarkovn鏈鏈為為的的一一步步轉(zhuǎn)轉(zhuǎn)移移概概率率，.簡簡稱稱

2、為為轉(zhuǎn)轉(zhuǎn)移移概概率率定義定義5.35.3：有有關(guān)關(guān)，只只與與當(dāng)當(dāng)jiiXjXPnnn,)|(1 n而而與與無無關(guān)關(guān)時時，即即)|(1nnniXjXP )(npij ijp ).(時時齊齊的的鏈鏈為為齊齊次次的的稱稱Markov。非非時時齊齊的的否否則則，稱稱為為非非齊齊次次的的)(2 . 轉(zhuǎn)移概率轉(zhuǎn)移概率注注：有定義有定義5.15.1知知),(1100nniXiXiXP),|(111100nnnniXiXiXiXP),(111100 nniXiXiXP )|(11nnnniXiXP),(2200 nniXiXP),|(220011 nnnniXiXiXP )|(11nnnniXiXP)|(22

3、11 nnnniXiXP)()|(000011iXPiXiXP nniiiiiPPP1210 問問題題之之一一。鏈鏈理理論論和和應(yīng)應(yīng)用用中中的的重重要要是是何何確確定定這這個個條條件件概概率率如如來來決決定定特特性性完完全全由由條條件件概概率率其其統(tǒng)統(tǒng)計計）給給定定鏈鏈的的初初始始分分布布一一旦旦可可見見MarkovpiXjXPiXPMarkovijnnn,)|(,(,100 轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩陣陣 222120121110020100pppppppppPPij簡簡稱稱為為轉(zhuǎn)轉(zhuǎn)移移矩矩陣陣。轉(zhuǎn)移矩陣的性質(zhì)：轉(zhuǎn)移矩陣的性質(zhì)：SjiPij , 0)1( jijSiP, 1)2(定義定義5.45.

4、4：為為隨隨機(jī)機(jī)矩矩陣陣，稱稱矩矩陣陣SSijaA )(),(0Sjiaij 若若 jijaSi. 1,且且顯顯然然 是是一一隨隨機(jī)機(jī)矩矩陣陣。ijPP 3 . Markov鏈的例子鏈的例子例例5.15.1：帶有帶有兩兩個吸收壁的隨機(jī)游動：個吸收壁的隨機(jī)游動：此時此時2 , 1 , 0),( nnX是一齊次馬氏鏈?zhǔn)且积R次馬氏鏈,狀態(tài)空間為狀態(tài)空間為, 2 , 1 , 0nSn, 0為兩個吸收狀態(tài)為兩個吸收狀態(tài),它的一步轉(zhuǎn)移它的一步轉(zhuǎn)移概率為：概率為：)(0)0(011) 11; 1, 1(0) 11 (1) 11 (00011njpjpppniiijpnipqpnippjnjnnjii ii

5、i例例5.25.2：它的它的一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率矩陣矩陣為：為：)1()1(100000000000000000000000000000000000001nnpqpqpqP例例5.35.3：例例5.45.4：例例5.55.5：鏈鏈。個個要要從從上上述述問問題題中中尋尋找找一一現(xiàn)現(xiàn)在在我我們們立立同同分分布布且且獨獨間間，每每天天的的需需求求量量設(shè)設(shè)訂訂貨貨和和進(jìn)進(jìn)貨貨不不需需要要時時若若若若額額為為：則則訂訂購購剩剩余余量量，設(shè)設(shè)為為每每天天早早上上檢檢查查某某商商品品的的訂訂貨貨策策略略，店店使使用用考考慮慮訂訂貨貨問問題題。設(shè)設(shè)某某商商MarkovjajYPYsxsxxSxSsjnn,

6、2 , 1 , 0, 0,),( 則則可可取取負(fù)負(fù)值值設(shè)設(shè)天天結(jié)結(jié)束束時時的的存存貨貨量量為為第第令令),(nnXnX 1nXsx 若若,1 nnYXsx 若若1)( nnnYXSX1 nYS .,1,是寫出它的轉(zhuǎn)移概率是寫出它的轉(zhuǎn)移概率鏈鏈?zhǔn)鞘且虼艘虼薓arkovnXn 時，時，當(dāng)當(dāng)siXn )1()|(1iXjXPPnnij )(1jYSPn )(1jSYPn jsa 時時，當(dāng)當(dāng)siXn )2(解：解：)|(1iXjXPPnnij )|(1iXjYXPnnn )(1jiYPn jia 4. n步轉(zhuǎn)移概率步轉(zhuǎn)移概率 C-K方程方程定義定義5.5（n步轉(zhuǎn)移概率）步轉(zhuǎn)移概率）稱稱|)(iXjXP

7、Pmnmnij 1, 0, nmSji步步轉(zhuǎn)轉(zhuǎn)移移概概率率。鏈鏈的的為為nMarkov即：即：的的步步轉(zhuǎn)轉(zhuǎn)移移到到狀狀態(tài)態(tài)經(jīng)經(jīng)過過指指的的是是系系統(tǒng)統(tǒng)從從狀狀態(tài)態(tài)jniPnij)(,概率概率求求。步步轉(zhuǎn)轉(zhuǎn)移移經(jīng)經(jīng)過過的的狀狀態(tài)態(tài)無無要要它它對對中中間間的的)1( n稱稱)()()(nijnPP 步轉(zhuǎn)移矩陣n時時，當(dāng)當(dāng)1 nPPPPijij )1()1(，規(guī)定規(guī)定jijiPij 10)0(的關(guān)系如下：的關(guān)系如下：與與ijnijPP)(定理定理5.1: (Chapman-Kolmogorov方程，簡稱方程，簡稱C-K方程方程)，對對一一切切0, nm有有Sji ,Sknkjmiknmijppp)(

8、)()(1）（nnnnPPPPPPP )2()1()(2）（例例5.65.6：的概率。次以后還是正面是正面，投擲概率矩陣，并求一開始翻轉(zhuǎn)，求一步轉(zhuǎn)移以概率在每一次投擲時，硬幣次，面，我們一共投擲了，假定硬幣初始時為正，為了書寫方便，令，于是狀態(tài)空間為，和幣的正面反面分別記為考察擲硬幣的例子。硬4%205021 ,DUDUSDU例例5.75.7: (: (隱隱MarkovMarkov模型）模型）硬硬幣幣，在在任任何何給給定定時時刻刻兩兩枚枚和和硬硬幣幣，分分別別記記為為鏈鏈模模型型。設(shè)設(shè)有有兩兩枚枚隱隱我我們們用用簡簡單單的的例例子子引引出出WMMarkov或者為正面或者為反面或者為正面或者為反

9、面.在任何給定時刻只有一枚硬在任何給定時刻只有一枚硬呈現(xiàn)，但是有時硬幣可能被替換而不改變其正反面呈現(xiàn)，但是有時硬幣可能被替換而不改變其正反面.硬幣硬幣M和和W分別具有轉(zhuǎn)移概率分別具有轉(zhuǎn)移概率 8 . 02 . 02 . 08 . 0 95. 005. 01 . 09 . 0在任何給定時刻硬幣被替換的概率為在任何給定時刻硬幣被替換的概率為30%,替換完成時，替換完成時，硬幣的狀態(tài)不變硬幣的狀態(tài)不變. 這一這一Markov鏈有鏈有4個狀態(tài)，分別個狀態(tài)，分別記為記為1:UM; 2:DM; 3:UW; 4:DW.狀態(tài)狀態(tài)1、3表示正面表示正面U,狀態(tài)狀態(tài)2、4表示反面表示反面D轉(zhuǎn)移矩陣為轉(zhuǎn)移矩陣為44

10、的矩陣的矩陣.我們我們可以計算轉(zhuǎn)移概率可以計算轉(zhuǎn)移概率,比如比如UMUM ,首先首先UU (無轉(zhuǎn)移無轉(zhuǎn)移),而后而后MM (無轉(zhuǎn)移無轉(zhuǎn)移).因此轉(zhuǎn)移概率為因此轉(zhuǎn)移概率為56. 07 . 08 . 0)()|( MMPMUUP其他轉(zhuǎn)移概率類似可得，轉(zhuǎn)移方式為其他轉(zhuǎn)移概率類似可得，轉(zhuǎn)移方式為 DWDWUWDWDMDWUMDWDWUWUWUWDMUWUMUWDWDMUWDMDMDMUMDMDWUMUWUMDMUMUMUM轉(zhuǎn)移概率矩陣為轉(zhuǎn)移概率矩陣為 3 . 095. 03 . 005. 07 . 095. 07 . 005. 03 . 01 . 03 . 09 . 07 . 01 . 07 . 09

11、 . 03 . 08 . 03 . 02 . 07 . 08 . 07 . 02 . 03 . 02 . 03 . 08 . 07 . 02 . 07 . 08 . 0例例5.85.8: :一一步步轉(zhuǎn)轉(zhuǎn)移移矩矩陣陣為為：的的齊齊次次馬馬氏氏鏈鏈，其其個個狀狀態(tài)態(tài)是是具具有有設(shè)設(shè)2 , 1 , 030, nXn 4143041214104143P,31)()0(0 iXppi其初始分布為：其初始分布為：試求：試求：.0|1, 1)2(1, 1, 01042420 XXXPXXXP；）（帶有帶有兩兩個個反射反射壁的隨機(jī)游動：壁的隨機(jī)游動：此時此時2 , 1 , 0),( nnX是一齊次馬氏鏈?zhǔn)且积R

12、次馬氏鏈,狀態(tài)空間為狀態(tài)空間為, 2 , 1 , 0aS a, 0為兩個為兩個反射反射狀態(tài)狀態(tài),求求它的一步轉(zhuǎn)它的一步轉(zhuǎn)移移概率概率。作業(yè)作業(yè)1 1：作業(yè)作業(yè)2:2:少少？為為雨雨天天的的概概率率各各等等于于多多日日月月日日為為晴晴天天，月月問問日日為為晴晴天天月月矩矩陣陣，又又已已知知的的一一步步轉(zhuǎn)轉(zhuǎn)移移概概率率），試試寫寫出出馬馬氏氏鏈鏈或或（天天的的狀狀態(tài)態(tài)表表示示第第表表示示雨雨天天表表示示晴晴天天，以以逆逆事事件件，任任意意一一天天晴晴或或雨雨是是互互為為轉(zhuǎn)轉(zhuǎn)雨雨天天的的概概率率為為，晴晴天天雨雨天天轉(zhuǎn)轉(zhuǎn)晴晴天天的的概概率率為為設(shè)設(shè)任任意意相相繼繼兩兩天天中中5535,151,10,

13、10,2131, nXnXnn5.3 狀態(tài)的分類及性質(zhì)狀態(tài)的分類及性質(zhì)引入：引入：自自然然轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩陣陣為為維維修修及及更更換換條條件件下下，其其在在沒沒有有鏈鏈?zhǔn)鞘且灰坏牡臓顮顟B(tài)態(tài)。并并設(shè)設(shè)表表示示系系統(tǒng)統(tǒng)在在時時刻刻失失效效。以以”“正正常常”“良良好好；”“設(shè)設(shè)系系統(tǒng)統(tǒng)有有三三種種可可能能狀狀態(tài)態(tài),0,3;21,1,2,3MarkovnXnXSnn 10010110902012022017P定義定義5.7，可可達(dá)達(dá)狀狀態(tài)態(tài)稱稱狀狀態(tài)態(tài)使使得得若若jiPnnij, 0, 0)( ?；セネㄍ?，記記為為與與這這稱稱若若同同時時記記為為jijiijji,.注：注：，則則意意味味著著不不

14、能能到到達(dá)達(dá)狀狀態(tài)態(tài)若若狀狀態(tài)態(tài)ji. 0, 0)( nijPn有有對對一一切切定理定理5.3：即滿足：即滿足：互通是一種等價關(guān)系，互通是一種等價關(guān)系，；自反性自反性ii )1(,)2(ji 對稱性對稱性,)3(kjji傳傳遞遞性性.ki 則則; ij 則則注：注：不不同同的的類類。同同時時屬屬于于兩兩個個并并且且任任何何一一個個狀狀態(tài)態(tài)不不能能都都是是互互通通的的態(tài)態(tài)歸歸為為一一類類，則則同同一一類類狀狀把把任任何何兩兩個個相相通通的的狀狀態(tài)態(tài),定義定義5.8:可可約約的的。是是不不可可約約的的，否否則則稱稱為為例例1：其其一一步步轉(zhuǎn)轉(zhuǎn)移移鏈鏈的的狀狀態(tài)態(tài)空空間間設(shè)設(shè),2 , 1 , 0 S

15、Markov概率矩陣為：概率矩陣為： 3231041412102121P則則稱稱此此馬馬氏氏鏈鏈鏈鏈只只存存在在一一類類若若,Markov.,畫畫出出狀狀態(tài)態(tài)傳傳遞遞圖圖并并試試研研究究各各狀狀態(tài)態(tài)的的關(guān)關(guān)系系定義定義5.9 (周期性周期性)是是非非周周期期的的。，稱稱狀狀態(tài)態(tài)是是周周期期的的；若若稱稱狀狀態(tài)態(tài)若若的的周周期期為為狀狀態(tài)態(tài)公公約約數(shù)數(shù)非非空空，則則稱稱它它的的最最大大若若集集合合ididiiddPnnnii1, 1.)(0, 1,)( 規(guī)定：規(guī)定：.的的周周期期為為無無窮窮大大當(dāng)當(dāng)該該集集合合是是空空集集時時，稱稱 i例例2 (書書5.14)注注1：的的周周期期。是是步步長長達(dá)

16、達(dá)到到，但但仍仍稱稱不不能能通通過過顯顯然然12211 注注2：. 0)( ndiiPnd都都有有是是周周期期，并并非非所所有有若若. 01)1(11 dPn時，時，如上例中，如上例中，可可能能的的步步長長為為由由0)(11 nP,10, 8 , 6 , 4 T，最最大大公公約約數(shù)數(shù)為為 221( ）所所有有dd定理定理5.4：同同屬屬一一類類，若若狀狀態(tài)態(tài)ji)()(jdid 則則證明：板書。證明：板書。注注: 當(dāng)兩個狀態(tài)的周期相同時，有時其狀態(tài)之間當(dāng)兩個狀態(tài)的周期相同時，有時其狀態(tài)之間 有顯著差異。有顯著差異。如：如：,4 , 32 , 1，馬馬氏氏鏈鏈的的狀狀態(tài)態(tài)空空間間 S其一步轉(zhuǎn)移概

17、率矩陣其一步轉(zhuǎn)移概率矩陣 010010000210210010P的的區(qū)區(qū)別別。狀狀態(tài)態(tài)并并比比較較求求3 , 2),3(),2(dd定義定義5.10: (常返性常返性)的的概概率率，達(dá)達(dá)步步后后首首次次到到出出發(fā)發(fā)經(jīng)經(jīng)記記從從以以對對任任何何狀狀態(tài)態(tài)jnifjinij)(,. 0)0( ijf則則有有時時，1 n|1,2 , 1,0)(iXnkjXjXPfknnij ，令令 1)(nnijijff，若若1 jjf.為為常常返返狀狀態(tài)態(tài)稱稱狀狀態(tài)態(tài) j，若若1 jjf為為非非常常返返狀狀態(tài)態(tài)稱稱狀狀態(tài)態(tài) j（或或瞬瞬過過狀狀態(tài)態(tài)、.瞬瞬時時狀狀態(tài)態(tài)、滑滑過過狀狀態(tài)態(tài)）)(1 nnAP ninAP

18、1)( 1)(nnijfijf 注注2：為為常常返返當(dāng)當(dāng)?shù)牡母鸥怕事视杏邢尴薏讲降降竭_(dá)達(dá)出出發(fā)發(fā)表表示示從從ijifij.,:滑滑過過去去了了。，即即從從過過程程不不再再回回到到率率以以概概為為非非常常返返狀狀態(tài)態(tài)時時；當(dāng)當(dāng)新新返返回回將將重重出出發(fā)發(fā)，在在有有限限步步內(nèi)內(nèi)過過程程從從狀狀態(tài)態(tài)時時，以以概概率率iiffifiiiiiiii 1),1()1(1注注3：, i對對于于常常返返狀狀態(tài)態(tài))(1)(加加權(quán)權(quán)平平均均定定義義 nniiinf ).(時時間間所所需需的的平平均均步步數(shù)數(shù)出出發(fā)發(fā)再再返返回回到到表表示示從從則則iii ,|1, 2 , 1,:0iXnkjXjXAknn 設(shè)設(shè)含含

19、義義所以所以到達(dá)到達(dá)步以后可以從步以后可以從程經(jīng)程經(jīng)使得過使得過表示總有一個表示總有一個是不相交的，是不相交的，不同時不同時在在,1jinnAAnnnn 注注1：例例3定義定義5.11為為正正常常返返態(tài)態(tài)；則則稱稱若若對對于于常常返返狀狀態(tài)態(tài)iii, 為為零零常常返返態(tài)態(tài)；，則則稱稱若若ii 是是正正常常返返若若特特別別地地i,且且是是非非周周期期的的，.則則稱稱之之為為遍遍歷歷狀狀態(tài)態(tài),是是遍遍歷歷狀狀態(tài)態(tài)若若i, 1)1( iif且且.是是吸吸收收狀狀態(tài)態(tài)則則稱稱i.1 i 顯顯然然此此時時的的狀狀態(tài)態(tài)空空間間已已知知馬馬氏氏鏈鏈, 2 , 1 , 0, nXn其其一一步步轉(zhuǎn)轉(zhuǎn)移移概概率率

20、為為00010100021021210021P.1,1 其其平平均均轉(zhuǎn)轉(zhuǎn)回回時時間間狀狀態(tài)態(tài)并并確確定定周周期期性性及及遍遍歷歷性性試試確確定定其其狀狀態(tài)態(tài)的的常常返返性性,4 , 32 , 1， S例例4的的狀狀態(tài)態(tài)空空間間已已知知馬馬氏氏鏈鏈, 2 , 1 , 0, nXn,4 , 32 , 1， S其其一一步步轉(zhuǎn)轉(zhuǎn)移移概概率率為為 001002121000013131310P.,周周期期性性及及遍遍歷歷性性試試確確定定其其狀狀態(tài)態(tài)的的常常返返性性可可以以證證明明：常常返返、非非常常返返等等）的的狀狀態(tài)態(tài)（同同正正常常返返、零零它它們們有有相相同同同同一一類類的的狀狀態(tài)態(tài), ji引理引理5

21、.1 （ ）的關(guān)系與給出了)()(niinijfp有有及及，對對任任意意狀狀態(tài)態(tài),1 njinllnjjlijnijpfp1)()()(定理定理5.5為為常常返返狀狀態(tài)態(tài)當(dāng)當(dāng)且且僅僅當(dāng)當(dāng)狀狀態(tài)態(tài)i)1( 0)(nniiP 0lim. 1)( niinPi為正常返態(tài)為正常返態(tài)0lim. 2)( niinPi為零常返態(tài)為零常返態(tài))0lim()( niinP或或為為非非常常返返態(tài)態(tài)時時，狀狀態(tài)態(tài)i)2(iinniifP-110)( 0lim)( niinP因此有因此有引理引理5.2為為常常返返態(tài)態(tài)，且且若若iji,1 jif則則定理定理5.6常常返返性性是是一一個個類類性性質(zhì)質(zhì)：.,1(或或非非常常

22、返返狀狀態(tài)態(tài)同同為為常常返返狀狀態(tài)態(tài)則則若若）jiji .,2(或或同同為為零零常常返返狀狀態(tài)態(tài)同同為為正正常常返返則則同同為為常常返返態(tài)態(tài)且且若若）jijiji 非周期（遍歷態(tài)）非周期（遍歷態(tài)）有周期有周期正常返態(tài)正常返態(tài)零常返態(tài)零常返態(tài)常返態(tài)常返態(tài)非常返態(tài)非常返態(tài)狀態(tài)狀態(tài)作業(yè)作業(yè)1：,54 , 32 , 1，設(shè)設(shè)馬馬氏氏鏈鏈的的狀狀態(tài)態(tài)空空間間 S其其一一步步轉(zhuǎn)轉(zhuǎn)移移概概率率 00001000016 . 04 . 00008 . 02 . 0000005 . 05 . 00P.,周周期期性性及及遍遍歷歷性性試試確確定定其其狀狀態(tài)態(tài)的的常常返返性性 閉集及狀態(tài)空間的分解定理閉集及狀態(tài)空間的分

23、解定理.,CMarkov一一個個閉閉集集狀狀態(tài)態(tài)的的全全體體構(gòu)構(gòu)成成因因此此狀狀態(tài)態(tài)空空間間中中的的常常返返常常返返狀狀態(tài)態(tài)只只能能到到達(dá)達(dá)鏈鏈從從一一個個常常返返狀狀態(tài)態(tài)出出發(fā)發(fā)任任意意 閉集：閉集：.,閉閉集集為為一一個個則則稱稱外外的的任任何何狀狀態(tài)態(tài)都都不不能能到到達(dá)達(dá)個個狀狀態(tài)態(tài)內(nèi)內(nèi)的的任任何何一一若若的的一一個個子子集集為為狀狀態(tài)態(tài)空空間間設(shè)設(shè)CCiCSC.,為為吸吸收收態(tài)態(tài)則則稱稱狀狀態(tài)態(tài)是是閉閉集集構(gòu)構(gòu)成成的的集集合合如如果果單單個個狀狀態(tài)態(tài)iii 相關(guān)性質(zhì)：相關(guān)性質(zhì)：是是閉閉集集C)1()0(0,)( nPCjCinij有有是是閉閉集集C)2(CipCjji ,1為為吸吸收收

24、態(tài)態(tài)i)3(1 i ip齊齊次次馬馬氏氏鏈鏈不不可可約約)4(任何兩個狀態(tài)均互通任何兩個狀態(tài)均互通)5(所有常返態(tài)構(gòu)成一個閉集所有常返態(tài)構(gòu)成一個閉集)6(在不可約馬氏鏈中在不可約馬氏鏈中,所有狀態(tài)具有相同的狀態(tài)所有狀態(tài)具有相同的狀態(tài)類型類型. 狀態(tài)空間分解定理：狀態(tài)空間分解定理：定理定理5.7：可可唯唯一一分分解解為為鏈鏈的的狀狀態(tài)態(tài)空空間間任任意意,SMarkov,21之之和和交交的的子子集集有有限限個個或或可可列列個個互互不不相相CCD使使得得;)1(約約閉閉集集是是常常返返狀狀態(tài)態(tài)組組成成的的不不可可每每一一個個nC., 1,.,)2(nijnCjifC 且且它它們們有有相相同同的的周周

25、期期零零常常返返態(tài)態(tài)或或者者全全是是或或者者全全是是正正常常返返態(tài)態(tài)中中的的狀狀態(tài)態(tài)同同類類.)3(中中的的狀狀態(tài)態(tài)達(dá)達(dá)中中狀狀態(tài)態(tài)出出發(fā)發(fā)不不能能到到自自由由全全體體非非常常返返態(tài)態(tài)組組成成DCDnnCCCDS 21例例5,54 ,32 , 1，設(shè)設(shè)馬馬氏氏鏈鏈的的狀狀態(tài)態(tài)空空間間 S其其一一步步轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩陣陣為為 00010000010010000210210210021P.,狀態(tài)空間進(jìn)行分解并將此閉集態(tài)試討論哪些狀態(tài)是吸收例例6：其轉(zhuǎn)移概率其轉(zhuǎn)移概率，設(shè)馬氏鏈的狀態(tài)空間設(shè)馬氏鏈的狀態(tài)空間,21 , 0 S.,21,21,2101,00SiPPPiii 為為.期期，并并指指出出其

26、其常常返返性性和和周周將將此此狀狀態(tài)態(tài)空空間間進(jìn)進(jìn)行行分分解解作業(yè)作業(yè)1：,6 ,54 ,32 , 1，設(shè)設(shè)馬馬氏氏鏈鏈的的狀狀態(tài)態(tài)空空間間 S其其一一步步轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩陣陣為為 21000210000001003103131010000100000000100P.,并指出其常返性和周期并指出其常返性和周期，將此狀態(tài)空間進(jìn)行分解將此狀態(tài)空間進(jìn)行分解并并試畫出狀態(tài)的鏈?zhǔn)綀D試畫出狀態(tài)的鏈?zhǔn)綀D周期鏈分解定理：周期鏈分解定理：定理定理5.8：其其狀狀態(tài)態(tài)空空間間鏈鏈的的不不可可約約一一個個周周期期為為,Markovd，即即個個互互不不相相交交的的子子集集之之和和可可唯唯一一分分解解為為 dS,1

27、-0srSSSSsrdrr ).1,01SSSSdrr 中中（其其中中步步轉(zhuǎn)轉(zhuǎn)移移必必進(jìn)進(jìn)入入經(jīng)經(jīng)中中任任意意狀狀態(tài)態(tài)出出發(fā)發(fā)且且使使得得自自5.4 極限定理與不變分布極限定理與不變分布5.4.1 極限極限定理定理研研究究鏈鏈?zhǔn)鞘且灰粋€個平平穩(wěn)穩(wěn)序序列列，即即條條件件下下人人們們常常常常關(guān)關(guān)心心在在什什么么鏈鏈應(yīng)應(yīng)用用中中在在必必要要的的慮慮它它的的長長期期性性是是很很有有對對于于一一個個系系統(tǒng)統(tǒng)來來說說，考考MarkovMarkov,.,)(limlim)()(PPPnijnnn是是否否趨趨于于穩(wěn)穩(wěn)定定值值 是是否否存存在在？即即轉(zhuǎn)轉(zhuǎn)化化為為研研究究)(limnijnP 例例8（書例（書例5

28、.17）(0-1傳輸系統(tǒng)）傳輸系統(tǒng)）?limlim10,11)(PPPpqqqppPMarkovnnnn是是否否趨趨于于穩(wěn)穩(wěn)定定值值試試討討論論為為鏈鏈的的一一步步轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩陣陣設(shè)設(shè) 解得：解得：nnnnPP limlim)( qppqpqqppqpq含含義義深深刻刻，此此處處).(定定長時間轉(zhuǎn)移后，概率一長時間轉(zhuǎn)移后，概率一的極限的極限步轉(zhuǎn)移概率有一個穩(wěn)定步轉(zhuǎn)移概率有一個穩(wěn)定鏈的鏈的可見，此可見，此nMarkov)(0limninp qpq ,0 )(1limninp qpp .1 .jjij 的的概概率率都都趨趨近近于于到到狀狀態(tài)態(tài)出出發(fā)發(fā)，通通過過長長時時間間轉(zhuǎn)轉(zhuǎn)移移狀狀態(tài)態(tài)，

29、不不管管鏈鏈在在某某一一時時刻刻的的即即，對對于于固固定定的的狀狀態(tài)態(tài)450lim)(niinp01lim)(iniinp 推論推論 設(shè)設(shè)i常返，則常返，則(1) i零常返零常返(2) i遍歷遍歷indiindp )(lim0lim)(ndiinp定理定理5.9 設(shè)設(shè)i常返且有周期為常返且有周期為d，則則其中其中 i為為i的平均返回時間的平均返回時間.當(dāng)當(dāng) i = 時時46，從而，從而iindiindp 0lim)(0lim)(ndiinp證證:(1)i零常返零常返, i= , 由定理由定理5.9知，知，0lim0)()(niinmiipp，故對對d的非整數(shù)倍數(shù)的的非整數(shù)倍數(shù)的m，0lim)(

30、niinp0lim)(ndiinp從而子序列從而子序列i是零常返的是零常返的47為為正正常常返返，ipiiniin,01lim)( indiinindiindpp )()(lim9 . 51lim，而而由由定定理理01limlim)()(iniinindiinpdp 即即(2) i是遍歷的，是遍歷的，d=1， i ，子序列子序列所以所以d=1，從而從而i為非周期的，為非周期的，i是遍歷的是遍歷的定理定理5.10 ,Sij 態(tài)態(tài)，則則為為非非常常返返狀狀態(tài)態(tài)或或零零常常返返若若0lim)( nijnp結(jié)論：結(jié)論： ，有有，則則對對任任何何狀狀態(tài)態(tài)鏈鏈，其其狀狀態(tài)態(tài)空空間間為為的的、周周期期為為設(shè)

31、設(shè)不不可可約約的的、正正常常返返的的）推推論論SjijiSMarkovd ,4 . 5()1( )(limndijnP 其它其它同屬于子集同屬于子集與與若若0rjSjid .8 . 51-0所所給給出出為為定定理理其其中中drrSS ，有有時時，則則特特別別地地，當(dāng)當(dāng)Sjid ,1jnijnP 1lim)( ),(,時時間間所所需需的的平平均均步步數(shù)數(shù)出出發(fā)發(fā)再再返返回回到到自自它它表表示示是是一一個個重重要要的的量量鏈鏈理理論論中中在在jjMarkovj 代代所以所以j 1.的的平平均均次次數(shù)數(shù)到到出出發(fā)發(fā)每每單單位位時時間間內(nèi)內(nèi)返返回回表表了了自自jj的的計計算算方方法法。種種給給出出了了

32、另另外外一一平平穩(wěn)穩(wěn)分分布布下下節(jié)節(jié)通通過過不不變變分分布布計計算算的的并并不不是是很很容容易易的的計計算算公公式式，但但是是雖雖然然我我們們有有了了jjj )(,有限馬氏鏈的性質(zhì)有限馬氏鏈的性質(zhì))2(a) 所有非常返狀態(tài)組成的集合不可能是閉集所有非常返狀態(tài)組成的集合不可能是閉集; ;(b)沒有零常返狀態(tài)沒有零常返狀態(tài);(c)必有正常返狀態(tài)必有正常返狀態(tài);(d)不可約有限馬氏鏈只有正常返態(tài)不可約有限馬氏鏈只有正常返態(tài);(e)狀態(tài)空間可以分解為狀態(tài)空間可以分解為:kCCCDS21 其中：每個其中：每個knCn, 2 , 1, 均是由正常返狀態(tài)均是由正常返狀態(tài)組成的有限不可約閉集，組成的有限不可約

33、閉集，D是非常返態(tài)集。是非常返態(tài)集。51, 0lim)(nijnp, 0limlim10)(0)(NjnijnNjnijnpp注注1： 有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，也不可能含有零常返狀態(tài)，從而不可約的有限狀態(tài)也不可能含有零常返狀態(tài)，從而不可約的有限狀態(tài)的馬氏鏈必為正常返的。的馬氏鏈必為正常返的。證證 設(shè)設(shè)S=0,1,N，如如S全是非常返狀態(tài)全是非常返狀態(tài)，則對任意，則對任意 i, j I，知知 故故矛盾。矛盾。如如S含有零常返狀態(tài)含有零常返狀態(tài) i，則則C=j:ij是有限不可約閉集是有限不可約閉集，由定理知，由定理知，C中均為零常返狀態(tài)，知中

34、均為零常返狀態(tài)，知52,1)(CjnijpCjpnijn, 0lim)(矛矛盾盾。, 0limlim1)()(CjnijnCjnijnpp由引理知由引理知所以所以53矛矛盾盾。, 0limlim1)()(CjnijnCjnijnpp注注2: 如馬氏鏈有一個零常返狀態(tài)，則必有無限多個如馬氏鏈有一個零常返狀態(tài)，則必有無限多個證證 設(shè)設(shè)i為零常返狀態(tài)為零常返狀態(tài)，則則C=j:ij是不可約閉集，是不可約閉集，C中均為零常返狀態(tài)，故中均為零常返狀態(tài)，故C不能是有限集。否則不能是有限集。否則零常返狀態(tài)。零常返狀態(tài)。540, 1jIjjIiijijp 稱概率分布稱概率分布 j , j I為馬爾可夫鏈為馬爾可

35、夫鏈的平穩(wěn)分布（不變分布），若的平穩(wěn)分布（不變分布），若設(shè)設(shè)Xn,n 0是齊次馬爾可夫鏈，狀態(tài)空間為是齊次馬爾可夫鏈，狀態(tài)空間為I，轉(zhuǎn)移轉(zhuǎn)移概率為概率為pij5.4.2不變分布不變分布 (平穩(wěn)分布平穩(wěn)分布)與極限分布與極限分布定義定義5.12，轉(zhuǎn)轉(zhuǎn)移移矩矩陣陣為為即即若若概概率率分分布布為為Pn,21 P 有有平平穩(wěn)穩(wěn)分分布布_一、一、不變分布不變分布 (平穩(wěn)分布平穩(wěn)分布)55注：注：(1) 若初始概率分布若初始概率分布 pj , j I 是平穩(wěn)分布，則是平穩(wěn)分布，則Iinijijp)( (2) 對平穩(wěn)分布對平穩(wěn)分布 j , j I，有有)(nijp矩陣形式矩陣形式 = 其中其中 =( j)，

36、 ( )pj = pj(1)= pj(2) = = pj(n)的分布為的分布為則則是平穩(wěn)分布是平穩(wěn)分布若若因為因為10,XPjXPj 1jXP |001iXPiXjXPIi iIiijPP ijIiiPP jP 布，有因為，對于一個平穩(wěn)分P 2P nP )(nP)(nP 56二、遍歷性的概念與極限分布二、遍歷性的概念與極限分布對于一般的兩個狀態(tài)的馬氏鏈對于一般的兩個狀態(tài)的馬氏鏈, 由上節(jié)內(nèi)容可知由上節(jié)內(nèi)容可知,有有極極限限時時當(dāng)當(dāng))(,1,0nijPba .limlim0)(10)(00 babPPnnnn.limlim1)(11)(01 baaPPnnnn意義意義對固定的狀態(tài)對固定的狀態(tài)j,

37、不管鏈在某一時刻的什么不管鏈在某一時刻的什么狀狀態(tài)態(tài) i出發(fā)出發(fā), 通過長時間的轉(zhuǎn)移到達(dá)狀態(tài)通過長時間的轉(zhuǎn)移到達(dá)狀態(tài) j 的概率都趨的概率都趨.j近于近于定義定義5.13極極限限鏈鏈對對于于遍遍歷歷的的的的正正常常返返狀狀態(tài)態(tài)周周期期為為狀狀態(tài)態(tài)相相通通且且均均是是鏈鏈?zhǔn)鞘潜楸闅v歷的的，如如果果所所有有稱稱,.1MarkovMarkovIjPjnijn ,lim)( 鏈的極限分布。鏈的極限分布。稱為稱為Markov知知，由由定定理理11. 5jj 1 58或定義或定義若對于所有若對于所有間為間為設(shè)齊次馬氏鏈的狀態(tài)空設(shè)齊次馬氏鏈的狀態(tài)空, I存存在在極極限限轉(zhuǎn)轉(zhuǎn)移移概概率率的的)(,nijPIj

38、i )(lim)(iPjnijn不不依依賴賴于于 jjjnnnPP 212121)()(或或則稱此鏈具有則稱此鏈具有遍歷性遍歷性.),(, 121為為鏈鏈的的極極限限分分布布則則稱稱若若 jj定理定理5.13鏈鏈：對對于于不不可可約約非非周周期期的的 Markov若它是遍歷的，若它是遍歷的，）（1),(0lim)(IjPnijnj 則則；布布且且是是唯唯一一的的平平穩(wěn)穩(wěn)分分布布此此時時極極限限分分布布是是平平穩(wěn)穩(wěn)分分不存在。不存在。則平穩(wěn)分布則平穩(wěn)分布為零常返的為零常返的若狀態(tài)都是瞬過的或全若狀態(tài)都是瞬過的或全）（,260Ijj,1 定理定理 不可約非周期馬爾可夫鏈?zhǔn)钦７档某湟獥l件不可約非周

39、期馬爾可夫鏈?zhǔn)钦７档某湟獥l件是存在平穩(wěn)分布，且此平穩(wěn)分布就是極限分布是存在平穩(wěn)分布，且此平穩(wěn)分布就是極限分布推論推論2 若不可約馬爾可夫鏈的所有狀態(tài)是非常返或若不可約馬爾可夫鏈的所有狀態(tài)是非常返或零常返，則不存在平穩(wěn)分布零常返，則不存在平穩(wěn)分布.推論推論1 有限狀態(tài)的不可約非周期馬爾可夫鏈必存在有限狀態(tài)的不可約非周期馬爾可夫鏈必存在 平穩(wěn)分布。平穩(wěn)分布。61jjnjnp 1lim)(推論推論3 若若 j , j I是馬爾可夫鏈的平穩(wěn)分布，則是馬爾可夫鏈的平穩(wěn)分布，則jnjinnnpjXP )(limlim即即：limjXPnn 故故所取的值與初始狀態(tài)的分布無關(guān)。所取的值與初始狀態(tài)的分布無關(guān)。

40、證：由于：證：由于： IinjiIinniXPpiXPiXjXPjXP0)(00故故)(000)(limlimlimnjinjIijIijIinjinnnpiXPiXPiXPpjXP 629 . 005. 005. 01 . 08 . 01 . 02 . 01 . 07 . 0P例例1 設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為求馬爾可夫鏈的平穩(wěn)分布及各狀態(tài)的求馬爾可夫鏈的平穩(wěn)分布及各狀態(tài)的平均返回時間。平均返回時間。即，經(jīng)過無窮次轉(zhuǎn)移后處于即，經(jīng)過無窮次轉(zhuǎn)移后處于j狀態(tài)的概率與初始狀態(tài)的概率與初始狀態(tài)無關(guān)，與初始狀態(tài)的分布也無關(guān)。狀態(tài)無關(guān)，與初始狀態(tài)的分布也無關(guān)。6319 .

41、01 . 02 . 005. 08 . 01 . 005. 01 . 07 . 0321321332123211 5882. 02353. 01765. 0321 70. 11,25. 41,67. 51332211 解解 因為馬爾可夫鏈?zhǔn)遣豢杉s非周期有限因為馬爾可夫鏈?zhǔn)遣豢杉s非周期有限狀態(tài)的，所以平穩(wěn)分布存在，設(shè)狀態(tài)的，所以平穩(wěn)分布存在，設(shè)則則 = P， 1+ 2+ 3=1. 即即各狀態(tài)的平均返回時間為各狀態(tài)的平均返回時間為 =( 1, 2, 3 )645 . 05 . 0000005 . 005 . 0000005 . 05 . 00000000001000010000005 . 05 .

42、 000004 . 02 . 02 . 01 . 01 . 0P例例2 設(shè)馬爾可夫鏈轉(zhuǎn)移概率矩陣為設(shè)馬爾可夫鏈轉(zhuǎn)移概率矩陣為求每一個不可約閉集的平穩(wěn)分布。求每一個不可約閉集的平穩(wěn)分布。6556712430.1解解 從狀態(tài)轉(zhuǎn)移圖看出，狀態(tài)空間可分解為從狀態(tài)轉(zhuǎn)移圖看出，狀態(tài)空間可分解為兩個不可約常返閉集兩個不可約常返閉集 C1=2,3,4 和和 C2=5,6,7，一個非常返集一個非常返集 N=1。 在常返集上求平穩(wěn)分布：在常返集上求平穩(wěn)分布：660011005 . 05 . 00P15 . 05 . 04323242342

43、 4 . 02 . 04 . 0432 在在C1上，對應(yīng)的轉(zhuǎn)移概率矩陣為上，對應(yīng)的轉(zhuǎn)移概率矩陣為C1上的平穩(wěn)分布為：上的平穩(wěn)分布為：0, 0.4, 0.2, 0.4, 0, 0, 0同理可求得同理可求得 C2 上的平穩(wěn)分布為上的平穩(wěn)分布為0, 0, 0, 0, 1/3, 1/3, 1/367三、三、( (有限鏈有限鏈) )遍歷性的充分條件遍歷性的充分條件, , 2, 1NI間為設(shè)齊次馬氏鏈的狀態(tài)空,mP如如果果存存在在正正整整數(shù)數(shù)陣陣是是它它的的一一步步轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩都有使對任意的,Iji, 2, 1, 0)(Njipmij滿滿足足條條件件它它是是方方程程組組且且有有極極限限分分布布則則

44、此此鏈鏈具具有有遍遍歷歷性性PN, ),(,21 .1, 01的的唯唯一一解解 Njjj68說明說明步步轉(zhuǎn)轉(zhuǎn)移移概概率率使使數(shù)數(shù)求求證證遍遍歷歷性性即即找找一一正正整整mm,. 1.無無零零元元矩矩陣陣mP2. 極限分布轉(zhuǎn)化為了求解方程組極限分布轉(zhuǎn)化為了求解方程組.3. 在定理的條件下馬氏鏈的極限分布是平穩(wěn)分布在定理的條件下馬氏鏈的極限分布是平穩(wěn)分布.69,000000 試說明帶有兩個反射壁的隨機(jī)游動是遍歷的試說明帶有兩個反射壁的隨機(jī)游動是遍歷的, 并求其極限分布并求其極限分布( (平穩(wěn)分布平穩(wěn)分布) ).解解)(的的元元代代表表轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩陣陣的的正正以以 例例32)2(PP 四、應(yīng)

45、用舉例四、應(yīng)用舉例 010003/ 13/ 13/ 10003/ 13/ 13/ 10003/ 13/ 13/ 10001054321P5 4 3 2 170 0000000000004)4(PP. 無零元無零元,鏈?zhǔn)潜闅v的鏈?zhǔn)潜闅v的71:),(521滿足方程組滿足方程組極限分布極限分布 . 1,3/13/13/13/13/13/1,/33/1,3/1543214554344323321221.33:54321 由由前前四四個個方方程程解解得得代入最后一個方程代入最后一個方程 (歸一條件歸一條件), 得唯一解得唯一解P 010003/ 13/ 13/ 10003/ 13/ 13/ 10003/

46、 13/ 13/ 10001054321P5 4 3 2 172.11/3,11/143251 所以極限分布為所以極限分布為. )11/1,11/3,11/3,11/3,11/1( 這個這個分布表明分布表明經(jīng)過長時間游動之后經(jīng)過長時間游動之后, 醉漢醉漢 Q 位于點位于點 2 (或或 3 或或 4 ) 的概率約為的概率約為 3/11, 位于點位于點 1 (或或 5) 的概率約為的概率約為 1/11. 73設(shè)一馬氏鏈的一步轉(zhuǎn)移概率陣為設(shè)一馬氏鏈的一步轉(zhuǎn)移概率陣為,02/102/12/102/1002/102/12/102/10 P試討論它的遍歷性試討論它的遍歷性.解解,2/102/1002/10

47、2/12/102/1002/102/12)2( PP例例474,)1()(PPPnn 為奇數(shù)時為奇數(shù)時當(dāng)當(dāng).,2)2()(PPPnn 為偶數(shù)時為偶數(shù)時當(dāng)當(dāng).lim),4, 3, 2, 1()(都都不不存存在在極極限限對對任任意意固固定定的的nijnpj 表明表明此鏈不具遍歷性此鏈不具遍歷性.75五、小結(jié)五、小結(jié) 遍歷性的概念遍歷性的概念若對于所有的若對于所有的間為間為設(shè)齊次馬氏鏈的狀態(tài)空設(shè)齊次馬氏鏈的狀態(tài)空, I存在極限轉(zhuǎn)移概率)(,nijpIji),(lim)(ipjnijn不依賴于則稱此鏈具有遍歷性則稱此鏈具有遍歷性.76 (有限鏈有限鏈) 遍歷性的充分條件遍歷性的充分條件,21NaaaI

48、 間間為為設(shè)設(shè)齊齊次次馬馬氏氏鏈鏈的的狀狀態(tài)態(tài)空空,mP如果存在正整數(shù)如果存在正整數(shù)陣陣是它的一步轉(zhuǎn)移概率矩是它的一步轉(zhuǎn)移概率矩都都有有使使對對任任意意的的,Iaaji , 2, 1, 0)(NjiPmij 滿滿足足條條件件它它是是方方程程組組且且有有極極限限分分布布則則此此鏈鏈具具有有遍遍歷歷性性PN ),(,21.1, 01的唯一解的唯一解 Njjj作業(yè)作業(yè)1 1：一一步步轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩陣陣為為：的的狀狀態(tài)態(tài)空空間間為為設(shè)設(shè),3 , 2 , 11, SnXn 323103203103231P并并求求出出其其平平穩(wěn)穩(wěn)分分布布。此此馬馬氏氏鏈鏈?zhǔn)鞘潜楸闅v歷的的試試證證,作業(yè)作業(yè)2 2：書

49、習(xí)題：書習(xí)題5.75.778第七節(jié)第七節(jié) 連續(xù)時間馬爾可夫鏈連續(xù)時間馬爾可夫鏈定義定義7.1 設(shè)設(shè)隨機(jī)過程隨機(jī)過程X(t)，t 0 ，狀態(tài)空間，狀態(tài)空間及非負(fù)及非負(fù)整數(shù)整數(shù) i1,i2, ,in+1 ，有有PX(tn+1)=in+1|X(t1)=i1, X(t2)=i2, X(tn)=in 則稱則稱X(t)，t 0 為為連續(xù)時間馬爾可夫鏈連續(xù)時間馬爾可夫鏈。I=0,1,2,，若對任意若對任意 0 t1 t2tn+1=PX(tn+1)=in+1|X(tn)=in，79轉(zhuǎn)移概率轉(zhuǎn)移概率：在：在s時刻處于狀態(tài)時刻處于狀態(tài)i，經(jīng)過時間，經(jīng)過時間t后后轉(zhuǎn)移到狀態(tài)轉(zhuǎn)移到狀態(tài)j的的概率概率pij(s,t)=

50、 PX(s+t)=j|X(s)=i定義定義7.2 齊次齊次轉(zhuǎn)移概率轉(zhuǎn)移概率(與起始時刻與起始時刻 s 無關(guān)，只無關(guān)，只與時間間隔與時間間隔 t 有關(guān)有關(guān))pij(s,t)=pij(t)此時此時有轉(zhuǎn)移概率矩陣有轉(zhuǎn)移概率矩陣P(t)=(pij(t) ，i, j I，t 0.80|tPstsPiii 記記 i 為過程在狀態(tài)轉(zhuǎn)移之前停留在狀態(tài)為過程在狀態(tài)轉(zhuǎn)移之前停留在狀態(tài)i的時間，的時間，則對則對s, t 0 有有(1)(2) i 服從指數(shù)分布服從指數(shù)分布證證：(1) 事實上事實上ss+t0 iiiiti)0(|0 ,)(iXsuiuXsi )0(|,)( ,0 ,)(iXtsvsivXsuiuXts

51、i 81)0(|0 ,)()(|,)(0 ,)(|,)(0 ,)(|,)( ,0 ,)(|tPiXtuiuXisXtsvsivXsuiuXtsvsivXsuiuXtsvsivXsuiuXstsPiii 條件概率條件概率馬爾可夫性馬爾可夫性齊次性齊次性82)()()(,|tGsGtsGtPsPtsPsPtsPsPstsPstsPtPiiiiiiiiiii (2) 設(shè)設(shè) i的分布函數(shù)為的分布函數(shù)為F(x), (x 0), 則生存函數(shù)則生存函數(shù)由此可推出由此可推出G(x)為指數(shù)函數(shù)，為指數(shù)函數(shù)，G(x)=e- x,則則F(x)=1-G(x)=1- e- x為指數(shù)分布函數(shù)。為指數(shù)分布函數(shù)。G(x)=1

52、-F(x)83 過程在狀態(tài)轉(zhuǎn)移之前處于狀態(tài)過程在狀態(tài)轉(zhuǎn)移之前處于狀態(tài)i的時間的時間 i服從指數(shù)分布服從指數(shù)分布(1)當(dāng)當(dāng) i= 時，時， 狀態(tài)狀態(tài)i的停留時間的停留時間 i 超過超過x的概率為的概率為0，則，則稱狀態(tài)稱狀態(tài)i為瞬時狀態(tài)；為瞬時狀態(tài)；(2)當(dāng)當(dāng) i=0時，時， 狀態(tài)狀態(tài)i的停留時間的停留時間 i 超過超過x的概率為的概率為1，則，則稱狀態(tài)稱狀態(tài)i為吸收狀態(tài)。為吸收狀態(tài)。xiiexF 1)(, 0)(1, 1)(xFxPxFiii , 1)(1, 0)(xFxPxFiii 84定理定理7.1 齊次馬爾可夫過程的轉(zhuǎn)移概率具齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì)：有下列性質(zhì)：(1) p

53、ij(t) 0;(2) (3) 證證 由概率的定義，由概率的定義，(1)(2)顯然成立，下證顯然成立，下證(3)Ikkjikijsptpstp)()()(Ijijtp; 1)(85 IkkjikIkikkjIkIkIkijsptptpspiXktXPktXjstXPiXktXPiXktXjstXPiXktXjstXPiXjstXPstp)()()()()0(|)()(|)()0(|)( )0(,)(|)()0(|)(,)()0(|)()(86 注：注： 此為轉(zhuǎn)移概率的正則性條件。此為轉(zhuǎn)移概率的正則性條件。jijitpjippijtijii,0,1)(lim)(0, 10)0()0(知由87 例

54、例1 證明泊松過程證明泊松過程X(t),t 0為連續(xù)時間為連續(xù)時間齊次馬爾可夫鏈。齊次馬爾可夫鏈。證證 先證先證泊松過程泊松過程的的馬爾可夫性。馬爾可夫性。泊松過程是獨立增量過程，且泊松過程是獨立增量過程，且X(0)=0，對對任意任意0t1 t2 tn tn+1有有)()()()(,)()(,)0()(|)()()(,)(|)(1111121211111111nnnnnnnnnnnnnnnniitXtXPiitXtXiitXtXiXtXiitXtXPitXitXitXP88)(|)()(,)(|)()()()0()(|)()()(|)(111111111111nnnnnnnnnnnnnnnnn

55、nnnnnitXitXPitXitXitXPiitXtXPiXtXiitXtXPitXitXP所以所以另一方面另一方面即泊松過程是一個連續(xù)時間馬爾可夫鏈即泊松過程是一個連續(xù)時間馬爾可夫鏈89 再證齊次性。再證齊次性。當(dāng)當(dāng)j i時，時，當(dāng)當(dāng)jk, a1(n)=0， a2(n)=0, a3(n)=1, 即從狀態(tài)即從狀態(tài)3不會轉(zhuǎn)移到其它狀態(tài)。不會轉(zhuǎn)移到其它狀態(tài)。狀態(tài)狀態(tài)與與狀態(tài)轉(zhuǎn)移狀態(tài)轉(zhuǎn)移001 50 0.1293 0.0326 0.8381 , 1 , 0, 2 , 1),()(nkiiXPnani狀態(tài)概率)(1iXjXPpnnij轉(zhuǎn)移概率), 1 , 0(, 2 , 1nkXn狀態(tài)馬氏鏈的基本方

56、程馬氏鏈的基本方程1)(1nakiikippkjijij, 2 , 1, 1, 01）（非負(fù)，行和為轉(zhuǎn)移概率矩陣1kkijpPPnana)()1(kipnanakjjiji,2, 1,)()1(1基本方程基本方程狀態(tài)概率向量)(,),(),()(21nanananaknPana)0()(wwPw滿足馬氏鏈的兩個重要類型馬氏鏈的兩個重要類型 1. 正則鏈正則鏈 從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)另外任一狀態(tài)（如例能以正概率到達(dá)另外任一狀態(tài)（如例1）。）。0,NPN正則鏈Pnana)() 1()()(,nwnaw正則鏈3 . 07 . 02 . 08 . 0. 1

57、P例)9/2 , 9/7(w2211213 . 02 . 07 . 08 . 0wwwwww11kiiww滿足121ww217 . 02 . 0ww w 穩(wěn)態(tài)概率穩(wěn)態(tài)概率馬氏鏈的兩個重要類型馬氏鏈的兩個重要類型 2. 吸收鏈吸收鏈 存在吸收狀態(tài)（一旦到達(dá)就不會離存在吸收狀態(tài)（一旦到達(dá)就不會離開的狀態(tài)開的狀態(tài)i, pii=1）,且且從任一非吸收狀態(tài)出發(fā)經(jīng)有從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)吸收狀態(tài)（如例限次轉(zhuǎn)移能以正概率到達(dá)吸收狀態(tài)（如例2）。）。6.3 鋼琴銷售的存貯策略鋼琴銷售的存貯策略 鋼琴銷售量很小，商店的庫存量不大以免積壓資金鋼琴銷售量很小，商店的庫存量不大以免積壓資金 一

58、家商店根據(jù)經(jīng)驗估計，平均每周的鋼琴需求為一家商店根據(jù)經(jīng)驗估計，平均每周的鋼琴需求為1架架存貯策略存貯策略：每周末檢查庫存量，僅當(dāng)庫存量為零時，：每周末檢查庫存量，僅當(dāng)庫存量為零時，才訂購才訂購3架供下周銷售；否則，不訂購。架供下周銷售；否則，不訂購。 估計在這種策略下失去銷售機(jī)會的可能性有多大，估計在這種策略下失去銷售機(jī)會的可能性有多大，以及每周的平均銷售量是多少。以及每周的平均銷售量是多少。 背景與問題背景與問題問題分析問題分析 顧客的到來相互獨立，需求量近似服從泊松分布，其顧客的到來相互獨立，需求量近似服從泊松分布，其參數(shù)由需求均值為每周參數(shù)由需求均值為每周1架確定，由此計算需求概率架確定

59、，由此計算需求概率 存貯策略是周末庫存量為零時訂購存貯策略是周末庫存量為零時訂購3架架 周末的庫存周末的庫存量可能是量可能是0, 1, 2, 3，周初的庫存量可能是，周初的庫存量可能是1, 2, 3。用馬氏鏈描述不同需求導(dǎo)致的周初庫存狀態(tài)的變化。用馬氏鏈描述不同需求導(dǎo)致的周初庫存狀態(tài)的變化。動態(tài)過程中每周銷售量不同，失去銷售機(jī)會（需求動態(tài)過程中每周銷售量不同，失去銷售機(jī)會（需求超過庫存）的概率不同。超過庫存）的概率不同。 可按穩(wěn)態(tài)情況（時間充分長以后）計算失去銷售機(jī)可按穩(wěn)態(tài)情況（時間充分長以后）計算失去銷售機(jī)會的概率和每周的平均銷售量。會的概率和每周的平均銷售量。 模型假設(shè)模型假設(shè) 鋼琴每周需

60、求量服從泊松分布，均值為每周鋼琴每周需求量服從泊松分布，均值為每周1架架 存貯策略存貯策略：當(dāng)周末庫存量為零時，訂購：當(dāng)周末庫存量為零時，訂購3架，周架，周初到貨；否則，不訂購。初到貨；否則，不訂購。 以每周初的庫存量作為狀態(tài)變量，狀態(tài)轉(zhuǎn)移具有以每周初的庫存量作為狀態(tài)變量，狀態(tài)轉(zhuǎn)移具有無后效性。無后效性。 在穩(wěn)態(tài)情況下計算該存貯策略失去銷售機(jī)會的概在穩(wěn)態(tài)情況下計算該存貯策略失去銷售機(jī)會的概率，和每周的平均銷售量。率，和每周的平均銷售量。 模型建立模型建立 Dn第第n周需求量，均值為周需求量，均值為1的泊松分布的泊松分布 )2 , 1 , 0(!/)(1kkekDPnSn第第n周初庫存量周初庫存