Markov鏈補充(1)

1、整理ppt練習練習: :設某地有設某地有16001600戶居民，某產品只有甲、乙、丙戶居民，某產品只有甲、乙、丙3 3廠家在該地銷售。經調查，廠家在該地銷售。經調查，8 8月份買甲、乙、丙三廠的月份買甲、乙、丙三廠的戶數(shù)分別為戶數(shù)分別為480480，320320，800800。9 9月份里，原買甲的有月份里，原買甲的有4848戶戶轉買乙產品，有轉買乙產品，有9696戶轉買丙產品；原買乙的有戶轉買丙產品；原買乙的有3232戶轉買戶轉買甲產品，有甲產品，有6464戶轉買丙產品；原買丙的有戶轉買丙產品；原買丙的有6464戶轉買甲產戶轉買甲產品，有品，有3232戶轉買乙產品。用狀態(tài)戶轉買乙產品。用狀態(tài)

2、1 1、2 2、3 3分別表示甲、分別表示甲、乙、丙三廠，則其轉移概率矩陣為乙、丙三廠，則其轉移概率矩陣為 （ ）BC DAD10.70.10.20.10.20.70.040.080.88PP1336489632224646432704PP10.10.70.20.70.10.20.040.080.88PP10.70.10.20.10.70.20.080.040.88PP整理ppt0.50.50.5120.513練習練習: :設馬氏鏈的狀態(tài)空間為設馬氏鏈的狀態(tài)空間為I I = 1 = 1，2 2，33， 其其狀態(tài)轉移圖狀態(tài)轉移圖如下如下: :試寫出試寫出一步轉移矩陣一步轉移矩陣： 10005 .

3、 05 . 005 . 05 . 0P整理ppt練習練習: :設馬氏鏈的狀態(tài)空間為設馬氏鏈的狀態(tài)空間為I I = 1 = 1，2 2，3 3，44， 其一步轉移矩陣為其一步轉移矩陣為畫出狀態(tài)轉移圖畫出狀態(tài)轉移圖.10.60.20.20.71120.33411001010000.30.7000.60.20.20PP整理ppt練習練習設今日有雨，則明日也有雨的概率為設今日有雨，則明日也有雨的概率為0.70.7，今日無雨明日有雨的概率為今日無雨明日有雨的概率為0.50.5，求星期一，求星期一有雨，星期三也有雨的概率。有雨，星期三也有雨的概率。解解: 其為有兩個狀態(tài)的馬爾可夫鏈，有雨記為其為有兩個狀態(tài)

4、的馬爾可夫鏈，有雨記為1，無雨，無雨記為記為0，一步轉移概率矩陣為，一步轉移概率矩陣為 7 . 03 . 05 . 05 . 010P10 64. 036. 06 . 04 . 0102)2(PP1064. 0)2(11 P故所求故所求整理ppt課前練習：課前練習：1、設馬氏鏈的狀態(tài)空間為、設馬氏鏈的狀態(tài)空間為1,2,3,一步轉移矩陣為一步轉移矩陣為 10041430414121P(1,2,3),.iifi 求并確定其狀態(tài)關系2、設馬氏鏈的狀態(tài)空間為、設馬氏鏈的狀態(tài)空間為1,2,3,4,一步轉移矩陣為一步轉移矩陣為 100041414141002121002121P試研究其狀態(tài)關系試研究其狀態(tài)

5、關系.整理ppt例例 10041430414121P設馬氏鏈的狀態(tài)空間為設馬氏鏈的狀態(tài)空間為1,2,3,一步轉移矩陣為一步轉移矩陣為.),3 , 2 , 1(并并確確定定其其狀狀態(tài)態(tài)關關系系求求 ifii解解:狀態(tài)轉移圖如下狀態(tài)轉移圖如下:21414141431整理ppt21414141431)2(0,21)(11)1(11 nffn12111 f故故)2(0,43)(22)1(22 nffn14322 f故故)2(0, 1)(33)1(33 nffn133 f故故因此因此,狀態(tài)狀態(tài)1和和2為非常返態(tài)為非常返態(tài),狀態(tài)狀態(tài)3為常返態(tài)為常返態(tài).整理ppt設馬氏鏈的狀態(tài)空間為設馬氏鏈的狀態(tài)空間為1,

6、2,3,4,一步轉移矩陣為一步轉移矩陣為 100041414141002121002121P試研究其狀態(tài)關系試研究其狀態(tài)關系.解解:狀態(tài)轉移圖如下狀態(tài)轉移圖如下:21412141214121411例例整理ppt121121,21,2121,211)(1111)(11)2(11)1(11 nnnnfffff121121,21,2121,211)(2222)(22)2(22)1(22 nnnnfffff整理ppt141),2(0,4133)(33)1(33 fnffn, 1)1(44 f 11)(11122nnnnnnfu又又因因為為 11)(22222nnnnnnfu又又因因為為故狀態(tài)故狀態(tài)1與

7、與2都是正常返狀態(tài)都是正常返狀態(tài),又因周期都是又因周期都是1,故都為故都為遍歷狀態(tài)遍歷狀態(tài).故狀態(tài)故狀態(tài)3是非常返狀態(tài)是非常返狀態(tài).1111)(444 nnnfu故狀態(tài)故狀態(tài)4是吸收狀態(tài)是吸收狀態(tài).整理ppt1、設馬氏鏈的狀態(tài)空間為、設馬氏鏈的狀態(tài)空間為1,2,一步轉移矩陣為一步轉移矩陣為課前練習：課前練習： 83854143P.limnnP 求求平平穩(wěn)穩(wěn)分分布布及及0, nXn2、設馬氏鏈設馬氏鏈的狀態(tài)空間的狀態(tài)空間I=1，2，3，其一步轉移矩陣為其一步轉移矩陣為1120331203312033PP則此鏈具有遍歷性，則此鏈具有遍歷性，試求其平穩(wěn)分布。試求其平穩(wěn)分布。整理ppt例例設馬氏鏈的狀

8、態(tài)空間為設馬氏鏈的狀態(tài)空間為1,2,一步轉移矩陣為一步轉移矩陣為 83854143P.limnnP 求求平平穩(wěn)穩(wěn)分分布布及及解解:)72,75(,72,7512121 故故解解得得由由P 72757275lim,lim)(nnnijnjPP得得由由 27,5721121 uuujj分別為分別為的平均回轉時間的平均回轉時間與與知狀態(tài)知狀態(tài)還可由還可由 整理ppt則此鏈具有遍歷性，則此鏈具有遍歷性，試求其平穩(wěn)分布。試求其平穩(wěn)分布。0, nXn例例 設馬氏鏈設馬氏鏈的狀態(tài)空間的狀態(tài)空間I=1，2，3，其一步轉移矩陣為其一步轉移矩陣為1120331203312033PP 1323231323131321323312211 平穩(wěn)分布滿足平穩(wěn)分布滿足解：解：整理ppt74,72,71321 解得解得所以馬氏鏈所以馬氏鏈X() i123172747i 整理ppt例例在直線上帶有反射壁的隨機游走在直線上帶有反射壁的隨機游走,只考慮質點取只考慮質點取1,2,3三個點三個點,一步轉移矩陣為一步轉移矩陣為 pqpqpq