《馬爾科夫鏈例題》ppt課件

1、假設(shè) 表示質(zhì)點(diǎn)在時(shí)辰n所處的位置，分析它的概率特性。例例1 直線上帶吸收壁的隨機(jī)游動(dòng)醉漢游動(dòng)直線上帶吸收壁的隨機(jī)游動(dòng)醉漢游動(dòng)設(shè)一質(zhì)點(diǎn)在線段設(shè)一質(zhì)點(diǎn)在線段1，5 上隨機(jī)游動(dòng)，每秒鐘發(fā)生上隨機(jī)游動(dòng)，每秒鐘發(fā)生一次隨機(jī)游動(dòng)，挪動(dòng)的規(guī)那么是：一次隨機(jī)游動(dòng)，挪動(dòng)的規(guī)那么是：1假設(shè)挪動(dòng)前在2，3，4處，那么均以概率 向左或向右 挪動(dòng)一單位；2假設(shè)挪動(dòng)前在1，5處，那么以概率1停留在原處。21質(zhì)點(diǎn)在1，5兩點(diǎn)被“吸收12345( )X n 前言：馬爾可夫過程的描畫分類前言：馬爾可夫過程的描畫分類;tX(t),例3 電話交換臺(tái)在 時(shí)刻前來到的呼叫數(shù) 是無后效性的隨機(jī)過程. X(t),例2 直線上的隨機(jī)游動(dòng)時(shí)的

2、位置是 無后效性的隨機(jī)過程.首頁首頁無無記記憶憶性性未來處于某形狀的概率特性只與如今形狀有關(guān)，而與以前的形狀無關(guān)，這種特性叫無記憶性無后效性。例例4 布朗運(yùn)動(dòng)布朗運(yùn)動(dòng);假設(shè) 表示質(zhì)點(diǎn)在時(shí)辰n所處的位置，求一步轉(zhuǎn)移概率。引引例例 例例1 直線上帶吸收壁的隨機(jī)游動(dòng)醉漢游動(dòng)直線上帶吸收壁的隨機(jī)游動(dòng)醉漢游動(dòng)設(shè)一質(zhì)點(diǎn)在線段設(shè)一質(zhì)點(diǎn)在線段1，5 上隨機(jī)游動(dòng)，每秒鐘發(fā)生上隨機(jī)游動(dòng)，每秒鐘發(fā)生一次隨機(jī)游動(dòng)，挪動(dòng)的規(guī)那么是：一次隨機(jī)游動(dòng)，挪動(dòng)的規(guī)那么是：1假設(shè)挪動(dòng)前在2，3，4處，那么均以概率 向左或向右 挪動(dòng)一單位；2假設(shè)挪動(dòng)前在1，5處，那么以概率1停留在原處。21質(zhì)點(diǎn)在1，5兩點(diǎn)被“吸收12345( )X

3、 n一步轉(zhuǎn)移概率矩陣的計(jì)算;首頁首頁有兩個(gè)吸收壁的隨機(jī)游動(dòng)有兩個(gè)吸收壁的隨機(jī)游動(dòng)其一步轉(zhuǎn)移矩陣為10000210210002102100021021000011P形狀空間形狀空間I=1，2，3，4，5，參數(shù)集參數(shù)集T=1，2，3，;例例2帶有反射壁的隨機(jī)游動(dòng)帶有反射壁的隨機(jī)游動(dòng)設(shè)隨機(jī)游動(dòng)的形狀空間I = 0，1，2，挪動(dòng)的規(guī)那么是： 1假設(shè)挪動(dòng)前在0處，那么下一步以概率p向右挪動(dòng)一個(gè)單位，以概率q停留在原處p+q=1； 2假設(shè)挪動(dòng)前在其它點(diǎn)處，那么均以概率p向右挪動(dòng)一個(gè)單位，以概率q向左挪動(dòng)一個(gè)單位。設(shè) 表示在時(shí)辰n質(zhì)點(diǎn)的位置， 那么 ， 是一個(gè)齊次馬氏鏈，寫出其一步轉(zhuǎn)移概率。nXnX0n首頁

4、首頁;qp右反射壁m-1mpq左反射壁1201000.000000.000000.000. . . . . . . . .00000.000000.0qpqpqpPqpqp首頁首頁;pq反射壁123010 0 0 .00 0 .000 . . . . . .q pqpPqp首頁首頁;例3一個(gè)圓周上共有N格按順時(shí)針陳列，一個(gè)質(zhì)點(diǎn)在該圓周上作隨機(jī)游動(dòng)，挪動(dòng)的規(guī)那么是：質(zhì)點(diǎn)總是以概率p順時(shí)針游動(dòng)一格， 以概率 逆時(shí)針游動(dòng)一格。試求轉(zhuǎn)移概率矩陣。pq 11000.000.0000.00.00.000.000pqqpqpPqppq1,2,.,IN首頁首頁;4一個(gè)質(zhì)點(diǎn)在全直線的整數(shù)點(diǎn)上作隨機(jī)游動(dòng)，挪動(dòng)的規(guī)

5、那么是：以概率p從i移到i-1，以概率q從i移到i+1，以概率r停留在i，且 ，試求轉(zhuǎn)移概率矩陣。1qpr1. . . . . . . . 000 . 000 . . . . . . . .prqPprq., 2, 1,0,1,2,.E 首頁首頁;5設(shè)袋中有a個(gè)球，球?yàn)楹谏幕虬咨?，今隨機(jī)地從袋中取一個(gè)球，然后放回一個(gè)不同顏色的球。假設(shè)在袋里有k個(gè)白球，那么稱系統(tǒng)處于形狀k，試用馬爾可夫鏈描畫這個(gè)模型稱為愛倫菲斯特模型，并求轉(zhuǎn)移概率矩陣。解 這是一個(gè)齊次馬氏鏈，其形狀空間為 I=0，1，2，a一步轉(zhuǎn)移矩陣是10100.01100.02200.0.110.000.0010aaaaPaaaaa首

6、頁首頁;練習(xí)題扔一顆色子，假設(shè)前n次扔出的點(diǎn)數(shù)的最大值為j，就說 試問 能否為馬氏鏈？求一步轉(zhuǎn)移概率矩陣。 I=1，2，3，4，5，6首頁首頁,nXj,nXj;111111666666211110666663111006666411000666510.00660.0010P ;例例1甲、乙兩人進(jìn)展競(jìng)賽，設(shè)每局競(jìng)賽中甲勝的概甲、乙兩人進(jìn)展競(jìng)賽，設(shè)每局競(jìng)賽中甲勝的概率是率是p，乙勝的概率是，乙勝的概率是q，和局的概率是，和局的概率是 ， 。設(shè)每局競(jìng)賽后，勝者記。設(shè)每局競(jìng)賽后，勝者記“+1分，負(fù)者記分，負(fù)者記“1分，和局不記分。當(dāng)兩人分，和局不記分。當(dāng)兩人中有一人獲得中有一人獲得2分終了競(jìng)賽。以分終

7、了競(jìng)賽。以 表示競(jìng)賽至表示競(jìng)賽至第第n局時(shí)甲獲得的分?jǐn)?shù)。局時(shí)甲獲得的分?jǐn)?shù)。r1rqpnX1寫出形狀空間；寫出形狀空間；3問在甲獲得問在甲獲得1分的情況下，再賽二局可分的情況下，再賽二局可以終了競(jìng)賽的概率是多少？以終了競(jìng)賽的概率是多少？首頁首頁;解解1 記甲獲得“負(fù)2分為形狀1，獲得“負(fù)1分為形狀2，獲得“0分為形狀3，獲得“正1分為形狀4，獲得“正2分為形狀5，那么形狀空間為12345I ， ， ， ，一步轉(zhuǎn)移概率矩陣1000000000000001qrpPqrpqrp首頁首頁;2二步轉(zhuǎn)移概率矩陣(2)2PP100002022202000012222222rpppqrqrqpprpqrrqqp

8、prpqrrpq首頁首頁;3從而終了競(jìng)賽的概率；從而終了競(jìng)賽的概率。所以題中所求概率為)1 (0)(rprpp首頁首頁;分析例例2 賭徒輸光問題賭徒輸光問題賭徒甲有資本a元，賭徒乙有資本b元，兩人進(jìn)展賭博，每賭一局輸者給贏者1元，沒有和局，直賭至兩人中有一人輸光為止。設(shè)在每一局中，甲獲勝的概率為p，乙獲勝的概率為 ，求甲輸光的概率。pq1這個(gè)問題本質(zhì)上是帶有兩個(gè)吸收壁的隨機(jī)游動(dòng)。從甲的角度看，他初始時(shí)辰處于a，每次挪動(dòng)一格，向右移即贏1元的概率為p，向左移即輸1元的概率為q。假設(shè)一旦到達(dá)0即甲輸光或a + b即乙輸光這個(gè)游動(dòng)就停頓。這時(shí)的形狀空間為0，1，2，c，c = a + b，。如今的問

9、題是求質(zhì)點(diǎn)從a出發(fā)到達(dá)0形狀先于到達(dá)c形狀的概率。首頁首頁;思索質(zhì)點(diǎn)從j出發(fā)挪動(dòng)一步后的情況解解設(shè)cj 0設(shè)ju為質(zhì)點(diǎn)從 j 出發(fā)到達(dá) 0 狀態(tài)先于到達(dá) c 狀態(tài)的概率。在以概率 p 移到1j的假設(shè)下，到達(dá) 0 狀態(tài)先于到達(dá) c 狀態(tài)的概率為1ju同理以 概 率 q 移 到1j的 前 提 下 ，到達(dá)0狀態(tài)先于到達(dá)c狀態(tài)的概率為1ju根據(jù)全概率公式有qupuujjj11這一方程本質(zhì)上是一差分方程，它的邊境條件是0, 10cuu首頁首頁;于是設(shè)（p + q）11jjjqupuu)(11jjjjuupquupqr 1jjjuud那么可得到兩個(gè)相鄰差分間的遞推關(guān)系1jjrdd于是2120jjjjdrd

10、r dr dL欲求au先求ju需討論 r首頁首頁;當(dāng)而1rcuu 01)(110jjcjuujcjd10010drjcj011drrccjjuuu)(11iicjiuu011drdicjiicji10(1)jcjrrrd L01drrrcj兩式相比ccjjrrru1首頁首頁;故ccaarrru1ccapqpqpq)(1)()(當(dāng)1r001cduuc而0)(djcuj因此cjcuj故cbcacua首頁首頁;用同樣的方法可以求得乙先輸光的概率由以上計(jì)算結(jié)果可知當(dāng)1r即qp 時(shí)，甲先輸光的概率為ccapqpqpq)(1)()(當(dāng)1r即qp 時(shí)，甲先輸光的概率為cb當(dāng)qp 時(shí)，乙輸光的概率為capqp

11、q)(1)(1當(dāng)qp 時(shí)，乙先輸光的概率為ca首頁首頁;例例3 排隊(duì)問題排隊(duì)問題顧客到效力臺(tái)排隊(duì)等候效力，在每一個(gè)效力周期中只需效力臺(tái)前有顧客在等待，就要對(duì)排在前面的一位提供效力，假設(shè)效力臺(tái)前無顧客時(shí)就不能實(shí)施效力。設(shè)在第 n 個(gè)服務(wù)周期中到達(dá)的顧客數(shù)為一隨機(jī)變量nY且諸nY獨(dú)立同分布：1kkp記nX為服務(wù)周期 n 開始時(shí)服務(wù)臺(tái)前顧客數(shù)那么有0,1,11nnnnnnXYXYXX若若此時(shí)nX，1n 為一馬氏鏈，求其轉(zhuǎn)移矩陣在第n周期已有一個(gè)顧客在效力，到第n+1周期已效力終了;解解先求出轉(zhuǎn)移概率) 0| 0(0100XXPp) 0(0YP0p) 0| 1(0101XXPp) 1(0YP1p) 1

12、| 0(110nnXXPp) 1| 01(nnnXYXP) 0(nYP0p) 1| 1(111nnXXPp) 1| 11(nnnXYXP) 1(nYP1p) 2| 0(120nnXXPp) 2| 01(nnnXYXP) 1(nYP0) 2| 1(121nnXXPp) 2| 11(nnnXYXP) 0(nYP0p) 2| 2(122nnXXPp) 1(nYP1p首頁首頁;所以轉(zhuǎn)移矩陣為012340123410123012000ppppppppppPpppppppLLLLLLLLLL首頁首頁;證jXPn0I,niP Xj Xi00I |niP Xi P Xj Xi( )iInijip p0,niP

13、 XjXiU(n)(n)1212(1)(1)(1)(1)11i1111221E I=1,2,32 P, P,P, P551,PX =1= piinPpppp p設(shè) 馬 氏 鏈 的 狀 態(tài) 空 間初 始 分 布 為試 對(duì) n=1,2,3,計(jì) 算 解 ：例 2;定理4.3 馬爾科夫鏈的有限維分布： 11 2m-1 m1122mm012012X,X,X1),0,0.10.20.70.90.100.10.80.10.30.40.3X0,X1,X2 2iiii iiii IPiiip p ppnPppppLLn由全概率公式得到證明，它是公式（ 的推廣?？紤]狀態(tài)0，1，2上的一個(gè)馬氏鏈X它又轉(zhuǎn)移概率矩陣初

14、始分布為，試求概率（1）3：（例）234X0,X2,X1p; 練習(xí)：馬氏鏈的形狀空間I=1，2，3，初始概率為12312122213044111111,42433313044(1)PX(0)=1,X(1)=2,X(2)=2,p(2)(2)PX(1)=2,X(2)=2 X(0)=1=p(3)PX(1)=1,X(2)=2,X(3)=3pppPp計(jì)算證明：求;例例4市場(chǎng)占有率預(yù)測(cè)市場(chǎng)占有率預(yù)測(cè)設(shè)某地有設(shè)某地有1600戶居民，某產(chǎn)品只需甲、乙、丙戶居民，某產(chǎn)品只需甲、乙、丙3廠廠家在該地銷售。經(jīng)調(diào)查，家在該地銷售。經(jīng)調(diào)查，8月份買甲、乙、丙三廠月份買甲、乙、丙三廠的戶數(shù)分別為的戶數(shù)分別為480，320

15、，800。9月份里，原買甲的月份里，原買甲的有有48戶轉(zhuǎn)買乙產(chǎn)品，有戶轉(zhuǎn)買乙產(chǎn)品，有96戶轉(zhuǎn)買丙產(chǎn)品；原買乙的戶轉(zhuǎn)買丙產(chǎn)品；原買乙的有有32戶轉(zhuǎn)買甲產(chǎn)品，有戶轉(zhuǎn)買甲產(chǎn)品，有64戶轉(zhuǎn)買丙產(chǎn)品；原買丙的戶轉(zhuǎn)買丙產(chǎn)品；原買丙的有有64戶轉(zhuǎn)買甲產(chǎn)品，有戶轉(zhuǎn)買甲產(chǎn)品，有32戶轉(zhuǎn)買乙產(chǎn)品。用形狀戶轉(zhuǎn)買乙產(chǎn)品。用形狀1、2、3分別表示甲、乙、丙三廠，試求分別表示甲、乙、丙三廠，試求1轉(zhuǎn)移概率矩陣；轉(zhuǎn)移概率矩陣；29月份市場(chǎng)占有率的分布；月份市場(chǎng)占有率的分布；312月份市場(chǎng)占有率的分布；月份市場(chǎng)占有率的分布；;解1E1，2，3,形狀1、2、3分別表示甲、乙、丙的用戶一步轉(zhuǎn)移概率矩陣為480489648960.

16、7, 0.1, 0.2480480480323203264640.1, 0.7, 0.2320320320643280064320.08, 0.04, 0.88800800800111213212223313233PPPPPPPPP88. 004. 008. 02 . 07 . 01 . 02 . 01 . 07 . 01P2以1600除8月份甲，乙，丙的戶數(shù)，得初始概率分布即初始市場(chǎng)占有率(0)(0)(0)123(0)(,)(0.3 0.2 0.5)Pppp;所以9月份市場(chǎng)占有率分布為312月份市場(chǎng)占有率分布為1)0() 1 (PPP)5 . 02 . 03 . 0(88. 004. 008

17、. 02 . 07 . 01 . 02 . 01 . 07 . 0)54. 019. 027. 0(41)0()4(PPP) 5 . 02 . 03 . 0 (488. 004. 008. 02 . 07 . 01 . 02 . 01 . 07 . 0)5983. 01698. 02319. 0(;例例1其一步轉(zhuǎn)移矩陣為試研討各形狀間的關(guān)系，并畫出形狀傳送圖。試研討各形狀間的關(guān)系，并畫出形狀傳送圖。設(shè)馬氏鏈0,nXn的狀態(tài)空間 I=0，1，232310414121021211P解先按一步轉(zhuǎn)移概率，畫出各形狀間的傳送先按一步轉(zhuǎn)移概率，畫出各形狀間的傳送圖圖首頁首頁;2/31/41/41/31/2

18、1/20121/2圖3-1由圖可知由圖可知形狀形狀0可到達(dá)形狀可到達(dá)形狀1，經(jīng)過形狀，經(jīng)過形狀1又可到達(dá)形狀又可到達(dá)形狀2；反之，從形狀反之，從形狀2出發(fā)經(jīng)形狀出發(fā)經(jīng)形狀1也可到達(dá)形狀也可到達(dá)形狀0。因此，形狀空間因此，形狀空間I的各形狀都是互通的。的各形狀都是互通的。又由于又由于I 的恣意形狀的恣意形狀i (i = 0，1，2)不能到達(dá)不能到達(dá)I 以外的任以外的任何形狀，何形狀， 所以所以I是一個(gè)閉集是一個(gè)閉集而且而且I 中沒有其它閉集中沒有其它閉集所以此馬氏鏈?zhǔn)遣豢杉s的。所以此馬氏鏈?zhǔn)遣豢杉s的。首頁首頁;例例2其一步轉(zhuǎn)移矩陣為試討論哪些形狀是吸收態(tài)、閉集及不可約鏈。試討論哪些形狀是吸收態(tài)、

19、閉集及不可約鏈。解解先按一步轉(zhuǎn)移概率，畫出各形狀間的傳送先按一步轉(zhuǎn)移概率，畫出各形狀間的傳送圖圖設(shè) 馬 氏 鏈 的 狀 態(tài) 空 間 為 I = 1， 2， 3， 4， 5000100000100100002/102/102/1002/11P首頁首頁;111/21/21/2311/2圖4-24521 閉集，由圖可知形狀3為吸收態(tài)且故 1C= 3為閉 集2C=1,43C=1,3,4閉集，閉集，其中 是不可約的。1C，2C又因形狀空間I有閉子集，故此鏈為非不可約鏈。首頁首頁;3常返態(tài)與瞬時(shí)態(tài)常返態(tài)與瞬時(shí)態(tài)那么稱形狀i為常返態(tài)那么稱形狀i為瞬時(shí)態(tài)注注若1iif若1iif“常返一詞，有時(shí)又稱“前往、“常

20、駐或“耐久“瞬時(shí)也稱“滑過 或“非常返定理定理4若1iif，則系統(tǒng)以概率 1 無窮次返回 i；若1iif，則系統(tǒng)以概率 1 只有有窮次返回 i。 定理定理5i是 常 返 態(tài) 的 充 要 條 件 是0)(nniip定理定理6假設(shè)i為常返態(tài)，且 ，那么j也是常返態(tài)。ji 定理定理7一切常返態(tài)構(gòu)成一個(gè)閉集;5正常返態(tài)與零常返態(tài)平均前往時(shí)間 從形狀i出發(fā)，初次前往形狀i的平均時(shí)間稱為形狀i平均前往時(shí)間.根據(jù)的值是有限或無限，可把常返態(tài)分為兩類：設(shè)i是常返態(tài)，那么稱i為正常返態(tài)；)(11niiniiniiinfnTnPTE若i若i，那么稱i為零常返態(tài)。首頁首頁;例例其一步轉(zhuǎn)移矩陣如下，是對(duì)I進(jìn)展分解。0

21、 .10 .10 .20 .20 .40 00 0 0 .50 .50 0 00 0 0 1 0 0 00 1 0 0 0 0 00 0 0 00 .50 .500 0 0 00 .500 .50 0 0 000 .50 .5PI可分解為：C1=2，3, 4 C2=5，6,7 兩個(gè)閉集及N=1 ，即I=N+ C1+ C2120 0.5 0.50.500.5001 P= 0.5 0.5010000.5 0.5P;用極限判別形狀類型的準(zhǔn)那么用極限判別形狀類型的準(zhǔn)那么2i是零常返態(tài)是零常返態(tài)3i是正常返態(tài)是正常返態(tài)0lim)(niinp1i是瞬時(shí)態(tài))(0niinp（這時(shí)0lim)(niinp）)(0

22、niinp且)(0niinp且且0lim)(niinp首頁首頁;例例3轉(zhuǎn)移矩陣4 , 3 , 2 , 1I00011000010041414141P試對(duì)其形狀分類。解解按一步轉(zhuǎn)移概率，畫出各形狀間的傳送圖21/4111/41/411/4143首頁首頁;從圖可知，此鏈的每一形狀都可到達(dá)另一形狀，即4個(gè)形狀都是相通的。思索形狀1能否常返，需要計(jì)算11f：41)1(11f(2)11144114fpp41413413)3(11pppf4141342312)4(11ppppf)(11111nnff141414141于是形狀1是常返的。25)(1111nnfn又由于所以形狀1是正常返的。此鏈一切形狀都是正

23、常返的。此鏈一切形狀都是正常返的。21/4111/41/411/4143;三、形狀的周期與遍歷三、形狀的周期與遍歷1周期形狀對(duì)于恣意的 ，令其中GCD表示最大公約數(shù)Ii01)(niiipnGCDd：如果1id，那么稱 為周期態(tài)，iid為周期如果1id那么稱 為非周期態(tài)。i定理定理11設(shè)馬氏鏈的狀態(tài)空間為 I，Iji,（1）若ji ，則jidd ；（2）若是不可約馬氏鏈，且0iip，則此馬氏鏈?zhǔn)欠侵芷阪湣?遍歷形狀假設(shè)形狀i是正常返且非周期，那么稱i為遍歷形狀。若馬氏鏈nX的所有狀態(tài)都是遍歷的，111/21/21/2311/2圖4-24521;例例4設(shè)馬氏鏈的形狀空間I = 0,1,2,，轉(zhuǎn)移概

24、率為試討論各形狀的遍歷性。解解根據(jù)轉(zhuǎn)移概率作出形狀傳送圖2100p，211,iip，210ip，Ii1/21/21/21/21/21/20121/2圖4-431/2首頁首頁;從圖可知，對(duì)任一形狀 都有 ，故由定理可知，I 中的所以形狀都是相通的，Ii0i因此只需思索形狀0能否正常返即可。(1)001,2f(2)001 11,2 24f (3)30011( ),28f故121100nnf從而0是常返態(tài)。又由于( )00011122nnnnnfn 所以形狀0為正常返。又由于021) 1 (00p故形狀0為非周期的從而形狀0是遍歷的。故一切形狀i都是遍歷的。1/21/21/21/21/21/2012

25、1/2 圖4-431/2;1/31/211/31/211/31234例5設(shè)馬氏鏈的形狀空間I=1，2，3，4，其一步轉(zhuǎn)移矩陣為解 試對(duì)其形狀分類。0010021210000131313101P按一步轉(zhuǎn)移概率，畫出各形狀間的傳送圖它是有限形狀的馬氏鏈，故必有一個(gè)常返態(tài)，又鏈中四個(gè)形狀都是互通的。因此，一切形狀都是常返態(tài)，這是一個(gè)有限形狀不可約的馬氏鏈?？衫^續(xù)討論能否為正常返態(tài);可討論形狀10)1(11f31)2(11f21213131)3(11f1211212131)4(11f( )1111211111132122 12212nnffL1221121212131)5(11f12211212121

26、21312)6(11f11/31/211/31/211/31234;形狀1是常返態(tài))(1111nnfn2111112345632122 122 12 L形狀1是正常返態(tài)所以，全部形狀都是正常返態(tài)首頁首頁1/31/211/31/211/31234;例例1其一步轉(zhuǎn)移矩陣為試證此鏈具有遍歷性，并求平穩(wěn)分布和各形狀的平均前往時(shí)間3231032031032311P解解由于212)(PP329291949491949231首頁首頁;所以因此，該馬氏鏈具有遍歷性。解得1122133231231133213322331所以馬氏鏈的平穩(wěn)分布為Xi123717274各形狀的平均前往時(shí)間各形狀的平均前往時(shí)間;例例2

27、設(shè)有6個(gè)球其中2個(gè)紅球，4個(gè)白球分放于甲、乙兩個(gè)盒子中，每盒放3個(gè)，今每次從兩個(gè)盒中各任取一球并進(jìn)展交換，以 表示開場(chǎng)時(shí)甲盒中紅球的個(gè)數(shù)， 表示經(jīng)n次交換后甲盒中的紅球數(shù)。( 1 ) 求馬氏鏈 ， 的轉(zhuǎn)移概率矩陣；0XnX1nnX1n( 2 ) 證明 ， 是遍歷的；nX1n3求)(limnijnp2 , 1 , 0,ji4求lim( )jnp n2 , 1 , 0j首頁首頁;解解其一步轉(zhuǎn)移矩陣為其一步轉(zhuǎn)移矩陣為31320929592032311P甲乙紅球紅球0白球白球3紅球紅球2白球白球1紅球紅球1白球白球2紅球紅球1白球白球2紅球紅球2白球白球1紅球紅球0白球白球31/32/95/92/32

28、/91/30122/3;由形狀傳送圖1/32/95/92/32/91/30122/32由于它是一個(gè)有限馬氏鏈，故必有一個(gè)常返態(tài)，又鏈中三個(gè)形狀0、1、2都相通，所以每個(gè)形狀都是常返態(tài)。所以是一個(gè)不可約的有限馬氏鏈，從而每個(gè)形狀都是正常返的。所以此鏈為非周期的。故此鏈?zhǔn)遣豢杉s非周期的正常返鏈，即此鏈?zhǔn)潜闅v的。首頁首頁;也可以利用定理1證明遍歷性22123132092959203231 PP首頁首頁;解之得0011012212012j1239252393219310,(0,1,2)j故得( )0limninp015( )1limninp135首頁首頁;40151350lim( )np n1lim( )np n首頁首頁;例例3市場(chǎng)占有率預(yù)測(cè)市場(chǎng)占有率預(yù)測(cè)設(shè)某地有1600戶居民，某產(chǎn)品只需甲、乙、丙3廠家在該地銷售。經(jīng)調(diào)查，8月份買甲、乙、丙三廠的戶數(shù)分別為480，320，800。9月份里，原買甲的有48戶轉(zhuǎn)買乙產(chǎn)品，有96戶轉(zhuǎn)買丙產(chǎn)品；原買乙的有32戶轉(zhuǎn)買甲產(chǎn)品，有64戶轉(zhuǎn)買丙產(chǎn)品；原買丙的有64戶轉(zhuǎn)買甲產(chǎn)品，有32戶轉(zhuǎn)買乙產(chǎn)品。用形狀1、2、3分別