隨機(jī)過(guò)程-C4馬爾可夫鏈

1設(shè)所點(diǎn)在區(qū)間[0,4]的整數(shù)點(diǎn)作隨機(jī)游動(dòng)，到達(dá)0點(diǎn)或4點(diǎn)后以概率1停留在原處,1一向左、右移動(dòng)一格或停留在原處。求所點(diǎn)隨機(jī)游動(dòng)的一3在其它整數(shù)點(diǎn)分別以概率步和二步轉(zhuǎn)移的概率矩陣。2.獨(dú)立地重復(fù)拋擲一枚硬幣1,2或3,這些值分別對(duì)應(yīng)于第n-1次和第n次拋擲的結(jié)果為（正，正），（正，反），正）或（反，反）。求馬爾可夫鏈{Xn，n0,1,2，…}的一步和二步轉(zhuǎn)移的概率矩陣。設(shè){X,n_0}為馬爾可夫鏈，試證：nP{XXX~l|X,X",X（1Xn.1=n1n.2=n.2乂nAn[X。-。}11=in1n2-in2nm-inmn-in,X,X,,X|xn-iin}PnX~in2,xinnAAn-1n-2~in2/nmnm其初始分布和轉(zhuǎn)移概率矩陣為3.4.5.每次拋擲出現(xiàn)正面的概率為P，對(duì)于n一2求，令兒=0,（反=P{X-()P{Xn,x120=i°1X=P{X。="1二「.…Xn-in設(shè){Xn，n_1}為有限齊次馬爾可夫鏈1「4"3,4,八1/41/41/41/4"nWin1P-i—P{X。1/41/41/41/81/41/4J/4P{X2=4|X設(shè){X（t）,rT}為隨°』機(jī)過(guò)程立同分布隨機(jī)變量序，且列，令{",n_0}是馬爾可1/41<X1x1=1/43/81/4』，試證1/4<4AP{X2=4|1::X(t1)，X2=xQ,..,Xn=X(tJ...為獨(dú)Yo-O'YA-Y^WX’YcYXX,n一2,試證4}夫鏈。6.已知隨機(jī)游動(dòng)的轉(zhuǎn)移概率矩陣為0.50.50.50.5,求三步轉(zhuǎn)移概率矩陣p(3)及0.50.5J當(dāng)初始分布為P{X0=1}=p{X0=2}=0,p{X0=3}=1時(shí)經(jīng)三步轉(zhuǎn)移后處于狀態(tài)3的概率。7.已知本月銷售狀態(tài)的初始分布和轉(zhuǎn)移概率矩陣如下:0.80.80.1(1)Pt(O)=(0.4,020.4),P二0.10.70.2020.20.6⑵Pt(0)=(02020.3,0.3),p=0.70.10.10.10.10.60.2?0.10.10.10.60.230.10.20.5」季節(jié)123456789101112銷售狀態(tài)112122111212季節(jié)131415161718192021222324銷售狀態(tài)112211212111求下一、二個(gè)月的銷售狀態(tài)分布。8某商品六年共24個(gè)季度銷售記錄如表（狀態(tài)1暢銷，狀態(tài)2——滯銷）以頻率估計(jì)概率。求（1）銷售狀態(tài)的初始分布；（2）三步轉(zhuǎn)移概率矩陣及三步轉(zhuǎn)移后的銷售狀態(tài)分布。痢2討論下列1轉(zhuǎn)移概率矩陣的馬爾可夫鏈的狀態(tài)分類。12.設(shè)馬爾可夫鏈的狀態(tài)空間5|0.70.30[[0、={1,2，（0???,7}，轉(zhuǎn)移廣率矩陣為0（20.p00000.400?60.60.40P=00100J0.40“10-ccc…0n6000.20.5qrP001-0…0"000qrp10000…00010'0.400.200.00.100.330.10.10.11000100.10.50.10.7).10(0.600.200.20.60.311.設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為0'0?0其中00.30.8

qr00.7p駐I={0,1/,b}勺/21/2、(1\1/32/3」(2)q10P2q20(n；計(jì)算f1）P求狀態(tài)的分類及各常返閉集的平穩(wěn)分布。*0q13.設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為p=0「P]，求它的平穩(wěn)分布。14艾倫菲斯特(Erenfest)鏈。設(shè)甲乙兩個(gè)容器共有2N個(gè)球，每隔單位時(shí)間從這2N個(gè)球中任取一球放入另一容器中，記\為在時(shí)刻n甲容器中球的個(gè)數(shù)，則｛\,n_0｝是齊次馬爾可夫鏈，稱為艾倫菲斯特鏈，求該鏈的平穩(wěn)分布?！?5.將2個(gè)紅球4個(gè)白球任意地分別放入甲、乙兩個(gè)盒子中，每個(gè)盒子放3個(gè)，現(xiàn)從每個(gè)盒子中各任取一球，交換后放回盒中(甲盒內(nèi)取出的球放入乙盒中，乙盒內(nèi)取出的球放入甲盒中)，以X(n)表示經(jīng)過(guò)n次交換后甲盒中紅球數(shù)，則｛X(n),n_0｝為一齊次馬爾可夫鏈，(1)求一步轉(zhuǎn)移概率矩陣；(2)證明｛X(n),n_0｝是遍歷鏈；(3)求limP(n),j=0,1,2n16.非周期不可約馬爾可夫鏈，狀態(tài)空間為移概率矩陣滿足條件：'二口門=1,試證(1)對(duì)一切jI，iI若狀態(tài)空間I=｛1,2/,m｝，計(jì)算各狀態(tài)的平均返回時(shí)間。設(shè)｛X(n),n—1｝為L(zhǎng)若對(duì)一切jI，其一步轉(zhuǎn)p(n)=1；(2)ji日17.設(shè)河流每天的BOD(生物耗氧量)濃度為齊次馬爾可夫鏈，狀態(tài)空間I={1,2,3,4}是按BOD濃度為極低、低、中、高分別表示的，其一步轉(zhuǎn)移概率矩陣（以一天為單位）0.50.40.10、0.20-50.20.10.10.20.601<00.20.40.4；若BOD濃度為高，則稱河流處于污染狀態(tài)。(1)證明該鏈?zhǔn)潜闅v鏈;答案1.解：所點(diǎn)隨機(jī)游動(dòng)的一步轉(zhuǎn)移的概率矩陣為TOC\o"1-5"\h\z\o"CurrentDocument"101/31/3P=01/300_0000011/3001/31/301/31/31/3001質(zhì)點(diǎn)隨機(jī)游動(dòng)的二步轉(zhuǎn)移的概率矩陣為（2）求該鏈的平穩(wěn)分布；（3）河流再次達(dá)到污染的平均時(shí)間P（2）=p2-10000〕4/9/2/92/91/901/92/93/92/91/901/92/92/94/900001一2解：馬爾可夫鏈｛Xn，n=0,1,2,-｝的一步轉(zhuǎn)移的概率矩陣為■P馬爾可夫鏈｛Xn，n=0，1,2，...｝的一步和二步轉(zhuǎn)移的概率矩陣為（1）P{Xn1-in1,Xn-in2,，XnmP{X°=i°，Xif，Xn"n，Xn1->22PqPqqPPqPq2qP2PqPq2q■P22PqPq2q一P（2）二P23.證:=innP{X0=i°，Xi=ii,.，Xn"n}一PgPMPinWPininPM-PiPi°iiPnXn-涉,4，％1九，，Xnm=如-WnWm}—PiningPinyin*—P{Xn1—in1,Xn2—in2,，Xnm=inmK=值⑵叫X,X,,Xi,Xi,0=i0i=iin=nn.2=n2P{X°=i°，X=i,X，X[”X*9,X.°°-ii,n—inn1—in1n?2—in2,n?—iii—iiii=PRnJnJnm=nP｛X。=i。，，Xm詛Pg2Gn2..,Xnm0=i°，X1=i1,—in-2怖W，，xnnu，Xn=inm1P{Xn+=in+}二P{X。一0,...，Xn=in|Xni=in|}P{Xm「，XninmlXn4.證：嘆=41X0=1,1r4}X"n}}inmJ~inmlX0-、，，梢=inJin1}P{X。=1,Xj=2,X2=4}P{X。=1,Xj=3X2*}P{Xo=1,Xj=2}+P{X°=1,Xj=3}111113P1P1P12P24‘P1P13P34PiP12P1P134〈料X_+-X44X-51111-16—4444P{X2：：：4}=P{X2=4」：：=4|1:::X.X::4}P{X*,X2=4}P{Xj=3X2=4}{1:1:X:::4}PiPi3TOC\o"1-5"\h\zP{X1=2}P{X1=3}1-職=2}七職=3}九-P{X.=2}+P{X.=3}P24、PiPi2P34、i-ii-i4Pi(Pi2Pi3)44P24-Pi2P34-Pi，二.土ii'(Pi2i31一—X—48-+1819605解：由題意YPiPi3-職=2}七職=3}九-P{X.=2}+P{X.=3}44P24-Pi2P34-Pi，二.土ii'(Pi2i31一—X—48-+181960P{Y1Y-0n,Y0,Y}n1-in101=ii，n-in二P{YmC￡=inrCin|Yo=0,Yi=ii,,￡"}二P{Xm二/6化=0,丫氣/，丫少}二P{Xm=imCi}=P{X產(chǎn)i1Ci|Y京二P"n1=、1I斗二由i,k-1,2/,n,1J■■■??kn—的任意性知{Yn，n—0}為馬爾可夫鏈。0.250.3750.3756解：P(3)=0.3750.250.375,p(3)=0.250.3750.3750.257解:Pt(1)=(0.42,0.26,0.32),Pt(2)=(0.426,0.288,0.286)pT」些2]p⑴」。6&解：0<24'24.幾0620.38>PX3)=(0.61,0.39)9.解：1珂?zhèn)伞?}

01001/201/2001/201/2001010解:00000101/2010解:00000101/201/301/3000101/2010001/30C1={1,2,3,4}C={5,6,7,8,9}兩個(gè)閉(1)G={1,2,3}集°。2二{4,5}兩個(gè)遍歷狀態(tài)閉集。一，1,2,3、(2)C=｛''｝遍歷閉集，N=｛4｝非常返態(tài)。(3)G={0}”解(1)嶄弓，呼f11)=0,f11)=q1q2q3；C2=是吸收態(tài)閉集，N=[1,...，1⑴11⑶19加2,f1248,f12；Tn(2)(3)2b-1｝是非常返集。Pi，f12p1q1'f12p1q112解：，N=｛1,2｝非常返集，G=｛3,4,5｝,。2=｛6,7｝是正常返閉集。由轉(zhuǎn)移矩陣TOC\o"1-5"\h\z「0.60.40、0.400.6020.50.3’1076解得G的平穩(wěn)分布為｛0,0,,,,0,0｝；232323同理，C2的平穩(wěn)分布為｛0,0,0,0,0aa,—｝。151513解：“占°jdk=0qk114解：｛X,n14解：｛X,n—0｝的轉(zhuǎn)移概率為Pii=0,n也pi,i-42Ni=0,1；,2N,其平穩(wěn)分布｛「jj=0X,2N｝滿足方程組二2N2N二jJ12NjJ2N2N2NJ解此方程組得.：j二C2N二0由條件■:j=1得2N1二二0二C2N=2?'二0jz0兀0=2乳故｛Xn，n_0｝的平穩(wěn)分布為7：j=CJN2AN,j=0,1,2/,2N15解：(1)—1/32/301P=2/95/92/9]02/31/3_⑵由于1=｛0,1,2｝是有限的，I中所有狀態(tài)是互通的，且狀態(tài)0是非周期的,故｛Xn｝為遍歷鏈。(3)由平穩(wěn)分布滿足的方程組匚2。9解方程組得：”叫半。一016.解：(1)用歸納法?！?1=2，limp(:)勇1履n時(shí)，對(duì)