(完整word版)馬爾可夫鏈的概念及轉(zhuǎn)移概率(word文檔良心出品)

1、第四章4.1馬爾可夫鏈的的概念及轉(zhuǎn)移概率一、知識回顧二、馬爾可夫鏈的的定義三、轉(zhuǎn)移概率四、馬爾可夫鏈的一些簡單例子五、總結(jié)-、知識回顧1.條件概率定義：設(shè)A, B為兩個(gè)事件，且P（A） > 0,稱P（4B）P（B|A）為為事件A發(fā)生條件下B事件發(fā)生的條件概率。將條件概率公式移項(xiàng)即得到所謂的乘法公式:P(AB) = P(A)P(B|A)2全概率公式設(shè)試驗(yàn)E的樣本空間為S, A為E的事件，若3102，為為S的一個(gè)完備專件組，既滿足條件:1）.雖2，爲(wèi)兩兩互不相容，即B/j=0, iHj,i,j = l,2,112).BiUB2UUBn =S,且有P(BJ>0,i=l,2,n,則P（A）

2、=ELiP（耳）此式稱為全概率公式。3矩陣乘法C11C12°21 22115213021022023矩陣乘法的定義'B = I 21 力22 Jc =方31旳2丿如果Ql=ll X 61 + <112 X 21 + fli3 X /?3112=11 X bi2 + 12 X 方22 + 13 X 方3221=21 X bii + <122 X /?21 + 23 X bi22=21 X /?12 + 022 X Z>22 + 23 X 方32那么矩陣C叫做矩陣A和B的乘積，記作C=AB4馬爾可夫過程的分類馬爾可夫過程按狀態(tài)和時(shí)間參數(shù)是連續(xù)的或離散的，可分為三

3、類:（1）時(shí)間.狀態(tài)都是離散的馬爾科夫過程，稱為馬爾可夫鏈:（2）時(shí)間連續(xù)、狀態(tài)離散的馬爾科夫過程稱為連續(xù)時(shí)間的馬爾可夫鏈的;（3）時(shí)間、狀態(tài)都連續(xù)的馬爾科夫過程。二、馬爾科夫鏈的定義定義41設(shè)有隨機(jī)過程X,nGT,若對于任意的整數(shù)nGT和任意的10, it .Jn+lG/.條件概率都滿足PXn+i = n+ilo = io'X = g . ,Xn =則稱XnjeT為馬爾科夫鏈，簡稱馬氏鏈。式(4丄1)即為馬氏鏈，他表明在狀態(tài)X(0) = 6X(1) = ii，X(n) = in已知的 條件下，X(n + 1)= 7的條件概率與X(0) = io,X(l) = ii,.X(n - 1)

4、 = 無關(guān), 而僅與X5)所處的狀態(tài)i和有關(guān)。式(4.1.1)是馬爾科夫鏈的馬氏性(或無后效性)的數(shù)學(xué)表達(dá)式。由定義知PXo = io, Xi = d.，Xn = in=PXn = GilXo = io，Xi = 11，= in-l PXo = io'Xi = ii，= in-l=PXn =PXo = GX = In-l)=二PXi = MX。= ioPXo = 5可見，馬爾科夫鏈的統(tǒng)計(jì)特性完全由條件概率所決定。如何確定這個(gè)條件概率，是馬爾科夫鏈理論和應(yīng)用中的重要問題之一?，F(xiàn)舉一例說明上述概念：例4.1.1箱中裝有C個(gè)白球和d個(gè)黑球，每次從箱子中任取一球，抽出的球 要到從箱子中再抽出一

5、球后才放回箱中，每抽出一球作為一次取樣試驗(yàn)。現(xiàn)引進(jìn)隨機(jī)變量圧列為X(n),ii= 1,2,每次取樣試驗(yàn)的所有可能結(jié)果只 有兩個(gè)，即白球或黑球。若以數(shù)血代表白球，以數(shù)02代表黑球則有$1,第n次抽球結(jié)果為白球n =(02,第n次抽球結(jié)果為黑球由上所述的抽球規(guī)則可知，任意第n次抽到黑球或白球的概率只與第n-1次抽得 球的結(jié)果有關(guān)，而與第n-2次，第n-3次，第1次，抽的球的結(jié)果無關(guān), 由此可知上述隨機(jī)變量序列X(n),n= 1,2,-h為馬氏鏈。三、轉(zhuǎn)移概率定義42稱條件概率為馬爾科夫鏈n G T在時(shí)刻N(yùn)的一步轉(zhuǎn)移概率，其中ijGT.簡稱為轉(zhuǎn) 移概率。條件概率p,/n）：隨機(jī)游動的質(zhì)點(diǎn)在時(shí)刻11處

6、r狀態(tài)i的條件下，下一步轉(zhuǎn)移 到狀態(tài)j的你改率。一般地，轉(zhuǎn)移概率刃丿）不僅與狀態(tài)b j有關(guān)，而且與時(shí)刻n有關(guān)。當(dāng)PjG）不依賴與時(shí)刻n時(shí)，表示馬爾科夫鏈具有半穩(wěn)轉(zhuǎn)移概率。定義4.3若對任意的ijGT.馬爾科夫鏈n G T的轉(zhuǎn)移概率Pu（n）與11無關(guān)則稱馬爾科夫鏈?zhǔn)驱R次的，并記旳（町為刃廠下面我們只討論齊次馬爾科夫鏈通常將“齊次”兩個(gè)字省略。設(shè)P表示一步轉(zhuǎn)移概率刃丿所組成的矩陣，且狀態(tài)空間I =則ZPll P12PinP = P21 P22P2zi稱為系統(tǒng)狀態(tài)的一步轉(zhuǎn)移概率矩陣。它具有性質(zhì): Pij >0, i, j GI；（2） QerPy = 1，i e I.式中對j求和是對狀態(tài)空間

7、I的所有可能狀態(tài)進(jìn)行的，此性質(zhì)說明一步轉(zhuǎn)移概率矩陣中任一行元素Z和為1.通常稱滿足上述（1）.（2）性質(zhì)的矩陣為隨機(jī)矩陣。定義44稱條件概率pf) = PXm+n = j|Xm = i, i,j G > 0,n > 1為馬爾科夫鏈X,nGT的n步轉(zhuǎn)移概率，并稱pg = 8斜)為馬爾科夫鏈的n步轉(zhuǎn)移矩陣，其中(pf)>0, Ejer(pf) = l，即P(n)也是隨機(jī)矩陣。當(dāng)1】=1是，P；)= Pij，此時(shí)一步轉(zhuǎn)移矩陣PU)= P.此外我們規(guī)定pg:鳥定理4.1設(shè)XneT為馬爾科夫鏈，則對任意整數(shù)n>0, OMl<n和ij eT, 11步轉(zhuǎn)移概率p)具有下列性質(zhì):

8、(1)戸=加曲說7；（2） Pq）= SkiGl Skn-iGl PikiPkikz 卩kn-ij» P（n）= PP（n7）； F（n）= pn.證（1）利用全概率公式及馬爾科夫性，有P）=PXm+n = j|Xm = 0 =型紜鋁嚴(yán) 立k/雹禽囂礦A P（Xm+| = k|Xm = i =2kei P 滬謚（m）=Ykei pk在（1）中令l=hk=ki得P =Pi&P護(hù);kei這是一個(gè)遞推公式，故可遞推得到 工Pik丄Pk丄 -Pkn-iPkei kn-ei(3) 在(1)中令1=1,利用矩陣乘法可證。(4) 由(3),利用歸納法可證。定理4.1中(1)式稱為切普曼柯爾

9、莫哥洛夫方程，簡稱C-K方程.它在 馬爾科夫鏈的轉(zhuǎn)移概率的計(jì)算中起著重要的作用。(2)式說明U步轉(zhuǎn)移概率完全由一步轉(zhuǎn)移概率決定。(4)式說明齊次馬爾科夫鏈的n步轉(zhuǎn)移概率矩陣是一步轉(zhuǎn) 移概率矩陣的n次乘方。定義45設(shè)X,neT為馬爾科夫鏈，稱Pj = PXo = j和Pi(n) = pXn = j, (j e I)為XneT的初始概率和絕對概率，并分別成pyj 6 1和1為 XneT的初始分布和絕對分布，簡記為刃和p/n)o稱概率向最pT(n) = (pi(n), P2(n), .)為n時(shí)刻的絕對概率向星，而稱pT(O) = (pl» p2')為初始概率定理4.2 S%,n6T

10、為馬爾科夫鏈，則對任意jGl和n>l,絕對概率Pj(n)具有下列性質(zhì):(1)Pj(n) = Ziei Pipf)：(2)Pj(n) = I：ieiPi(n-l)Pij；(3)pT(n) = pT(0)p( n)：(4)pT(n) = pT(n 一 i)p.證(1)巧G) = PX = j = Ee/PXo = i,Xn = j=EezP Xn = jXo = iPXq = i = 丫 Pipfpj(n) = PXn = j = Lie； P Xn = j, n-i = 0違;曰 P Xn =川 Xn-1 = iPX"i = 0 =為曰卩心一 l)Pu(3)與(4)中式是(1)與

11、(2)中式的矩陣乘積形式，顯然成立。證畢。定理43設(shè)XnCT為馬爾科夫鏈，則對任意GinCl和n>l,有PX1 = ii，Xn = in=PiPiii Pin_Jnil證由全概率公式及馬氏性質(zhì)有PX1 = 4 ,Xn =GJ = FXo = tXi = ii，-,% = U iei=PXo = OPX1 = MX。= 0 I曰PX = iXo =Xxi = ixi吃 ©PXo=iPXi = mXo = OPXn=g|Xz="=Zie/PiPui Pin-iin證畢一、馬爾可夫鏈的的一些簡單例子馬爾科夫鏈在研究質(zhì)點(diǎn)的隨機(jī)運(yùn)動、白動控制、通信技術(shù)、生物工程、經(jīng)濟(jì) 管理等領(lǐng)

12、域中有著廣泛的應(yīng)用。例41無限制隨機(jī)游動設(shè)質(zhì)點(diǎn)在數(shù)軸上移動，每次移動一格，向右移動的概率為P，向左移動的概 率為q= l-p,這種運(yùn)動稱為無限制隨機(jī)游動。以X"表示時(shí)刻n質(zhì)點(diǎn)所處的位 置，則n e T是一個(gè)齊次馬爾科夫鏈，試寫出它的一步和k步轉(zhuǎn)移概率。解 顯然n G T的狀態(tài)空間I = 0,土1,±2八,其一步轉(zhuǎn)移概率矩陣為 0 P0 .q 0P . I設(shè)在第k不轉(zhuǎn)移中向右移了X步, 進(jìn)入j，貝ij向左移了y步，且經(jīng)過k步轉(zhuǎn)移狀態(tài)從ix + y = k,x-y=j-從而k+ a-i) k-(j-i)X =2' y =2 由于X, y都只能収整數(shù)，所以k±a

13、-i)必須是偶數(shù)。乂在k步中哪X步向 右，哪y步向左是任意的，選取的方法有4種。于是屮)f氓pX*，k+(j_i)為偶數(shù)Pij "(0, k+(j-i)為奇數(shù)。例42賭徒輸光問題兩貼徒甲、乙一系列賭博。賭徒甲有a元。賭徒乙有b元，每賭一W輸者給 贏者1元，沒有和W,直到兩人中有一個(gè)輸光為止。設(shè)在每一W中，甲贏的概率 為P，輸?shù)母怕蕿閝= 1-P，求甲輸光的概率.這個(gè)實(shí)質(zhì)上是帶有兩個(gè)吸收壁的隨機(jī)游動，其狀態(tài)空間1 = 0,1,2,C, c = a + b.故現(xiàn)在的問題是求質(zhì)點(diǎn)從a點(diǎn)出發(fā)到達(dá)0狀態(tài)先于到達(dá)C狀態(tài)的概率.解 設(shè)表示甲從狀態(tài)出發(fā)轉(zhuǎn)移到狀態(tài)0的概率，我們要計(jì)算的就是。由 于0和

14、C是吸收狀態(tài)，故由全概率公式Uj = pw+i + qu, i = 12 c - 1.(3-1)上式的含義是，F(xiàn)p從有i元開始貼到輸光的概率等于“他接下去贏了一局(概 率為P),處于狀態(tài)i+1后再輸光”：和“他接下去輸了一局(概率為q),處于狀 態(tài)M后再輸光”這兩個(gè)事件的和事件的概率。由于p+q=l, (3.1)式實(shí)質(zhì)上是一個(gè)差分方程Uj+i U| = r(uj Uj一 1), i = 1,2,c 1»(3.2)其中訐其邊界條件為U。= 1, Uc = 0(33)先討論=1,即卩=q = f的情況，此時(shí)(3.2)為令i =12山1，iii=Uo + a,得U2 = U十 a = Uq

15、 + 2a,Uj = Uji + a = Uo + ia.Uc = Uc_i + a = Uq + ca.將Uo = E Uc = O代入最后一式，得參數(shù)所以 Uj = 1 f i = 12 ,c 1 c令iw,求得甲輸光的概率為Ui = 1-=4-.*c a+b上述結(jié)果表明，在p二q惰況下(即甲、乙每W比賽中輸贏是等可能的情況下), 甲輸光的概率與乙的貼本b成正比，即貼本小者輸光的可能性大。由于甲、乙的地位是對稱的，故乙輸光的概率為aUb = _ , L-a + b由rUa + Ub=l，表明甲、乙中必有一人要輸光，賭博遲早要結(jié)束。 再討論工1,即pHq的情況。由(3.2)式得C-1C-1U

16、c - Uk = r(Ui - Ui_i) = y r*(ui-uo)i=ki=krk-rC= (D 令k=Oi由丁比=0,有(4,14)1 一嚴(yán)1 = (1 一 uJ 1 r代入(3-4)式，得1-嚴(yán)Ua = -_ k=l,2/'c-l 令的甲輸光的概率盧一嚴(yán)由對稱性，乙輸光的概率為(I訐p/q)_r?-rfUb = TT7f由rUa + Ub=l，因此在rHl時(shí)，即P Hq時(shí)兩個(gè)人中也總有一個(gè)人要輸光的。例4.3天氣預(yù)報(bào)有問題設(shè)昨口、今口都下雨，明口有雨的概率為0.7；昨口無雨，今口有雨，明口 有雨的概率為0.5：昨n有雨、今n無雨，明口有雨的概率為0.4；昨n、今n均 無雨，明H

17、有雨的概率為02若星期一、星期二均下雨，求星期四下雨的概率。R昨尺今=戸連續(xù)三天有雨解 設(shè)昨H,今H連續(xù)兩天有雨稱為狀態(tài)0(RR)；昨日無雨，今日有雨稱為 狀態(tài)1(NR)；昨口有雨，今口無雨稱為狀態(tài)2CRN)；昨口，今口無雨稱為狀態(tài) 3(NN)；。由于天氣預(yù)報(bào)模型可看作一個(gè)四狀態(tài)的馬爾可夫鏈，其轉(zhuǎn)移概率為 Poo =戶尺今尺明=P R明R昨尺今 = °7 *Poi = PP03 = Pn今R明IR昨尺今 = 0(不可能事件)， 尺今 = P n明 R|n：R = 1 - 0.7 = 0.3,n今N明I R昨/?今 = 0(不可能事件)，其中R代表有雨，N代表無雨。類似的可以得到所有狀

18、態(tài)的一步轉(zhuǎn)移概率。于是它的一步轉(zhuǎn)移概率矩陣為PooPoiP02P03P10PhP12P13P20P21卩22P23P30P31P32P33P =0,7 00.5 00 0-40 0,20.3 00.5 00 0.60 0.8其兩步轉(zhuǎn)移概率矩陣為:o 6o56 o0490.120.210.180.350200,150300.200.120.200480.100.160.100.64由于星期四下雨意味著過程所處的狀態(tài)為0或1,因此星期一，星期二連續(xù) 下雨，星期四乂下雨的概率為P = P辭 + pg) = 0.49 + 0.12 = 0.610 to例44設(shè)質(zhì)點(diǎn)在線段1,4上作隨機(jī)游動，假設(shè)它 只能在時(shí)刻n G T發(fā)生移動，且只能停留在123,4點(diǎn) 上。當(dāng)質(zhì)點(diǎn)轉(zhuǎn)移到2,3點(diǎn)時(shí)，它以扌的概率向左或向 右移動一格，或停留在原處。當(dāng)質(zhì)點(diǎn)移動到點(diǎn)1時(shí), 它以概率1停留在原處。當(dāng)質(zhì)點(diǎn)移動到點(diǎn)4時(shí)，它以 概率1移動到點(diǎn)3。若以X料表示質(zhì)點(diǎn)在時(shí)刻n所處的 位置，則X,nGT是一個(gè)齊次馬爾科夫鏈，其轉(zhuǎn)移 概率矩