馬爾可夫過(guò)程及其應(yīng)用

1、馬爾可夫過(guò)程馬爾可夫過(guò)程(Markov Proce ss)什么是馬爾可夫過(guò)程1、馬爾可夫性(無(wú)后效性)過(guò)程或(系統(tǒng))在時(shí)刻 to所處的狀態(tài)為已知的條件下，過(guò)程在時(shí)刻t > t0所處狀態(tài)的條件分布，與過(guò)程在時(shí)刻to之前年處的狀態(tài)無(wú)關(guān)的特性稱(chēng)為馬爾可夫性或無(wú)后效性。即：過(guò)程將來(lái)”的情況與過(guò)去”的情況是無(wú)關(guān)的。2、馬爾可夫過(guò)程的定義具有馬爾可夫性的隨機(jī)過(guò)程稱(chēng)為馬爾可夫過(guò)程。用分布函數(shù)表述馬爾可夫過(guò)程：設(shè)I:隨機(jī)過(guò)程(X(t),tin T)的狀態(tài)空間，如果對(duì)時(shí)間t的任意n個(gè)數(shù)值：PX(M) £ 5X(0) = (切=1第，=端(注:X(tn)在條件X(ti) = Xi下的條件分布函數(shù))

2、=< 端= X-n-ln 丘 H(注:X(tn)在條件 X(tn- 1) = Xn-1 下的條件分布函數(shù))或?qū)懗桑?"如_ 1Jj 2 j ' h * r 正丑一11 1 p * j 扁1)| i tn |*n1) 1)這時(shí)稱(chēng)過(guò)程x(丘具馬爾可夫性或無(wú)后性，并稱(chēng)此過(guò)程為馬爾可夫過(guò)程。3、馬爾可夫鏈的定義時(shí)間和狀態(tài)都是離散的馬爾可夫過(guò)程稱(chēng)為馬爾可夫鏈，簡(jiǎn)記為Xn = X(n)m =-。編輯馬爾可夫過(guò)程的概率分布研究時(shí)間和狀態(tài)都是離散的隨機(jī)序列困=xm = o,"-,狀態(tài)空間為K = 口、業(yè)廣七叫E H1、用分布律描述馬爾可夫性對(duì)任意的正整數(shù)n,r和0 W力右 m

3、;t撰 n I m E京，有:PXgn = aj|Xtl = Qh, Xg = aiSr h * r =叫= %PXm + n = aj | Xm = di,其中免o2、轉(zhuǎn)移概率稱(chēng)條件概率Pij(m,m + n) = PXm + n = aj | Xm = ai為馬氏鏈在時(shí)刻 m處于狀態(tài)ai條件下，在時(shí)刻 m+n轉(zhuǎn)移到狀態(tài)aj的轉(zhuǎn)移概率。說(shuō)明：轉(zhuǎn)移概率具胡特點(diǎn)：+門(mén))=撰=12&也 m+m+w)，由轉(zhuǎn)移概率組成的矩陣y稱(chēng)為馬氏鏈的轉(zhuǎn)移概率矩陣。它是隨機(jī)矩陣。3、平穩(wěn)性當(dāng)轉(zhuǎn)移概率 Pij(m,m + n)只與i,j及時(shí)間間距n有關(guān)時(shí)，稱(chēng)轉(zhuǎn)移概率具有平穩(wěn)性。同時(shí)也稱(chēng)些 鏈?zhǔn)驱R次的或時(shí)齊的。

4、此時(shí)，記 Pij(m,m + n) = Pij(n),Pij(n) = PXm + n = aj | Xm = ai(注：稱(chēng)為馬氏鏈的 n步轉(zhuǎn)移概率)P(n) = (Pj(n)為n步轉(zhuǎn)移概率矩陣特別的，當(dāng)k=1時(shí),步轉(zhuǎn)移概率： Pij = Pij(1) = PXm + 1 = aj | Xm = Si步轉(zhuǎn)移概率矩陣：P(1)Xz的狀態(tài)a. a j&P11PnPif的P11Pij二尸(1)狀1 -態(tài)PilPil Py記為戶*.*1編輯馬爾可夫過(guò)程的應(yīng)用舉例設(shè)任意相繼的兩天中，雨天轉(zhuǎn)晴天的概率為1/3，晴天轉(zhuǎn)雨天的概率為1/2,任一天晴或雨是互為逆事件。以 0表示晴天狀態(tài)，以 1表示雨天狀態(tài)，Xn表示第n天狀態(tài)(0或1)。試定出 馬氏鏈 X心孔 N 1的一步轉(zhuǎn)移概率矩陣。又已知 5月1日為晴天，問(wèn)5月3日為晴天，5月5日為雨天的概率各等于多少？解：由于任一天晴或雨是互為逆事件且雨天轉(zhuǎn)晴天的概率為1/3，晴天轉(zhuǎn)雨天的概率為1/2,故一步轉(zhuǎn)移概率和一步轉(zhuǎn)移概率矩陣分別為：故5月1日為晴天，5月3日為晴天的概率為:5x)(2) = = 0.416