馬爾可夫過程及其應(yīng)用

1、馬爾可夫過程馬爾可夫過程(Markov Proce ss)什么是馬爾可夫過程1、馬爾可夫性(無后效性)過程或(系統(tǒng))在時刻 to所處的狀態(tài)為已知的條件下，過程在時刻t > t0所處狀態(tài)的條件分布，與過程在時刻to之前年處的狀態(tài)無關(guān)的特性稱為馬爾可夫性或無后效性。即：過程將來”的情況與過去”的情況是無關(guān)的。2、馬爾可夫過程的定義具有馬爾可夫性的隨機過程稱為馬爾可夫過程。用分布函數(shù)表述馬爾可夫過程：設(shè)I:隨機過程(X(t),tin T)的狀態(tài)空間，如果對時間t的任意n個數(shù)值：PX(M) £ 5X(0) = (切=1第，=端(注:X(tn)在條件X(ti) = Xi下的條件分布函數(shù))

2、=< 端= X-n-ln 丘 H(注:X(tn)在條件 X(tn- 1) = Xn-1 下的條件分布函數(shù))或?qū)懗桑?"如_ 1Jj 2 j ' h * r 正丑一11 1 p * j 扁1)| i tn |*n1) 1)這時稱過程x(丘具馬爾可夫性或無后性，并稱此過程為馬爾可夫過程。3、馬爾可夫鏈的定義時間和狀態(tài)都是離散的馬爾可夫過程稱為馬爾可夫鏈，簡記為Xn = X(n)m =-。編輯馬爾可夫過程的概率分布研究時間和狀態(tài)都是離散的隨機序列困=xm = o,"-,狀態(tài)空間為K = 口、業(yè)廣七叫E H1、用分布律描述馬爾可夫性對任意的正整數(shù)n,r和0 W力右 m

3、;t撰 n I m E京，有:PXgn = aj|Xtl = Qh, Xg = aiSr h * r =叫= %PXm + n = aj | Xm = di,其中免o2、轉(zhuǎn)移概率稱條件概率Pij(m,m + n) = PXm + n = aj | Xm = ai為馬氏鏈在時刻 m處于狀態(tài)ai條件下，在時刻 m+n轉(zhuǎn)移到狀態(tài)aj的轉(zhuǎn)移概率。說明：轉(zhuǎn)移概率具胡特點：+門)=撰=12&也 m+m+w)，由轉(zhuǎn)移概率組成的矩陣y稱為馬氏鏈的轉(zhuǎn)移概率矩陣。它是隨機矩陣。3、平穩(wěn)性當轉(zhuǎn)移概率 Pij(m,m + n)只與i,j及時間間距n有關(guān)時，稱轉(zhuǎn)移概率具有平穩(wěn)性。同時也稱些 鏈是齊次的或時齊的。

4、此時，記 Pij(m,m + n) = Pij(n),Pij(n) = PXm + n = aj | Xm = ai(注：稱為馬氏鏈的 n步轉(zhuǎn)移概率)P(n) = (Pj(n)為n步轉(zhuǎn)移概率矩陣特別的，當k=1時,步轉(zhuǎn)移概率： Pij = Pij(1) = PXm + 1 = aj | Xm = Si步轉(zhuǎn)移概率矩陣：P(1)Xz的狀態(tài)a. a j&P11PnPif的P11Pij二尸(1)狀1 -態(tài)PilPil Py記為戶*.*1編輯馬爾可夫過程的應(yīng)用舉例設(shè)任意相繼的兩天中，雨天轉(zhuǎn)晴天的概率為1/3，晴天轉(zhuǎn)雨天的概率為1/2,任一天晴或雨是互為逆事件。以 0表示晴天狀態(tài)，以 1表示雨天狀態(tài)，Xn表示第n天狀態(tài)(0或1)。試定出 馬氏鏈 X心孔 N 1的一步轉(zhuǎn)移概率矩陣。又已知 5月1日為晴天，問5月3日為晴天，5月5日為雨天的概率各等于多少？解：由于任一天晴或雨是互為逆事件且雨天轉(zhuǎn)晴天的概率為1/3，晴天轉(zhuǎn)雨天的概率為1/2,故一步轉(zhuǎn)移概率和一步轉(zhuǎn)移概率矩陣分別為：故5月1日為晴天，5月3日為晴天的概率為:5x)(2) = = 0.416