第14講-馬爾可夫過程課件

x1(t)x2(t)x3(t)x4(t)t1t2t3t4隨機過程平穩(wěn)隨機過程xtf(x,t)RX(t+τ,t)各態(tài)歷經(jīng)隨機過程x1(t)x2(t)x3(t)x4(t)t1t2t3t4ττ隨機過程要點回顧從統(tǒng)計特性上分析隨機過程性質(zhì)馬爾可夫鏈、馬爾可夫過程概念齊次馬爾可夫鏈概念轉(zhuǎn)移概率矩陣切普曼－柯爾莫哥洛夫方程從信號前后取值狀態(tài)的聯(lián)系上分析隨機過程目的：內(nèi)容：重點第五章馬爾可夫過程馬爾可夫過程的特性：

隨機過程在時刻ti所處的狀態(tài)已知時，過程在t(t>ti)所處的狀態(tài)僅與過程在ti時刻的狀態(tài)有關(guān)，而與過程在ti以前所處的狀態(tài)無關(guān)。x1(t)x2(t)x3(t)x4(t)t1t2t3t4馬爾可夫過程分類（時間、狀態(tài)空間）根據(jù)取值的連續(xù)性馬爾可夫過程鏈、序列過程馬爾可夫鏈馬爾可夫序列可列馬爾可夫過程馬爾可夫過程根據(jù)時間上的連續(xù)性馬爾可夫序列馬爾可夫鏈x1(k)x2(k)x3(k)x1(k)210-1-2可列馬爾可夫過程馬爾可夫過程x1(t)x2(t)x3(t)x4(t)t1t2t3t4x1(t)x2(t)x3(t)5.1馬爾可夫鏈定義：

對任意的整數(shù)s1<s2<…<sl<m<m+k，離散隨機序列Xn，在m+k時刻的狀態(tài)Xm+k只與最近時刻m的狀態(tài)Xm有關(guān)，而與以前s1,s2,…,sl時刻的狀態(tài)無關(guān)，這樣的隨機序列稱為馬爾可夫鏈，簡稱馬氏鏈。馬爾可夫鏈含義Xs1Xs2Xs3XmXm+ka1a2ajaN-1aNa1a2ajaN-1aNa1a2ajaN-1aNa1a2ajaN-1aNa1a2ajaN-1aN一、狀態(tài)概率、轉(zhuǎn)移概率及轉(zhuǎn)移矩陣思考：如何掌握馬爾可夫鏈性質(zhì)？狀態(tài)空間初始狀態(tài)轉(zhuǎn)移概率XmXna1a2aiaN-1aNa1a2aiaN-1aN轉(zhuǎn)移轉(zhuǎn)移矩陣性質(zhì)：XmXna1a2aiaN-1aNa1a2aiaN-1aN轉(zhuǎn)移Xn取值概率轉(zhuǎn)移后概率和所有轉(zhuǎn)移可能二、切普曼－柯爾莫哥洛夫方程XmXra1a2aiaN-1aNa1a2akaN-1aN轉(zhuǎn)移Xna1a2ajaN-1aN轉(zhuǎn)移思考：初態(tài)、終態(tài)、中間態(tài)關(guān)系初態(tài)中間態(tài)終態(tài)切普曼－柯爾莫哥洛夫方程：三、齊次馬爾可夫鏈

定義：如果馬爾可夫鏈的轉(zhuǎn)移概率pij(m,n)只取決于n-m，而與m和n本身的值無關(guān)，則稱為齊次馬爾可夫過程鏈，簡稱齊次鏈。XmXna1a2aiaN-1aNa1a2aiaN-1aN轉(zhuǎn)移齊次馬爾可夫鏈的

切普曼－柯爾莫哥洛夫方程為：轉(zhuǎn)移概率轉(zhuǎn)移矩陣大勢任意時刻聯(lián)合概率例1：設(shè)質(zhì)點M在直線段上作隨機游動。假設(shè)質(zhì)點M只能停留在1，2，…，N點上，且只在t1,t2,…,tn,…時刻發(fā)生游動。游動的概率法則是：若質(zhì)點M原來處于2，…，N-1這些點上，則分別以p(0<p<1)的概率向右移動一步或以q(q=1-p)的概率向左移動一步若質(zhì)點原來處于1點，則以概率1移動到2點若質(zhì)點M原處于N點，則以概率1移動到N-1點上。123N-1Npq轉(zhuǎn)移矩陣轉(zhuǎn)移概率例2：在某數(shù)字通信系統(tǒng)中傳遞0、1兩種信號，且傳遞要經(jīng)過若干級。因為系統(tǒng)中存在噪聲，各級將會造成錯誤。若某級輸入0、1數(shù)字信號后，其輸出不產(chǎn)生錯誤的概率為p(即各級正確傳遞信息的概率)，產(chǎn)生錯誤的概率q=1-p。

求其轉(zhuǎn)移概率： 一步轉(zhuǎn)移概率二步轉(zhuǎn)移概率n步轉(zhuǎn)移概率例3：天氣預(yù)報問題。若明天是否降雨只與今日的天氣（是否有雨）有關(guān)，而與以往的天氣無關(guān)。并設(shè)今日有雨而明日也有雨的概率為0.6，今日無雨而明日有雨的概率為0.3。另外，假定將“有雨”稱作“1”狀態(tài)天氣，而把“無雨”稱為“2”狀態(tài)天氣，則本例屬于一個兩狀態(tài)馬氏鏈。試求：其一步至四步轉(zhuǎn)移概率矩陣今日有雨而后日（第三日）仍有雨的概率為多少？今日有雨而第四日無雨的概率為多少？今日無雨