馬爾可夫過(guò)程及其概率分布2

MarkovStochasticProcess主講：汪金菊合肥工業(yè)大學(xué)數(shù)學(xué)學(xué)院wangjinjudou@

第一節(jié)馬爾可夫過(guò)程及其概率分布一、馬爾可夫過(guò)程的概念二、馬爾可夫過(guò)程的概率分布三、應(yīng)用舉例四、小結(jié)一、馬爾可夫過(guò)程的概念1.馬爾可夫性(無(wú)后效性)馬爾可夫性或無(wú)后效性.即:過(guò)程“將來(lái)”的情況與“過(guò)去”的情況是無(wú)關(guān)的.2.馬爾可夫過(guò)程的定義具有馬爾可夫性的隨機(jī)過(guò)程稱為馬爾可夫過(guò)程.用分布函數(shù)表述馬爾可夫過(guò)程恰有或?qū)懗刹⒎Q此過(guò)程為馬爾可夫過(guò)程.3.馬爾可夫鏈的定義

時(shí)間和狀態(tài)都是離散的馬爾可夫過(guò)程稱為馬爾可夫鏈,簡(jiǎn)記為研究時(shí)間和狀態(tài)都是離散的隨機(jī)序列二、馬爾可夫過(guò)程的概率分布1.用分布律描述馬爾可夫性有稱條件概率說(shuō)明:

轉(zhuǎn)移概率具有特點(diǎn)2.轉(zhuǎn)移概率由轉(zhuǎn)移概率組成的矩陣稱為馬氏鏈的轉(zhuǎn)移概率矩陣.此矩陣的每一行元素之和等于1.它是隨機(jī)矩陣.3.平穩(wěn)性有關(guān)時(shí),稱轉(zhuǎn)移概率具有平穩(wěn)性.同時(shí)也稱此鏈?zhǔn)驱R次的或時(shí)齊的(homogeneous).稱為馬氏鏈的n步轉(zhuǎn)移概率一步轉(zhuǎn)移概率特別的,當(dāng)k=1時(shí),一步轉(zhuǎn)移概率矩陣的狀態(tài)記為P設(shè)每一級(jí)的傳真率為p,誤碼率為q=1-p.設(shè)一個(gè)單位時(shí)間傳輸一級(jí),只傳輸數(shù)字0和1的串聯(lián)系統(tǒng)(傳輸系統(tǒng))如圖:分析:例2而與時(shí)刻n以前所處的狀態(tài)無(wú)關(guān).所以它是一個(gè)馬氏鏈,且是齊次的.

一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率矩陣

某計(jì)算機(jī)房的一臺(tái)計(jì)算機(jī)經(jīng)常出故障,研究者每隔15分鐘觀察一次計(jì)算機(jī)運(yùn)行狀態(tài),收集了24小時(shí)的數(shù)據(jù)(共作97次觀察).用1表示正常狀態(tài),用0表示不正常狀態(tài),所得的數(shù)據(jù)序列如下:1110010011111110011110111111001111111110001101101分析狀態(tài)空間:I={0,1}.例511101101101011110111011110111111001101111110011196次狀態(tài)轉(zhuǎn)移的情況:因此,一步轉(zhuǎn)移概率可用頻率近似地表示為:以下研究齊次馬氏鏈的有限維分布.特點(diǎn):用行向量表示為一維分布由初始分布和轉(zhuǎn)移概率矩陣決定由以上討論知,轉(zhuǎn)移概率決定了馬氏鏈的運(yùn)動(dòng)的統(tǒng)計(jì)規(guī)律.因此,確定馬氏鏈的任意n步轉(zhuǎn)移概率成為馬氏鏈理論中的重要問題之一.四、小結(jié)具有平穩(wěn)轉(zhuǎn)移概率的馬氏鏈為齊次馬氏鏈.一步轉(zhuǎn)移概率矩陣的計(jì)算.一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率矩陣第二節(jié)多步轉(zhuǎn)移概率的確定一、C-K方程三、應(yīng)用舉例

四、小結(jié)二、多步轉(zhuǎn)移概率的確定一、C-K方程是一齊次馬氏鏈,則對(duì)任意的切普曼-柯爾莫哥洛夫方程(簡(jiǎn)稱C-K方程)說(shuō)明C-K

方程基于下列事實(shí):這一事件可分解成:件的和事件.如下圖所示:證明由條件概率定義和乘法定理得(馬氏性和齊次性)所以考慮到馬氏性和齊次性,即得C-K方程.C-K方程也可寫成矩陣形式:

二、多步轉(zhuǎn)移概率的確定利用C-K方程我們?nèi)菀状_定n步轉(zhuǎn)移概率.得遞推關(guān)系:從而可得齊次馬氏鏈的n步轉(zhuǎn)移概率是一步轉(zhuǎn)移概率的n次方,鏈的有限維分布可由初始分布和一步轉(zhuǎn)移概率完全確定.結(jié)論解(1)先求出2步轉(zhuǎn)移概率矩陣:例1在傳輸系統(tǒng)中,傳輸后的誤碼率;系統(tǒng)經(jīng)n級(jí)傳輸后輸出為1,問原發(fā)字符也是1的概率是多少?例2解先求出n步轉(zhuǎn)移概率矩陣.有相異的特征值所以可將P表示成對(duì)角陣傳輸后的誤碼率分別為:(2)根據(jù)貝葉斯公式,當(dāng)系統(tǒng)經(jīng)n級(jí)傳輸后輸出為1,原發(fā)字符也是1的概率為:說(shuō)明n步轉(zhuǎn)移概率矩陣為矩陣一般可表示為:對(duì)于只有兩個(gè)狀態(tài)的馬氏鏈,一步轉(zhuǎn)移概率四、小結(jié)切普曼-柯爾莫哥洛夫方程(簡(jiǎn)稱C–K方程)馬氏鏈的n步轉(zhuǎn)移概率矩陣是一步轉(zhuǎn)移概率矩陣的n次方,鏈的有限維分布可由初始分布和一步移概率完全確定.由C–K方程可得第三節(jié)遍歷性一、遍歷性的概念三、應(yīng)用舉例四、小結(jié)二、(有限鏈)遍歷性的充分條件一、遍歷性的概念對(duì)于一般的兩個(gè)狀態(tài)的馬氏鏈,由上節(jié)內(nèi)容可知,意義對(duì)固定的狀態(tài)j,不管鏈在某一時(shí)刻的什么狀態(tài)i出發(fā),通過(guò)長(zhǎng)時(shí)間的轉(zhuǎn)移到達(dá)狀態(tài)j的概率都趨定義則稱此鏈具有遍歷性.二、(有限鏈)遍歷性的充分條件說(shuō)明2.極限分布轉(zhuǎn)化為了求解方程組.3.在定理的條件下馬氏鏈的極限分布是平穩(wěn)分布.試說(shuō)明帶有兩個(gè)反射壁的隨機(jī)游動(dòng)是遍歷的,

并求其極限分布(平穩(wěn)分布).解例1三、應(yīng)用舉例

無(wú)零元,鏈?zhǔn)潜闅v的代入最后一個(gè)方程(歸一條件),得唯一解所以極限分布為這個(gè)分布表明經(jīng)過(guò)長(zhǎng)時(shí)間游動(dòng)之后,醉漢Q位于點(diǎn)2(或3或4)的概率約為