應(yīng)用隨機過程

關(guān)于應(yīng)用隨機過程前言第2頁,共287頁，2024年2月25日，星期天第3頁,共287頁，2024年2月25日，星期天

第1章預(yù)備知識1.1概率空間在自然界和人類的活動中經(jīng)常遇到各種各樣的現(xiàn)象，大體上分為兩類：必然現(xiàn)象和隨機現(xiàn)象。具有隨機性的現(xiàn)象—隨機現(xiàn)象對隨機現(xiàn)象的觀察或為觀察而進行的實驗—隨機試驗隨機試驗的結(jié)果—基本事件或樣本點。所有可能的結(jié)果稱為樣本空間?！狝稱為事件。（有3個特征）第4頁,共287頁，2024年2月25日，星期天事件的性質(zhì)

假設(shè)A,B,C是任意事件，則他們滿足：(1)交換律(2)結(jié)合律(3)分配律(4)對偶原則(DeMorgan律)第5頁,共287頁，2024年2月25日，星期天定義1.1第6頁,共287頁，2024年2月25日，星期天性質(zhì)假第7頁,共287頁，2024年2月25日，星期天例1.1例1.2例1.3第8頁,共287頁，2024年2月25日，星期天隨機試驗:擲一枚骰子，觀察出現(xiàn)的點數(shù)，思考題：第9頁,共287頁，2024年2月25日，星期天定義1.2結(jié)論：第10頁,共287頁，2024年2月25日，星期天定義1.3第11頁,共287頁，2024年2月25日，星期天定義1.4第12頁,共287頁，2024年2月25日，星期天例1.1：第13頁,共287頁，2024年2月25日，星期天概率的基本性質(zhì)—單調(diào)性—次可列可加性第14頁,共287頁，2024年2月25日，星期天第15頁,共287頁，2024年2月25日，星期天事件列極限1：結(jié)論：第16頁,共287頁，2024年2月25日，星期天定理：具體情況：第17頁,共287頁，2024年2月25日，星期天事件列極限2：定義1.5—的下極限—的上極限第18頁,共287頁，2024年2月25日，星期天例1.2：關(guān)系：含義：第19頁,共287頁，2024年2月25日，星期天例1.3：第20頁,共287頁，2024年2月25日，星期天1.2隨機變量和分布函數(shù)隨機變量：用實數(shù)來表示隨機實驗的各種結(jié)果.定義1.6關(guān)于隨機變量的幾點說明：第21頁,共287頁，2024年2月25日，星期天第22頁,共287頁，2024年2月25日，星期天定理1.1：第23頁,共287頁，2024年2月25日，星期天定義1.7分布函數(shù)的含義：分布函數(shù)的性質(zhì)：第24頁,共287頁，2024年2月25日，星期天隨機變量的類型：離散型：連續(xù)型：多維隨機變量：—d維隨機向量第25頁,共287頁，2024年2月25日，星期天多維隨機變量聯(lián)合分布函數(shù)：性質(zhì)：第26頁,共287頁，2024年2月25日，星期天一些常見的分布：1.離散均勻分布：分布列：2.二項分布：分布列：3.幾何分布：分布列：第27頁,共287頁，2024年2月25日，星期天4.Poisson分布：分布列：____參數(shù)為的Poisson分布5.均勻分布：6.正態(tài)分布：第28頁,共287頁，2024年2月25日，星期天7.分布：函數(shù)的性質(zhì)：第29頁,共287頁，2024年2月25日，星期天8.指數(shù)分布：9.分布：10.d維正態(tài)分布：（略）第30頁,共287頁，2024年2月25日，星期天第31頁,共287頁，2024年2月25日，星期天1.3數(shù)字特征、矩母函數(shù)與特征函數(shù)一、數(shù)字特征定義1.8：——X的一階矩第32頁,共287頁，2024年2月25日，星期天第33頁,共287頁，2024年2月25日，星期天二、Rieman-Stieltjes積分Rieman-Stieltjes積分：第34頁,共287頁，2024年2月25日，星期天注：第35頁,共287頁，2024年2月25日，星期天R-S積分性質(zhì)：——可加性注：第36頁,共287頁，2024年2月25日，星期天第37頁,共287頁，2024年2月25日，星期天四、矩母函數(shù)與特征函數(shù)1.矩母函數(shù)（momentgeneratingfunction)定義1.9：第38頁,共287頁，2024年2月25日，星期天矩母函數(shù)的性質(zhì)：第39頁,共287頁，2024年2月25日，星期天2.特征函數(shù)（characteristicfunction)——復(fù)隨機變量定義1.10：——復(fù)隨機變量的數(shù)學(xué)期望第40頁,共287頁，2024年2月25日，星期天特征函數(shù)的性質(zhì)：——有界性——共軛對稱性第41頁,共287頁，2024年2月25日，星期天第42頁,共287頁，2024年2月25日，星期天例3.1：例3.2：例3.3：例3.4：例3.5：第43頁,共287頁，2024年2月25日，星期天作業(yè)題：第44頁,共287頁，2024年2月25日，星期天1.4條件概率條件期望獨立性一、條件概率1.定義：1.基本公式定理1:(乘法公式)第45頁,共287頁，2024年2月25日，星期天定理2:(全概率公式)定理3:(Bayes公式)第46頁,共287頁，2024年2月25日，星期天二、獨立性1.定義：第47頁,共287頁，2024年2月25日，星期天注1：兩兩獨立并不包含獨立性。例：第48頁,共287頁，2024年2月25日，星期天注2我們有第49頁,共287頁，2024年2月25日，星期天2.獨立性的性質(zhì)：定理4：推論1：推論2：第50頁,共287頁，2024年2月25日，星期天定理5：第51頁,共287頁，2024年2月25日，星期天定理6：第52頁,共287頁，2024年2月25日，星期天四、條件期望1.邊緣分布——稱X,Y獨立.第53頁,共287頁，2024年2月25日，星期天第54頁,共287頁，2024年2月25日，星期天2.條件分布函數(shù)第55頁,共287頁，2024年2月25日，星期天3.條件數(shù)學(xué)期望異同：第56頁,共287頁，2024年2月25日，星期天第57頁,共287頁，2024年2月25日，星期天第58頁,共287頁，2024年2月25日，星期天定義：第59頁,共287頁，2024年2月25日，星期天第60頁,共287頁，2024年2月25日，星期天第61頁,共287頁，2024年2月25日，星期天定理：例2：第62頁,共287頁，2024年2月25日，星期天五、獨立隨機變量和的分布——卷積公式——稱為的卷積第63頁,共287頁，2024年2月25日，星期天注：——結(jié)合律——分配律第64頁,共287頁，2024年2月25日，星期天第65頁,共287頁，2024年2月25日，星期天第66頁,共287頁，2024年2月25日，星期天第67頁,共287頁，2024年2月25日，星期天第68頁,共287頁，2024年2月25日，星期天第69頁,共287頁，2024年2月25日，星期天第70頁,共287頁，2024年2月25日，星期天

第2章隨機過程的基本

概念和基本類型2.1基本概念在概率論中，我們研究了隨機變量，維隨機向量。

在極限定理中，我們研究了無窮多個隨機變量，但局限在它們相互獨立的情形。將上述情形加以推廣，即研究一族無窮多個、相互有關(guān)的隨機變量，這就是隨機過程。定義2.1：設(shè)是一概率空間，

對每一個參數(shù)，

是一定義在概率空間上的隨機變量，則稱隨機變量族為該概率空間上的一隨機過程。稱為參數(shù)集。第71頁,共287頁，2024年2月25日，星期天隨機過程的兩種描述方法：用映射表示即是一定義在上的二元單值函數(shù)，

固定是一定義在樣本空間上的函數(shù)，

即為一隨機變量；對于固定的是一個關(guān)于參數(shù)的函數(shù)，或稱隨機過程的一次實現(xiàn)。記號通常稱為樣本函數(shù)，有時記為或簡記為參數(shù)一般表示時間或空間。參數(shù)常用的一般有：第72頁,共287頁，2024年2月25日，星期天(1)(2)(3)當(dāng)參數(shù)取可列集時，一般稱隨機過程為隨機序列。

隨機過程可能取值的全體所構(gòu)成的集合稱為此隨機過程的狀態(tài)空間，記作S.S中的元素稱為狀態(tài)。狀態(tài)空間可以由復(fù)數(shù)、實數(shù)或更一般的抽象空間構(gòu)成。第73頁,共287頁，2024年2月25日，星期天第74頁,共287頁，2024年2月25日，星期天隨機過程分為以下四類：(1)離散參數(shù)離散型隨機過程；(2)連續(xù)參數(shù)離散型隨機過程；(3)連續(xù)參數(shù)連續(xù)型隨機過程；(4)離散參數(shù)連續(xù)型隨機過程。第75頁,共287頁，2024年2月25日，星期天以隨機過程的統(tǒng)計特征或概率特征的分類，一般有：獨立增量過程；Markov過程；二階矩過程；平穩(wěn)過程；更新過程；Poission過程；維納過程。鞅；第76頁,共287頁，2024年2月25日，星期天

隨機過程舉例例2.1例2.2拋擲一枚硬幣，樣本空間為定義：隨機過程。第77頁,共287頁，2024年2月25日，星期天例2.3第78頁,共287頁，2024年2月25日，星期天2.2有限維分布與Kolmogvrov定理一、隨機過程的分布函數(shù)1.一維分布函數(shù)第79頁,共287頁，2024年2月25日，星期天2.二維分布函數(shù)第80頁,共287頁，2024年2月25日，星期天3.n維分布函數(shù)第81頁,共287頁，2024年2月25日，星期天4.有限維分布族——稱為有限維分布族5.有限維分布族的性質(zhì)(1)對稱性第82頁,共287頁，2024年2月25日，星期天(2)相容性注1：隨機過程的統(tǒng)計特性完全由它的有限維分

布族決定。注2：有限維分布族與有限維特征函數(shù)族相互唯

一確定。問題：一個隨機過程是否描述了該過程的全部概率特性？的有限維分布族，第83頁,共287頁，2024年2月25日，星期天定理：（Kolmogorov存在性定理）設(shè)分布函數(shù)族滿足以上提到的對稱性和相容性，則必有一隨機過程恰好是的有限維分布族，即：定理說明：的有限維分布族包含了的所有概率信息。第84頁,共287頁，2024年2月25日，星期天例2.4第85頁,共287頁，2024年2月25日，星期天例2.5第86頁,共287頁，2024年2月25日，星期天第87頁,共287頁，2024年2月25日，星期天二、隨機過程的數(shù)字特征1.均值函數(shù)隨機過程（假設(shè)是存在的）的均值函數(shù)定義為：2.方差函數(shù)隨機過程的方差函數(shù)定義為：第88頁,共287頁，2024年2月25日，星期天3.(自)協(xié)方差函數(shù)第89頁,共287頁，2024年2月25日，星期天4.(自)相關(guān)函數(shù)第90頁,共287頁，2024年2月25日，星期天5.(互)協(xié)方差函數(shù)6.互相關(guān)函數(shù)第91頁,共287頁，2024年2月25日，星期天7.互不相關(guān)8.特征函數(shù)為隨機過程的有限維特征函數(shù)族。記：第92頁,共287頁，2024年2月25日，星期天例2.6例2.7第93頁,共287頁，2024年2月25日，星期天作業(yè)1第94頁,共287頁，2024年2月25日，星期天2.3隨機過程的基本類型

一、嚴(yán)平穩(wěn)過程定義1：第95頁,共287頁，2024年2月25日，星期天

二、嚴(yán)平穩(wěn)過程的特點則第96頁,共287頁，2024年2月25日，星期天

三、寬平穩(wěn)過程(簡稱平穩(wěn)過程)定義2：第97頁,共287頁，2024年2月25日，星期天注1：注2：第98頁,共287頁，2024年2月25日，星期天例2.8例2.9第99頁,共287頁，2024年2月25日，星期天

四、平穩(wěn)過程相關(guān)函數(shù)的性質(zhì)性質(zhì)1：性質(zhì)2：結(jié)論：性質(zhì)3：第100頁,共287頁，2024年2月25日，星期天性質(zhì)4：注：第101頁,共287頁，2024年2月25日，星期天定義：注：性質(zhì)5：性質(zhì)6：性質(zhì)7：第102頁,共287頁，2024年2月25日，星期天性質(zhì)8：性質(zhì)9：例2.10：第103頁,共287頁，2024年2月25日，星期天

五、獨立增量過程

定義1例2.11：第104頁,共287頁，2024年2月25日，星期天

定義2第105頁,共287頁，2024年2月25日，星期天

六、遍歷性定理第106頁,共287頁，2024年2月25日，星期天第107頁,共287頁，2024年2月25日，星期天第108頁,共287頁，2024年2月25日，星期天

定義1:第109頁,共287頁，2024年2月25日，星期天

定義2:第110頁,共287頁，2024年2月25日，星期天

例2.12:第111頁,共287頁，2024年2月25日，星期天

例2.13:第112頁,共287頁，2024年2月25日，星期天

定理2.2:(均值遍歷性定理)第113頁,共287頁，2024年2月25日，星期天

推論2.1:

推論2.2:第114頁,共287頁，2024年2月25日，星期天

定理2.2:(協(xié)方差函數(shù)遍歷性定理)第115頁,共287頁，2024年2月25日，星期天

作業(yè)1:

作業(yè)2:書第二章

習(xí)題2.6.

作業(yè)3:第116頁,共287頁，2024年2月25日，星期天

第3章Poisson過程3.1Poisson過程定義3.1：第117頁,共287頁，2024年2月25日，星期天第118頁,共287頁，2024年2月25日，星期天Poission過程是計數(shù)過程，而且是一類最重要、應(yīng)用廣泛的計數(shù)過程，它最早于1837年由法國數(shù)學(xué)家Poission引入。第119頁,共287頁，2024年2月25日，星期天定義3.2：第120頁,共287頁，2024年2月25日，星期天例3.1：解：見板書。第121頁,共287頁，2024年2月25日，星期天定義3.2’:一計數(shù)過程是獨立增量及平穩(wěn)增量過程，即任取相互獨立；第122頁,共287頁，2024年2月25日，星期天定義3.2’的解釋:第123頁,共287頁，2024年2月25日，星期天第124頁,共287頁，2024年2月25日，星期天定理3.1:由增量平穩(wěn)性，記：（I）情形：因為我們有：另一方面第125頁,共287頁，2024年2月25日，星期天代入上式，我們有：令我們有：（II）情形：因為：第126頁,共287頁，2024年2月25日，星期天故有：化簡并令得：兩邊同乘以，移項后有：當(dāng)時，有：第127頁,共287頁，2024年2月25日，星期天由歸納法可得：注意：因此代表單位時間內(nèi)事件出現(xiàn)的平均次數(shù)。第128頁,共287頁，2024年2月25日，星期天由歸納法可得：注意：因此代表單位時間內(nèi)事件出現(xiàn)的平均次數(shù)。第129頁,共287頁，2024年2月25日，星期天第130頁,共287頁，2024年2月25日，星期天例3.2：第131頁,共287頁，2024年2月25日，星期天例3.3：第132頁,共287頁，2024年2月25日，星期天例3.4：第133頁,共287頁，2024年2月25日，星期天作業(yè)1：作業(yè)2：書第三章習(xí)題3.5,3.6,3.10第134頁,共287頁，2024年2月25日，星期天3.2Poisson過程相聯(lián)系的若干分布第135頁,共287頁，2024年2月25日，星期天復(fù)習(xí)：1.指數(shù)分布2.無記憶性第136頁,共287頁，2024年2月25日，星期天定理3.2：結(jié)論：第137頁,共287頁，2024年2月25日，星期天定義3.3：注：第138頁,共287頁，2024年2月25日，星期天例3.5:(見書例3.4)第139頁,共287頁，2024年2月25日，星期天例3.6:第140頁,共287頁，2024年2月25日，星期天定理3.3：證明：見板書。第141頁,共287頁，2024年2月25日，星期天引理：第142頁,共287頁，2024年2月25日，星期天第143頁,共287頁，2024年2月25日，星期天原因：注：第144頁,共287頁，2024年2月25日，星期天定理3.4：第145頁,共287頁，2024年2月25日，星期天例3.7:(見書例3.5)第146頁,共287頁，2024年2月25日，星期天例3.8:(見書例3.6)第147頁,共287頁，2024年2月25日，星期天3.3Poisson過程的推廣一、非齊次Poisson過程第148頁,共287頁，2024年2月25日，星期天定義3.4:過程有獨立增量；第149頁,共287頁，2024年2月25日，星期天定義3.5：注2:定義3.4與定義3.5是等價的。注1:我們稱m(t)為非齊次poisson過程的均值或強度。第150頁,共287頁，2024年2月25日，星期天定理3.5：注3:用此定理可以簡化非齊次Poisson過程的問題到齊次Poisson過程中進行討論。另一方面也可以進行反方向的操作，即從一個參數(shù)為的Poisson構(gòu)造一個強度函數(shù)為的非齊次Poisson過程。定理3.5’：（一般了解）第151頁,共287頁，2024年2月25日，星期天例3.9:(見書例3.7)第152頁,共287頁，2024年2月25日，星期天二、復(fù)合Poisson過程定義3.6:物理意義:如表示粒子流，第153頁,共287頁，2024年2月25日，星期天例3.10:(見書例3.8)第154頁,共287頁，2024年2月25日，星期天例3.11:(見書例3.9顧客成批到達的排隊系統(tǒng))第155頁,共287頁，2024年2月25日，星期天定理3.6：第156頁,共287頁，2024年2月25日，星期天例3.12:（見書例3.10）第157頁,共287頁，2024年2月25日，星期天作業(yè)1:作業(yè)2:參考例3.12:（見書例3.10）作業(yè)3:見書習(xí)題3.12第158頁,共287頁，2024年2月25日，星期天

第5章Markov過程5.1基本概念直觀意義：1.Markov鏈的定義第159頁,共287頁，2024年2月25日，星期天定義5.1：第160頁,共287頁，2024年2月25日，星期天定義5.2：定義5.3：2.轉(zhuǎn)移概率第161頁,共287頁，2024年2月25日，星期天注：有定義5.1知第162頁,共287頁，2024年2月25日，星期天第163頁,共287頁，2024年2月25日，星期天轉(zhuǎn)移矩陣的性質(zhì)：定義5.4：第164頁,共287頁，2024年2月25日，星期天2.Markov鏈的例子帶有一個吸收壁的隨機游動：特點：當(dāng)就停留在零狀態(tài)。此時是一齊次馬氏鏈，其狀態(tài)空間為，一步轉(zhuǎn)移概率為：注意；狀態(tài)為馬氏鏈的吸收狀態(tài)的充要條件是：例5.1：第165頁,共287頁，2024年2月25日，星期天帶有兩個吸收壁的隨機游動：此時是一齊次馬氏鏈,狀態(tài)空間為為兩個吸收狀態(tài),它的一步轉(zhuǎn)移概率為：例5.2：第166頁,共287頁，2024年2月25日，星期天它的一步轉(zhuǎn)移概率矩陣為：第167頁,共287頁，2024年2月25日，星期天特點：概率為：例5.3：帶有一個反射壁的隨機游動：一旦質(zhì)點進入零狀態(tài)，下一步它以概率向右移動一格，以概率停留在零狀態(tài)。此時的狀態(tài)空間為它的一步轉(zhuǎn)移第168頁,共287頁，2024年2月25日，星期天例5.4：第169頁,共287頁，2024年2月25日，星期天例5.5：第170頁,共287頁，2024年2月25日，星期天第171頁,共287頁，2024年2月25日，星期天4.n步轉(zhuǎn)移概率C-K方程定義5.5（n步轉(zhuǎn)移概率）第172頁,共287頁，2024年2月25日，星期天定理5.1:(Chapman-Kolmogorov方程，簡稱C-K方程)第173頁,共287頁，2024年2月25日，星期天例5.6：第174頁,共287頁，2024年2月25日，星期天例5.7:(隱Markov模型）或者為正面或者為反面.在任何給定時刻只有一枚硬呈現(xiàn)，但是有時硬幣可能被替換而不改變其正反面.硬幣M和W分別具有轉(zhuǎn)移概率在任何給定時刻硬幣被替換的概率為30%,替換完成時，硬幣的狀態(tài)不變.這一Markov鏈有4個狀態(tài)，分別記為1:UM;2:DM;3:UW;4:DW.狀態(tài)1、3表示正面U,狀態(tài)2、4表示反面D轉(zhuǎn)移矩陣為4X4的矩陣.我們第175頁,共287頁，2024年2月25日，星期天可以計算轉(zhuǎn)移概率,比如,首先(無轉(zhuǎn)移),而后(無轉(zhuǎn)移).因此轉(zhuǎn)移概率為其他轉(zhuǎn)移概率類似可得，轉(zhuǎn)移方式為轉(zhuǎn)移概率矩陣為第176頁,共287頁，2024年2月25日，星期天例5.8:第177頁,共287頁，2024年2月25日，星期天例5.9:第178頁,共287頁，2024年2月25日，星期天帶有兩個反射壁的隨機游動：此時是一齊次馬氏鏈,狀態(tài)空間為為兩個反射狀態(tài),求它的一步轉(zhuǎn)移概率。作業(yè)1：第179頁,共287頁，2024年2月25日，星期天作業(yè)2:第180頁,共287頁，2024年2月25日，星期天5.3狀態(tài)的分類及性質(zhì)引入：第181頁,共287頁，2024年2月25日，星期天定義5.7注：定理5.3：第182頁,共287頁，2024年2月25日，星期天注：定義5.8:例1：第183頁,共287頁，2024年2月25日，星期天定義5.9(周期性)規(guī)定：例2(書5.14)注1：注2：第184頁,共287頁，2024年2月25日，星期天定理5.4：證明：板書。注:當(dāng)兩個狀態(tài)的周期相同時，有時其狀態(tài)之間

有顯著差異。如：第185頁,共287頁，2024年2月25日，星期天定義5.10:(常返性)第186頁,共287頁，2024年2月25日，星期天注2：注3：注1：第187頁,共287頁，2024年2月25日，星期天例3定義5.11第188頁,共287頁，2024年2月25日，星期天例4第189頁,共287頁，2024年2月25日，星期天引理5.1（）第190頁,共287頁，2024年2月25日，星期天定理5.5第191頁,共287頁，2024年2月25日，星期天引理5.2定理5.6第192頁,共287頁，2024年2月25日，星期天作業(yè)1：第193頁,共287頁，2024年2月25日，星期天思考題：第194頁,共287頁，2024年2月25日，星期天定理5.5第195頁,共287頁，2024年2月25日，星期天引理5.2定理5.6第196頁,共287頁，2024年2月25日，星期天

閉集及狀態(tài)空間的分解定理

閉集：第197頁,共287頁，2024年2月25日，星期天

相關(guān)性質(zhì)：任何兩個狀態(tài)均互通所有常返態(tài)構(gòu)成一個閉集在不可約馬氏鏈中,所有狀態(tài)具有相同的狀態(tài)類型.第198頁,共287頁，2024年2月25日，星期天

狀態(tài)空間分解定理：定理5.7：第199頁,共287頁，2024年2月25日，星期天例5第200頁,共287頁，2024年2月25日，星期天例6：第201頁,共287頁，2024年2月25日，星期天作業(yè)1：第202頁,共287頁，2024年2月25日，星期天周期鏈分解定理：定理5.8：第203頁,共287頁，2024年2月25日，星期天例7:第204頁,共287頁，2024年2月25日，星期天5.4極限理論與不變分布5.4.1極限理論第205頁,共287頁，2024年2月25日，星期天例8（書例5.17）(0-1傳輸系統(tǒng)）第206頁,共287頁，2024年2月25日，星期天第207頁,共287頁，2024年2月25日，星期天208推論設(shè)i常返，則(1)i零常返(2)i遍歷定理5.9設(shè)i常返且有周期為d，則其中

i為i的平均返回時間.當(dāng)

i

=

時第208頁,共287頁，2024年2月25日，星期天209證:(1)

i零常返,

i=

,由定理5.9知，對d的非整數(shù)倍數(shù)的n，

從而子序列i是零常返的第209頁,共287頁，2024年2月25日，星期天210(2)

i是遍歷的，d=1，

i

<，

子序列所以d=1，從而i為非周期的，i是遍歷的第210頁,共287頁，2024年2月25日，星期天定理5.10

結(jié)論：

第211頁,共287頁，2024年2月25日，星期天第212頁,共287頁，2024年2月25日，星期天(a)

所有非常返狀態(tài)組成的集合不可能是閉集;(b)沒有零常返狀態(tài);(c)必有正常返狀態(tài);(d)不可約有限馬氏鏈只有正常返態(tài);(e)狀態(tài)空間可以分解為:其中：每個均是由正常返狀態(tài)組成的有限不可約閉集，是非常返態(tài)集。第213頁,共287頁，2024年2月25日，星期天214注1：有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，也不可能含有零常返狀態(tài)，從而不可約的有限狀態(tài)的馬氏鏈必為正常返的。證設(shè)S={0,1,

,N}，如S全是非常返狀態(tài)，則對任意i,j

I，知故矛盾。如S含有零常返狀態(tài)i，則C={j:i

j}是有限不可約閉集，由定理知，C中均為零常返狀態(tài)，知第214頁,共287頁，2024年2月25日，星期天215由引理知所以第215頁,共287頁，2024年2月25日，星期天216注2:

如馬氏鏈有一個零常返狀態(tài)，則必有無限多個證設(shè)i為零常返狀態(tài)，則C={j:i

j}是不可約閉集，C中均為零常返狀態(tài)，故C不能是有限集。否則零常返狀態(tài)。第216頁,共287頁，2024年2月25日，星期天217稱概率分布{

j

,j

I}為馬爾可夫鏈的平穩(wěn)分布（不變分布），若設(shè){Xn,n

0}是齊次馬爾可夫鏈，狀態(tài)空間為I，轉(zhuǎn)移概率為pij5.4.2平穩(wěn)分布(不變分布)與極限分布定義5.12一、平穩(wěn)分布(不變分布)第217頁,共287頁，2024年2月25日，星期天218注：(1)若初始概率分布{pj,j

I}是平穩(wěn)分布，則(2)對平穩(wěn)分布{

j

,j

I}，有矩陣形式

=

其中

=(

j)，(

)pj

=pj(1)=pj(2)=

=pj(n)第218頁,共287頁，2024年2月25日，星期天219二、遍歷性的概念與極限分布對于一般的兩個狀態(tài)的馬氏鏈,由上節(jié)內(nèi)容可知,意義對固定的狀態(tài)j,不管鏈在某一時刻的什么狀態(tài)i出發(fā),通過長時間的轉(zhuǎn)移到達狀態(tài)j的概率都趨第219頁,共287頁，2024年2月25日，星期天定義5.13第220頁,共287頁，2024年2月25日，星期天221或定義則稱此鏈具有遍歷性.第221頁,共287頁，2024年2月25日，星期天定理5.13第222頁,共287頁，2024年2月25日，星期天223定理不可約非周期馬爾可夫鏈?zhǔn)钦７档某湟獥l件是存在平穩(wěn)分布，且此平穩(wěn)分布就是極限分布推論2若不可約馬爾可夫鏈的所有狀態(tài)是非常返或零常返，則不存在平穩(wěn)分布.推論1有限狀態(tài)的不可約非周期馬爾可夫鏈必存在平穩(wěn)分布。第223頁,共287頁，2024年2月25日，星期天224推論3若{

j

,j

I}是馬爾可夫鏈的平穩(wěn)分布，則所取的值與初始狀態(tài)的分布無關(guān)。證：由于：故第224頁,共287頁，2024年2月25日，星期天225例1

設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為求馬爾可夫鏈的平穩(wěn)分布及各狀態(tài)的平均返回時間。即，經(jīng)過無窮次轉(zhuǎn)移后處于狀態(tài)的概率與初始狀態(tài)無關(guān)，與初始狀態(tài)的分布也無關(guān)。第225頁,共287頁，2024年2月25日，星期天226解因為馬爾可夫鏈?zhǔn)遣豢杉s非周期有限狀態(tài)的，所以平穩(wěn)分布存在，設(shè)則

=

P，

1+

2+

3=1.即各狀態(tài)的平均返回時間為

=(

1,

2,

3)第226頁,共287頁，2024年2月25日，星期天227例2

設(shè)馬爾可夫鏈轉(zhuǎn)移概率矩陣為求每一個不可約閉集的平穩(wěn)分布。第227頁,共287頁，2024年2月25日，星期天228解從狀態(tài)轉(zhuǎn)移圖看出，狀態(tài)空間可分解為兩個不可約常返閉集C1={2,3,4}和C2={5,6,7}，一個非常返集N={1}。在常返集上求平穩(wěn)分布：第228頁,共287頁，2024年2月25日，星期天229在C1上，對應(yīng)的轉(zhuǎn)移概率矩陣為C1上的平穩(wěn)分布為：{0,0.4,0.2,0.4,0,0,0}同理可求得C2上的平穩(wěn)分布為{0,0,0,0,1/3,1/3,1/3}第229頁,共287頁，2024年2月25日，星期天230三、(有限鏈)遍歷性的充分條件第230頁,共287頁，2024年2月25日，星期天231說明2.極限分布轉(zhuǎn)化為了求解方程組.3.在定理的條件下馬氏鏈的極限分布是平穩(wěn)分布.第231頁,共287頁，2024年2月25日，星期天232試說明帶有兩個反射壁的隨機游動是遍歷的,

并求其極限分布(平穩(wěn)分布).解例3四、應(yīng)用舉例第232頁,共287頁，2024年2月25日，星期天233無零元,鏈?zhǔn)潜闅v的第233頁,共287頁，2024年2月25日，星期天234代入最后一個方程(歸一條件),得唯一解第234頁,共287頁，2024年2月25日，星期天235所以極限分布為這個分布表明經(jīng)過長時間游動之后,醉漢Q位于點2(或3或4)的概率約為3/11,位于點1(或5)的概率約為1/11.第235頁,共287頁，2024年2月25日，星期天236設(shè)一馬氏鏈的一步轉(zhuǎn)移概率陣為試討論它的遍歷性.解例4第236頁,共287頁，2024年2月25日，星期天237表明此鏈不具遍歷性.第237頁,共287頁，2024年2月25日，星期天238五、小結(jié)遍歷性的概念則稱此鏈具有遍歷性.第238頁,共287頁，2024年2月25日，星期天239

(有限鏈)遍歷性的充分條件第239頁,共287頁，2024年2月25日，星期天作業(yè)1：作業(yè)2：書習(xí)題5.7第240頁,共287頁，2024年2月25日，星期天241第七節(jié)

連續(xù)時間馬爾可夫鏈定義7.1

設(shè)隨機過程{X(t)，t0}，狀態(tài)空間及非負整數(shù)i1,i2,

,in+1，有P{X(tn+1)=in+1|X(t1)=i1,X(t2)=i2,

,X(tn)=in}則稱{X(t)，t0}為連續(xù)時間馬爾可夫鏈。I={0,1,2,

}，若對任意0

t1<t2<

<tn+1=P{X(tn+1)=in+1|X(tn)=in}，第241頁,共287頁，2024年2月25日，星期天242轉(zhuǎn)移概率：在s時刻處于狀態(tài)i，經(jīng)過時間t后轉(zhuǎn)移到狀態(tài)j的概率pij(s,t)=P{X(s+t)=j|X(s)=i}定義7.2

齊次轉(zhuǎn)移概率(與起始時刻s無關(guān)，只與時間間隔t有關(guān))pij(s,t)=pij(t)此時有轉(zhuǎn)移概率矩陣P(t)=(pij(t))，i,j

I，t0.第242頁,共287頁，2024年2月25日，星期天243記

i為過程在狀態(tài)轉(zhuǎn)移之前停留在狀態(tài)i的時間，則對s,t

0有(1)(2)

i

服從指數(shù)分布證：(1)事實上ss+t0

iiiiti第243頁,共287頁，2024年2月25日，星期天244第244頁,共287頁，2024年2月25日，星期天245(2)設(shè)

i的分布函數(shù)為F(x),(x

0),則生存函數(shù)由此可推出G(x)為指數(shù)函數(shù)，G(x)=e-

x,則F(x)=1-G(x)=1-e-

x為指數(shù)分布函數(shù)。G(x)=1-F(x)第245頁,共287頁，2024年2月25日，星期天246過程在狀態(tài)轉(zhuǎn)移之前處于狀態(tài)i的時間

i服從指數(shù)分布(1)當(dāng)

i=時，狀態(tài)i的停留時間

i超過x的概率為0，則稱狀態(tài)i為瞬時狀態(tài)；(2)當(dāng)

i=0時，狀態(tài)i的停留時間

i超過x的概率為1，則稱狀態(tài)i為吸收狀態(tài)。第246頁,共287頁，2024年2月25日，星期天247定理7.1齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì)：(1)pij(t)

0;(2)

(3)

證

由概率的定義，(1)(2)顯然成立，下證(3)第247頁,共287頁，2024年2月25日，星期天248

第248頁,共287頁，2024年2月25日，星期天249注：此為轉(zhuǎn)移概率的正則性條件。第249頁,共287頁，2024年2月25日，星期天250例1證明泊松過程{X(t),t

0}為連續(xù)時間齊次馬爾可夫鏈。證先證泊松過程的馬爾可夫性。泊松過程是獨立增量過程，且X(0)=0，對任意0<t1<t2<

<tn<tn+1有第250頁,共287頁，2024年2月25日，星期天251另一方面即泊松過程是一個連續(xù)時間馬爾可夫鏈第251頁,共287頁，2024年2月25日，星期天252

再證齊次性。當(dāng)j

i時，當(dāng)j<i時,因增量只取非負整數(shù)值,故pij(s,t)=0，所以轉(zhuǎn)移概率與s無關(guān)，泊松過程具有齊次性。第252頁,共287頁，2024年2月25日，星期天第六節(jié)馬氏鏈模型6.1基本應(yīng)用實例6.2健康與疾病6.3鋼琴銷售的存儲策略第253頁,共287頁，2024年2月25日，星期天馬氏鏈模型

系統(tǒng)在每個時期所處的狀態(tài)是隨機的

從一時期到下時期的狀態(tài)按一定概率轉(zhuǎn)移

下時期狀態(tài)只取決于本時期狀態(tài)和轉(zhuǎn)移概率已知現(xiàn)在，將來與過去無關(guān)（無后效性）描述一類重要的隨機動態(tài)系統(tǒng)（過程）的模型馬氏鏈(MarkovChain)——時間、狀態(tài)均為離散的隨機轉(zhuǎn)移過程第254頁,共287頁，2024年2月25日，星期天255

某計算機房的一臺計算機經(jīng)常出故障,研究者每隔15分鐘觀察一次計算機運行狀態(tài),收集了24小時的數(shù)據(jù)(共作97次觀察).用1表示正常狀態(tài),用0表示不正常狀態(tài),所得的數(shù)據(jù)序列如下:試求一步轉(zhuǎn)移概率矩陣。1110010011111110011110111111001111111110001101101分析狀態(tài)空間:I={0,1}.例11110110110101111011101111011111100110111111001116.1基本應(yīng)用實例第255頁,共287頁，2024年2月25日，星期天25696次狀態(tài)轉(zhuǎn)移的情況:因此,一步轉(zhuǎn)移概率可用頻率近似地表示為:第256頁,共287頁，2024年2月25日，星期天257特點:用行向量表示為一維分布由初始分布和轉(zhuǎn)移概率矩陣決定第257頁,共287頁，2024年2月25日，星期天258由以上討論知,轉(zhuǎn)移概率決定了馬氏鏈的運動的統(tǒng)計規(guī)律.因此,確定馬氏鏈的任意n步轉(zhuǎn)移概率成為馬氏鏈理論中的重要問題之一.第258頁,共287頁，2024年2月25日，星期天259設(shè)每一級的傳真率為p,誤碼率為q=1-p.設(shè)一個單位時間傳輸一級,只傳輸數(shù)字0和1的串聯(lián)系統(tǒng)(傳輸系統(tǒng))如圖:分析:例2第259頁,共287頁，2024年2月25日，星期天260而與時刻n以前所處的狀態(tài)無關(guān).所以它是一個馬氏鏈,且是齊次的.

一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率矩陣第260頁,共287頁，2024年2月25日，星期天261在傳輸系統(tǒng)中,傳輸后的誤碼率;系統(tǒng)經(jīng)n級傳輸后輸出為1,問原發(fā)字符也是1的概率是多少?第261頁,共287頁，2024年2月25日，星期天262解先求出n步轉(zhuǎn)移概率矩陣.有相異的特征值所以可將P表示成對角陣第262頁,共287頁，2024年2月25日，星期天263傳輸后的誤碼率分別為:第263頁,共287頁，2024年2月25日，星期天264(2)根據(jù)貝葉斯公式,當(dāng)系統(tǒng)經(jīng)n級傳輸后輸出為1,原發(fā)字符也是1的概率為:第264頁,共287頁，2024年2月25日，星期天265說明n步轉(zhuǎn)移概率矩陣為矩陣一般可表示為:對于只有兩個狀態(tài)的馬氏鏈,一步轉(zhuǎn)移概率第265頁,共287頁，2024年2月25日，星期天通過有實際背景的例子介紹馬氏鏈的基本概念和性質(zhì)例1.

人的健康狀況分為健康和疾病兩種狀態(tài)，設(shè)對特定年齡段的人，今年健康、明年保持健康狀態(tài)的概率為0.8,而今年患病、明年轉(zhuǎn)為健康狀態(tài)的概率為0.7，6.2健康與疾病

人的健康狀態(tài)隨著時間的推移會隨機地發(fā)生轉(zhuǎn)變保險公司要對投保人未來的健康狀態(tài)作出估計,以制訂保險金和理賠金的數(shù)額若某人投保時健康,問10年后他仍處于健康狀態(tài)的概率第266頁,共287頁，2024年2月25日，星期天Xn+1只取決于Xn和pij,與Xn-1,

…無關(guān)狀態(tài)與狀態(tài)轉(zhuǎn)移狀態(tài)轉(zhuǎn)移具有無后效性120.80.20.30.7第267頁,共287頁，2024年2月25日，星期天n0a2(n)0a1(n)1設(shè)投保時健康給定a(0),預(yù)測a(n),n=1,2…設(shè)投保時疾病a2(n)1a1(n)0n

時狀態(tài)概率趨于穩(wěn)定值，穩(wěn)定值與初始狀態(tài)無關(guān)3…

0.778…

0.222…

∞7/92/90.70.770.777…0.30.230.223…

7/92/9狀態(tài)與狀態(tài)轉(zhuǎn)移120.80.20.30.710.80.220.780.22第268頁,共287頁，2024年2月25日，星期天1230.10.0210.80.250.180.65例2.

健康和疾病狀態(tài)同上，Xn=1~健康,Xn=2~疾病p11=0.8,p12=0.18,p13=0.02死亡為第3種狀態(tài)，記Xn=3健康與疾病

p21=0.65,p22=0.25,p23=0.1p31=0,p32=0,p33=1第269頁,共287頁，2024年2月25日，星期天n0123

a2(n)00.180.1890.1835

a3(n)00.020.0540.0880

a1(n)10.80.7570.7285

設(shè)投保時處于健康狀態(tài)，預(yù)測a(n),n=1,2…

不論初始狀態(tài)如何，最終都要轉(zhuǎn)到狀態(tài)3；一旦a1(k)=a2(k)=0,a3(k)=1,則對于n>k,a1(n)=0，a2(n)=0,a3(n)=1,即從狀態(tài)3不會轉(zhuǎn)移到其它狀態(tài)。狀態(tài)與狀態(tài)轉(zhuǎn)移001

50

0.1293

0.0326

0.8381

第270頁,共287頁，2024年2月25日，星期天馬氏鏈的基本方程基本方程第271頁,共287頁，2024年2月25日，星期天馬氏鏈的兩個重要類型1.正則鏈

~從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達另外任一狀態(tài)（如例1）。w~穩(wěn)態(tài)概率第272頁,共287頁，2024年2月25日，星期天馬氏鏈的兩個重要類型2.吸收鏈

~存在吸收狀態(tài)（一旦到達就不會離開的狀態(tài)i,pii=1）,且從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達吸收狀態(tài)（如例2）。第273頁,共287頁，2024年2月25日，星期天6.3鋼琴銷售的存貯策略

鋼琴銷售量很小，商店的庫存量不大以免積