應(yīng)用隨機(jī)過(guò)程

關(guān)于應(yīng)用隨機(jī)過(guò)程第1頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三前言第2頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第3頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

第1章預(yù)備知識(shí)1.1概率空間在自然界和人類的活動(dòng)中經(jīng)常遇到各種各樣的現(xiàn)象，大體上分為兩類：必然現(xiàn)象和隨機(jī)現(xiàn)象。具有隨機(jī)性的現(xiàn)象—隨機(jī)現(xiàn)象對(duì)隨機(jī)現(xiàn)象的觀察或?yàn)橛^察而進(jìn)行的實(shí)驗(yàn)—隨機(jī)試驗(yàn)隨機(jī)試驗(yàn)的結(jié)果—基本事件或樣本點(diǎn)。所有可能的結(jié)果稱為樣本空間?！狝稱為事件。（有3個(gè)特征）第4頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三事件的性質(zhì)

假設(shè)A,B,C是任意事件，則他們滿足：(1)交換律(2)結(jié)合律(3)分配律(4)對(duì)偶原則(DeMorgan律)第5頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義1.1第6頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三性質(zhì)假第7頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例1.1例1.2例1.3第8頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三隨機(jī)試驗(yàn):擲一枚骰子，觀察出現(xiàn)的點(diǎn)數(shù)，思考題：第9頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義1.2結(jié)論：第10頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義1.3第11頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義1.4第12頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例1.1：第13頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三概率的基本性質(zhì)—單調(diào)性—次可列可加性第14頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第15頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三事件列極限1：結(jié)論：第16頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理：具體情況：第17頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三事件列極限2：定義1.5—的下極限—的上極限第18頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例1.2：關(guān)系：含義：第19頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例1.3：第20頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三1.2隨機(jī)變量和分布函數(shù)隨機(jī)變量：用實(shí)數(shù)來(lái)表示隨機(jī)實(shí)驗(yàn)的各種結(jié)果.定義1.6關(guān)于隨機(jī)變量的幾點(diǎn)說(shuō)明：第21頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第22頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理1.1：第23頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義1.7分布函數(shù)的含義：分布函數(shù)的性質(zhì)：第24頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三隨機(jī)變量的類型：離散型：連續(xù)型：多維隨機(jī)變量：—d維隨機(jī)向量第25頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三多維隨機(jī)變量聯(lián)合分布函數(shù)：性質(zhì)：第26頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三一些常見的分布：1.離散均勻分布：分布列：2.二項(xiàng)分布：分布列：3.幾何分布：分布列：第27頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三4.Poisson分布：分布列：____參數(shù)為的Poisson分布5.均勻分布：6.正態(tài)分布：第28頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三7.分布：函數(shù)的性質(zhì)：第29頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三8.指數(shù)分布：9.分布：10.d維正態(tài)分布：（略）第30頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第31頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三1.3數(shù)字特征、矩母函數(shù)與特征函數(shù)一、數(shù)字特征定義1.8：——X的一階矩第32頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第33頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三二、Rieman-Stieltjes積分Rieman-Stieltjes積分：第34頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三注：第35頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三R-S積分性質(zhì)：——可加性注：第36頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第37頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三四、矩母函數(shù)與特征函數(shù)1.矩母函數(shù)（momentgeneratingfunction)定義1.9：第38頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三矩母函數(shù)的性質(zhì)：第39頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三2.特征函數(shù)（characteristicfunction)——復(fù)隨機(jī)變量定義1.10：——復(fù)隨機(jī)變量的數(shù)學(xué)期望第40頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三特征函數(shù)的性質(zhì)：——有界性——共軛對(duì)稱性第41頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第42頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例3.1：例3.2：例3.3：例3.4：例3.5：第43頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三作業(yè)題：第44頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三1.4條件概率條件期望獨(dú)立性一、條件概率1.定義：1.基本公式定理1:(乘法公式)第45頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理2:(全概率公式)定理3:(Bayes公式)第46頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三二、獨(dú)立性1.定義：第47頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三注1：兩兩獨(dú)立并不包含獨(dú)立性。例：第48頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三注2我們有第49頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三2.獨(dú)立性的性質(zhì)：定理4：推論1：推論2：第50頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理5：第51頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理6：第52頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三四、條件期望1.邊緣分布——稱X,Y獨(dú)立.第53頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第54頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三2.條件分布函數(shù)第55頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三3.條件數(shù)學(xué)期望異同：第56頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第57頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第58頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義：第59頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第60頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第61頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理：例2：第62頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三五、獨(dú)立隨機(jī)變量和的分布——卷積公式——稱為的卷積第63頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三注：——結(jié)合律——分配律第64頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第65頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第66頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第67頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第68頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第69頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第70頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

第2章隨機(jī)過(guò)程的基本

概念和基本類型2.1基本概念在概率論中，我們研究了隨機(jī)變量，維隨機(jī)向量。

在極限定理中，我們研究了無(wú)窮多個(gè)隨機(jī)變量，但局限在它們相互獨(dú)立的情形。將上述情形加以推廣，即研究一族無(wú)窮多個(gè)、相互有關(guān)的隨機(jī)變量，這就是隨機(jī)過(guò)程。定義2.1：設(shè)是一概率空間，

對(duì)每一個(gè)參數(shù)，

是一定義在概率空間上的隨機(jī)變量，則稱隨機(jī)變量族為該概率空間上的一隨機(jī)過(guò)程。稱為參數(shù)集。第71頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三隨機(jī)過(guò)程的兩種描述方法：用映射表示即是一定義在上的二元單值函數(shù)，

固定是一定義在樣本空間上的函數(shù)，

即為一隨機(jī)變量；對(duì)于固定的是一個(gè)關(guān)于參數(shù)的函數(shù)，或稱隨機(jī)過(guò)程的一次實(shí)現(xiàn)。記號(hào)通常稱為樣本函數(shù)，有時(shí)記為或簡(jiǎn)記為參數(shù)一般表示時(shí)間或空間。參數(shù)常用的一般有：第72頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三(1)(2)(3)當(dāng)參數(shù)取可列集時(shí)，一般稱隨機(jī)過(guò)程為隨機(jī)序列。

隨機(jī)過(guò)程可能取值的全體所構(gòu)成的集合稱為此隨機(jī)過(guò)程的狀態(tài)空間，記作S.S中的元素稱為狀態(tài)。狀態(tài)空間可以由復(fù)數(shù)、實(shí)數(shù)或更一般的抽象空間構(gòu)成。第73頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第74頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三隨機(jī)過(guò)程分為以下四類：(1)離散參數(shù)離散型隨機(jī)過(guò)程；(2)連續(xù)參數(shù)離散型隨機(jī)過(guò)程；(3)連續(xù)參數(shù)連續(xù)型隨機(jī)過(guò)程；(4)離散參數(shù)連續(xù)型隨機(jī)過(guò)程。第75頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三以隨機(jī)過(guò)程的統(tǒng)計(jì)特征或概率特征的分類，一般有：獨(dú)立增量過(guò)程；Markov過(guò)程；二階矩過(guò)程；平穩(wěn)過(guò)程；更新過(guò)程；Poission過(guò)程；維納過(guò)程。鞅；第76頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

隨機(jī)過(guò)程舉例例2.1例2.2拋擲一枚硬幣，樣本空間為定義：隨機(jī)過(guò)程。第77頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例2.3第78頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三2.2有限維分布與Kolmogvrov定理一、隨機(jī)過(guò)程的分布函數(shù)1.一維分布函數(shù)第79頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三2.二維分布函數(shù)第80頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三3.n維分布函數(shù)第81頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三4.有限維分布族——稱為有限維分布族5.有限維分布族的性質(zhì)(1)對(duì)稱性第82頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三(2)相容性注1：隨機(jī)過(guò)程的統(tǒng)計(jì)特性完全由它的有限維分

布族決定。注2：有限維分布族與有限維特征函數(shù)族相互唯

一確定。問(wèn)題：一個(gè)隨機(jī)過(guò)程是否描述了該過(guò)程的全部概率特性？的有限維分布族，第83頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理：（Kolmogorov存在性定理）設(shè)分布函數(shù)族滿足以上提到的對(duì)稱性和相容性，則必有一隨機(jī)過(guò)程恰好是的有限維分布族，即：定理說(shuō)明：的有限維分布族包含了的所有概率信息。第84頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例2.4第85頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例2.5第86頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第87頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三二、隨機(jī)過(guò)程的數(shù)字特征1.均值函數(shù)隨機(jī)過(guò)程（假設(shè)是存在的）的均值函數(shù)定義為：2.方差函數(shù)隨機(jī)過(guò)程的方差函數(shù)定義為：第88頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三3.(自)協(xié)方差函數(shù)第89頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三4.(自)相關(guān)函數(shù)第90頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三5.(互)協(xié)方差函數(shù)6.互相關(guān)函數(shù)第91頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三7.互不相關(guān)8.特征函數(shù)為隨機(jī)過(guò)程的有限維特征函數(shù)族。記：第92頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例2.6例2.7第93頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三作業(yè)1第94頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三2.3隨機(jī)過(guò)程的基本類型

一、嚴(yán)平穩(wěn)過(guò)程定義1：第95頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

二、嚴(yán)平穩(wěn)過(guò)程的特點(diǎn)則第96頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

三、寬平穩(wěn)過(guò)程(簡(jiǎn)稱平穩(wěn)過(guò)程)定義2：第97頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三注1：注2：第98頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例2.8例2.9第99頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

四、平穩(wěn)過(guò)程相關(guān)函數(shù)的性質(zhì)性質(zhì)1：性質(zhì)2：結(jié)論：性質(zhì)3：第100頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三性質(zhì)4：注：第101頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義：注：性質(zhì)5：性質(zhì)6：性質(zhì)7：第102頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三性質(zhì)8：性質(zhì)9：例2.10：第103頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

五、獨(dú)立增量過(guò)程

定義1例2.11：第104頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

定義2第105頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

六、遍歷性定理第106頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第107頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第108頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

定義1:第109頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

定義2:第110頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

例2.12:第111頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

例2.13:第112頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

定理2.2:(均值遍歷性定理)第113頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

推論2.1:

推論2.2:第114頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

定理2.2:(協(xié)方差函數(shù)遍歷性定理)第115頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

作業(yè)1:

作業(yè)2:書第二章

習(xí)題2.6.

作業(yè)3:第116頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

第3章Poisson過(guò)程3.1Poisson過(guò)程定義3.1：第117頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第118頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三Poission過(guò)程是計(jì)數(shù)過(guò)程，而且是一類最重要、應(yīng)用廣泛的計(jì)數(shù)過(guò)程，它最早于1837年由法國(guó)數(shù)學(xué)家Poission引入。第119頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義3.2：第120頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例3.1：解：見板書。第121頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義3.2’:一計(jì)數(shù)過(guò)程是獨(dú)立增量及平穩(wěn)增量過(guò)程，即任取相互獨(dú)立；第122頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義3.2’的解釋:第123頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第124頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理3.1:由增量平穩(wěn)性，記：（I）情形：因?yàn)槲覀冇校毫硪环矫娴?25頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三代入上式，我們有：令我們有：（II）情形：因?yàn)椋旱?26頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三故有：化簡(jiǎn)并令得：兩邊同乘以，移項(xiàng)后有：當(dāng)時(shí)，有：第127頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三由歸納法可得：注意：因此代表單位時(shí)間內(nèi)事件出現(xiàn)的平均次數(shù)。第128頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三由歸納法可得：注意：因此代表單位時(shí)間內(nèi)事件出現(xiàn)的平均次數(shù)。第129頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第130頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例3.2：第131頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例3.3：第132頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例3.4：第133頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三作業(yè)1：作業(yè)2：書第三章習(xí)題3.5,3.6,3.10第134頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三3.2Poisson過(guò)程相聯(lián)系的若干分布第135頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三復(fù)習(xí)：1.指數(shù)分布2.無(wú)記憶性第136頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理3.2：結(jié)論：第137頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義3.3：注：第138頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例3.5:(見書例3.4)第139頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例3.6:第140頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理3.3：證明：見板書。第141頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三引理：第142頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第143頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三原因：注：第144頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理3.4：第145頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例3.7:(見書例3.5)第146頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例3.8:(見書例3.6)第147頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三3.3Poisson過(guò)程的推廣一、非齊次Poisson過(guò)程第148頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義3.4:過(guò)程有獨(dú)立增量；第149頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義3.5：注2:定義3.4與定義3.5是等價(jià)的。注1:我們稱m(t)為非齊次poisson過(guò)程的均值或強(qiáng)度。第150頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理3.5：注3:用此定理可以簡(jiǎn)化非齊次Poisson過(guò)程的問(wèn)題到齊次Poisson過(guò)程中進(jìn)行討論。另一方面也可以進(jìn)行反方向的操作，即從一個(gè)參數(shù)為的Poisson構(gòu)造一個(gè)強(qiáng)度函數(shù)為的非齊次Poisson過(guò)程。定理3.5’：（一般了解）第151頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例3.9:(見書例3.7)第152頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三二、復(fù)合Poisson過(guò)程定義3.6:物理意義:如表示粒子流，第153頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例3.10:(見書例3.8)第154頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例3.11:(見書例3.9顧客成批到達(dá)的排隊(duì)系統(tǒng))第155頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理3.6：第156頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例3.12:（見書例3.10）第157頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三作業(yè)1:作業(yè)2:參考例3.12:（見書例3.10）作業(yè)3:見書習(xí)題3.12第158頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

第5章Markov過(guò)程5.1基本概念直觀意義：1.Markov鏈的定義第159頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義5.1：第160頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義5.2：定義5.3：2.轉(zhuǎn)移概率第161頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三注：有定義5.1知第162頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第163頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三轉(zhuǎn)移矩陣的性質(zhì)：定義5.4：第164頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三2.Markov鏈的例子帶有一個(gè)吸收壁的隨機(jī)游動(dòng)：特點(diǎn)：當(dāng)就停留在零狀態(tài)。此時(shí)是一齊次馬氏鏈，其狀態(tài)空間為，一步轉(zhuǎn)移概率為：注意；狀態(tài)為馬氏鏈的吸收狀態(tài)的充要條件是：例5.1：第165頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三帶有兩個(gè)吸收壁的隨機(jī)游動(dòng)：此時(shí)是一齊次馬氏鏈,狀態(tài)空間為為兩個(gè)吸收狀態(tài),它的一步轉(zhuǎn)移概率為：例5.2：第166頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三它的一步轉(zhuǎn)移概率矩陣為：第167頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三特點(diǎn)：概率為：例5.3：帶有一個(gè)反射壁的隨機(jī)游動(dòng)：一旦質(zhì)點(diǎn)進(jìn)入零狀態(tài)，下一步它以概率向右移動(dòng)一格，以概率停留在零狀態(tài)。此時(shí)的狀態(tài)空間為它的一步轉(zhuǎn)移第168頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例5.4：第169頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例5.5：第170頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第171頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三4.n步轉(zhuǎn)移概率C-K方程定義5.5（n步轉(zhuǎn)移概率）第172頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理5.1:(Chapman-Kolmogorov方程，簡(jiǎn)稱C-K方程)第173頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例5.6：第174頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例5.7:(隱Markov模型）或者為正面或者為反面.在任何給定時(shí)刻只有一枚硬呈現(xiàn)，但是有時(shí)硬幣可能被替換而不改變其正反面.硬幣M和W分別具有轉(zhuǎn)移概率在任何給定時(shí)刻硬幣被替換的概率為30%,替換完成時(shí)，硬幣的狀態(tài)不變.這一Markov鏈有4個(gè)狀態(tài)，分別記為1:UM;2:DM;3:UW;4:DW.狀態(tài)1、3表示正面U,狀態(tài)2、4表示反面D轉(zhuǎn)移矩陣為4X4的矩陣.我們第175頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三可以計(jì)算轉(zhuǎn)移概率,比如,首先(無(wú)轉(zhuǎn)移),而后(無(wú)轉(zhuǎn)移).因此轉(zhuǎn)移概率為其他轉(zhuǎn)移概率類似可得，轉(zhuǎn)移方式為轉(zhuǎn)移概率矩陣為第176頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例5.8:第177頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例5.9:第178頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三帶有兩個(gè)反射壁的隨機(jī)游動(dòng)：此時(shí)是一齊次馬氏鏈,狀態(tài)空間為為兩個(gè)反射狀態(tài),求它的一步轉(zhuǎn)移概率。作業(yè)1：第179頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三作業(yè)2:第180頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三5.3狀態(tài)的分類及性質(zhì)引入：第181頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義5.7注：定理5.3：第182頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三注：定義5.8:例1：第183頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義5.9(周期性)規(guī)定：例2(書5.14)注1：注2：第184頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理5.4：證明：板書。注:當(dāng)兩個(gè)狀態(tài)的周期相同時(shí)，有時(shí)其狀態(tài)之間

有顯著差異。如：第185頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義5.10:(常返性)第186頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三注2：注3：注1：第187頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例3定義5.11第188頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例4第189頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三引理5.1（）第190頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理5.5第191頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三引理5.2定理5.6第192頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三作業(yè)1：第193頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三思考題：第194頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理5.5第195頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三引理5.2定理5.6第196頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

閉集及狀態(tài)空間的分解定理

閉集：第197頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

相關(guān)性質(zhì)：任何兩個(gè)狀態(tài)均互通所有常返態(tài)構(gòu)成一個(gè)閉集在不可約馬氏鏈中,所有狀態(tài)具有相同的狀態(tài)類型.第198頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三

狀態(tài)空間分解定理：定理5.7：第199頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例5第200頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例6：第201頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三作業(yè)1：第202頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三周期鏈分解定理：定理5.8：第203頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例7:第204頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三5.4極限理論與不變分布5.4.1極限理論第205頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三例8（書例5.17）(0-1傳輸系統(tǒng)）第206頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第207頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三208推論設(shè)i常返，則(1)i零常返(2)i遍歷定理5.9設(shè)i常返且有周期為d，則其中i為i的平均返回時(shí)間.當(dāng)i

=時(shí)第208頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三209證:(1)i零常返,i=,由定理5.9知，對(duì)d的非整數(shù)倍數(shù)的n，從而子序列i是零常返的第209頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三210(2)i是遍歷的，d=1，i

<，子序列所以d=1，從而i為非周期的，i是遍歷的第210頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理5.10

結(jié)論：

第211頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第212頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三(a)

所有非常返狀態(tài)組成的集合不可能是閉集;(b)沒(méi)有零常返狀態(tài);(c)必有正常返狀態(tài);(d)不可約有限馬氏鏈只有正常返態(tài);(e)狀態(tài)空間可以分解為:其中：每個(gè)均是由正常返狀態(tài)組成的有限不可約閉集，是非常返態(tài)集。第213頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三214注1：有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，也不可能含有零常返狀態(tài)，從而不可約的有限狀態(tài)的馬氏鏈必為正常返的。證設(shè)S={0,1,,N}，如S全是非常返狀態(tài)，則對(duì)任意i,jI，知故矛盾。如S含有零常返狀態(tài)i，則C={j:ij}是有限不可約閉集，由定理知，C中均為零常返狀態(tài)，知第214頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三215由引理知所以第215頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三216注2:

如馬氏鏈有一個(gè)零常返狀態(tài)，則必有無(wú)限多個(gè)證設(shè)i為零常返狀態(tài)，則C={j:ij}是不可約閉集，C中均為零常返狀態(tài)，故C不能是有限集。否則零常返狀態(tài)。第216頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三217稱概率分布{j

,jI}為馬爾可夫鏈的平穩(wěn)分布（不變分布），若設(shè){Xn,n0}是齊次馬爾可夫鏈，狀態(tài)空間為I，轉(zhuǎn)移概率為pij5.4.2平穩(wěn)分布(不變分布)與極限分布定義5.12一、平穩(wěn)分布(不變分布)第217頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三218注：(1)若初始概率分布{pj,jI}是平穩(wěn)分布，則(2)對(duì)平穩(wěn)分布{j

,jI}，有矩陣形式=

其中=(j)，(

)pj

=pj(1)=pj(2)==pj(n)第218頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三219二、遍歷性的概念與極限分布對(duì)于一般的兩個(gè)狀態(tài)的馬氏鏈,由上節(jié)內(nèi)容可知,意義對(duì)固定的狀態(tài)j,不管鏈在某一時(shí)刻的什么狀態(tài)i出發(fā),通過(guò)長(zhǎng)時(shí)間的轉(zhuǎn)移到達(dá)狀態(tài)j的概率都趨第219頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定義5.13第220頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三221或定義則稱此鏈具有遍歷性.第221頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三定理5.13第222頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三223定理不可約非周期馬爾可夫鏈?zhǔn)钦７档某湟獥l件是存在平穩(wěn)分布，且此平穩(wěn)分布就是極限分布推論2若不可約馬爾可夫鏈的所有狀態(tài)是非常返或零常返，則不存在平穩(wěn)分布.推論1有限狀態(tài)的不可約非周期馬爾可夫鏈必存在平穩(wěn)分布。第223頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三224推論3若{j

,jI}是馬爾可夫鏈的平穩(wěn)分布，則所取的值與初始狀態(tài)的分布無(wú)關(guān)。證：由于：故第224頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三225例1設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為求馬爾可夫鏈的平穩(wěn)分布及各狀態(tài)的平均返回時(shí)間。即，經(jīng)過(guò)無(wú)窮次轉(zhuǎn)移后處于狀態(tài)的概率與初始狀態(tài)無(wú)關(guān)，與初始狀態(tài)的分布也無(wú)關(guān)。第225頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三226解因?yàn)轳R爾可夫鏈?zhǔn)遣豢杉s非周期有限狀態(tài)的，所以平穩(wěn)分布存在，設(shè)則=

P，1+2+3=1.即各狀態(tài)的平均返回時(shí)間為=(1,2,3)第226頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三227例2

設(shè)馬爾可夫鏈轉(zhuǎn)移概率矩陣為求每一個(gè)不可約閉集的平穩(wěn)分布。第227頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三228解從狀態(tài)轉(zhuǎn)移圖看出，狀態(tài)空間可分解為兩個(gè)不可約常返閉集C1={2,3,4}和C2={5,6,7}，一個(gè)非常返集N={1}。在常返集上求平穩(wěn)分布：第228頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三229在C1上，對(duì)應(yīng)的轉(zhuǎn)移概率矩陣為C1上的平穩(wěn)分布為：{0,0.4,0.2,0.4,0,0,0}同理可求得C2上的平穩(wěn)分布為{0,0,0,0,1/3,1/3,1/3}第229頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三230三、(有限鏈)遍歷性的充分條件第230頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三231說(shuō)明2.極限分布轉(zhuǎn)化為了求解方程組.3.在定理的條件下馬氏鏈的極限分布是平穩(wěn)分布.第231頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三232試說(shuō)明帶有兩個(gè)反射壁的隨機(jī)游動(dòng)是遍歷的,

并求其極限分布(平穩(wěn)分布).解例3四、應(yīng)用舉例第232頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三233無(wú)零元,鏈?zhǔn)潜闅v的第233頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三234代入最后一個(gè)方程(歸一條件),得唯一解第234頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三235所以極限分布為這個(gè)分布表明經(jīng)過(guò)長(zhǎng)時(shí)間游動(dòng)之后,醉漢Q位于點(diǎn)2(或3或4)的概率約為3/11,位于點(diǎn)1(或5)的概率約為1/11.第235頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三236設(shè)一馬氏鏈的一步轉(zhuǎn)移概率陣為試討論它的遍歷性.解例4第236頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三237表明此鏈不具遍歷性.第237頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三238五、小結(jié)遍歷性的概念則稱此鏈具有遍歷性.第238頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三239

(有限鏈)遍歷性的充分條件第239頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三作業(yè)1：作業(yè)2：書習(xí)題5.7第240頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三241第七節(jié)

連續(xù)時(shí)間馬爾可夫鏈定義7.1

設(shè)隨機(jī)過(guò)程{X(t)，t0}，狀態(tài)空間及非負(fù)整數(shù)i1,i2,,in+1，有P{X(tn+1)=in+1|X(t1)=i1,X(t2)=i2,,X(tn)=in}則稱{X(t)，t0}為連續(xù)時(shí)間馬爾可夫鏈。I={0,1,2,}，若對(duì)任意0t1<t2<<tn+1=P{X(tn+1)=in+1|X(tn)=in}，第241頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三242轉(zhuǎn)移概率：在s時(shí)刻處于狀態(tài)i，經(jīng)過(guò)時(shí)間t后轉(zhuǎn)移到狀態(tài)j的概率pij(s,t)=P{X(s+t)=j|X(s)=i}定義7.2

齊次轉(zhuǎn)移概率(與起始時(shí)刻s無(wú)關(guān)，只與時(shí)間間隔t有關(guān))pij(s,t)=pij(t)此時(shí)有轉(zhuǎn)移概率矩陣P(t)=(pij(t))，i,jI，t0.第242頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三243記i為過(guò)程在狀態(tài)轉(zhuǎn)移之前停留在狀態(tài)i的時(shí)間，則對(duì)s,t0有(1)(2)i

服從指數(shù)分布證：(1)事實(shí)上ss+t0iiiiti第243頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三244第244頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三245(2)設(shè)i的分布函數(shù)為F(x),(x0),則生存函數(shù)由此可推出G(x)為指數(shù)函數(shù)，G(x)=e-x,則F(x)=1-G(x)=1-e-x為指數(shù)分布函數(shù)。G(x)=1-F(x)第245頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三246過(guò)程在狀態(tài)轉(zhuǎn)移之前處于狀態(tài)i的時(shí)間i服從指數(shù)分布(1)當(dāng)i=時(shí)，狀態(tài)i的停留時(shí)間i超過(guò)x的概率為0，則稱狀態(tài)i為瞬時(shí)狀態(tài)；(2)當(dāng)i=0時(shí)，狀態(tài)i的停留時(shí)間i超過(guò)x的概率為1，則稱狀態(tài)i為吸收狀態(tài)。第246頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三247定理7.1齊次馬爾可夫過(guò)程的轉(zhuǎn)移概率具有下列性質(zhì)：(1)pij(t)0;(2)

(3)

證

由概率的定義，(1)(2)顯然成立，下證(3)第247頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三248

第248頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三249注：此為轉(zhuǎn)移概率的正則性條件。第249頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三250例1證明泊松過(guò)程{X(t),t0}為連續(xù)時(shí)間齊次馬爾可夫鏈。證先證泊松過(guò)程的馬爾可夫性。泊松過(guò)程是獨(dú)立增量過(guò)程，且X(0)=0，對(duì)任意0<t1<t2<<tn<tn+1有第250頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三251另一方面即泊松過(guò)程是一個(gè)連續(xù)時(shí)間馬爾可夫鏈第251頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三252

再證齊次性。當(dāng)ji時(shí)，當(dāng)j<i時(shí),因增量只取非負(fù)整數(shù)值,故pij(s,t)=0，所以轉(zhuǎn)移概率與s無(wú)關(guān)，泊松過(guò)程具有齊次性。第252頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三第六節(jié)馬氏鏈模型6.1基本應(yīng)用實(shí)例6.2健康與疾病6.3鋼琴銷售的存儲(chǔ)策略第253頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三馬氏鏈模型

系統(tǒng)在每個(gè)時(shí)期所處的狀態(tài)是隨機(jī)的

從一時(shí)期到下時(shí)期的狀態(tài)按一定概率轉(zhuǎn)移

下時(shí)期狀態(tài)只取決于本時(shí)期狀態(tài)和轉(zhuǎn)移概率已知現(xiàn)在，將來(lái)與過(guò)去無(wú)關(guān)（無(wú)后效性）描述一類重要的隨機(jī)動(dòng)態(tài)系統(tǒng)（過(guò)程）的模型馬氏鏈(MarkovChain)——時(shí)間、狀態(tài)均為離散的隨機(jī)轉(zhuǎn)移過(guò)程第254頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三255

某計(jì)算機(jī)房的一臺(tái)計(jì)算機(jī)經(jīng)常出故障,研究者每隔15分鐘觀察一次計(jì)算機(jī)運(yùn)行狀態(tài),收集了24小時(shí)的數(shù)據(jù)(共作97次觀察).用1表示正常狀態(tài),用0表示不正常狀態(tài),所得的數(shù)據(jù)序列如下:試求一步轉(zhuǎn)移概率矩陣。1110010011111110011110111111001111111110001101101分析狀態(tài)空間:I={0,1}.例11110110110101111011101111011111100110111111001116.1基本應(yīng)用實(shí)例第255頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三25696次狀態(tài)轉(zhuǎn)移的情況:因此,一步轉(zhuǎn)移概率可用頻率近似地表示為:第256頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三257特點(diǎn):用行向量表示為一維分布由初始分布和轉(zhuǎn)移概率矩陣決定第257頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三258由以上討論知,轉(zhuǎn)移概率決定了馬氏鏈的運(yùn)動(dòng)的統(tǒng)計(jì)規(guī)律.因此,確定馬氏鏈的任意n步轉(zhuǎn)移概率成為馬氏鏈理論中的重要問(wèn)題之一.第258頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三259設(shè)每一級(jí)的傳真率為p,誤碼率為q=1-p.設(shè)一個(gè)單位時(shí)間傳輸一級(jí),只傳輸數(shù)字0和1的串聯(lián)系統(tǒng)(傳輸系統(tǒng))如圖:分析:例2第259頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三260而與時(shí)刻n以前所處的狀態(tài)無(wú)關(guān).所以它是一個(gè)馬氏鏈,且是齊次的.

一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率矩陣第260頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三261在傳輸系統(tǒng)中,傳輸后的誤碼率;系統(tǒng)經(jīng)n級(jí)傳輸后輸出為1,問(wèn)原發(fā)字符也是1的概率是多少?第261頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三262解先求出n步轉(zhuǎn)移概率矩陣.有相異的特征值所以可將P表示成對(duì)角陣第262頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三263傳輸后的誤碼率分別為:第263頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三264(2)根據(jù)貝葉斯公式,當(dāng)系統(tǒng)經(jīng)n級(jí)傳輸后輸出為1,原發(fā)字符也是1的概率為:第264頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三265說(shuō)明n步轉(zhuǎn)移概率矩陣為矩陣一般可表示為:對(duì)于只有兩個(gè)狀態(tài)的馬氏鏈,一步轉(zhuǎn)移概率第265頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三通過(guò)有實(shí)際背景的例子介紹馬氏鏈的基本概念和性質(zhì)例1.

人的健康狀況分為健康和疾病兩種狀態(tài)，設(shè)對(duì)特定年齡段的人，今年健康、明年保持健康狀態(tài)的概率為0.8,而今年患病、明年轉(zhuǎn)為健康狀態(tài)的概率為0.7，6.2健康與疾病

人的健康狀態(tài)隨著時(shí)間的推移會(huì)隨機(jī)地發(fā)生轉(zhuǎn)變保險(xiǎn)公司要對(duì)投保人未來(lái)的健康狀態(tài)作出估計(jì),以制訂保險(xiǎn)金和理賠金的數(shù)額若某人投保時(shí)健康,問(wèn)10年后他仍處于健康狀態(tài)的概率第266頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三Xn+1只取決于Xn和pij,與Xn-1,

…無(wú)關(guān)狀態(tài)與狀態(tài)轉(zhuǎn)移狀態(tài)轉(zhuǎn)移具有無(wú)后效性120.80.20.30.7第267頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三n0a2(n)0a1(n)1設(shè)投保時(shí)健康給定a(0),預(yù)測(cè)a(n),n=1,2…設(shè)投保時(shí)疾病a2(n)1a1(n)0n時(shí)狀態(tài)概率趨于穩(wěn)定值，穩(wěn)定值與初始狀態(tài)無(wú)關(guān)3…

0.778…0.222…∞7/92/90.70.770.777…0.30.230.223…7/92/9狀態(tài)與狀態(tài)轉(zhuǎn)移120.80.20.30.710.80.220.780.22第268頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三1230.10.0210.80.250.180.65例2.

健康和疾病狀態(tài)同上，Xn=1~健康,Xn=2~疾病p11=0.8,p12=0.18,p13=0.02死亡為第3種狀態(tài)，記Xn=3健康與疾病

p21=0.65,p22=0.25,p23=0.1p31=0,p32=0,p33=1第269頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三n0123a2(n)00.180.1890.1835

a3(n)00.020.0540.0880

a1(n)10.80.7570.7285設(shè)投保時(shí)處于健康狀態(tài)，預(yù)測(cè)a(n),n=1,2…

不論初始狀態(tài)如何，最終都要轉(zhuǎn)到狀態(tài)3；一旦a1(k)=a2(k)=0,a3(k)=1,則對(duì)于n>k,a1(n)=0，a2(n)=0,a3(n)=1,即從狀態(tài)3不會(huì)轉(zhuǎn)移到其它狀態(tài)。狀態(tài)與狀態(tài)轉(zhuǎn)移00150

0.12930.0326

0.8381

第270頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三馬氏鏈的基本方程基本方程第271頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三馬氏鏈的兩個(gè)重要類型1.正則鏈

~從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)另外任一狀態(tài)（如例1）。w~穩(wěn)態(tài)概率第272頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三馬氏鏈的兩個(gè)重要類型2.吸收鏈

~存在吸收狀態(tài)（一旦到達(dá)就不會(huì)離開的狀態(tài)i,pii=1）,且從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)吸收狀態(tài)（如例2）。第273頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三6.3鋼琴銷售的存貯策略

鋼琴銷售量很小，商店的庫(kù)存量不大以免積壓資金一家商店根據(jù)經(jīng)驗(yàn)估計(jì)，平均每周的鋼琴需求為1架存貯策略：每周末檢查庫(kù)存量，僅當(dāng)庫(kù)存量為零時(shí)，才訂購(gòu)3架供下周銷售；否則，不訂購(gòu)。估計(jì)在這種策略下失去銷售機(jī)會(huì)的可能性有多大，以及每周的平均銷售量是多少。背景與問(wèn)題第274頁(yè)，講稿共287頁(yè)，2023年5月2日，星期三問(wèn)題分析

顧