應(yīng)用隨機(jī)過程

關(guān)于應(yīng)用隨機(jī)過程第一頁，共二百八十七頁，編輯于2023年，星期一前言第二頁，共二百八十七頁，編輯于2023年，星期一第三頁，共二百八十七頁，編輯于2023年，星期一

第1章預(yù)備知識(shí)1.1概率空間在自然界和人類的活動(dòng)中經(jīng)常遇到各種各樣的現(xiàn)象，大體上分為兩類：必然現(xiàn)象和隨機(jī)現(xiàn)象。具有隨機(jī)性的現(xiàn)象—隨機(jī)現(xiàn)象對(duì)隨機(jī)現(xiàn)象的觀察或?yàn)橛^察而進(jìn)行的實(shí)驗(yàn)—隨機(jī)試驗(yàn)隨機(jī)試驗(yàn)的結(jié)果—基本事件或樣本點(diǎn)。所有可能的結(jié)果稱為樣本空間?！狝稱為事件。（有3個(gè)特征）第四頁，共二百八十七頁，編輯于2023年，星期一事件的性質(zhì)

假設(shè)A,B,C是任意事件，則他們滿足：(1)交換律(2)結(jié)合律(3)分配律(4)對(duì)偶原則(DeMorgan律)第五頁，共二百八十七頁，編輯于2023年，星期一定義1.1第六頁，共二百八十七頁，編輯于2023年，星期一性質(zhì)假第七頁，共二百八十七頁，編輯于2023年，星期一例1.1例1.2例1.3第八頁，共二百八十七頁，編輯于2023年，星期一隨機(jī)試驗(yàn):擲一枚骰子，觀察出現(xiàn)的點(diǎn)數(shù)，思考題：第九頁，共二百八十七頁，編輯于2023年，星期一定義1.2結(jié)論：第十頁，共二百八十七頁，編輯于2023年，星期一定義1.3第十一頁，共二百八十七頁，編輯于2023年，星期一定義1.4第十二頁，共二百八十七頁，編輯于2023年，星期一例1.1：第十三頁，共二百八十七頁，編輯于2023年，星期一概率的基本性質(zhì)—單調(diào)性—次可列可加性第十四頁，共二百八十七頁，編輯于2023年，星期一第十五頁，共二百八十七頁，編輯于2023年，星期一事件列極限1：結(jié)論：第十六頁，共二百八十七頁，編輯于2023年，星期一定理：具體情況：第十七頁，共二百八十七頁，編輯于2023年，星期一事件列極限2：定義1.5—的下極限—的上極限第十八頁，共二百八十七頁，編輯于2023年，星期一例1.2：關(guān)系：含義：第十九頁，共二百八十七頁，編輯于2023年，星期一例1.3：第二十頁，共二百八十七頁，編輯于2023年，星期一1.2隨機(jī)變量和分布函數(shù)隨機(jī)變量：用實(shí)數(shù)來表示隨機(jī)實(shí)驗(yàn)的各種結(jié)果.定義1.6關(guān)于隨機(jī)變量的幾點(diǎn)說明：第二十一頁，共二百八十七頁，編輯于2023年，星期一第二十二頁，共二百八十七頁，編輯于2023年，星期一定理1.1：第二十三頁，共二百八十七頁，編輯于2023年，星期一定義1.7分布函數(shù)的含義：分布函數(shù)的性質(zhì)：第二十四頁，共二百八十七頁，編輯于2023年，星期一隨機(jī)變量的類型：離散型：連續(xù)型：多維隨機(jī)變量：—d維隨機(jī)向量第二十五頁，共二百八十七頁，編輯于2023年，星期一多維隨機(jī)變量聯(lián)合分布函數(shù)：性質(zhì)：第二十六頁，共二百八十七頁，編輯于2023年，星期一一些常見的分布：1.離散均勻分布：分布列：2.二項(xiàng)分布：分布列：3.幾何分布：分布列：第二十七頁，共二百八十七頁，編輯于2023年，星期一4.Poisson分布：分布列：____參數(shù)為的Poisson分布5.均勻分布：6.正態(tài)分布：第二十八頁，共二百八十七頁，編輯于2023年，星期一7.分布：函數(shù)的性質(zhì)：第二十九頁，共二百八十七頁，編輯于2023年，星期一8.指數(shù)分布：9.分布：10.d維正態(tài)分布：（略）第三十頁，共二百八十七頁，編輯于2023年，星期一第三十一頁，共二百八十七頁，編輯于2023年，星期一1.3數(shù)字特征、矩母函數(shù)與特征函數(shù)一、數(shù)字特征定義1.8：——X的一階矩第三十二頁，共二百八十七頁，編輯于2023年，星期一第三十三頁，共二百八十七頁，編輯于2023年，星期一二、Rieman-Stieltjes積分Rieman-Stieltjes積分：第三十四頁，共二百八十七頁，編輯于2023年，星期一注：第三十五頁，共二百八十七頁，編輯于2023年，星期一R-S積分性質(zhì)：——可加性注：第三十六頁，共二百八十七頁，編輯于2023年，星期一第三十七頁，共二百八十七頁，編輯于2023年，星期一四、矩母函數(shù)與特征函數(shù)1.矩母函數(shù)（momentgeneratingfunction)定義1.9：第三十八頁，共二百八十七頁，編輯于2023年，星期一矩母函數(shù)的性質(zhì)：第三十九頁，共二百八十七頁，編輯于2023年，星期一2.特征函數(shù)（characteristicfunction)——復(fù)隨機(jī)變量定義1.10：——復(fù)隨機(jī)變量的數(shù)學(xué)期望第四十頁，共二百八十七頁，編輯于2023年，星期一特征函數(shù)的性質(zhì)：——有界性——共軛對(duì)稱性第四十一頁，共二百八十七頁，編輯于2023年，星期一第四十二頁，共二百八十七頁，編輯于2023年，星期一例3.1：例3.2：例3.3：例3.4：例3.5：第四十三頁，共二百八十七頁，編輯于2023年，星期一作業(yè)題：第四十四頁，共二百八十七頁，編輯于2023年，星期一1.4條件概率條件期望獨(dú)立性一、條件概率1.定義：1.基本公式定理1:(乘法公式)第四十五頁，共二百八十七頁，編輯于2023年，星期一定理2:(全概率公式)定理3:(Bayes公式)第四十六頁，共二百八十七頁，編輯于2023年，星期一二、獨(dú)立性1.定義：第四十七頁，共二百八十七頁，編輯于2023年，星期一注1：兩兩獨(dú)立并不包含獨(dú)立性。例：第四十八頁，共二百八十七頁，編輯于2023年，星期一注2我們有第四十九頁，共二百八十七頁，編輯于2023年，星期一2.獨(dú)立性的性質(zhì)：定理4：推論1：推論2：第五十頁，共二百八十七頁，編輯于2023年，星期一定理5：第五十一頁，共二百八十七頁，編輯于2023年，星期一定理6：第五十二頁，共二百八十七頁，編輯于2023年，星期一四、條件期望1.邊緣分布——稱X,Y獨(dú)立.第五十三頁，共二百八十七頁，編輯于2023年，星期一第五十四頁，共二百八十七頁，編輯于2023年，星期一2.條件分布函數(shù)第五十五頁，共二百八十七頁，編輯于2023年，星期一3.條件數(shù)學(xué)期望異同：第五十六頁，共二百八十七頁，編輯于2023年，星期一第五十七頁，共二百八十七頁，編輯于2023年，星期一第五十八頁，共二百八十七頁，編輯于2023年，星期一定義：第五十九頁，共二百八十七頁，編輯于2023年，星期一第六十頁，共二百八十七頁，編輯于2023年，星期一第六十一頁，共二百八十七頁，編輯于2023年，星期一定理：例2：第六十二頁，共二百八十七頁，編輯于2023年，星期一五、獨(dú)立隨機(jī)變量和的分布——卷積公式——稱為的卷積第六十三頁，共二百八十七頁，編輯于2023年，星期一注：——結(jié)合律——分配律第六十四頁，共二百八十七頁，編輯于2023年，星期一第六十五頁，共二百八十七頁，編輯于2023年，星期一第六十六頁，共二百八十七頁，編輯于2023年，星期一第六十七頁，共二百八十七頁，編輯于2023年，星期一第六十八頁，共二百八十七頁，編輯于2023年，星期一第六十九頁，共二百八十七頁，編輯于2023年，星期一第七十頁，共二百八十七頁，編輯于2023年，星期一

第2章隨機(jī)過程的基本

概念和基本類型2.1基本概念在概率論中，我們研究了隨機(jī)變量，維隨機(jī)向量。

在極限定理中，我們研究了無窮多個(gè)隨機(jī)變量，但局限在它們相互獨(dú)立的情形。將上述情形加以推廣，即研究一族無窮多個(gè)、相互有關(guān)的隨機(jī)變量，這就是隨機(jī)過程。定義2.1：設(shè)是一概率空間，

對(duì)每一個(gè)參數(shù)，

是一定義在概率空間上的隨機(jī)變量，則稱隨機(jī)變量族為該概率空間上的一隨機(jī)過程。稱為參數(shù)集。第七十一頁，共二百八十七頁，編輯于2023年，星期一隨機(jī)過程的兩種描述方法：用映射表示即是一定義在上的二元單值函數(shù)，

固定是一定義在樣本空間上的函數(shù)，

即為一隨機(jī)變量；對(duì)于固定的是一個(gè)關(guān)于參數(shù)的函數(shù)，或稱隨機(jī)過程的一次實(shí)現(xiàn)。記號(hào)通常稱為樣本函數(shù)，有時(shí)記為或簡記為參數(shù)一般表示時(shí)間或空間。參數(shù)常用的一般有：第七十二頁，共二百八十七頁，編輯于2023年，星期一(1)(2)(3)當(dāng)參數(shù)取可列集時(shí)，一般稱隨機(jī)過程為隨機(jī)序列。

隨機(jī)過程可能取值的全體所構(gòu)成的集合稱為此隨機(jī)過程的狀態(tài)空間，記作S.S中的元素稱為狀態(tài)。狀態(tài)空間可以由復(fù)數(shù)、實(shí)數(shù)或更一般的抽象空間構(gòu)成。第七十三頁，共二百八十七頁，編輯于2023年，星期一第七十四頁，共二百八十七頁，編輯于2023年，星期一隨機(jī)過程分為以下四類：(1)離散參數(shù)離散型隨機(jī)過程；(2)連續(xù)參數(shù)離散型隨機(jī)過程；(3)連續(xù)參數(shù)連續(xù)型隨機(jī)過程；(4)離散參數(shù)連續(xù)型隨機(jī)過程。第七十五頁，共二百八十七頁，編輯于2023年，星期一以隨機(jī)過程的統(tǒng)計(jì)特征或概率特征的分類，一般有：獨(dú)立增量過程；Markov過程；二階矩過程；平穩(wěn)過程；更新過程；Poission過程；維納過程。鞅；第七十六頁，共二百八十七頁，編輯于2023年，星期一

隨機(jī)過程舉例例2.1例2.2拋擲一枚硬幣，樣本空間為定義：隨機(jī)過程。第七十七頁，共二百八十七頁，編輯于2023年，星期一例2.3第七十八頁，共二百八十七頁，編輯于2023年，星期一2.2有限維分布與Kolmogvrov定理一、隨機(jī)過程的分布函數(shù)1.一維分布函數(shù)第七十九頁，共二百八十七頁，編輯于2023年，星期一2.二維分布函數(shù)第八十頁，共二百八十七頁，編輯于2023年，星期一3.n維分布函數(shù)第八十一頁，共二百八十七頁，編輯于2023年，星期一4.有限維分布族——稱為有限維分布族5.有限維分布族的性質(zhì)(1)對(duì)稱性第八十二頁，共二百八十七頁，編輯于2023年，星期一(2)相容性注1：隨機(jī)過程的統(tǒng)計(jì)特性完全由它的有限維分

布族決定。注2：有限維分布族與有限維特征函數(shù)族相互唯

一確定。問題：一個(gè)隨機(jī)過程是否描述了該過程的全部概率特性？的有限維分布族，第八十三頁，共二百八十七頁，編輯于2023年，星期一定理：（Kolmogorov存在性定理）設(shè)分布函數(shù)族滿足以上提到的對(duì)稱性和相容性，則必有一隨機(jī)過程恰好是的有限維分布族，即：定理說明：的有限維分布族包含了的所有概率信息。第八十四頁，共二百八十七頁，編輯于2023年，星期一例2.4第八十五頁，共二百八十七頁，編輯于2023年，星期一例2.5第八十六頁，共二百八十七頁，編輯于2023年，星期一第八十七頁，共二百八十七頁，編輯于2023年，星期一二、隨機(jī)過程的數(shù)字特征1.均值函數(shù)隨機(jī)過程（假設(shè)是存在的）的均值函數(shù)定義為：2.方差函數(shù)隨機(jī)過程的方差函數(shù)定義為：第八十八頁，共二百八十七頁，編輯于2023年，星期一3.(自)協(xié)方差函數(shù)第八十九頁，共二百八十七頁，編輯于2023年，星期一4.(自)相關(guān)函數(shù)第九十頁，共二百八十七頁，編輯于2023年，星期一5.(互)協(xié)方差函數(shù)6.互相關(guān)函數(shù)第九十一頁，共二百八十七頁，編輯于2023年，星期一7.互不相關(guān)8.特征函數(shù)為隨機(jī)過程的有限維特征函數(shù)族。記：第九十二頁，共二百八十七頁，編輯于2023年，星期一例2.6例2.7第九十三頁，共二百八十七頁，編輯于2023年，星期一作業(yè)1第九十四頁，共二百八十七頁，編輯于2023年，星期一2.3隨機(jī)過程的基本類型

一、嚴(yán)平穩(wěn)過程定義1：第九十五頁，共二百八十七頁，編輯于2023年，星期一

二、嚴(yán)平穩(wěn)過程的特點(diǎn)則第九十六頁，共二百八十七頁，編輯于2023年，星期一

三、寬平穩(wěn)過程(簡稱平穩(wěn)過程)定義2：第九十七頁，共二百八十七頁，編輯于2023年，星期一注1：注2：第九十八頁，共二百八十七頁，編輯于2023年，星期一例2.8例2.9第九十九頁，共二百八十七頁，編輯于2023年，星期一

四、平穩(wěn)過程相關(guān)函數(shù)的性質(zhì)性質(zhì)1：性質(zhì)2：結(jié)論：性質(zhì)3：第一百頁，共二百八十七頁，編輯于2023年，星期一性質(zhì)4：注：第一百零一頁，共二百八十七頁，編輯于2023年，星期一定義：注：性質(zhì)5：性質(zhì)6：性質(zhì)7：第一百零二頁，共二百八十七頁，編輯于2023年，星期一性質(zhì)8：性質(zhì)9：例2.10：第一百零三頁，共二百八十七頁，編輯于2023年，星期一

五、獨(dú)立增量過程

定義1例2.11：第一百零四頁，共二百八十七頁，編輯于2023年，星期一

定義2第一百零五頁，共二百八十七頁，編輯于2023年，星期一

六、遍歷性定理第一百零六頁，共二百八十七頁，編輯于2023年，星期一第一百零七頁，共二百八十七頁，編輯于2023年，星期一第一百零八頁，共二百八十七頁，編輯于2023年，星期一

定義1:第一百零九頁，共二百八十七頁，編輯于2023年，星期一

定義2:第一百一十頁，共二百八十七頁，編輯于2023年，星期一

例2.12:第一百一十一頁，共二百八十七頁，編輯于2023年，星期一

例2.13:第一百一十二頁，共二百八十七頁，編輯于2023年，星期一

定理2.2:(均值遍歷性定理)第一百一十三頁，共二百八十七頁，編輯于2023年，星期一

推論2.1:

推論2.2:第一百一十四頁，共二百八十七頁，編輯于2023年，星期一

定理2.2:(協(xié)方差函數(shù)遍歷性定理)第一百一十五頁，共二百八十七頁，編輯于2023年，星期一

作業(yè)1:

作業(yè)2:書第二章

習(xí)題2.6.

作業(yè)3:第一百一十六頁，共二百八十七頁，編輯于2023年，星期一

第3章Poisson過程3.1Poisson過程定義3.1：第一百一十七頁，共二百八十七頁，編輯于2023年，星期一第一百一十八頁，共二百八十七頁，編輯于2023年，星期一Poission過程是計(jì)數(shù)過程，而且是一類最重要、應(yīng)用廣泛的計(jì)數(shù)過程，它最早于1837年由法國數(shù)學(xué)家Poission引入。第一百一十九頁，共二百八十七頁，編輯于2023年，星期一定義3.2：第一百二十頁，共二百八十七頁，編輯于2023年，星期一例3.1：解：見板書。第一百二十一頁，共二百八十七頁，編輯于2023年，星期一定義3.2’:一計(jì)數(shù)過程是獨(dú)立增量及平穩(wěn)增量過程，即任取相互獨(dú)立；第一百二十二頁，共二百八十七頁，編輯于2023年，星期一定義3.2’的解釋:第一百二十三頁，共二百八十七頁，編輯于2023年，星期一第一百二十四頁，共二百八十七頁，編輯于2023年，星期一定理3.1:由增量平穩(wěn)性，記：（I）情形：因?yàn)槲覀冇校毫硪环矫娴谝话俣屙?，共二百八十七頁，編輯?023年，星期一代入上式，我們有：令我們有：（II）情形：因?yàn)椋旱谝话俣?，共二百八十七頁，編輯?023年，星期一故有：化簡并令得：兩邊同乘以，移項(xiàng)后有：當(dāng)時(shí)，有：第一百二十七頁，共二百八十七頁，編輯于2023年，星期一由歸納法可得：注意：因此代表單位時(shí)間內(nèi)事件出現(xiàn)的平均次數(shù)。第一百二十八頁，共二百八十七頁，編輯于2023年，星期一由歸納法可得：注意：因此代表單位時(shí)間內(nèi)事件出現(xiàn)的平均次數(shù)。第一百二十九頁，共二百八十七頁，編輯于2023年，星期一第一百三十頁，共二百八十七頁，編輯于2023年，星期一例3.2：第一百三十一頁，共二百八十七頁，編輯于2023年，星期一例3.3：第一百三十二頁，共二百八十七頁，編輯于2023年，星期一例3.4：第一百三十三頁，共二百八十七頁，編輯于2023年，星期一作業(yè)1：作業(yè)2：書第三章習(xí)題3.5,3.6,3.10第一百三十四頁，共二百八十七頁，編輯于2023年，星期一3.2Poisson過程相聯(lián)系的若干分布第一百三十五頁，共二百八十七頁，編輯于2023年，星期一復(fù)習(xí)：1.指數(shù)分布2.無記憶性第一百三十六頁，共二百八十七頁，編輯于2023年，星期一定理3.2：結(jié)論：第一百三十七頁，共二百八十七頁，編輯于2023年，星期一定義3.3：注：第一百三十八頁，共二百八十七頁，編輯于2023年，星期一例3.5:(見書例3.4)第一百三十九頁，共二百八十七頁，編輯于2023年，星期一例3.6:第一百四十頁，共二百八十七頁，編輯于2023年，星期一定理3.3：證明：見板書。第一百四十一頁，共二百八十七頁，編輯于2023年，星期一引理：第一百四十二頁，共二百八十七頁，編輯于2023年，星期一第一百四十三頁，共二百八十七頁，編輯于2023年，星期一原因：注：第一百四十四頁，共二百八十七頁，編輯于2023年，星期一定理3.4：第一百四十五頁，共二百八十七頁，編輯于2023年，星期一例3.7:(見書例3.5)第一百四十六頁，共二百八十七頁，編輯于2023年，星期一例3.8:(見書例3.6)第一百四十七頁，共二百八十七頁，編輯于2023年，星期一3.3Poisson過程的推廣一、非齊次Poisson過程第一百四十八頁，共二百八十七頁，編輯于2023年，星期一定義3.4:過程有獨(dú)立增量；第一百四十九頁，共二百八十七頁，編輯于2023年，星期一定義3.5：注2:定義3.4與定義3.5是等價(jià)的。注1:我們稱m(t)為非齊次poisson過程的均值或強(qiáng)度。第一百五十頁，共二百八十七頁，編輯于2023年，星期一定理3.5：注3:用此定理可以簡化非齊次Poisson過程的問題到齊次Poisson過程中進(jìn)行討論。另一方面也可以進(jìn)行反方向的操作，即從一個(gè)參數(shù)為的Poisson構(gòu)造一個(gè)強(qiáng)度函數(shù)為的非齊次Poisson過程。定理3.5’：（一般了解）第一百五十一頁，共二百八十七頁，編輯于2023年，星期一例3.9:(見書例3.7)第一百五十二頁，共二百八十七頁，編輯于2023年，星期一二、復(fù)合Poisson過程定義3.6:物理意義:如表示粒子流，第一百五十三頁，共二百八十七頁，編輯于2023年，星期一例3.10:(見書例3.8)第一百五十四頁，共二百八十七頁，編輯于2023年，星期一例3.11:(見書例3.9顧客成批到達(dá)的排隊(duì)系統(tǒng))第一百五十五頁，共二百八十七頁，編輯于2023年，星期一定理3.6：第一百五十六頁，共二百八十七頁，編輯于2023年，星期一例3.12:（見書例3.10）第一百五十七頁，共二百八十七頁，編輯于2023年，星期一作業(yè)1:作業(yè)2:參考例3.12:（見書例3.10）作業(yè)3:見書習(xí)題3.12第一百五十八頁，共二百八十七頁，編輯于2023年，星期一

第5章Markov過程5.1基本概念直觀意義：1.Markov鏈的定義第一百五十九頁，共二百八十七頁，編輯于2023年，星期一定義5.1：第一百六十頁，共二百八十七頁，編輯于2023年，星期一定義5.2：定義5.3：2.轉(zhuǎn)移概率第一百六十一頁，共二百八十七頁，編輯于2023年，星期一注：有定義5.1知第一百六十二頁，共二百八十七頁，編輯于2023年，星期一第一百六十三頁，共二百八十七頁，編輯于2023年，星期一轉(zhuǎn)移矩陣的性質(zhì)：定義5.4：第一百六十四頁，共二百八十七頁，編輯于2023年，星期一2.Markov鏈的例子帶有一個(gè)吸收壁的隨機(jī)游動(dòng)：特點(diǎn)：當(dāng)就停留在零狀態(tài)。此時(shí)是一齊次馬氏鏈，其狀態(tài)空間為，一步轉(zhuǎn)移概率為：注意；狀態(tài)為馬氏鏈的吸收狀態(tài)的充要條件是：例5.1：第一百六十五頁，共二百八十七頁，編輯于2023年，星期一帶有兩個(gè)吸收壁的隨機(jī)游動(dòng)：此時(shí)是一齊次馬氏鏈,狀態(tài)空間為為兩個(gè)吸收狀態(tài),它的一步轉(zhuǎn)移概率為：例5.2：第一百六十六頁，共二百八十七頁，編輯于2023年，星期一它的一步轉(zhuǎn)移概率矩陣為：第一百六十七頁，共二百八十七頁，編輯于2023年，星期一特點(diǎn)：概率為：例5.3：帶有一個(gè)反射壁的隨機(jī)游動(dòng)：一旦質(zhì)點(diǎn)進(jìn)入零狀態(tài)，下一步它以概率向右移動(dòng)一格，以概率停留在零狀態(tài)。此時(shí)的狀態(tài)空間為它的一步轉(zhuǎn)移第一百六十八頁，共二百八十七頁，編輯于2023年，星期一例5.4：第一百六十九頁，共二百八十七頁，編輯于2023年，星期一例5.5：第一百七十頁，共二百八十七頁，編輯于2023年，星期一第一百七十一頁，共二百八十七頁，編輯于2023年，星期一4.n步轉(zhuǎn)移概率C-K方程定義5.5（n步轉(zhuǎn)移概率）第一百七十二頁，共二百八十七頁，編輯于2023年，星期一定理5.1:(Chapman-Kolmogorov方程，簡稱C-K方程)第一百七十三頁，共二百八十七頁，編輯于2023年，星期一例5.6：第一百七十四頁，共二百八十七頁，編輯于2023年，星期一例5.7:(隱Markov模型）或者為正面或者為反面.在任何給定時(shí)刻只有一枚硬呈現(xiàn)，但是有時(shí)硬幣可能被替換而不改變其正反面.硬幣M和W分別具有轉(zhuǎn)移概率在任何給定時(shí)刻硬幣被替換的概率為30%,替換完成時(shí)，硬幣的狀態(tài)不變.這一Markov鏈有4個(gè)狀態(tài)，分別記為1:UM;2:DM;3:UW;4:DW.狀態(tài)1、3表示正面U,狀態(tài)2、4表示反面D轉(zhuǎn)移矩陣為4X4的矩陣.我們第一百七十五頁，共二百八十七頁，編輯于2023年，星期一可以計(jì)算轉(zhuǎn)移概率,比如,首先(無轉(zhuǎn)移),而后(無轉(zhuǎn)移).因此轉(zhuǎn)移概率為其他轉(zhuǎn)移概率類似可得，轉(zhuǎn)移方式為轉(zhuǎn)移概率矩陣為第一百七十六頁，共二百八十七頁，編輯于2023年，星期一例5.8:第一百七十七頁，共二百八十七頁，編輯于2023年，星期一例5.9:第一百七十八頁，共二百八十七頁，編輯于2023年，星期一帶有兩個(gè)反射壁的隨機(jī)游動(dòng)：此時(shí)是一齊次馬氏鏈,狀態(tài)空間為為兩個(gè)反射狀態(tài),求它的一步轉(zhuǎn)移概率。作業(yè)1：第一百七十九頁，共二百八十七頁，編輯于2023年，星期一作業(yè)2:第一百八十頁，共二百八十七頁，編輯于2023年，星期一5.3狀態(tài)的分類及性質(zhì)引入：第一百八十一頁，共二百八十七頁，編輯于2023年，星期一定義5.7注：定理5.3：第一百八十二頁，共二百八十七頁，編輯于2023年，星期一注：定義5.8:例1：第一百八十三頁，共二百八十七頁，編輯于2023年，星期一定義5.9(周期性)規(guī)定：例2(書5.14)注1：注2：第一百八十四頁，共二百八十七頁，編輯于2023年，星期一定理5.4：證明：板書。注:當(dāng)兩個(gè)狀態(tài)的周期相同時(shí)，有時(shí)其狀態(tài)之間

有顯著差異。如：第一百八十五頁，共二百八十七頁，編輯于2023年，星期一定義5.10:(常返性)第一百八十六頁，共二百八十七頁，編輯于2023年，星期一注2：注3：注1：第一百八十七頁，共二百八十七頁，編輯于2023年，星期一例3定義5.11第一百八十八頁，共二百八十七頁，編輯于2023年，星期一例4第一百八十九頁，共二百八十七頁，編輯于2023年，星期一引理5.1（）第一百九十頁，共二百八十七頁，編輯于2023年，星期一定理5.5第一百九十一頁，共二百八十七頁，編輯于2023年，星期一引理5.2定理5.6第一百九十二頁，共二百八十七頁，編輯于2023年，星期一作業(yè)1：第一百九十三頁，共二百八十七頁，編輯于2023年，星期一思考題：第一百九十四頁，共二百八十七頁，編輯于2023年，星期一定理5.5第一百九十五頁，共二百八十七頁，編輯于2023年，星期一引理5.2定理5.6第一百九十六頁，共二百八十七頁，編輯于2023年，星期一

閉集及狀態(tài)空間的分解定理

閉集：第一百九十七頁，共二百八十七頁，編輯于2023年，星期一

相關(guān)性質(zhì)：任何兩個(gè)狀態(tài)均互通所有常返態(tài)構(gòu)成一個(gè)閉集在不可約馬氏鏈中,所有狀態(tài)具有相同的狀態(tài)類型.第一百九十八頁，共二百八十七頁，編輯于2023年，星期一

狀態(tài)空間分解定理：定理5.7：第一百九十九頁，共二百八十七頁，編輯于2023年，星期一例5第二百頁，共二百八十七頁，編輯于2023年，星期一例6：第二百零一頁，共二百八十七頁，編輯于2023年，星期一作業(yè)1：第二百零二頁，共二百八十七頁，編輯于2023年，星期一周期鏈分解定理：定理5.8：第二百零三頁，共二百八十七頁，編輯于2023年，星期一例7:第二百零四頁，共二百八十七頁，編輯于2023年，星期一5.4極限理論與不變分布5.4.1極限理論第二百零五頁，共二百八十七頁，編輯于2023年，星期一例8（書例5.17）(0-1傳輸系統(tǒng)）第二百零六頁，共二百八十七頁，編輯于2023年，星期一第二百零七頁，共二百八十七頁，編輯于2023年，星期一208推論設(shè)i常返，則(1)i零常返(2)i遍歷定理5.9設(shè)i常返且有周期為d，則其中i為i的平均返回時(shí)間.當(dāng)i

=時(shí)第二百零八頁，共二百八十七頁，編輯于2023年，星期一209證:(1)i零常返,i=,由定理5.9知，對(duì)d的非整數(shù)倍數(shù)的n，從而子序列i是零常返的第二百零九頁，共二百八十七頁，編輯于2023年，星期一210(2)i是遍歷的，d=1，i

<，子序列所以d=1，從而i為非周期的，i是遍歷的第二百一十頁，共二百八十七頁，編輯于2023年，星期一定理5.10

結(jié)論：

第二百一十一頁，共二百八十七頁，編輯于2023年，星期一第二百一十二頁，共二百八十七頁，編輯于2023年，星期一(a)

所有非常返狀態(tài)組成的集合不可能是閉集;(b)沒有零常返狀態(tài);(c)必有正常返狀態(tài);(d)不可約有限馬氏鏈只有正常返態(tài);(e)狀態(tài)空間可以分解為:其中：每個(gè)均是由正常返狀態(tài)組成的有限不可約閉集，是非常返態(tài)集。第二百一十三頁，共二百八十七頁，編輯于2023年，星期一214注1：有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，也不可能含有零常返狀態(tài)，從而不可約的有限狀態(tài)的馬氏鏈必為正常返的。證設(shè)S={0,1,,N}，如S全是非常返狀態(tài)，則對(duì)任意i,jI，知故矛盾。如S含有零常返狀態(tài)i，則C={j:ij}是有限不可約閉集，由定理知，C中均為零常返狀態(tài)，知第二百一十四頁，共二百八十七頁，編輯于2023年，星期一215由引理知所以第二百一十五頁，共二百八十七頁，編輯于2023年，星期一216注2:

如馬氏鏈有一個(gè)零常返狀態(tài)，則必有無限多個(gè)證設(shè)i為零常返狀態(tài)，則C={j:ij}是不可約閉集，C中均為零常返狀態(tài)，故C不能是有限集。否則零常返狀態(tài)。第二百一十六頁，共二百八十七頁，編輯于2023年，星期一217稱概率分布{j

,jI}為馬爾可夫鏈的平穩(wěn)分布（不變分布），若設(shè){Xn,n0}是齊次馬爾可夫鏈，狀態(tài)空間為I，轉(zhuǎn)移概率為pij5.4.2平穩(wěn)分布(不變分布)與極限分布定義5.12一、平穩(wěn)分布(不變分布)第二百一十七頁，共二百八十七頁，編輯于2023年，星期一218注：(1)若初始概率分布{pj,jI}是平穩(wěn)分布，則(2)對(duì)平穩(wěn)分布{j

,jI}，有矩陣形式=

其中=(j)，(

)pj

=pj(1)=pj(2)==pj(n)第二百一十八頁，共二百八十七頁，編輯于2023年，星期一219二、遍歷性的概念與極限分布對(duì)于一般的兩個(gè)狀態(tài)的馬氏鏈,由上節(jié)內(nèi)容可知,意義對(duì)固定的狀態(tài)j,不管鏈在某一時(shí)刻的什么狀態(tài)i出發(fā),通過長時(shí)間的轉(zhuǎn)移到達(dá)狀態(tài)j的概率都趨第二百一十九頁，共二百八十七頁，編輯于2023年，星期一定義5.13第二百二十頁，共二百八十七頁，編輯于2023年，星期一221或定義則稱此鏈具有遍歷性.第二百二十一頁，共二百八十七頁，編輯于2023年，星期一定理5.13第二百二十二頁，共二百八十七頁，編輯于2023年，星期一223定理不可約非周期馬爾可夫鏈?zhǔn)钦７档某湟獥l件是存在平穩(wěn)分布，且此平穩(wěn)分布就是極限分布推論2若不可約馬爾可夫鏈的所有狀態(tài)是非常返或零常返，則不存在平穩(wěn)分布.推論1有限狀態(tài)的不可約非周期馬爾可夫鏈必存在平穩(wěn)分布。第二百二十三頁，共二百八十七頁，編輯于2023年，星期一224推論3若{j

,jI}是馬爾可夫鏈的平穩(wěn)分布，則所取的值與初始狀態(tài)的分布無關(guān)。證：由于：故第二百二十四頁，共二百八十七頁，編輯于2023年，星期一225例1設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為求馬爾可夫鏈的平穩(wěn)分布及各狀態(tài)的平均返回時(shí)間。即，經(jīng)過無窮次轉(zhuǎn)移后處于狀態(tài)的概率與初始狀態(tài)無關(guān)，與初始狀態(tài)的分布也無關(guān)。第二百二十五頁，共二百八十七頁，編輯于2023年，星期一226解因?yàn)轳R爾可夫鏈?zhǔn)遣豢杉s非周期有限狀態(tài)的，所以平穩(wěn)分布存在，設(shè)則=

P，1+2+3=1.即各狀態(tài)的平均返回時(shí)間為=(1,2,3)第二百二十六頁，共二百八十七頁，編輯于2023年，星期一227例2

設(shè)馬爾可夫鏈轉(zhuǎn)移概率矩陣為求每一個(gè)不可約閉集的平穩(wěn)分布。第二百二十七頁，共二百八十七頁，編輯于2023年，星期一228解從狀態(tài)轉(zhuǎn)移圖看出，狀態(tài)空間可分解為兩個(gè)不可約常返閉集C1={2,3,4}和C2={5,6,7}，一個(gè)非常返集N={1}。在常返集上求平穩(wěn)分布：第二百二十八頁，共二百八十七頁，編輯于2023年，星期一229在C1上，對(duì)應(yīng)的轉(zhuǎn)移概率矩陣為C1上的平穩(wěn)分布為：{0,0.4,0.2,0.4,0,0,0}同理可求得C2上的平穩(wěn)分布為{0,0,0,0,1/3,1/3,1/3}第二百二十九頁，共二百八十七頁，編輯于2023年，星期一230三、(有限鏈)遍歷性的充分條件第二百三十頁，共二百八十七頁，編輯于2023年，星期一231說明2.極限分布轉(zhuǎn)化為了求解方程組.3.在定理的條件下馬氏鏈的極限分布是平穩(wěn)分布.第二百三十一頁，共二百八十七頁，編輯于2023年，星期一232試說明帶有兩個(gè)反射壁的隨機(jī)游動(dòng)是遍歷的,

并求其極限分布(平穩(wěn)分布).解例3四、應(yīng)用舉例第二百三十二頁，共二百八十七頁，編輯于2023年，星期一233無零元,鏈?zhǔn)潜闅v的第二百三十三頁，共二百八十七頁，編輯于2023年，星期一234代入最后一個(gè)方程(歸一條件),得唯一解第二百三十四頁，共二百八十七頁，編輯于2023年，星期一235所以極限分布為這個(gè)分布表明經(jīng)過長時(shí)間游動(dòng)之后,醉漢Q位于點(diǎn)2(或3或4)的概率約為3/11,位于點(diǎn)1(或5)的概率約為1/11.第二百三十五頁，共二百八十七頁，編輯于2023年，星期一236設(shè)一馬氏鏈的一步轉(zhuǎn)移概率陣為試討論它的遍歷性.解例4第二百三十六頁，共二百八十七頁，編輯于2023年，星期一237表明此鏈不具遍歷性.第二百三十七頁，共二百八十七頁，編輯于2023年，星期一238五、小結(jié)遍歷性的概念則稱此鏈具有遍歷性.第二百三十八頁，共二百八十七頁，編輯于2023年，星期一239

(有限鏈)遍歷性的充分條件第二百三十九頁，共二百八十七頁，編輯于2023年，星期一作業(yè)1：作業(yè)2：書習(xí)題5.7第二百四十頁，共二百八十七頁，編輯于2023年，星期一241第七節(jié)

連續(xù)時(shí)間馬爾可夫鏈定義7.1

設(shè)隨機(jī)過程{X(t)，t0}，狀態(tài)空間及非負(fù)整數(shù)i1,i2,,in+1，有P{X(tn+1)=in+1|X(t1)=i1,X(t2)=i2,,X(tn)=in}則稱{X(t)，t0}為連續(xù)時(shí)間馬爾可夫鏈。I={0,1,2,}，若對(duì)任意0t1<t2<<tn+1=P{X(tn+1)=in+1|X(tn)=in}，第二百四十一頁，共二百八十七頁，編輯于2023年，星期一242轉(zhuǎn)移概率：在s時(shí)刻處于狀態(tài)i，經(jīng)過時(shí)間t后轉(zhuǎn)移到狀態(tài)j的概率pij(s,t)=P{X(s+t)=j|X(s)=i}定義7.2

齊次轉(zhuǎn)移概率(與起始時(shí)刻s無關(guān)，只與時(shí)間間隔t有關(guān))pij(s,t)=pij(t)此時(shí)有轉(zhuǎn)移概率矩陣P(t)=(pij(t))，i,jI，t0.第二百四十二頁，共二百八十七頁，編輯于2023年，星期一243記i為過程在狀態(tài)轉(zhuǎn)移之前停留在狀態(tài)i的時(shí)間，則對(duì)s,t0有(1)(2)i

服從指數(shù)分布證：(1)事實(shí)上ss+t0iiiiti第二百四十三頁，共二百八十七頁，編輯于2023年，星期一244第二百四十四頁，共二百八十七頁，編輯于2023年，星期一245(2)設(shè)i的分布函數(shù)為F(x),(x0),則生存函數(shù)由此可推出G(x)為指數(shù)函數(shù)，G(x)=e-x,則F(x)=1-G(x)=1-e-x為指數(shù)分布函數(shù)。G(x)=1-F(x)第二百四十五頁，共二百八十七頁，編輯于2023年，星期一246過程在狀態(tài)轉(zhuǎn)移之前處于狀態(tài)i的時(shí)間i服從指數(shù)分布(1)當(dāng)i=時(shí)，狀態(tài)i的停留時(shí)間i超過x的概率為0，則稱狀態(tài)i為瞬時(shí)狀態(tài)；(2)當(dāng)i=0時(shí)，狀態(tài)i的停留時(shí)間i超過x的概率為1，則稱狀態(tài)i為吸收狀態(tài)。第二百四十六頁，共二百八十七頁，編輯于2023年，星期一247定理7.1齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì)：(1)pij(t)0;(2)

(3)

證

由概率的定義，(1)(2)顯然成立，下證(3)第二百四十七頁，共二百八十七頁，編輯于2023年，星期一248

第二百四十八頁，共二百八十七頁，編輯于2023年，星期一249注：此為轉(zhuǎn)移概率的正則性條件。第二百四十九頁，共二百八十七頁，編輯于2023年，星期一250例1證明泊松過程{X(t),t0}為連續(xù)時(shí)間齊次馬爾可夫鏈。證先證泊松過程的馬爾可夫性。泊松過程是獨(dú)立增量過程，且X(0)=0，對(duì)任意0<t1<t2<<tn<tn+1有第二百五十頁，共二百八十七頁，編輯于2023年，星期一251另一方面即泊松過程是一個(gè)連續(xù)時(shí)間馬爾可夫鏈第二百五十一頁，共二百八十七頁，編輯于2023年，星期一252

再證齊次性。當(dāng)ji時(shí)，當(dāng)j<i時(shí),因增量只取非負(fù)整數(shù)值,故pij(s,t)=0，所以轉(zhuǎn)移概率與s無關(guān)，泊松過程具有齊次性。第二百五十二頁，共二百八十七頁，編輯于2023年，星期一第六節(jié)馬氏鏈模型6.1基本應(yīng)用實(shí)例6.2健康與疾病6.3鋼琴銷售的存儲(chǔ)策略第二百五十三頁，共二百八十七頁，編輯于2023年，星期一馬氏鏈模型

系統(tǒng)在每個(gè)時(shí)期所處的狀態(tài)是隨機(jī)的

從一時(shí)期到下時(shí)期的狀態(tài)按一定概率轉(zhuǎn)移

下時(shí)期狀態(tài)只取決于本時(shí)期狀態(tài)和轉(zhuǎn)移概率已知現(xiàn)在，將來與過去無關(guān)（無后效性）描述一類重要的隨機(jī)動(dòng)態(tài)系統(tǒng)（過程）的模型馬氏鏈(MarkovChain)——時(shí)間、狀態(tài)均為離散的隨機(jī)轉(zhuǎn)移過程第二百五十四頁，共二百八十七頁，編輯于2023年，星期一255

某計(jì)算機(jī)房的一臺(tái)計(jì)算機(jī)經(jīng)常出故障,研究者每隔15分鐘觀察一次計(jì)算機(jī)運(yùn)行狀態(tài),收集了24小時(shí)的數(shù)據(jù)(共作97次觀察).用1表示正常狀態(tài),用0表示不正常狀態(tài),所得的數(shù)據(jù)序列如下:試求一步轉(zhuǎn)移概率矩陣。1110010011111110011110111111001111111110001101101分析狀態(tài)空間:I={0,1}.例11110110110101111011101111011111100110111111001116.1基本應(yīng)用實(shí)例第二百五十五頁，共二百八十七頁，編輯于2023年，星期一25696次狀態(tài)轉(zhuǎn)移的情況:因此,一步轉(zhuǎn)移概率可用頻率近似地表示為:第二百五十六頁，共二百八十七頁，編輯于2023年，星期一257特點(diǎn):用行向量表示為一維分布由初始分布和轉(zhuǎn)移概率矩陣決定第二百五十七頁，共二百八十七頁，編輯于2023年，星期一258由以上討論知,轉(zhuǎn)移概率決定了馬氏鏈的運(yùn)動(dòng)的統(tǒng)計(jì)規(guī)律.因此,確定馬氏鏈的任意n步轉(zhuǎn)移概率成為馬氏鏈理論中的重要問題之一.第二百五十八頁，共二百八十七頁，編輯于2023年，星期一259設(shè)每一級(jí)的傳真率為p,誤碼率為q=1-p.設(shè)一個(gè)單位時(shí)間傳輸一級(jí),只傳輸數(shù)字0和1的串聯(lián)系統(tǒng)(傳輸系統(tǒng))如圖:分析:例2第二百五十九頁，共二百八十七頁，編輯于2023年，星期一260而與時(shí)刻n以前所處的狀態(tài)無關(guān).所以它是一個(gè)馬氏鏈,且是齊次的.

一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率矩陣第二百六十頁，共二百八十七頁，編輯于2023年，星期一261在傳輸系統(tǒng)中,傳輸后的誤碼率;系統(tǒng)經(jīng)n級(jí)傳輸后輸出為1,問原發(fā)字符也是1的概率是多少?第二百六十一頁，共二百八十七頁，編輯于2023年，星期一262解先求出n步轉(zhuǎn)移概率矩陣.有相異的特征值所以可將P表示成對(duì)角陣第二百六十二頁，共二百八十七頁，編輯于2023年，星期一263傳輸后的誤碼率分別為:第二百六十三頁，共二百八十七頁，編輯于2023年，星期一264(2)根據(jù)貝葉斯公式,當(dāng)系統(tǒng)經(jīng)n級(jí)傳輸后輸出為1,原發(fā)字符也是1的概率為:第二百六十四頁，共二百八十七頁，編輯于2023年，星期一265說明n步轉(zhuǎn)移概率矩陣為矩陣一般可表示為:對(duì)于只有兩個(gè)狀態(tài)的馬氏鏈,一步轉(zhuǎn)移概率第二百六十五頁，共二百八十七頁，編輯于2023年，星期一通過有實(shí)際背景的例子介紹馬氏鏈的基本概念和性質(zhì)例1.

人的健康狀況分為健康和疾病兩種狀態(tài)，設(shè)對(duì)特定年齡段的人，今年健康、明年保持健康狀態(tài)的概率為0.8,而今年患病、明年轉(zhuǎn)為健康狀態(tài)的概率為0.7，6.2健康與疾病

人的健康狀態(tài)隨著時(shí)間的推移會(huì)隨機(jī)地發(fā)生轉(zhuǎn)變保險(xiǎn)公司要對(duì)投保人未來的健康狀態(tài)作出估計(jì),以制訂保險(xiǎn)金和理賠金的數(shù)額若某人投保時(shí)健康,問10年后他仍處于健康狀態(tài)的概率第二百六十六頁，共二百八十七頁，編輯于2023年，星期一Xn+1只取決于Xn和pij,與Xn-1,

…無關(guān)狀態(tài)與狀態(tài)轉(zhuǎn)移狀態(tài)轉(zhuǎn)移具有無后效性120.80.20.30.7第二百六十七頁，共二百八十七頁，編輯于2023年，星期一n0a2(n)0a1(n)1設(shè)投保時(shí)健康給定a(0),預(yù)測a(n),n=1,2…設(shè)投保時(shí)疾病a2(n)1a1(n)0n時(shí)狀態(tài)概率趨于穩(wěn)定值，穩(wěn)定值與初始狀態(tài)無關(guān)3…

0.778…0.222…∞7/92/90.70.770.777…0.30.230.223…7/92/9狀態(tài)與狀態(tài)轉(zhuǎn)移120.80.20.30.710.80.220.780.22第二百六十八頁，共二百八十七頁，編輯于2023年，星期一1230.10.0210.80.250.180.65例2.

健康和疾病狀態(tài)同上，Xn=1~健康,Xn=2~疾病p11=0.8,p12=0.18,p13=0.02死亡為第3種狀態(tài)，記Xn=3健康與疾病

p21=0.65,p22=0.25,p23=0.1p31=0,p32=0,p33=1第二百六十九頁，共二百八十七頁，編輯于2023年，星期一n0123a2(n)00.180.1890.1835

a3(n)00.020.0540.0880

a1(n)10.80.7570.7285設(shè)投保時(shí)處于健康狀態(tài)，預(yù)測a(n),n=1,2…

不論初始狀態(tài)如何，最終都要轉(zhuǎn)到狀態(tài)3；一旦a1(k)=a2(k)=0,a3(k)=1,則對(duì)于n>k,a1(n)=0，a2(n)=0,a3(n)=1,即從狀態(tài)3不會(huì)轉(zhuǎn)移到其它狀態(tài)。狀態(tài)與狀態(tài)轉(zhuǎn)移00150

0.12930.0326

0.8381

第二百七十頁，共二百八十七頁，編輯于2023年，星期一馬氏鏈的基本方程基本方程第二百七十一頁，共二百八十七頁，編輯于2023年，星期一馬氏鏈的兩個(gè)重要類型1.正則鏈

~從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)另外任一狀態(tài)（如例1）。w~穩(wěn)態(tài)概率第二百七十二頁，共二百八十七頁，編輯于2023年，星期一馬氏鏈的兩個(gè)重要類型2.吸收鏈

~存在吸收狀態(tài)（一旦到達(dá)就不會(huì)離開的狀態(tài)i,pii=1）,且從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)吸收狀態(tài)（如例2）。第二百七十三頁，共二百八十七頁，編輯于2023年，星期一6.3鋼琴銷售的存貯策略

鋼琴銷售量很小，商店的庫存量不大以免積壓資金一家商店根據(jù)經(jīng)驗(yàn)估計(jì)，平均每周的鋼琴需求為1架存貯策略：每周末檢查庫存量，僅當(dāng)庫存量為零時(shí)，才訂購3架供下周銷售；否則，不訂購。估計(jì)在這種策略下失去銷售機(jī)會(huì)的可能性有多大，以及每周的平均銷售量是多少。背景與問題第二百七十四頁，共二百八十七頁，編輯于2023年，星期一問題分析

顧