應(yīng)用隨機(jī)過(guò)程課件

1、應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,Application of Stochastic Processes,應(yīng)用數(shù)學(xué)系,應(yīng)用隨機(jī)過(guò)程,成功的道路并不擁擠，,的人并不是很多。,因?yàn)閳?jiān)持到最后,應(yīng)用隨機(jī)過(guò)程,教材 應(yīng)用隨機(jī)過(guò)程,主要教學(xué)參考書,張波 張景肖 編 中國(guó)人民大學(xué) 出版社,應(yīng)用隨機(jī)過(guò)程,參考書,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,第1章 預(yù)備知識(shí),1.1 概率空間,在自然界和人類的活動(dòng)中經(jīng)常遇到各種各樣的現(xiàn)象，大體上分為兩類：必然現(xiàn)象和隨機(jī)現(xiàn)象 。,具有隨機(jī)性的現(xiàn)象隨機(jī)現(xiàn)象,對(duì)隨機(jī)現(xiàn)象的觀察或?yàn)橛^察而進(jìn)行的實(shí)驗(yàn),隨機(jī)試驗(yàn),隨機(jī)試驗(yàn)的結(jié)果,基本事件或樣本點(diǎn)。,所有可能的結(jié)果稱為樣本空間。,A

2、稱為事件。,（有3個(gè)特征）,應(yīng)用隨機(jī)過(guò)程,事件的性質(zhì) 假設(shè)A,B,C是任意事件，則他們滿足：,(1)交換律,(2)結(jié)合律,(3)分配律,(4)對(duì)偶原則 (De Morgan律),應(yīng)用隨機(jī)過(guò)程,定義1.1,應(yīng)用隨機(jī)過(guò)程,性質(zhì) 假,應(yīng)用隨機(jī)過(guò)程,例1.1,例1.2,例1.3,應(yīng)用隨機(jī)過(guò)程,隨機(jī)試驗(yàn): 擲一枚骰子，觀察出現(xiàn)的點(diǎn)數(shù)，,思考題：,應(yīng)用隨機(jī)過(guò)程,定義1.2,結(jié)論：,應(yīng)用隨機(jī)過(guò)程,定義1.3,應(yīng)用隨機(jī)過(guò)程,定義1.4,應(yīng)用隨機(jī)過(guò)程,例1.1：,應(yīng)用隨機(jī)過(guò)程,概率的基本性質(zhì),單調(diào)性,次可列可加性,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,事件列極限1：,結(jié)論：,應(yīng)用隨機(jī)過(guò)程,定理：,具體情況：,應(yīng)用隨機(jī)過(guò)程

3、,事件列極限2：,定義1.5, 的下極限, 的上極限,應(yīng)用隨機(jī)過(guò)程,例1.2：,關(guān)系：,含義：,應(yīng)用隨機(jī)過(guò)程,例1.3：,應(yīng)用隨機(jī)過(guò)程,1.2 隨機(jī)變量和分布函數(shù),隨機(jī)變量：,用實(shí)數(shù)來(lái)表示隨機(jī)實(shí)驗(yàn)的各種結(jié)果.,定義1.6,關(guān)于隨機(jī)變量的幾點(diǎn)說(shuō)明：,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,定理1.1：,應(yīng)用隨機(jī)過(guò)程,定義1.7,分布函數(shù)的含義：,分布函數(shù) 的性質(zhì)：,應(yīng)用隨機(jī)過(guò)程,隨機(jī)變量的類型：,離散型：,連續(xù)型：,多維隨機(jī)變量：, d維隨機(jī)向量,應(yīng)用隨機(jī)過(guò)程,多維隨機(jī)變量聯(lián)合分布函數(shù)：,性質(zhì)：,應(yīng)用隨機(jī)過(guò)程,一些常見(jiàn)的分布：,1.離散均勻分布：,分布列：,2.二項(xiàng)分布：,分布列：,3.幾何分布：,分布列：

4、,應(yīng)用隨機(jī)過(guò)程,4.Poisson分布：,分布列：,_參數(shù)為 的 Poisson分布,5.均勻分布：,6.正態(tài)分布：,應(yīng)用隨機(jī)過(guò)程,7. 分布：,函數(shù)的性質(zhì)：,應(yīng)用隨機(jī)過(guò)程,8.指數(shù)分布：,9. 分布：,10.d維正態(tài)分布：（略）,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,1.3 數(shù)字特征、矩母函數(shù)與特征函數(shù),一、數(shù)字特征,定義1.8：, X的一階矩,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,二、Rieman-Stieltjes 積分,Rieman-Stieltjes 積分：,應(yīng)用隨機(jī)過(guò)程,注：,應(yīng)用隨機(jī)過(guò)程,R-S 積分性質(zhì)：, 可加性,注：,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,四、矩母函數(shù)與特征函數(shù),1. 矩母函數(shù)（mome

5、nt generating function ),定義1.9：,應(yīng)用隨機(jī)過(guò)程,矩母函數(shù)的性質(zhì)：,應(yīng)用隨機(jī)過(guò)程,2. 特征函數(shù)（characteristic function ),復(fù)隨機(jī)變量,定義1.10：,復(fù)隨機(jī)變量的數(shù)學(xué)期望,應(yīng)用隨機(jī)過(guò)程,特征函數(shù)的性質(zhì)：,有界性,共軛對(duì)稱性,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,例3.1：,例3.2：,例3.3：,例3.4：,例3.5：,應(yīng)用隨機(jī)過(guò)程,作業(yè)題：,應(yīng)用隨機(jī)過(guò)程,1.4 條件概率 條件期望 獨(dú)立性,一、條件概率,1. 定義：,1. 基本公式,定理1:(乘法公式),應(yīng)用隨機(jī)過(guò)程,定理2: (全概率公式),定理3: (Bayes公式),應(yīng)用隨機(jī)過(guò)程,二、獨(dú)立

6、性,1. 定義：,應(yīng)用隨機(jī)過(guò)程,注1：兩兩獨(dú)立并不包含獨(dú)立性。,例：,應(yīng)用隨機(jī)過(guò)程,注2,我們有,應(yīng)用隨機(jī)過(guò)程,2. 獨(dú)立性的性質(zhì)：,定理4：,推論1：,推論2：,應(yīng)用隨機(jī)過(guò)程,定理5：,應(yīng)用隨機(jī)過(guò)程,定理6：,應(yīng)用隨機(jī)過(guò)程,四、條件期望,1. 邊緣分布,稱X,Y獨(dú)立.,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,2. 條件分布函數(shù),應(yīng)用隨機(jī)過(guò)程,3. 條件數(shù)學(xué)期望,異同：,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,定義：,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,定理：,例2：,應(yīng)用隨機(jī)過(guò)程,五、獨(dú)立隨機(jī)變量和的分布卷積公式, 稱為 的卷積,應(yīng)用隨機(jī)過(guò)程,注：,結(jié)合律,分配律,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,應(yīng)

7、用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,第2章 隨機(jī)過(guò)程的基本 概念和基本類型,2.1 基本概念,在概率論中，我們研究了隨機(jī)變量，,維隨機(jī)向量。,在極限定理中，我們研究了無(wú)窮多個(gè)隨機(jī)變量，,但局限,在它們相互獨(dú)立的情形。,將上述情形加以推廣，,即研究,一族無(wú)窮多個(gè)、相互有關(guān)的隨機(jī)變量，,這就是隨機(jī)過(guò)程。,定義2.1：,設(shè),是一概率空間，,對(duì)每一個(gè)參數(shù),，,是一定義在概率空間,上的隨機(jī),變量，,則稱隨機(jī)變量族,為該概率,空間上的一隨機(jī)過(guò)程。,稱為參數(shù)集。,應(yīng)用隨機(jī)過(guò)程,隨機(jī)過(guò)程的兩種描述方法：,用映射表示,即,是一定義在,上的二元單值函數(shù)，,固定,是一定義在樣本空間,

8、上的函數(shù)，,即為一隨機(jī)變量；,對(duì)于固定的,是一個(gè),關(guān)于參數(shù),的函數(shù)，,或稱隨機(jī),過(guò)程的一次實(shí)現(xiàn)。,記號(hào),通常稱為樣本函數(shù)，,有時(shí)記為,或簡(jiǎn)記為,參數(shù),一般表示時(shí)間或空間。,參數(shù)常用的一般有：,應(yīng)用隨機(jī)過(guò)程,(1),(2),(3),當(dāng)參數(shù)取可列集時(shí)，,一般稱隨機(jī)過(guò)程為隨機(jī)序列。,隨機(jī)過(guò)程,可能取值的全體所構(gòu)成的集合,稱為此隨機(jī)過(guò)程的狀態(tài)空間，記作S.,S中的元素,稱為狀態(tài)。狀態(tài)空間可以由復(fù)數(shù)、實(shí)數(shù)或更一般的,抽象空間構(gòu)成。,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,隨機(jī)過(guò)程分為以下四類：,(1)離散參數(shù)離散型隨機(jī)過(guò)程；,(2)連續(xù)參數(shù)離散型隨機(jī)過(guò)程；,(3)連續(xù)參數(shù)連續(xù)型隨機(jī)過(guò)程；,(4)離散參數(shù)連續(xù)型隨機(jī)過(guò)

9、程。,應(yīng)用隨機(jī)過(guò)程,以隨機(jī)過(guò)程的統(tǒng)計(jì)特征或概率特征的分類，一般有：,獨(dú)立增量過(guò)程；,Markov過(guò)程；,二階矩過(guò)程；,平穩(wěn)過(guò)程；,更新過(guò)程；,Poission過(guò)程；,維納過(guò)程。,鞅；,應(yīng)用隨機(jī)過(guò)程,隨機(jī)過(guò)程舉例,例2.1,例2.2,拋擲一枚硬幣，樣本空間為,定義：,隨機(jī)過(guò)程。,應(yīng)用隨機(jī)過(guò)程,例2.3,應(yīng)用隨機(jī)過(guò)程,2.2 有限維分布與Kolmogvrov定理,一、隨機(jī)過(guò)程的分布函數(shù),1. 一維分布函數(shù),應(yīng)用隨機(jī)過(guò)程,2. 二維分布函數(shù),應(yīng)用隨機(jī)過(guò)程,3. n維分布函數(shù),應(yīng)用隨機(jī)過(guò)程,4. 有限維分布族,稱為有限維分布族,5. 有限維分布族的性質(zhì),(1) 對(duì)稱性,應(yīng)用隨機(jī)過(guò)程,(2) 相容性,注

10、1：隨機(jī)過(guò)程的統(tǒng)計(jì)特性完全由它的有限維分 布族決定。,注2：有限維分布族與有限維特征函數(shù)族相互唯 一確定。,問(wèn)題：,一個(gè)隨機(jī)過(guò)程,是否描述了該過(guò)程的全部概率特性？,的有限維分布族，,應(yīng)用隨機(jī)過(guò)程,定理：（Kolmogorov存在性定理）,設(shè)分布函數(shù)族,滿足以上提到的對(duì)稱性和相容性，,則必有一隨機(jī)過(guò)程,恰好是,的有限維分布族，即：,定理說(shuō)明：,的有限維分布族包含了,的所有概率信息。,應(yīng)用隨機(jī)過(guò)程,例2.4,應(yīng)用隨機(jī)過(guò)程,例2.5,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,二、隨機(jī)過(guò)程的數(shù)字特征,1. 均值函數(shù),隨機(jī)過(guò)程,（假設(shè)是存在的）,的均值函數(shù)定義為：,2. 方差函數(shù),隨機(jī)過(guò)程,的方差函數(shù)定義為：,應(yīng)用隨

11、機(jī)過(guò)程,3. (自)協(xié)方差函數(shù),應(yīng)用隨機(jī)過(guò)程,4. (自)相關(guān)函數(shù),應(yīng)用隨機(jī)過(guò)程,5. (互)協(xié)方差函數(shù),6. 互相關(guān)函數(shù),應(yīng)用隨機(jī)過(guò)程,7. 互不相關(guān),8. 特征函數(shù),為隨機(jī)過(guò)程,的有限維特征函數(shù)族。,記：,應(yīng)用隨機(jī)過(guò)程,例2.6,例2.7,應(yīng)用隨機(jī)過(guò)程,作業(yè)1,應(yīng)用隨機(jī)過(guò)程,2.3 隨機(jī)過(guò)程的基本類型,一、嚴(yán)平穩(wěn)過(guò)程,定義1：,應(yīng)用隨機(jī)過(guò)程,二、嚴(yán)平穩(wěn)過(guò)程的特點(diǎn),則,應(yīng)用隨機(jī)過(guò)程,三、寬平穩(wěn)過(guò)程,(簡(jiǎn)稱平穩(wěn)過(guò)程),定義2：,應(yīng)用隨機(jī)過(guò)程,注1：,注2：,應(yīng)用隨機(jī)過(guò)程,例2.8,例2.9,應(yīng)用隨機(jī)過(guò)程,四、平穩(wěn)過(guò)程相關(guān)函數(shù)的性質(zhì),性質(zhì)1：,性質(zhì)2：,結(jié)論：,性質(zhì)3：,應(yīng)用隨機(jī)過(guò)程,性質(zhì)4：,

12、注：,應(yīng)用隨機(jī)過(guò)程,定義：,注：,性質(zhì)5：,性質(zhì)6：,性質(zhì)7：,應(yīng)用隨機(jī)過(guò)程,性質(zhì)8：,性質(zhì)9：,例2.10：,應(yīng)用隨機(jī)過(guò)程,五、獨(dú)立增量過(guò)程,定義1,例2.11：,應(yīng)用隨機(jī)過(guò)程,定義2,應(yīng)用隨機(jī)過(guò)程,六、遍歷性定理,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,定義1:,應(yīng)用隨機(jī)過(guò)程,定義2:,應(yīng)用隨機(jī)過(guò)程,例2.12:,應(yīng)用隨機(jī)過(guò)程,例2.13:,應(yīng)用隨機(jī)過(guò)程,定理2.2: (均值遍歷性定理),應(yīng)用隨機(jī)過(guò)程,推論2.1:,推論2.2:,應(yīng)用隨機(jī)過(guò)程,定理2.2: (協(xié)方差函數(shù)遍歷性定理),應(yīng)用隨機(jī)過(guò)程,作業(yè)1:,作業(yè)2: 書第二章 習(xí)題2.6.,作業(yè)3:,應(yīng)用隨機(jī)過(guò)程,第3章 Poisson過(guò)

13、程,3.1 Poisson過(guò)程,定義3.1：,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,Poission過(guò)程是計(jì)數(shù)過(guò)程，而且是一類最重要、應(yīng)用廣泛的計(jì)數(shù)過(guò)程，它最早于1837年由法國(guó)數(shù)學(xué)家Poission引入。,應(yīng)用隨機(jī)過(guò)程,定義3.2：,應(yīng)用隨機(jī)過(guò)程,例3.1：,解：見(jiàn)板書。,應(yīng)用隨機(jī)過(guò)程,定義3.2:,一計(jì)數(shù)過(guò)程,是獨(dú)立增量及平穩(wěn)增量過(guò)程，即任取,相互獨(dú)立；,應(yīng)用隨機(jī)過(guò)程,定義3.2的解釋:,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,定理3.1:,由增量平穩(wěn)性，記：,（I）,情形：因?yàn)?我們有：,另一方面,應(yīng)用隨機(jī)過(guò)程,代入上式，我們有：,令,我們有：,（II）,情形：因?yàn)椋?應(yīng)用隨機(jī)過(guò)程,故有：,化簡(jiǎn)并令,得：,兩

14、邊同乘以,，移項(xiàng)后有：,當(dāng),時(shí)，有：,應(yīng)用隨機(jī)過(guò)程,由歸納法可得：,注意：,因此,代表單位時(shí)間內(nèi)事件,出現(xiàn)的平均次數(shù)。,應(yīng)用隨機(jī)過(guò)程,由歸納法可得：,注意：,因此,代表單位時(shí)間內(nèi)事件,出現(xiàn)的平均次數(shù)。,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,例3.2：,應(yīng)用隨機(jī)過(guò)程,例3.3：,應(yīng)用隨機(jī)過(guò)程,例3.4：,應(yīng)用隨機(jī)過(guò)程,作業(yè)1：,作業(yè)2：書第三章習(xí)題3.5,3.6,3.10,應(yīng)用隨機(jī)過(guò)程,3.2 Poisson過(guò)程相聯(lián)系的若干分布,應(yīng)用隨機(jī)過(guò)程,復(fù)習(xí)：1.指數(shù)分布,2.無(wú)記憶性,應(yīng)用隨機(jī)過(guò)程,定理3.2：,結(jié)論：,應(yīng)用隨機(jī)過(guò)程,定義3.3：,注：,應(yīng)用隨機(jī)過(guò)程,例3.5: (見(jiàn)書例3.4),應(yīng)用隨機(jī)過(guò)程,例

15、3.6:,應(yīng)用隨機(jī)過(guò)程,定理3.3：,證明：見(jiàn)板書。,應(yīng)用隨機(jī)過(guò)程,引理：,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,原因：,注：,應(yīng)用隨機(jī)過(guò)程,定理3.4：,應(yīng)用隨機(jī)過(guò)程,例3.7: (見(jiàn)書例3.5),應(yīng)用隨機(jī)過(guò)程,例3.8: (見(jiàn)書例3.6),應(yīng)用隨機(jī)過(guò)程,3.3 Poisson過(guò)程的推廣,一、非齊次Poisson過(guò)程,應(yīng)用隨機(jī)過(guò)程,定義3.4:,過(guò)程有獨(dú)立增量；,應(yīng)用隨機(jī)過(guò)程,定義3.5：,注2:定義3.4與定義3.5是等價(jià)的。,注1:我們稱m(t)為非齊次poisson過(guò)程的均值或強(qiáng)度。,應(yīng)用隨機(jī)過(guò)程,定理3.5：,注3:用此定理可以簡(jiǎn)化非齊次Poisson過(guò)程的問(wèn)題 到齊次Poisson過(guò)程中進(jìn)行

16、討論。另一方面也可以 進(jìn)行反方向的操作，即從一個(gè)參數(shù)為 的Poisson 構(gòu)造一個(gè)強(qiáng)度函數(shù)為 的非齊次Poisson過(guò)程。,定理3.5：,（一般了解）,應(yīng)用隨機(jī)過(guò)程,例3.9: (見(jiàn)書例3.7),應(yīng)用隨機(jī)過(guò)程,二、復(fù)合Poisson過(guò)程,定義3.6:,物理意義:,如,表示粒子流，,應(yīng)用隨機(jī)過(guò)程,例3.10: (見(jiàn)書例3.8),應(yīng)用隨機(jī)過(guò)程,例3.11: (見(jiàn)書例3.9 顧客成批到達(dá)的排隊(duì)系統(tǒng)),應(yīng)用隨機(jī)過(guò)程,定理3.6：,應(yīng)用隨機(jī)過(guò)程,例3.12:（見(jiàn)書例3.10）,應(yīng)用隨機(jī)過(guò)程,作業(yè)1:,作業(yè)2:,參考 例3.12:（見(jiàn)書例3.10）,作業(yè)3: 見(jiàn)書習(xí)題3.12,應(yīng)用隨機(jī)過(guò)程,第5章 Mar

17、kov過(guò)程,5.1 基本概念,直觀意義：,1 . Markov鏈的定義,應(yīng)用隨機(jī)過(guò)程,定義5.1：,應(yīng)用隨機(jī)過(guò)程,定義5.2：,定義5.3：,2 . 轉(zhuǎn)移概率,應(yīng)用隨機(jī)過(guò)程,注：有定義5.1知,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,轉(zhuǎn)移矩陣的性質(zhì)：,定義5.4：,應(yīng)用隨機(jī)過(guò)程,2 . Markov鏈的例子,帶有一個(gè)吸收壁的隨機(jī)游動(dòng)：,特點(diǎn)：,當(dāng),就停留在零狀態(tài)。,此時(shí),是一齊次馬氏鏈，其狀態(tài)空間為,，一步轉(zhuǎn)移概率為：,注意；,狀態(tài)為馬氏鏈的吸收狀態(tài)的充要條件是：,例5.1：,應(yīng)用隨機(jī)過(guò)程,帶有兩個(gè)吸收壁的隨機(jī)游動(dòng)：,此時(shí),是一齊次馬氏鏈,狀態(tài)空間為,為兩個(gè)吸收狀態(tài),它的一步轉(zhuǎn)移,概率為：,例5.2：,應(yīng)

18、用隨機(jī)過(guò)程,它的一步轉(zhuǎn)移概率矩陣為：,應(yīng)用隨機(jī)過(guò)程,特點(diǎn)：,概率為：,例5.3：,帶有一個(gè)反射壁的隨機(jī)游動(dòng)：,一旦質(zhì)點(diǎn)進(jìn)入零狀態(tài)，下一步它以概率,向右移動(dòng)一格，,以概率,停留在零狀態(tài)。,此時(shí)的狀態(tài)空間為,它的一步轉(zhuǎn)移,應(yīng)用隨機(jī)過(guò)程,例5.4：,應(yīng)用隨機(jī)過(guò)程,例5.5：,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,4. n步轉(zhuǎn)移概率 C-K方程,定義5.5（n步轉(zhuǎn)移概率）,應(yīng)用隨機(jī)過(guò)程,定理5.1: (Chapman-Kolmogorov方程，簡(jiǎn)稱C-K方程),應(yīng)用隨機(jī)過(guò)程,例5.6：,應(yīng)用隨機(jī)過(guò)程,例5.7: (隱Markov模型）,或者為正面或者為反面.在任何給定時(shí)刻只有一枚硬,呈現(xiàn)，但是有時(shí)硬幣可能被替換

19、而不改變其正反面.,硬幣M和W分別具有轉(zhuǎn)移概率,在任何給定時(shí)刻硬幣被替換的概率為30%,替換完成時(shí)，,硬幣的狀態(tài)不變. 這一Markov鏈有4個(gè)狀態(tài)，分別 記為1:UM; 2:DM; 3:UW; 4:DW.狀態(tài)1、3表示正面 U,狀態(tài)2、4表示反面D轉(zhuǎn)移矩陣為4X4的矩陣.我們,應(yīng)用隨機(jī)過(guò)程,可以計(jì)算轉(zhuǎn)移概率,比如,首先,(無(wú)轉(zhuǎn)移),而后,(無(wú)轉(zhuǎn)移).因此轉(zhuǎn)移概率為,其他轉(zhuǎn)移概率類似可得，轉(zhuǎn)移方式為,轉(zhuǎn)移概率矩陣為,應(yīng)用隨機(jī)過(guò)程,例5.8:,應(yīng)用隨機(jī)過(guò)程,例5.9:,應(yīng)用隨機(jī)過(guò)程,帶有兩個(gè)反射壁的隨機(jī)游動(dòng)：,此時(shí),是一齊次馬氏鏈,狀態(tài)空間為,為兩個(gè)反射狀態(tài),求它的一步轉(zhuǎn),移概率。,作業(yè)1：,應(yīng)

20、用隨機(jī)過(guò)程,作業(yè)2:,應(yīng)用隨機(jī)過(guò)程,5.3 狀態(tài)的分類及性質(zhì),引入：,應(yīng)用隨機(jī)過(guò)程,定義5.7,注：,定理5.3：,應(yīng)用隨機(jī)過(guò)程,注：,定義5.8:,例1：,應(yīng)用隨機(jī)過(guò)程,定義5.9 (周期性),規(guī)定：,例2 (書5.14),注1：,注2：,應(yīng)用隨機(jī)過(guò)程,定理5.4：,證明：板書。,注: 當(dāng)兩個(gè)狀態(tài)的周期相同時(shí)，有時(shí)其狀態(tài)之間 有顯著差異。,如：,應(yīng)用隨機(jī)過(guò)程,定義5.10: (常返性),應(yīng)用隨機(jī)過(guò)程,注2：,注3：,注1：,應(yīng)用隨機(jī)過(guò)程,例3,定義5.11,應(yīng)用隨機(jī)過(guò)程,例4,應(yīng)用隨機(jī)過(guò)程,引理5.1 （ ）,應(yīng)用隨機(jī)過(guò)程,定理5.5,應(yīng)用隨機(jī)過(guò)程,引理5.2,定理5.6,應(yīng)用隨機(jī)過(guò)程,作業(yè)

21、1：,應(yīng)用隨機(jī)過(guò)程,思考題：,應(yīng)用隨機(jī)過(guò)程,定理5.5,應(yīng)用隨機(jī)過(guò)程,引理5.2,定理5.6,應(yīng)用隨機(jī)過(guò)程,閉集及狀態(tài)空間的分解定理,閉集：,應(yīng)用隨機(jī)過(guò)程,相關(guān)性質(zhì)：,任何兩個(gè)狀態(tài)均互通,所有常返態(tài)構(gòu)成一個(gè)閉集,在不可約馬氏鏈中,所有狀態(tài)具有相同的狀態(tài) 類型.,應(yīng)用隨機(jī)過(guò)程,狀態(tài)空間分解定理：,定理5.7：,應(yīng)用隨機(jī)過(guò)程,例5,應(yīng)用隨機(jī)過(guò)程,例6：,應(yīng)用隨機(jī)過(guò)程,作業(yè)1：,應(yīng)用隨機(jī)過(guò)程,周期鏈分解定理：,定理5.8：,應(yīng)用隨機(jī)過(guò)程,例7:,應(yīng)用隨機(jī)過(guò)程,5.4 極限理論與不變分布,5.4.1 極限理論,應(yīng)用隨機(jī)過(guò)程,例8（書例5.17）(0-1傳輸系統(tǒng)）,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,211,應(yīng)

22、用隨機(jī)過(guò)程,212,對(duì)d的非整數(shù)倍數(shù)的n，,i是零常返的,應(yīng)用隨機(jī)過(guò)程,213,(2), i是遍歷的，d=1，i ，,子序列,所以d=1，從而i為非周期的，i是遍歷的,應(yīng)用隨機(jī)過(guò)程,定理5.10,結(jié)論：,應(yīng)用隨機(jī)過(guò)程,應(yīng)用隨機(jī)過(guò)程,(a)所有非常返狀態(tài)組成的集合不可能是閉集;,(b)沒(méi)有零常返狀態(tài);,(c)必有正常返狀態(tài);,(d)不可約有限馬氏鏈只有正常返態(tài);,(e)狀態(tài)空間可以分解為:,其中：每個(gè),均是由正常返狀態(tài),組成的有限不可約閉集，,是非常返態(tài)集。,應(yīng)用隨機(jī)過(guò)程,217,注1： 有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)， 也不可能含有零常返狀態(tài)，從而不可約的有限狀態(tài) 的馬氏鏈必為正常返的

23、。,證 設(shè)S=0,1,N，如S全是非常返狀態(tài)，則對(duì)任意 i, jI，知,故,矛盾。,如S含有零常返狀態(tài) i，則C=j:ij是有限不可約閉集,，由定理知，C中均為零常返狀態(tài)，知,應(yīng)用隨機(jī)過(guò)程,218,由引理知,所以,應(yīng)用隨機(jī)過(guò)程,219,注2: 如馬氏鏈有一個(gè)零常返狀態(tài)，則必有無(wú)限多個(gè),證 設(shè)i為零常返狀態(tài)，則C=j:ij是不可約閉集，C,中均為零常返狀態(tài)，故C不能是有限集。否則,零常返狀態(tài)。,應(yīng)用隨機(jī)過(guò)程,220,稱概率分布j , jI為馬爾可夫鏈,的平穩(wěn)分布（不變分布），若,5.4.2 平穩(wěn)分布 (不變分布)與極限分布,定義5.12,一、平穩(wěn)分布 (不變分布),應(yīng)用隨機(jī)過(guò)程,221,注：,(

24、1) 若初始概率分布 pj , jI 是平穩(wěn)分布，則,(2) 對(duì)平穩(wěn)分布j , jI，有,矩陣形式 = 其中 =(j)， ( ),pj = pj(1)= pj(2) = = pj(n),應(yīng)用隨機(jī)過(guò)程,222,二、遍歷性的概念與極限分布,對(duì)于一般的兩個(gè)狀態(tài)的馬氏鏈, 由上節(jié)內(nèi)容可知,意義,對(duì)固定的狀態(tài)j,不管鏈在某一時(shí)刻的什么狀,態(tài) i出發(fā), 通過(guò)長(zhǎng)時(shí)間的轉(zhuǎn)移到達(dá)狀態(tài) j 的概率都趨,應(yīng)用隨機(jī)過(guò)程,定義5.13,應(yīng)用隨機(jī)過(guò)程,224,或定義,則稱此鏈具有遍歷性.,應(yīng)用隨機(jī)過(guò)程,定理5.13,應(yīng)用隨機(jī)過(guò)程,226,定理 不可約非周期馬爾可夫鏈?zhǔn)钦７档某湟獥l件 是存在平穩(wěn)分布，且此平穩(wěn)分布就是極限

25、分布,應(yīng)用隨機(jī)過(guò)程,227,推論3 若j , jI是馬爾可夫鏈的平穩(wěn)分布，則,所取的值與初始狀態(tài)的分布無(wú)關(guān)。,證：由于：,故,應(yīng)用隨機(jī)過(guò)程,228,即，經(jīng)過(guò)無(wú)窮次轉(zhuǎn)移后處于,狀態(tài)的概率與初始,狀態(tài)無(wú)關(guān)，與初始狀態(tài)的分布也無(wú)關(guān)。,應(yīng)用隨機(jī)過(guò)程,229,解 因?yàn)轳R爾可夫鏈?zhǔn)遣豢杉s非周期有限,狀態(tài)的，所以平穩(wěn)分布存在，設(shè),則 = P，1+2+3=1. 即,各狀態(tài)的平均返回時(shí)間為, =(1, 2, 3 ),應(yīng)用隨機(jī)過(guò)程,230,例2 設(shè)馬爾可夫鏈轉(zhuǎn)移概率矩陣為,求每一個(gè)不可約閉集的平穩(wěn)分布。,應(yīng)用隨機(jī)過(guò)程,231,解 從狀態(tài)轉(zhuǎn)移圖看出，狀態(tài)空間可分解為,兩個(gè)不可約常返閉集 C1=2,3,4 和 C2=

26、5,6,7，,一個(gè)非常返集 N=1。,在常返集上求平穩(wěn)分布：,應(yīng)用隨機(jī)過(guò)程,232,在C1上，對(duì)應(yīng)的轉(zhuǎn)移概率矩陣為,C1上的平穩(wěn)分布為：0, 0.4, 0.2, 0.4, 0, 0, 0,同理可求得 C2 上的平穩(wěn)分布為,0, 0, 0, 0, 1/3, 1/3, 1/3,應(yīng)用隨機(jī)過(guò)程,233,三、(有限鏈)遍歷性的充分條件,應(yīng)用隨機(jī)過(guò)程,234,說(shuō)明,2. 極限分布轉(zhuǎn)化為了求解方程組.,3. 在定理的條件下馬氏鏈的極限分布是平穩(wěn)分布.,應(yīng)用隨機(jī)過(guò)程,235,試說(shuō)明帶有兩個(gè)反射壁的隨機(jī)游動(dòng)是遍歷的, 并求其極限分布(平穩(wěn)分布).,解,例3,四、應(yīng)用舉例,應(yīng)用隨機(jī)過(guò)程,236,無(wú)零元,鏈?zhǔn)潜闅v的

27、,應(yīng)用隨機(jī)過(guò)程,237,代入最后一個(gè)方程 (歸一條件), 得唯一解,應(yīng)用隨機(jī)過(guò)程,238,所以極限分布為,這個(gè)分布表明,經(jīng)過(guò)長(zhǎng)時(shí)間游動(dòng)之后, 醉漢 Q 位于點(diǎn) 2 (或 3 或 4 ) 的概率約為 3/11, 位于點(diǎn) 1 (或 5) 的概率約為 1/11.,應(yīng)用隨機(jī)過(guò)程,239,設(shè)一馬氏鏈的一步轉(zhuǎn)移概率陣為,試討論它的遍歷性.,解,例4,應(yīng)用隨機(jī)過(guò)程,240,表明,此鏈不具遍歷性.,應(yīng)用隨機(jī)過(guò)程,241,五、小結(jié),遍歷性的概念,則稱此鏈具有遍歷性.,應(yīng)用隨機(jī)過(guò)程,242,(有限鏈) 遍歷性的充分條件,應(yīng)用隨機(jī)過(guò)程,作業(yè)1：,作業(yè)2：書習(xí)題5.7,應(yīng)用隨機(jī)過(guò)程,244,第七節(jié) 連續(xù)時(shí)間馬爾可夫鏈

28、,定義7.1 設(shè)隨機(jī)過(guò)程X(t)，t 0 ，狀態(tài)空間,及非負(fù)整數(shù) i1,i2, ,in+1 ，有,PX(tn+1)=in+1|X(t1)=i1, X(t2)=i2, X(tn)=in,則稱X(t)，t 0 為連續(xù)時(shí)間馬爾可夫鏈。,I=0,1,2,，若對(duì)任意,0t1 t2tn+1,=PX(tn+1)=in+1|X(tn)=in，,應(yīng)用隨機(jī)過(guò)程,245,轉(zhuǎn)移概率：在s時(shí)刻處于狀態(tài)i，經(jīng)過(guò)時(shí)間t后,轉(zhuǎn)移到狀態(tài)j的概率,pij(s,t)= PX(s+t)=j|X(s)=i,定義7.2 齊次轉(zhuǎn)移概率(與起始時(shí)刻 s 無(wú)關(guān)，只,與時(shí)間間隔 t 有關(guān)),pij(s,t)=pij(t),此時(shí)有轉(zhuǎn)移概率矩陣P(

29、t)=(pij(t) ，i, jI，t 0.,應(yīng)用隨機(jī)過(guò)程,246,記 i 為過(guò)程在狀態(tài)轉(zhuǎn)移之前停留在狀態(tài)i的時(shí)間，,則對(duì)s, t 0 有,(1),(2) i 服從指數(shù)分布,證：(1) 事實(shí)上,應(yīng)用隨機(jī)過(guò)程,247,應(yīng)用隨機(jī)過(guò)程,248,(2) 設(shè)i的分布函數(shù)為F(x), (x0),則生存函數(shù),由此可推出G(x)為指數(shù)函數(shù)，G(x)=e-x,則F(x)=1-G(x)=1- e-x為指數(shù)分布函數(shù)。,G(x)=1-F(x),應(yīng)用隨機(jī)過(guò)程,249,過(guò)程在狀態(tài)轉(zhuǎn)移之前處于狀態(tài)i的時(shí)間i服從指數(shù)分布 (1)當(dāng)i=時(shí)， 狀態(tài)i的停留時(shí)間i 超過(guò)x的概率為0，則稱狀態(tài)i為瞬時(shí)狀態(tài)； (2)當(dāng)i=0時(shí)， 狀態(tài)

30、i的停留時(shí)間i 超過(guò)x的概率為1，則稱狀態(tài)i為吸收狀態(tài)。,應(yīng)用隨機(jī)過(guò)程,250,定理7.1 齊次馬爾可夫過(guò)程的轉(zhuǎn)移概率具有下列性質(zhì)： (1) pij(t)0; (2) (3) 證 由概率的定義，(1)(2)顯然成立，下證(3),應(yīng)用隨機(jī)過(guò)程,251,應(yīng)用隨機(jī)過(guò)程,252,注： 此為轉(zhuǎn)移概率的正則性條件。,應(yīng)用隨機(jī)過(guò)程,253,例1 證明泊松過(guò)程X(t),t0為連續(xù)時(shí)間齊次馬爾可夫鏈。 證 先證泊松過(guò)程的馬爾可夫性。 泊松過(guò)程是獨(dú)立增量過(guò)程，且X(0)=0，對(duì)任意0t1 t2 tn tn+1有,應(yīng)用隨機(jī)過(guò)程,254,另一方面,即泊松過(guò)程是一個(gè)連續(xù)時(shí)間馬爾可夫鏈,應(yīng)用隨機(jī)過(guò)程,255,再證齊次性。

31、當(dāng)ji時(shí)， 當(dāng)ji時(shí),因增量只取非負(fù)整數(shù)值,故 pij(s,t)=0， 所以 轉(zhuǎn)移概率與s無(wú)關(guān)，泊松過(guò)程具有齊次性。,應(yīng)用隨機(jī)過(guò)程,第六節(jié) 馬氏鏈模型,6.1 基本應(yīng)用實(shí)例 6.2 健康與疾病 6.3 鋼琴銷售的存儲(chǔ)策略,應(yīng)用隨機(jī)過(guò)程,馬氏鏈模型,系統(tǒng)在每個(gè)時(shí)期所處的狀態(tài)是隨機(jī)的,從一時(shí)期到下時(shí)期的狀態(tài)按一定概率轉(zhuǎn)移,下時(shí)期狀態(tài)只取決于本時(shí)期狀態(tài)和轉(zhuǎn)移概率 已知現(xiàn)在，將來(lái)與過(guò)去無(wú)關(guān)（無(wú)后效性）,描述一類重要的隨機(jī)動(dòng)態(tài)系統(tǒng)（過(guò)程）的模型,馬氏鏈 (Markov Chain) 時(shí)間、狀態(tài)均為離散的隨機(jī)轉(zhuǎn)移過(guò)程,應(yīng)用隨機(jī)過(guò)程,258,某計(jì)算機(jī)房的一臺(tái)計(jì)算機(jī)經(jīng)常出故障,研究者 每隔15分鐘觀察一次計(jì)算

32、機(jī)運(yùn)行狀態(tài),收集了24小 時(shí)的數(shù)據(jù) (共作97次觀察) . 用1表示正常狀態(tài), 用0 表示不正常狀態(tài), 所得的數(shù)據(jù)序列如下:試求一步轉(zhuǎn)移概率矩陣。,1110010011111110011110111111001111111110001101101,分析,狀態(tài)空間: I=0, 1.,例1,111011011010111101110111101111110011011111100111,6.1 基本應(yīng)用實(shí)例,應(yīng)用隨機(jī)過(guò)程,259,96 次狀態(tài)轉(zhuǎn)移的情況:,因此, 一步轉(zhuǎn)移概率可用頻率近似地表示為:,應(yīng)用隨機(jī)過(guò)程,260,特點(diǎn):,用行向量表示為,一維分布由初始分布和 轉(zhuǎn)移概率矩陣決定,應(yīng)用隨機(jī)過(guò)程,

33、261,由以上討論知,轉(zhuǎn)移概率決定了馬氏鏈的運(yùn)動(dòng)的統(tǒng)計(jì)規(guī)律. 因此, 確定馬氏鏈的任意n步轉(zhuǎn)移概率成為馬氏鏈理論中的重要問(wèn)題之一.,應(yīng)用隨機(jī)過(guò)程,262,設(shè)每一級(jí)的傳真率為 p, 誤碼率為 q=1-p.,設(shè)一個(gè)單位時(shí)間傳輸一級(jí),只傳輸數(shù)字0和1的串聯(lián)系統(tǒng) ( 傳輸系統(tǒng)),如圖:,分析:,例2,應(yīng)用隨機(jī)過(guò)程,263,而與時(shí)刻 n 以前所處的狀態(tài)無(wú)關(guān).,所以它是一個(gè)馬氏鏈, 且是齊次的.,一步轉(zhuǎn)移概率,一步轉(zhuǎn)移概率矩陣,應(yīng)用隨機(jī)過(guò)程,264,在 傳輸系統(tǒng)中,傳輸后的誤碼率;,系統(tǒng)經(jīng) n 級(jí)傳輸后輸出為 1, 問(wèn)原發(fā)字符也是 1 的 概率是多少?,應(yīng)用隨機(jī)過(guò)程,265,解,先求出 n 步轉(zhuǎn)移概率矩陣

34、.,有相異的特征值,所以可將 P 表示成對(duì)角陣,應(yīng)用隨機(jī)過(guò)程,266,傳輸后的誤碼率分別為:,應(yīng)用隨機(jī)過(guò)程,267,(2) 根據(jù)貝葉斯公式, 當(dāng)系統(tǒng)經(jīng) n 級(jí)傳輸后輸出為 1, 原發(fā)字符也是 1 的概率為:,應(yīng)用隨機(jī)過(guò)程,268,說(shuō)明,n步轉(zhuǎn)移概率矩陣為,矩陣一般可表示為:,對(duì)于只有兩個(gè)狀態(tài)的馬氏鏈, 一步轉(zhuǎn)移概率,應(yīng)用隨機(jī)過(guò)程,通過(guò)有實(shí)際背景的例子介紹馬氏鏈的基本概念和性質(zhì),例1. 人的健康狀況分為健康和疾病兩種狀態(tài)，設(shè)對(duì)特定年齡段的人，今年健康、明年保持健康狀態(tài)的概率為0.8, 而今年患病、明年轉(zhuǎn)為健康狀態(tài)的概率為0.7，,6.2 健康與疾病,人的健康狀態(tài)隨著時(shí)間的推移會(huì)隨機(jī)地發(fā)生轉(zhuǎn)變,保

35、險(xiǎn)公司要對(duì)投保人未來(lái)的健康狀態(tài)作出估計(jì), 以制訂保險(xiǎn)金和理賠金的數(shù)額,若某人投保時(shí)健康, 問(wèn)10年后他仍處于健康狀態(tài)的概率,應(yīng)用隨機(jī)過(guò)程,Xn+1只取決于Xn和pij, 與Xn-1, 無(wú)關(guān),狀態(tài)與狀態(tài)轉(zhuǎn)移,狀態(tài)轉(zhuǎn)移具有無(wú)后效性,應(yīng)用隨機(jī)過(guò)程,設(shè)投保時(shí)健康,給定a(0), 預(yù)測(cè) a(n), n=1,2,設(shè)投保時(shí)疾病,n時(shí)狀態(tài)概率趨于穩(wěn)定值，穩(wěn)定值與初始狀態(tài)無(wú)關(guān),狀態(tài)與狀態(tài)轉(zhuǎn)移,應(yīng)用隨機(jī)過(guò)程,例2. 健康和疾病狀態(tài)同上，Xn=1 健康, Xn=2 疾病,p11=0.8, p12=0.18, p13=0.02,死亡為第3種狀態(tài)，記Xn=3,健康與疾病,p21=0.65, p22=0.25, p23=

36、0.1,p31=0, p32=0, p33=1,應(yīng)用隨機(jī)過(guò)程,設(shè)投保時(shí)處于健康狀態(tài)，預(yù)測(cè) a(n), n=1,2,不論初始狀態(tài)如何，最終都要轉(zhuǎn)到狀態(tài)3 ； 一旦a1(k)= a2(k)=0, a3(k)=1, 則對(duì)于nk, a1(n)=0， a2(n)=0, a3(n)=1, 即從狀態(tài)3不會(huì)轉(zhuǎn)移到其它狀態(tài)。,狀態(tài)與狀態(tài)轉(zhuǎn)移,應(yīng)用隨機(jī)過(guò)程,馬氏鏈的基本方程,基本方程,應(yīng)用隨機(jī)過(guò)程,馬氏鏈的兩個(gè)重要類型,1. 正則鏈 從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)另外任一狀態(tài)（如例1）。,w 穩(wěn)態(tài)概率,應(yīng)用隨機(jī)過(guò)程,馬氏鏈的兩個(gè)重要類型,2. 吸收鏈 存在吸收狀態(tài)（一旦到達(dá)就不會(huì)離開的狀態(tài)i, pii=

37、1）,且從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)吸收狀態(tài)（如例2）。,應(yīng)用隨機(jī)過(guò)程,6.3 鋼琴銷售的存貯策略,鋼琴銷售量很小，商店的庫(kù)存量不大以免積壓資金,一家商店根據(jù)經(jīng)驗(yàn)估計(jì)，平均每周的鋼琴需求為1架,存貯策略：每周末檢查庫(kù)存量，僅當(dāng)庫(kù)存量為零時(shí)，才訂購(gòu)3架供下周銷售；否則，不訂購(gòu)。,估計(jì)在這種策略下失去銷售機(jī)會(huì)的可能性有多大，以及每周的平均銷售量是多少。,背景與問(wèn)題,應(yīng)用隨機(jī)過(guò)程,問(wèn)題分析,顧客的到來(lái)相互獨(dú)立，需求量近似服從波松分布，其參數(shù)由需求均值為每周1架確定，由此計(jì)算需求概率,存貯策略是周末庫(kù)存量為零時(shí)訂購(gòu)3架 周末的庫(kù)存量可能是0, 1, 2, 3，周初的庫(kù)存量可能是1, 2, 3。,用馬氏鏈描述不同需求導(dǎo)致的周初庫(kù)存狀態(tài)的變化。,動(dòng)態(tài)過(guò)程中每周銷售量不同，失去銷售機(jī)會(huì)（需求超過(guò)庫(kù)存）的概率不同。,可按穩(wěn)態(tài)情況（時(shí)間充分長(zhǎng)以后）計(jì)算失去銷