應(yīng)用隨機(jī)過程課件

應(yīng)用隨機(jī)過程ApplicationofStochasticProcesses應(yīng)用隨機(jī)過程ApplicationofStochasti1成功的道路并不擁擠，的人并不是很多。因為堅持到最后成功的道路并不擁擠，的人并不是很多。因為堅持到最后2

教材

《應(yīng)用隨機(jī)過程》

主要教學(xué)參考書

張波張景肖編中國人民大學(xué)

出版社教材主要教學(xué)參考書3參考書1.《應(yīng)用隨機(jī)過程》林元烈編著清華大學(xué)出版社2.《隨機(jī)過程》王風(fēng)雨編著北京師范大學(xué)出版社參考書1.《應(yīng)用隨機(jī)過程》林元烈編著清華大學(xué)出版社4前言前言5應(yīng)用隨機(jī)過程課件6

第1章預(yù)備知識1.1概率空間在自然界和人類的活動中經(jīng)常遇到各種各樣的現(xiàn)象，大體上分為兩類：必然現(xiàn)象和隨機(jī)現(xiàn)象。具有隨機(jī)性的現(xiàn)象—隨機(jī)現(xiàn)象對隨機(jī)現(xiàn)象的觀察或為觀察而進(jìn)行的實驗—隨機(jī)試驗隨機(jī)試驗的結(jié)果—基本事件或樣本點。所有可能的結(jié)果稱為樣本空間?！狝稱為事件。（有3個特征）第1章預(yù)備知識1.1概率空間在自然界和人類的7事件的性質(zhì)

假設(shè)A,B,C是任意事件，則他們滿足：(1)交換律(2)結(jié)合律(3)分配律(4)對偶原則(DeMorgan律)事件的性質(zhì)假設(shè)A,B,C是任意事件，則他們滿足：(1)交8定義1.1定義1.19性質(zhì)假性質(zhì)假10例1.1例1.2例1.3例1.1例1.2例1.311隨機(jī)試驗:擲一枚骰子，觀察出現(xiàn)的點數(shù)，思考題：隨機(jī)試驗:擲一枚骰子，觀察出現(xiàn)的點數(shù)，思考題：12定義1.2結(jié)論：定義1.2結(jié)論：13定義1.3定義1.314定義1.4定義1.415例1.1：例1.1：16概率的基本性質(zhì)—單調(diào)性—次可列可加性概率的基本性質(zhì)—單調(diào)性—次可列可加性17應(yīng)用隨機(jī)過程課件18事件列極限1：結(jié)論：事件列極限1：結(jié)論：19定理：具體情況：定理：具體情況：20事件列極限2：定義1.5—的下極限—的上極限事件列極限2：定義1.5—的下極限—的上21例1.2：關(guān)系：含義：例1.2：關(guān)系：含義：22例1.3：例1.3：231.2隨機(jī)變量和分布函數(shù)隨機(jī)變量：用實數(shù)來表示隨機(jī)實驗的各種結(jié)果.定義1.6關(guān)于隨機(jī)變量的幾點說明：1.2隨機(jī)變量和分布函數(shù)隨機(jī)變量：用實數(shù)來表示隨機(jī)實驗的24應(yīng)用隨機(jī)過程課件25定理1.1：定理1.1：26定義1.7分布函數(shù)的含義：分布函數(shù)的性質(zhì)：定義1.7分布函數(shù)的含義：分布函數(shù)的性質(zhì)：27隨機(jī)變量的類型：離散型：連續(xù)型：多維隨機(jī)變量：—d維隨機(jī)向量隨機(jī)變量的類型：離散型：連續(xù)型：多維隨機(jī)變量：—d維隨機(jī)向28多維隨機(jī)變量聯(lián)合分布函數(shù)：性質(zhì)：多維隨機(jī)變量聯(lián)合分布函數(shù)：性質(zhì)：29一些常見的分布：1.離散均勻分布：分布列：2.二項分布：分布列：3.幾何分布：分布列：一些常見的分布：1.離散均勻分布：分布列：2.二項分布：分布304.Poisson分布：分布列：____參數(shù)為的Poisson分布5.均勻分布：6.正態(tài)分布：4.Poisson分布：分布列：____參數(shù)為的317.分布：函數(shù)的性質(zhì)：7.分布：函數(shù)的性質(zhì)：328.指數(shù)分布：9.分布：10.d維正態(tài)分布：（略）8.指數(shù)分布：9.分布：10.d維正態(tài)分布：（略33應(yīng)用隨機(jī)過程課件341.3數(shù)字特征、矩母函數(shù)與特征函數(shù)一、數(shù)字特征定義1.8：——X的一階矩1.3數(shù)字特征、矩母函數(shù)與特征函數(shù)一、數(shù)字特征定義1.835應(yīng)用隨機(jī)過程課件36二、Rieman-Stieltjes積分Rieman-Stieltjes積分：二、Rieman-Stieltjes積分Rieman-St37注：注：38R-S積分性質(zhì)：——可加性注：R-S積分性質(zhì)：——可加性注：39應(yīng)用隨機(jī)過程課件40四、矩母函數(shù)與特征函數(shù)1.矩母函數(shù)（momentgeneratingfunction)定義1.9：四、矩母函數(shù)與特征函數(shù)1.矩母函數(shù)（momentge41矩母函數(shù)的性質(zhì)：矩母函數(shù)的性質(zhì)：422.特征函數(shù)（characteristicfunction)——復(fù)隨機(jī)變量定義1.10：——復(fù)隨機(jī)變量的數(shù)學(xué)期望2.特征函數(shù)（characteristicfuncti43特征函數(shù)的性質(zhì)：——有界性——共軛對稱性特征函數(shù)的性質(zhì)：——有界性——共軛對稱性44應(yīng)用隨機(jī)過程課件45例3.1：例3.2：例3.3：例3.4：例3.5：例3.1：例3.2：例3.3：例3.4：例3.5：46作業(yè)題：作業(yè)題：471.4條件概率條件期望獨立性一、條件概率1.定義：1.基本公式定理1:(乘法公式)1.4條件概率條件期望獨立性一、條件概率1.定義48定理2:(全概率公式)定理3:(Bayes公式)定理2:(全概率公式)定理3:(Bayes公式)49二、獨立性1.定義：二、獨立性1.定義：50注1：兩兩獨立并不包含獨立性。例：注1：兩兩獨立并不包含獨立性。例：51注2我們有注2我們有522.獨立性的性質(zhì)：定理4：推論1：推論2：2.獨立性的性質(zhì)：定理4：推論1：推論2：53定理5：定理5：54定理6：定理6：55四、條件期望1.邊緣分布——稱X,Y獨立.四、條件期望1.邊緣分布——稱X,Y獨立.56應(yīng)用隨機(jī)過程課件572.條件分布函數(shù)2.條件分布函數(shù)583.條件數(shù)學(xué)期望異同：3.條件數(shù)學(xué)期望異同：59應(yīng)用隨機(jī)過程課件60應(yīng)用隨機(jī)過程課件61定義：定義：62應(yīng)用隨機(jī)過程課件63應(yīng)用隨機(jī)過程課件64定理：例2：定理：例2：65五、獨立隨機(jī)變量和的分布——卷積公式——稱為的卷積五、獨立隨機(jī)變量和的分布——卷積公式——稱為66注：——結(jié)合律——分配律注：——結(jié)合律——分配律67應(yīng)用隨機(jī)過程課件68應(yīng)用隨機(jī)過程課件69應(yīng)用隨機(jī)過程課件70應(yīng)用隨機(jī)過程課件71應(yīng)用隨機(jī)過程課件72應(yīng)用隨機(jī)過程課件73

第2章隨機(jī)過程的基本

概念和基本類型2.1基本概念在概率論中，我們研究了隨機(jī)變量，維隨機(jī)向量。

在極限定理中，我們研究了無窮多個隨機(jī)變量，但局限在它們相互獨立的情形。將上述情形加以推廣，即研究一族無窮多個、相互有關(guān)的隨機(jī)變量，這就是隨機(jī)過程。定義2.1：設(shè)是一概率空間，

對每一個參數(shù)，

是一定義在概率空間上的隨機(jī)變量，則稱隨機(jī)變量族為該概率空間上的一隨機(jī)過程。稱為參數(shù)集。第2章隨機(jī)過程的基本

概念和基本類型2.1基本概74隨機(jī)過程的兩種描述方法：用映射表示即是一定義在上的二元單值函數(shù)，

固定是一定義在樣本空間上的函數(shù)，

即為一隨機(jī)變量；對于固定的是一個關(guān)于參數(shù)的函數(shù)，或稱隨機(jī)過程的一次實現(xiàn)。記號通常稱為樣本函數(shù)，有時記為或簡記為參數(shù)一般表示時間或空間。參數(shù)常用的一般有：隨機(jī)過程的兩種描述方法：用映射表示即是一定義在上的二元單值函75(1)(2)(3)當(dāng)參數(shù)取可列集時，一般稱隨機(jī)過程為隨機(jī)序列。

隨機(jī)過程可能取值的全體所構(gòu)成的集合稱為此隨機(jī)過程的狀態(tài)空間，記作S.S中的元素稱為狀態(tài)。狀態(tài)空間可以由復(fù)數(shù)、實數(shù)或更一般的抽象空間構(gòu)成。(1)(2)(3)當(dāng)參數(shù)取可列集時，一般稱隨機(jī)過程為隨機(jī)序列76應(yīng)用隨機(jī)過程課件77隨機(jī)過程分為以下四類：(1)離散參數(shù)離散型隨機(jī)過程；(2)連續(xù)參數(shù)離散型隨機(jī)過程；(3)連續(xù)參數(shù)連續(xù)型隨機(jī)過程；(4)離散參數(shù)連續(xù)型隨機(jī)過程。隨機(jī)過程分為以下四類：(1)離散參數(shù)離散型隨機(jī)過程；(2)連78以隨機(jī)過程的統(tǒng)計特征或概率特征的分類，一般有：獨立增量過程；Markov過程；二階矩過程；平穩(wěn)過程；更新過程；Poission過程；維納過程。鞅；以隨機(jī)過程的統(tǒng)計特征或概率特征的分類，一般有：獨立增量過程；79

隨機(jī)過程舉例例2.1例2.2拋擲一枚硬幣，樣本空間為定義：隨機(jī)過程。隨機(jī)過程舉例例2.1例2.2拋擲一枚硬幣，樣本空間為定80例2.3例2.3812.2有限維分布與Kolmogvrov定理一、隨機(jī)過程的分布函數(shù)1.一維分布函數(shù)2.2有限維分布與Kolmogvrov定理一、隨機(jī)過程的822.二維分布函數(shù)2.二維分布函數(shù)833.n維分布函數(shù)3.n維分布函數(shù)844.有限維分布族——稱為有限維分布族5.有限維分布族的性質(zhì)(1)對稱性4.有限維分布族——稱為有限維分布族5.有限維分布85(2)相容性注1：隨機(jī)過程的統(tǒng)計特性完全由它的有限維分

布族決定。注2：有限維分布族與有限維特征函數(shù)族相互唯

一確定。問題：一個隨機(jī)過程是否描述了該過程的全部概率特性？的有限維分布族，(2)相容性注1：隨機(jī)過程的統(tǒng)計特性完全由它的有限維分86定理：（Kolmogorov存在性定理）設(shè)分布函數(shù)族滿足以上提到的對稱性和相容性，則必有一隨機(jī)過程恰好是的有限維分布族，即：定理說明：的有限維分布族包含了的所有概率信息。定理：（Kolmogorov存在性定理）設(shè)分布函數(shù)族滿足以上87例2.4例2.488例2.5例2.589應(yīng)用隨機(jī)過程課件90二、隨機(jī)過程的數(shù)字特征1.均值函數(shù)隨機(jī)過程（假設(shè)是存在的）的均值函數(shù)定義為：2.方差函數(shù)隨機(jī)過程的方差函數(shù)定義為：二、隨機(jī)過程的數(shù)字特征1.均值函數(shù)隨機(jī)過程（假設(shè)是存在的）913.(自)協(xié)方差函數(shù)3.(自)協(xié)方差函數(shù)924.(自)相關(guān)函數(shù)4.(自)相關(guān)函數(shù)935.(互)協(xié)方差函數(shù)6.互相關(guān)函數(shù)5.(互)協(xié)方差函數(shù)6.互相關(guān)函數(shù)947.互不相關(guān)8.特征函數(shù)為隨機(jī)過程的有限維特征函數(shù)族。記：7.互不相關(guān)8.特征函數(shù)為隨機(jī)過程的有限維特征函數(shù)族。記95例2.6例2.7例2.6例2.796作業(yè)1作業(yè)1972.3隨機(jī)過程的基本類型

一、嚴(yán)平穩(wěn)過程定義1：2.3隨機(jī)過程的基本類型一、嚴(yán)平穩(wěn)過程定義1：98

二、嚴(yán)平穩(wěn)過程的特點則二、嚴(yán)平穩(wěn)過程的特點則99

三、寬平穩(wěn)過程(簡稱平穩(wěn)過程)定義2：三、寬平穩(wěn)過程(簡稱平穩(wěn)過程)定義2：100注1：注2：注1：注2：101例2.8例2.9例2.8例2.9102

四、平穩(wěn)過程相關(guān)函數(shù)的性質(zhì)性質(zhì)1：性質(zhì)2：結(jié)論：性質(zhì)3：四、平穩(wěn)過程相關(guān)函數(shù)的性質(zhì)性質(zhì)1：性質(zhì)2：結(jié)論：性質(zhì)3：103性質(zhì)4：注：性質(zhì)4：注：104定義：注：性質(zhì)5：性質(zhì)6：性質(zhì)7：定義：注：性質(zhì)5：性質(zhì)6：性質(zhì)7：105性質(zhì)8：性質(zhì)9：例2.10：性質(zhì)8：性質(zhì)9：例2.10：106

五、獨立增量過程

定義1例2.11：五、獨立增量過程定義1例2.11：107

定義2定義2108

六、遍歷性定理六、遍歷性定理109應(yīng)用隨機(jī)過程課件110應(yīng)用隨機(jī)過程課件111

定義1:定義1:112

定義2:定義2:113

例2.12:例2.12:114

例2.13:例2.13:115

定理2.2:(均值遍歷性定理)定理2.2:(均值遍歷性定理)116

推論2.1:

推論2.2:推論2.1:推論2.2:117

定理2.2:(協(xié)方差函數(shù)遍歷性定理)定理2.2:(協(xié)方差函數(shù)遍歷性定理)118

作業(yè)1:

作業(yè)2:書第二章

習(xí)題2.6.

作業(yè)3:作業(yè)1:作業(yè)2:書第二章習(xí)題2.6.作119

第3章Poisson過程3.1Poisson過程定義3.1：第3章Poisson過程3.1Poisson過程120應(yīng)用隨機(jī)過程課件121Poission過程是計數(shù)過程，而且是一類最重要、應(yīng)用廣泛的計數(shù)過程，它最早于1837年由法國數(shù)學(xué)家Poission引入。Poission過程是計數(shù)過程，而且是一類最122定義3.2：定義3.2：123例3.1：解：見板書。例3.1：解：見板書。124定義3.2’:一計數(shù)過程是獨立增量及平穩(wěn)增量過程，即任取相互獨立；定義3.2’:一計數(shù)過程是獨立增量及平穩(wěn)增量過程，即任取相互125定義3.2’的解釋:定義3.2’的解釋:126應(yīng)用隨機(jī)過程課件127定理3.1:由增量平穩(wěn)性，記：（I）情形：因為我們有：另一方面定理3.1:由增量平穩(wěn)性，記：（I）情形：因為我們有：另一方128代入上式，我們有：令我們有：（II）情形：因為：代入上式，我們有：令我們有：（II）情形：因為：129故有：化簡并令得：兩邊同乘以，移項后有：當(dāng)時，有：故有：化簡并令得：兩邊同乘以，移項后有：當(dāng)時，有：130由歸納法可得：注意：因此代表單位時間內(nèi)事件出現(xiàn)的平均次數(shù)。由歸納法可得：注意：因此代表單位時間內(nèi)事件出現(xiàn)的平均次數(shù)。131由歸納法可得：注意：因此代表單位時間內(nèi)事件出現(xiàn)的平均次數(shù)。由歸納法可得：注意：因此代表單位時間內(nèi)事件出現(xiàn)的平均次數(shù)。132應(yīng)用隨機(jī)過程課件133例3.2：例3.2：134例3.3：例3.3：135例3.4：例3.4：136作業(yè)1：作業(yè)2：書第三章習(xí)題3.5,3.6,3.10作業(yè)1：作業(yè)2：書第三章習(xí)題3.5,3.6,3.101373.2Poisson過程相聯(lián)系的若干分布3.2Poisson過程相聯(lián)系的若干分布138復(fù)習(xí)：1.指數(shù)分布2.無記憶性復(fù)習(xí)：1.指數(shù)分布2.無記憶性139定理3.2：結(jié)論：定理3.2：結(jié)論：140定義3.3：注：定義3.3：注：141例3.5:(見書例3.4)例3.5:(見書例3.4)142例3.6:例3.6:143定理3.3：證明：見板書。定理3.3：證明：見板書。144引理：引理：145應(yīng)用隨機(jī)過程課件146原因：注：原因：注：147定理3.4：定理3.4：148例3.7:(見書例3.5)例3.7:(見書例3.5)149例3.8:(見書例3.6)例3.8:(見書例3.6)1503.3Poisson過程的推廣一、非齊次Poisson過程3.3Poisson過程的推廣一、非齊次Poisson151定義3.4:過程有獨立增量；定義3.4:過程有獨立增量；152定義3.5：注2:定義3.4與定義3.5是等價的。注1:我們稱m(t)為非齊次poisson過程的均值或強(qiáng)度。定義3.5：注2:定義3.4與定義3.5是等價的。注1:我們153定理3.5：注3:用此定理可以簡化非齊次Poisson過程的問題到齊次Poisson過程中進(jìn)行討論。另一方面也可以進(jìn)行反方向的操作，即從一個參數(shù)為的Poisson構(gòu)造一個強(qiáng)度函數(shù)為的非齊次Poisson過程。定理3.5’：（一般了解）定理3.5：注3:用此定理可以簡化非齊次Poisson過程的154例3.9:(見書例3.7)例3.9:(見書例3.7)155二、復(fù)合Poisson過程定義3.6:物理意義:如表示粒子流，二、復(fù)合Poisson過程定義3.6:物理意義:如表示粒子流156例3.10:(見書例3.8)例3.10:(見書例3.8)157例3.11:(見書例3.9顧客成批到達(dá)的排隊系統(tǒng))例3.11:(見書例3.9顧客成批到達(dá)的排隊系統(tǒng))158定理3.6：定理3.6：159例3.12:（見書例3.10）例3.12:（見書例3.10）160作業(yè)1:作業(yè)2:參考例3.12:（見書例3.10）作業(yè)3:見書習(xí)題3.12作業(yè)1:作業(yè)2:參考例3.12:（見書例3.10）作業(yè)161

第5章Markov過程5.1基本概念直觀意義：1.Markov鏈的定義第5章Markov過程5.1基本概念直觀意義：1162定義5.1：定義5.1：163定義5.2：定義5.3：2.轉(zhuǎn)移概率定義5.2：定義5.3：2.轉(zhuǎn)移概率164注：有定義5.1知注：有定義5.1知165應(yīng)用隨機(jī)過程課件166轉(zhuǎn)移矩陣的性質(zhì)：定義5.4：轉(zhuǎn)移矩陣的性質(zhì)：定義5.4：1672.Markov鏈的例子帶有一個吸收壁的隨機(jī)游動：特點：當(dāng)就停留在零狀態(tài)。此時是一齊次馬氏鏈，其狀態(tài)空間為，一步轉(zhuǎn)移概率為：注意；狀態(tài)為馬氏鏈的吸收狀態(tài)的充要條件是：例5.1：2.Markov鏈的例子帶有一個吸收壁的隨機(jī)游動：特點168帶有兩個吸收壁的隨機(jī)游動：此時是一齊次馬氏鏈,狀態(tài)空間為為兩個吸收狀態(tài),它的一步轉(zhuǎn)移概率為：例5.2：帶有兩個吸收壁的隨機(jī)游動：此時是一齊次馬氏鏈,狀態(tài)空間為為兩169它的一步轉(zhuǎn)移概率矩陣為：它的一步轉(zhuǎn)移概率矩陣為：170特點：概率為：例5.3：帶有一個反射壁的隨機(jī)游動：一旦質(zhì)點進(jìn)入零狀態(tài)，下一步它以概率向右移動一格，以概率停留在零狀態(tài)。此時的狀態(tài)空間為它的一步轉(zhuǎn)移特點：概率為：例5.3：帶有一個反射壁的隨機(jī)游動：一旦質(zhì)點進(jìn)171例5.4：例5.4：172例5.5：例5.5：173應(yīng)用隨機(jī)過程課件1744.n步轉(zhuǎn)移概率C-K方程定義5.5（n步轉(zhuǎn)移概率）4.n步轉(zhuǎn)移概率C-K方程定義5.5（n步轉(zhuǎn)移概率175定理5.1:(Chapman-Kolmogorov方程，簡稱C-K方程)定理5.1:(Chapman-Kolmogorov方程，簡176例5.6：例5.6：177例5.7:(隱Markov模型）或者為正面或者為反面.在任何給定時刻只有一枚硬呈現(xiàn)，但是有時硬幣可能被替換而不改變其正反面.硬幣M和W分別具有轉(zhuǎn)移概率在任何給定時刻硬幣被替換的概率為30%,替換完成時，硬幣的狀態(tài)不變.這一Markov鏈有4個狀態(tài)，分別記為1:UM;2:DM;3:UW;4:DW.狀態(tài)1、3表示正面U,狀態(tài)2、4表示反面D轉(zhuǎn)移矩陣為4X4的矩陣.我們例5.7:(隱Markov模型）或者為正面或者為反面.在任178可以計算轉(zhuǎn)移概率,比如,首先(無轉(zhuǎn)移),而后(無轉(zhuǎn)移).因此轉(zhuǎn)移概率為其他轉(zhuǎn)移概率類似可得，轉(zhuǎn)移方式為轉(zhuǎn)移概率矩陣為可以計算轉(zhuǎn)移概率,比如,首先(無轉(zhuǎn)移),而后(無轉(zhuǎn)移).因此179例5.8:例5.8:180例5.9:例5.9:181帶有兩個反射壁的隨機(jī)游動：此時是一齊次馬氏鏈,狀態(tài)空間為為兩個反射狀態(tài),求它的一步轉(zhuǎn)移概率。作業(yè)1：帶有兩個反射壁的隨機(jī)游動：此時是一齊次馬氏鏈,狀態(tài)空間為為兩182作業(yè)2:作業(yè)2:1835.3狀態(tài)的分類及性質(zhì)引入：5.3狀態(tài)的分類及性質(zhì)引入：184定義5.7注：定理5.3：定義5.7注：定理5.3：185注：定義5.8:例1：注：定義5.8:例1：186定義5.9(周期性)規(guī)定：例2(書5.14)注1：注2：定義5.9(周期性)規(guī)定：例2(書5.14)注1：注187定理5.4：證明：板書。注:當(dāng)兩個狀態(tài)的周期相同時，有時其狀態(tài)之間

有顯著差異。如：定理5.4：證明：板書。注:當(dāng)兩個狀態(tài)的周期相同時，有188定義5.10:(常返性)定義5.10:(常返性)189注2：注3：注1：注2：注3：注1：190例3定義5.11例3定義5.11191例4例4192引理5.1（）引理5.1（193定理5.5定理5.5194引理5.2定理5.6引理5.2定理5.6195作業(yè)1：作業(yè)1：196思考題：思考題：197定理5.5定理5.5198引理5.2定理5.6引理5.2定理5.6199

閉集及狀態(tài)空間的分解定理

閉集：閉集及狀態(tài)空間的分解定理閉集：200

相關(guān)性質(zhì)：任何兩個狀態(tài)均互通所有常返態(tài)構(gòu)成一個閉集在不可約馬氏鏈中,所有狀態(tài)具有相同的狀態(tài)類型.相關(guān)性質(zhì)：任何兩個狀態(tài)均互通所有常返態(tài)構(gòu)成一個閉集在不可約201

狀態(tài)空間分解定理：定理5.7：狀態(tài)空間分解定理：定理5.7：202例5例5203例6：例6：204作業(yè)1：作業(yè)1：205周期鏈分解定理：定理5.8：周期鏈分解定理：定理5.8：206例7:例7:2075.4極限理論與不變分布5.4.1極限理論5.4極限理論與不變分布5.4.1極限理論208例8（書例5.17）(0-1傳輸系統(tǒng)）例8（書例5.17）(0-1傳輸系統(tǒng)）209應(yīng)用隨機(jī)過程課件210211推論設(shè)i常返，則(1)i零常返(2)i遍歷定理5.9設(shè)i常返且有周期為d，則其中i為i的平均返回時間.當(dāng)i

=時211推論設(shè)i常返，則(1)i零常返(2)i遍歷212證:(1)i零常返,i=,由定理5.9知，對d的非整數(shù)倍數(shù)的n，從而子序列i是零常返的212證:(1)i零常返,i=,由定理5.9知，對213(2)i是遍歷的，d=1，i

<，子序列所以d=1，從而i為非周期的，i是遍歷的213(2)i是遍歷的，d=1，i<，子序定理5.10

結(jié)論：

定理5.10結(jié)論：214應(yīng)用隨機(jī)過程課件215(a)

所有非常返狀態(tài)組成的集合不可能是閉集;(b)沒有零常返狀態(tài);(c)必有正常返狀態(tài);(d)不可約有限馬氏鏈只有正常返態(tài);(e)狀態(tài)空間可以分解為:其中：每個均是由正常返狀態(tài)組成的有限不可約閉集，是非常返態(tài)集。(a)

所有非常返狀態(tài)組成的集合不可能是閉集;(b)沒有零常216217注1：有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，也不可能含有零常返狀態(tài)，從而不可約的有限狀態(tài)的馬氏鏈必為正常返的。證設(shè)S={0,1,,N}，如S全是非常返狀態(tài)，則對任意i,jI，知故矛盾。如S含有零常返狀態(tài)i，則C={j:ij}是有限不可約閉集，由定理知，C中均為零常返狀態(tài)，知217注1：有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，證218由引理知所以218由引理知所以219注2:

如馬氏鏈有一個零常返狀態(tài)，則必有無限多個證設(shè)i為零常返狀態(tài)，則C={j:ij}是不可約閉集，C中均為零常返狀態(tài)，故C不能是有限集。否則零常返狀態(tài)。219注2:如馬氏鏈有一個零常返狀態(tài)，則必有無限多個證220稱概率分布{j

,jI}為馬爾可夫鏈的平穩(wěn)分布（不變分布），若設(shè){Xn,n0}是齊次馬爾可夫鏈，狀態(tài)空間為I，轉(zhuǎn)移概率為pij5.4.2平穩(wěn)分布(不變分布)與極限分布定義5.12一、平穩(wěn)分布(不變分布)220稱概率分布{j,jI}為馬爾可夫鏈的平穩(wěn)分布（221注：(1)若初始概率分布{pj,jI}是平穩(wěn)分布，則(2)對平穩(wěn)分布{j

,jI}，有矩陣形式=

其中=(j)，(

)pj

=pj(1)=pj(2)==pj(n)221注：(1)若初始概率分布{pj,jI}是222二、遍歷性的概念與極限分布對于一般的兩個狀態(tài)的馬氏鏈,由上節(jié)內(nèi)容可知,意義對固定的狀態(tài)j,不管鏈在某一時刻的什么狀態(tài)i出發(fā),通過長時間的轉(zhuǎn)移到達(dá)狀態(tài)j的概率都趨222二、遍歷性的概念與極限分布對于一般的兩個狀態(tài)的馬氏鏈,定義5.13定義5.13223224或定義則稱此鏈具有遍歷性.224或定義則稱此鏈具有遍歷性.定理5.13定理5.13225226定理不可約非周期馬爾可夫鏈?zhǔn)钦７档某湟獥l件是存在平穩(wěn)分布，且此平穩(wěn)分布就是極限分布推論2若不可約馬爾可夫鏈的所有狀態(tài)是非常返或零常返，則不存在平穩(wěn)分布.推論1有限狀態(tài)的不可約非周期馬爾可夫鏈必存在平穩(wěn)分布。226定理不可約非周期馬爾可夫鏈?zhǔn)钦７档某湟獥l件推論2227推論3若{j

,jI}是馬爾可夫鏈的平穩(wěn)分布，則所取的值與初始狀態(tài)的分布無關(guān)。證：由于：故227推論3若{j,jI}是馬爾可夫鏈的平穩(wěn)分布228例1

設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為求馬爾可夫鏈的平穩(wěn)分布及各狀態(tài)的平均返回時間。即，經(jīng)過無窮次轉(zhuǎn)移后處于狀態(tài)的概率與初始狀態(tài)無關(guān)，與初始狀態(tài)的分布也無關(guān)。228例1設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為求馬爾可夫鏈的平穩(wěn)229解因為馬爾可夫鏈?zhǔn)遣豢杉s非周期有限狀態(tài)的，所以平穩(wěn)分布存在，設(shè)則=

P，1+2+3=1.即各狀態(tài)的平均返回時間為=(1,2,3)229解因為馬爾可夫鏈?zhǔn)遣豢杉s非周期有限狀態(tài)的，所以平230例2

設(shè)馬爾可夫鏈轉(zhuǎn)移概率矩陣為求每一個不可約閉集的平穩(wěn)分布。230例2設(shè)馬爾可夫鏈轉(zhuǎn)移概率矩陣為求每一個不可約閉集的231解從狀態(tài)轉(zhuǎn)移圖看出，狀態(tài)空間可分解為兩個不可約常返閉集C1={2,3,4}和C2={5,6,7}，一個非常返集N={1}。在常返集上求平穩(wěn)分布：231解從狀態(tài)轉(zhuǎn)移圖看出，狀態(tài)空間可分解為兩個不可約常232在C1上，對應(yīng)的轉(zhuǎn)移概率矩陣為C1上的平穩(wěn)分布為：{0,0.4,0.2,0.4,0,0,0}同理可求得C2上的平穩(wěn)分布為{0,0,0,0,1/3,1/3,1/3}232在C1上，對應(yīng)的轉(zhuǎn)移概率矩陣為C1上的平穩(wěn)分布為：{0233三、(有限鏈)遍歷性的充分條件233三、(有限鏈)遍歷性的充分條件234說明2.極限分布轉(zhuǎn)化為了求解方程組.3.在定理的條件下馬氏鏈的極限分布是平穩(wěn)分布.234說明2.極限分布轉(zhuǎn)化為了求解方程組.3.在定理的條235試說明帶有兩個反射壁的隨機(jī)游動是遍歷的,

并求其極限分布(平穩(wěn)分布).解例3四、應(yīng)用舉例235試說明帶有兩個反射壁的隨機(jī)游動是遍歷的,解例236無零元,鏈?zhǔn)潜闅v的236無零元,鏈?zhǔn)潜闅v的237代入最后一個方程(歸一條件),得唯一解237代入最后一個方程(歸一條件),得唯一解238所以極限分布為這個分布表明經(jīng)過長時間游動之后,醉漢Q位于點2(或3或4)的概率約為3/11,位于點1(或5)的概率約為1/11.238所以極限分布為這個分布表明經(jīng)過長時間游動之后,醉漢239設(shè)一馬氏鏈的一步轉(zhuǎn)移概率陣為試討論它的遍歷性.解例4239設(shè)一馬氏鏈的一步轉(zhuǎn)移概率陣為試討論它的遍歷性.解例4240表明此鏈不具遍歷性.240表明此鏈不具遍歷性.241五、小結(jié)遍歷性的概念則稱此鏈具有遍歷性.241五、小結(jié)遍歷性的概念則稱此鏈具有遍歷性.242

(有限鏈)遍歷性的充分條件242(有限鏈)遍歷性的充分條件作業(yè)1：作業(yè)2：書習(xí)題5.7作業(yè)1：作業(yè)2：書習(xí)題5.7243244第七節(jié)

連續(xù)時間馬爾可夫鏈定義7.1

設(shè)隨機(jī)過程{X(t)，t0}，狀態(tài)空間及非負(fù)整數(shù)i1,i2,,in+1，有P{X(tn+1)=in+1|X(t1)=i1,X(t2)=i2,,X(tn)=in}則稱{X(t)，t0}為連續(xù)時間馬爾可夫鏈。I={0,1,2,}，若對任意0t1<t2<<tn+1=P{X(tn+1)=in+1|X(tn)=in}，244第七節(jié)連續(xù)時間馬爾可夫鏈定義7.1設(shè)隨機(jī)過程{245轉(zhuǎn)移概率：在s時刻處于狀態(tài)i，經(jīng)過時間t后轉(zhuǎn)移到狀態(tài)j的概率pij(s,t)=P{X(s+t)=j|X(s)=i}定義7.2

齊次轉(zhuǎn)移概率(與起始時刻s無關(guān)，只與時間間隔t有關(guān))pij(s,t)=pij(t)此時有轉(zhuǎn)移概率矩陣P(t)=(pij(t))，i,jI，t0.245轉(zhuǎn)移概率：在s時刻處于狀態(tài)i，經(jīng)過時間t后轉(zhuǎn)移到狀態(tài)j246記i為過程在狀態(tài)轉(zhuǎn)移之前停留在狀態(tài)i的時間，則對s,t0有(1)(2)i

服從指數(shù)分布證：(1)事實上ss+t0iiiiti246記i為過程在狀態(tài)轉(zhuǎn)移之前停留在狀態(tài)i的時間，則對247247248(2)設(shè)i的分布函數(shù)為F(x),(x0),則生存函數(shù)由此可推出G(x)為指數(shù)函數(shù)，G(x)=e-x,則F(x)=1-G(x)=1-e-x為指數(shù)分布函數(shù)。G(x)=1-F(x)248(2)設(shè)i的分布函數(shù)為F(x),(x0),則生249過程在狀態(tài)轉(zhuǎn)移之前處于狀態(tài)i的時間i服從指數(shù)分布(1)當(dāng)i=時，狀態(tài)i的停留時間i超過x的概率為0，則稱狀態(tài)i為瞬時狀態(tài)；(2)當(dāng)i=0時，狀態(tài)i的停留時間i超過x的概率為1，則稱狀態(tài)i為吸收狀態(tài)。249過程在狀態(tài)轉(zhuǎn)移之前處于狀態(tài)i的時間i服從指數(shù)分布250定理7.1齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì)：(1)pij(t)0;(2)

(3)

證

由概率的定義，(1)(2)顯然成立，下證(3)250定理7.1齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì)：251

251252注：此為轉(zhuǎn)移概率的正則性條件。252注：253例1證明泊松過程{X(t),t0}為連續(xù)時間齊次馬爾可夫鏈。證先證泊松過程的馬爾可夫性。泊松過程是獨立增量過程，且X(0)=0，對任意0<t1<t2<<tn<tn+1有253例1證明泊松過程{X(t),t0}為連續(xù)時間齊次254另一方面即泊松過程是一個連續(xù)時間馬爾可夫鏈254另一方面即泊松過程是一個連續(xù)時間馬爾可夫鏈255

再證齊次性。當(dāng)ji時，當(dāng)j<i時,因增量只取非負(fù)整數(shù)值,故pij(s,t)=0，所以轉(zhuǎn)移概率與s無關(guān)，泊松過程具有齊次性。255再證齊次性。當(dāng)ji時，第六節(jié)馬氏鏈模型6.1基本應(yīng)用實例6.2健康與疾病6.3鋼琴銷售的存儲策略第六節(jié)馬氏鏈模型6.1基本應(yīng)用實例256馬氏鏈模型

系統(tǒng)在每個時期所處的狀態(tài)是隨機(jī)的

從一時期到下時期的狀態(tài)按一定概率轉(zhuǎn)移

下時期狀態(tài)只取決于本時期狀態(tài)和轉(zhuǎn)移概率已知現(xiàn)在，將來與過去無關(guān)（無后效性）描述一類重要的隨機(jī)動態(tài)系統(tǒng)（過程）的模型馬氏鏈(MarkovChain)——時間、狀態(tài)均為離散的隨機(jī)轉(zhuǎn)移過程馬氏鏈模型系統(tǒng)在每個時期所處的狀態(tài)是隨機(jī)的從一時期到下時257258

某計算機(jī)房的一臺計算機(jī)經(jīng)常出故障,研究者每隔15分鐘觀察一次計算機(jī)運行狀態(tài),收集了24小時的數(shù)據(jù)(共作97次觀察).用1表示正常狀態(tài),用0表示不正常狀態(tài),所得的數(shù)據(jù)序列如下:試求一步轉(zhuǎn)移概率矩陣。1110010011111110011110111111001111111110001101101分析狀態(tài)空間:I={0,1}.例11110110110101111011101111011111100110111111001116.1基本應(yīng)用實例258某計算機(jī)房的一臺計算機(jī)經(jīng)常出故障,研究者11125996次狀態(tài)轉(zhuǎn)移的情況:因此,一步轉(zhuǎn)移概率可用頻率近似地表示為:25996次狀態(tài)轉(zhuǎn)移的情況:因此,一步轉(zhuǎn)移概率可用頻率近260特點:用行向量表示為一維分布由初始分布和轉(zhuǎn)移概率矩陣決定260特點:用行向量表示為一維分布由初始分布和261由以上討論知,轉(zhuǎn)移概率決定了馬氏鏈的運動的統(tǒng)計規(guī)律.因此,確定馬氏鏈的任意n步轉(zhuǎn)移概率成為馬氏鏈理論中的重要問題之一.261由以上討論知,轉(zhuǎn)移概率決定了馬氏鏈的運動的262設(shè)每一級的傳真率為p,誤碼率為q=1-p.設(shè)一個單位時間傳輸一級,只傳輸數(shù)字0和1的串聯(lián)系統(tǒng)(傳輸系統(tǒng))如圖:分析:例2262設(shè)每一級的傳真率為p,誤碼率為q=1-p.設(shè)一個263而與時刻n以前所處的狀態(tài)無關(guān).所以它是一個馬氏鏈,且是齊次的.

一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率矩陣263而與時刻n以前所處的狀態(tài)無關(guān).所以它是一個馬氏鏈,264在傳輸系統(tǒng)中,傳輸后的誤碼率;系統(tǒng)經(jīng)n級傳輸后輸出為1,問原發(fā)字符也是1的概率是多少?264在傳輸系統(tǒng)中,傳輸后的誤碼率;系統(tǒng)經(jīng)265解先求出n步轉(zhuǎn)移概率矩陣.有相異的特征值所以可將P表示成對角陣265解先求出n步轉(zhuǎn)移概率矩陣.有相異的特征值所以可將266傳輸后的誤碼率分別為:266傳輸后的誤碼率分別為:267(2)根據(jù)貝葉斯公式,當(dāng)系統(tǒng)經(jīng)n級傳輸后輸出為1,原發(fā)字符也是1的概率為:267(2)根據(jù)貝葉斯公式,當(dāng)系統(tǒng)經(jīng)n級傳輸后輸268說明n步轉(zhuǎn)移概率矩陣為矩陣一般可表示為:對于只有兩個狀態(tài)的馬氏鏈,一步轉(zhuǎn)移概率268說明n步轉(zhuǎn)移概率矩陣為矩陣一般可表示為:對于只有兩個狀通過有實際背景的例子介紹馬氏鏈的基本概念和性質(zhì)例1.

人的健康狀況分為健康和疾病兩種狀態(tài)，設(shè)對特定年齡段的人，今年健康、明年保持健康狀態(tài)的概率為0.8,而今年患病、明年轉(zhuǎn)為健康狀態(tài)的概率為0.7，6.2健康與疾病

人的健康狀態(tài)隨著時間的推移會隨機(jī)地發(fā)生轉(zhuǎn)變保險公司要對投保人未來的健康狀態(tài)作出估計,以制訂保險金和理賠金的數(shù)額若某人投保時健康,問10年后他仍處于健康狀態(tài)的概率通過有實際背景的例子介紹馬氏鏈的基本概念和性質(zhì)例1.人269Xn+1只取決于Xn和pij,與Xn-1,

…無關(guān)狀態(tài)與狀態(tài)轉(zhuǎn)移狀態(tài)轉(zhuǎn)移具有無后效性120.80.20.30.7Xn+1只取決于Xn和pij,與Xn-1,…無關(guān)狀態(tài)與狀270n0a2(n)0a1(n)1設(shè)投保時健康給定a(0),預(yù)測a(n),n=1,2…設(shè)投保時疾病a2(n)1a1(n)0n時狀態(tài)概率趨于穩(wěn)定值，穩(wěn)定值與初始狀態(tài)無關(guān)3…

0.778…

0.222…

∞7/92/90.70.770.777…0.30.230.223…

7/92/9狀態(tài)與狀態(tài)轉(zhuǎn)移120.80.20.30.710.80.220.780.22n0a2(n)0a1(2711230.10.0210.80.250.180.65例2.

健康和疾病狀態(tài)同上，Xn=1~健康,Xn=2~疾病p11=0.8,p12=0.18,p13=0.02死亡為第3種狀態(tài)，記Xn=3健康與疾病

p21=0.65,p22=0.25,p23=0.1p31=0,p32=0,p33=11230.10.0210.80.250.180.65例2.272n0123a2(n)00.180.1890.1835

a3(n)00.020.0540.0880

a1(n)10.80.7570.7285設(shè)投保時處于健康狀態(tài)，預(yù)測a(n),n=1,2…

不論初始狀態(tài)如何，最終都要轉(zhuǎn)到狀態(tài)3；一旦a1(k)=a2(k)=0,a3(k)=1,則對于n>k,a1(n)=0，a2(n)=0,a3(n)=1,即從狀態(tài)3不會轉(zhuǎn)移到其它狀態(tài)。狀態(tài)與狀態(tài)轉(zhuǎn)移00150

0.12930.0326

0.8381

n01273馬氏鏈的基本方程基本方程馬氏鏈的基本方程基本方程274馬氏鏈的兩個重要類型1.正則鏈

~從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)另外任一狀態(tài)（如例1）。w~穩(wěn)態(tài)概率馬氏鏈的兩個重要類型1.正則鏈~從任一狀態(tài)出發(fā)經(jīng)有限275馬氏鏈的兩個重要類型2.吸收鏈

~存在吸收狀態(tài)（一旦到達(dá)就不會離開的狀態(tài)i,pii=1）,且從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)吸收狀態(tài)（如例2）。馬氏鏈的兩個重要類型2.吸收鏈~存在吸收狀態(tài)（一旦到2766.3鋼琴銷售的存貯策略

鋼琴銷售量很小，商店的庫存量不大以免積壓資金一家商店根據(jù)經(jīng)驗估計，平均每周的鋼琴需求為1架存貯策略：每周末檢查庫存量，僅當(dāng)庫存量為零時，才訂購3架供下周銷售；否則，不訂購。估計在這種策略下失去銷售機(jī)會的可能性有多大，以及每周的平均銷售量是多少。背景與問題6.3鋼琴銷售的存貯策略鋼琴銷售量很小，商店的庫存量277問題分析

顧客的到來相互獨立，需求量近似服從波松分布，其參數(shù)由需求均值為每周1架確定，由此計算需求概率存貯策略是周末庫存量為零時訂購3架周末的庫存量可能是0,1,2,3，周初的庫存量可能是1,2,3。用馬氏鏈描述不同需求導(dǎo)致的周初庫存狀態(tài)的變化。動態(tài)過程中每周銷售量不同，失去銷售機(jī)會（需求超過庫存）的概率不同?？砂捶€(wěn)態(tài)情況（時間充分長以后）計算失去銷售機(jī)會的概率和每周的平均銷售量。問題分析顧客的到來相互獨立，需求量近似服從波松分布，其參數(shù)278模型假設(shè)鋼琴每周需求量服從波松分布，均值為每周1架存貯策略：當(dāng)周末庫存量為零時，訂購3架，周初到貨；否則，不訂購。以每周初的庫存量作為狀態(tài)變量，狀態(tài)轉(zhuǎn)移具有無后效性。在穩(wěn)態(tài)情況下計算該存貯策略失去銷售機(jī)會的概率，和每周的平均銷售量。模型假設(shè)鋼琴每周需求量服從波松分布，均值為每周1架存貯策279模型建立

Dn~第n周需求量，均值為1的波松分布Sn~第n周初庫存量(狀態(tài)變量)狀態(tài)轉(zhuǎn)移規(guī)律Dn0123>3P0.3680.3680.1840.0610.019狀態(tài)轉(zhuǎn)移陣……模型建立Dn~第n周需求量，均值為1的波松分布Sn~第n280模型建立

狀態(tài)概率馬氏鏈的基本方程正則鏈穩(wěn)態(tài)概率分布w滿足wP=w已知初始狀態(tài)，可預(yù)測第n周初庫存量Sn=i的概率n,狀態(tài)概率模型建立狀態(tài)概率馬氏鏈的基本方程正則鏈穩(wěn)態(tài)概率分布w281第n周失去銷售機(jī)會的概率n充分大時模型求解

從長期看，失去銷售機(jī)會的可能性大約10%。1.估計在這種策略下失去銷售機(jī)會的可能性D

0123>3P0.3680.3680.1840.0610.019第n周失去銷售機(jī)會的概率n充分大時模型求解從長期看，失282模型求解

第n周平均售量從長期看，每周的平均銷售量為0.857(架)n充分大時需求不超過存量,銷售需求需求超過存量,銷售存量思考：為什么這個數(shù)值略小于每周平均需求量1(架)?2.估計這種策略下每周的平均銷售量模型求解第n周平均售量從長期看，每周的平均銷售量為0.8283敏感性分析

當(dāng)平均需求在每周1(架)附近波動時，最終結(jié)果有多大變化。設(shè)Dn服從均值為的波松分布狀態(tài)轉(zhuǎn)移陣0.80.91.01.11.2P0.0730.0890.1050.1220.139第n周(n充分大)失去銷售機(jī)會的概率當(dāng)平均需求增長（或減少）10%時，失去銷售機(jī)會的概率將增長（或減少）約12%。敏感性分析當(dāng)平均需求在每周1(架)附近波動時，最終結(jié)果284期末復(fù)習(xí)要點：1.上極限、下極限的定義及含義，理解事件序列的極限的表達(dá)方式。2.熟悉常見的分布函數(shù)。3.掌握矩母函數(shù)與特征函數(shù)的定義和性質(zhì)，會求一些函數(shù)的矩母函數(shù)和特征函數(shù)。4.條件概率與條件期望的求法及性質(zhì)，如：EX=E[E(X|Y)],E(X|X)=X第一章期末復(fù)習(xí)要點：1.上極限、下極限的定義及含義，理解事件序列的285期末復(fù)習(xí)要點：1.理解會求隨機(jī)過程的均值函數(shù)、方差函數(shù)、(自)協(xié)方差函數(shù)、(自)相關(guān)函數(shù)、

互協(xié)方差函數(shù)、互相關(guān)函數(shù)。2.理解(嚴(yán)、寬)平穩(wěn)過程的定義，會判斷隨機(jī)過程是否為平穩(wěn)過程。3.會用定義判定平穩(wěn)過程是否有遍歷性(均值遍歷性及協(xié)方差遍歷性)。第二章期末復(fù)習(xí)要點：1.理解會求隨機(jī)過程的均值函數(shù)、方差函數(shù)、(自286期末復(fù)習(xí)要點：1.Poisson過程的定義，理解其含義。2.會求Poisson過程的一些相關(guān)的概率。3.理解Poisson過程時間間隔序列Xn,第n次事件發(fā)生的時刻Tn相關(guān)定理。4.非齊次Poisson過程與齊次Poisson的關(guān)系定理，非齊次Poisson的相關(guān)概率計算。第三章期末復(fù)習(xí)要點：1.Poisson過程的定義，理解其含義。第三287期末復(fù)習(xí)要點：1.理解Markov鏈的定義，理解其數(shù)學(xué)含義，會求相應(yīng)的概率。2.會求一步轉(zhuǎn)移概率及一步轉(zhuǎn)移概率矩陣。3.會求n步轉(zhuǎn)移概率，會證明C-K方程(離散時間及連續(xù)時間)。4.會求狀態(tài)的周期，會判定狀態(tài)的常返性(正常反、零常返和非常返)(方法1，方法2)。第五章期末復(fù)習(xí)要點：1.理解Markov鏈的定義，理解其數(shù)學(xué)含義，288法2：法1：法2：法1：289期末復(fù)習(xí)要點：5.理解的關(guān)系。6.會將狀態(tài)進(jìn)行分類7.會判別平穩(wěn)分布（不變分布）,會求平穩(wěn)分布,及Markov鏈的遍歷性.

第五章期末復(fù)習(xí)要點：5.理解的關(guān)系。第五章290事件列極限1：結(jié)論：事件列極限1：結(jié)論：291應(yīng)用隨機(jī)過程課件292

五、獨立增量過程

定義1例2.11：五、獨立增量過程定義1例2.11：293

第3章Poisson過程3.1Poisson過程定義3.1：第3章Poisson過程3.1Poisson過程294例3.6:例3.6:295作業(yè)1：作業(yè)1：296周期鏈分解定理：定理5.8：周期鏈分解定理：定理5.8：297298證:(1)i零常返,i=,由定理5.9知，對d的非整數(shù)倍數(shù)的n，從而子序列i是零常返的298證:(1)i零常返,i=,由定理5.9知，對應(yīng)用隨機(jī)過程ApplicationofStochasticProcesses應(yīng)用隨機(jī)過程ApplicationofStochasti299成功的道路并不擁擠，的人并不是很多。因為堅持到最后成功的道路并不擁擠，的人并不是很多。因為堅持到最后300

教材

《應(yīng)用隨機(jī)過程》

主要教學(xué)參考書

張波張景肖編中國人民大學(xué)

出版社教材主要教學(xué)參考書301參考書1.《應(yīng)用隨機(jī)過程》林元烈編著清華大學(xué)出版社2.《隨機(jī)過程》王風(fēng)雨編著北京師范大學(xué)出版社參考書1.《應(yīng)用隨機(jī)過程》林元烈編著清華大學(xué)出版社302前言前言303應(yīng)用隨機(jī)過程課件304

第1章預(yù)備知識1.1概率空間在自然界和人類的活動中經(jīng)常遇到各種各樣的現(xiàn)象，大體上分為兩類：必然現(xiàn)象和隨機(jī)現(xiàn)象。具有隨機(jī)性的現(xiàn)象—隨機(jī)現(xiàn)象對隨機(jī)現(xiàn)象的觀察或為觀察而進(jìn)行的實驗—隨機(jī)試驗隨機(jī)試驗的結(jié)果—基本事件或樣本點。所有可能的結(jié)果稱為樣本空間。—A稱為事件。（有3個特征）第1章預(yù)備知識1.1概率空間在自然界和人類的305事件的性質(zhì)

假設(shè)A,B,C是任意事件，則他們滿足：(1)交換律(2)結(jié)合律(3)分配律(4)對偶原則(DeMorgan律)事件的性質(zhì)假設(shè)A,B,C是任意事件，則他們滿足：(1)交306定義1.1定義1.1307性質(zhì)假性質(zhì)假308例1.1例1.2例1.3例1.1例1.2例1.3309隨機(jī)試驗:擲一枚骰子，觀察出現(xiàn)的點數(shù)，思考題：隨機(jī)試驗:擲一枚骰子，觀察出現(xiàn)的點數(shù)，思考題：310定義1.2結(jié)論：定義1.2結(jié)論：311定義1.3定義1.3312定義1.4定義1.4313例1.1：例1.1：314概率的基本性質(zhì)—單調(diào)性—次可列可加性概率的基本性質(zhì)—單調(diào)性—次可列可加性315應(yīng)用隨機(jī)過程課件316事件列極限1：結(jié)論：事件列極限1：結(jié)論：317定理：具體情況：定理：具體情況：318事件列極限2：定義1.5—的下極限—的上極限事件列極限2：定義1.5—的下極限—的上319例1.2：關(guān)系：含義：例1.2：關(guān)系：含義：320例1.3：例1.3：3211.2隨機(jī)變量和分布函數(shù)隨機(jī)變量：用實數(shù)來表示隨機(jī)實驗的各種結(jié)果.定義1.6關(guān)于隨機(jī)變量的幾點說明：1.2隨機(jī)變量和分布函數(shù)隨機(jī)變量：用實數(shù)來表示隨機(jī)實驗的322應(yīng)用隨機(jī)過程課件323定理1.1：定理1.1：324定義1.7分布函數(shù)的含義：分布函數(shù)的性質(zhì)：定義1.7分布函數(shù)的含義：分布函數(shù)的性質(zhì)：325隨機(jī)變量的類型：離散型：連續(xù)型：多維隨機(jī)變量：—d維隨機(jī)向量隨機(jī)變量的類型：離散型：連續(xù)型：多維隨機(jī)變量：—d維隨機(jī)向326多維隨機(jī)變量聯(lián)合分布函數(shù)：性質(zhì)：多維隨機(jī)變量聯(lián)合分布函數(shù)：性質(zhì)：327一些常見的分布：1.離散均勻分布：分布列：2.二項分布：分布列：3.幾何分布：分布列：一些常見的分布：1.離散均勻分布：分布列：2.二項分布：分布3284.Poisson分布：分布列：____參數(shù)為的Poisson分布5.均勻分布：6.正態(tài)分布：4.Poisson分布：分布列：____參數(shù)為的3297.分布：函數(shù)的性質(zhì)：7.分布：函數(shù)的性質(zhì)：3308.指數(shù)分布：9.分布：10.d維正態(tài)分布：（略）8.指數(shù)分布：9.分布：10.d維正態(tài)分布：（略331應(yīng)用隨機(jī)過程課件3321.3數(shù)字特征、矩母函數(shù)與特征函數(shù)一、數(shù)字特征定義1.8：——X的一階矩1.3數(shù)字特征、矩母函數(shù)與特征函數(shù)一、數(shù)字特征定義1.8333應(yīng)用隨機(jī)過程課件334二、Rieman-Stieltjes積分Rieman-Stieltjes積分：二、Rieman-Stieltjes積分Rieman-St335注：注：336R-S積分性質(zhì)：——可加性注：R-S積分性質(zhì)：——可加性注：337應(yīng)用隨機(jī)過程課件338四、矩母函數(shù)與特征函數(shù)1.矩母函數(shù)（momentgeneratingfunction)定義1.9：四、矩母函數(shù)與特征函數(shù)1.矩母函數(shù)（momentge339矩母函數(shù)的性質(zhì)：矩母函數(shù)的性質(zhì)：3402.特征函數(shù)（characteristicfunction)——復(fù)隨機(jī)變量定義1.10：——復(fù)隨機(jī)變量的數(shù)學(xué)期望2.特征函數(shù)（characteristicfuncti341特征函數(shù)的性質(zhì)：——有界性——共軛對稱性特征函數(shù)的性質(zhì)：——有界性——共軛對稱性342應(yīng)用隨機(jī)過程課件343例3.1：例3.2：例3.3：例3.4：例3.5：例3.1：例3.2：例3.3：例3.4：例3.5：344作業(yè)題：作業(yè)題：3451.4條件概率條件期望獨立性一、條件概率1.定義：1.基本公式定理1:(乘法公式)1.4條件概率條件期望獨立性一、條件概率1.定義346定理2:(全概率公式)定理3:(Bayes公式)定理2:(全概率公式)定理3:(Bayes公式)347二、獨立性1.定義：二、獨立性1.定義：348注1：兩兩獨立并不包含獨立性。例：注1：兩兩獨立并不包含獨立性。例：349注2我們有注2我們有3502.獨立性的性質(zhì)：定理4：推論1：推論2：2.獨立性的性質(zhì)：定理4：推論1：推論2：351定理5：定理5：352定理6：定理6：353四、條件期望1.邊緣分布——稱X,Y獨立.四、條件期望1.邊緣分布——稱X,Y獨立.354應(yīng)用隨機(jī)過程課件3552.條件分布函數(shù)2.條件分布函數(shù)3563.條件數(shù)學(xué)期望異同：3.條件數(shù)學(xué)期望異同：357應(yīng)用隨機(jī)過程課件358應(yīng)用隨機(jī)過程課件359定義：定義：360應(yīng)用隨機(jī)過程課件361應(yīng)用隨機(jī)過程課件362定理：例2：定理：例2：363五、獨立隨機(jī)變量和的分布——卷積公式——稱為的卷積五、獨立隨機(jī)變量和的分布——卷積公式——稱為364注：——結(jié)合律——分配律注：——結(jié)合律——分配律365應(yīng)用隨機(jī)過程課件366應(yīng)用隨機(jī)過程課件367應(yīng)用隨機(jī)過程課件368應(yīng)用隨機(jī)過程課件369應(yīng)用隨機(jī)過程課件370應(yīng)用隨機(jī)過程課件371

第2章隨機(jī)過程的基本

概念和基本類型2.1基本概念在概率論中，我們研究了隨機(jī)變量，維隨機(jī)向量。

在極限定理中，我們研究了無窮多個隨機(jī)變量，但局限在它們相互獨立的情形。將上述情形加以推廣，即研究一族無窮多個、相互有關(guān)的隨機(jī)變量，這就是隨機(jī)過程。定義2.1：設(shè)是一概率空間，

對每一個參數(shù)，

是一定義在概率空間上的隨機(jī)變量，則稱隨機(jī)變量族為該概率空間上的一隨機(jī)過程。稱為參數(shù)集。第2章隨機(jī)過程的基本

概念和基本類型2.1基本概372隨機(jī)過程的兩種描述方法：用映射表示即是一定義在上的二元單值函數(shù)，

固定是一定義在樣本空間上的函數(shù)，

即為一隨機(jī)變量；對于固定的是一個關(guān)于參數(shù)的函數(shù)，或稱隨機(jī)過程的一次實現(xiàn)。記號通常稱為樣本函數(shù)，有時記為或簡記為參數(shù)一般表示時間或空間。參數(shù)常用的一般有：隨機(jī)過程的兩種描述方法：用映射表示即是一定義在上的二元單值函373(1)(2)(3)當(dāng)參數(shù)取可列集時，一般稱隨機(jī)過程為隨機(jī)序列。

隨機(jī)過程可能取值的全體所構(gòu)成的集合稱為此隨機(jī)過程的狀態(tài)空間，記作S.S中的元素稱為狀態(tài)。狀態(tài)空間可以由復(fù)數(shù)、實數(shù)或更一般的抽象空間構(gòu)成。(1)(2)(3)當(dāng)參數(shù)取可列集時，一般稱隨機(jī)過程為隨機(jī)序列374應(yīng)用隨機(jī)過程課件375隨機(jī)過程分為以下四類：(1)離散參數(shù)離散型隨機(jī)過程；(2)連續(xù)參數(shù)離散型隨機(jī)過程；(3)連續(xù)參數(shù)連續(xù)型隨機(jī)過程；(4)離散參數(shù)連續(xù)型隨機(jī)過程。隨機(jī)過程分為以下四類：(1)離散參數(shù)離散型隨機(jī)過程；(2)連376以隨機(jī)過程的統(tǒng)計特征或概率特征的分類，一般有：獨立增量過程；Markov過程；二階矩過程；平穩(wěn)過程；更新過程；Poission過程；維納過程。鞅；以隨機(jī)過程的統(tǒng)計特征或概率特征的分類，一般有：獨立增量過程；377

隨機(jī)過程舉例例2.1例2.2拋擲一枚硬幣，樣本空間為定義：隨機(jī)過程。隨機(jī)過程舉例例2.1例2.2拋擲一枚硬幣，樣本空間為定378例2.3例2.33792.2有限維分布與Kolmogvrov定理一、隨機(jī)過程的分布函數(shù)1.一維分布函數(shù)2.2有限維分布與Kolmogvrov定理一、隨機(jī)過程的3802.二維分布函數(shù)2.二維分布函數(shù)3813.n維分布函數(shù)3.n維分布函數(shù)3824.有限維分布族——稱為有限維分布族5.有限維分布族的性質(zhì)(1)對稱性4.有限維分布族——稱為有限維分布族5.有限維分布383(2)相容性注1：隨機(jī)過程的統(tǒng)計特性完全由它的有限維分

布族決定。注2：有限維分布族與有限維特征函數(shù)族相互唯

一確定。問題：一個隨機(jī)過程是否描述了該過程的全部概率特性？的有限維分布族，(2)相容性注1：隨機(jī)過程的統(tǒng)計特性完全由它的有限維分384定理：（Kolmogorov存在性定理）設(shè)分布函數(shù)族滿足以上提到的對稱性和相容性，則必有一隨機(jī)過程恰好是的有限維分布族，即：定理說明：的有限維分布族包含了的所有概率信息。定理：（Kolmogorov存在性定理）設(shè)分布函數(shù)族滿足以上385例2.4例2.4386例2.5例2.5387應(yīng)用隨機(jī)過程課件388二、隨機(jī)過程的數(shù)字特征1.均值函數(shù)隨機(jī)過程（假設(shè)是存在的）的均值函數(shù)定義為：2.方差函數(shù)隨機(jī)過程的方差函數(shù)定義為：二、隨機(jī)過程的數(shù)字特征1.均值函數(shù)隨機(jī)過程（假設(shè)是存在的）3893.(自)協(xié)方差函數(shù)3.(自)協(xié)方差函數(shù)3904.(自)相關(guān)函數(shù)4.(自)相關(guān)函數(shù)3915.(互)協(xié)方差函數(shù)6.互相關(guān)函數(shù)5.(互)協(xié)方差函數(shù)6.互相關(guān)函數(shù)3927.互不相關(guān)8.特征函數(shù)為隨機(jī)過程的有限維特征函數(shù)族。記：7.互不相關(guān)8.特征函數(shù)為隨機(jī)過程的有限維特征函數(shù)族。記393例2.6例2.7例2.6例2.7394作業(yè)1作業(yè)13952.3隨機(jī)過程的基本類型

一、嚴(yán)平穩(wěn)過程定義1：2.3隨機(jī)過程的基本類型一、嚴(yán)平穩(wěn)過程定義1：396

二、嚴(yán)平穩(wěn)過程的特點則二、嚴(yán)平穩(wěn)過程的特點則397

三、寬平穩(wěn)過程(簡稱平穩(wěn)過程)定義2：三、寬平穩(wěn)過程(簡稱平穩(wěn)過程)定義2：398注1：注2：注1：注2：399例2.8例2.9例2.8例2.9400

四、平穩(wěn)過程相關(guān)函數(shù)的性質(zhì)性質(zhì)1：性質(zhì)2：結(jié)論：性質(zhì)3：四、平穩(wěn)過程相關(guān)函數(shù)的性質(zhì)性質(zhì)1：性質(zhì)2：結(jié)論：性質(zhì)3：401性質(zhì)4：注：性質(zhì)4：注：402定義：注：性質(zhì)5：性質(zhì)6：性質(zhì)7：定義：注：性質(zhì)5：性質(zhì)6：性質(zhì)7：403性質(zhì)8：性質(zhì)9：例2.10：性質(zhì)8：性質(zhì)9：例2.10：404

五、獨立增量過程

定義1例2.11：五、獨立增量過程定義1例2.11：405

定義2定義2406

六、遍歷性定理六、遍歷性定理407應(yīng)用隨機(jī)過程課件408應(yīng)用隨機(jī)過程課件409

定義1:定義1:410

定義2:定義2:411

例2.12:例2.12:412

例2.13:例2.13:413

定理2.2:(均值遍歷性定理)定理2.2:(均值遍歷性定理)414

推論2.1:

推論2.2:推論2.1:推論2.2:415

定理2.2:(協(xié)方差函數(shù)遍歷性定理)定理2.2:(協(xié)方差函數(shù)遍歷性定理)416

作業(yè)1:

作業(yè)2:書第二章

習(xí)題2.6.

作業(yè)3:作業(yè)1:作業(yè)2:書第二章習(xí)題2.6.作417

第3章Poisson過程3.1Poisson過程定義3.1：第3章Poisson過程3.1Poisson過程418應(yīng)用隨機(jī)過程課件419Poission過程是計數(shù)過程，而且是一類最重要、應(yīng)用廣泛的計數(shù)過程，它最