應(yīng)用隨機過程-課件

應(yīng)用隨機過程成功的道路并不擁擠，的人并不是很多。因為堅持到最后2ppt課件

教材

《應(yīng)用隨機過程》

主要教學(xué)參考書

張波張景肖編中國人民大學(xué)

出版社3ppt課件參考書1.《應(yīng)用隨機過程》林元烈編著清華大學(xué)出版社2.《隨機過程》王風(fēng)雨編著北京師范大學(xué)出版社4ppt課件前言5ppt課件6ppt課件

第1章預(yù)備知識1.1概率空間在自然界和人類的活動中經(jīng)常遇到各種各樣的現(xiàn)象，大體上分為兩類：必然現(xiàn)象和隨機現(xiàn)象。具有隨機性的現(xiàn)象—隨機現(xiàn)象對隨機現(xiàn)象的觀察或為觀察而進行的實驗—隨機試驗隨機試驗的結(jié)果—基本事件或樣本點。所有可能的結(jié)果稱為樣本空間?！狝稱為事件。（有3個特征）7ppt課件事件的性質(zhì)

假設(shè)A,B,C是任意事件，則他們滿足：(1)交換律(2)結(jié)合律(3)分配律(4)對偶原則(DeMorgan律)8ppt課件定義1.19ppt課件性質(zhì)假10ppt課件例1.1例1.2例1.311ppt課件隨機試驗:擲一枚骰子，觀察出現(xiàn)的點數(shù)，思考題：12ppt課件定義1.2結(jié)論：13ppt課件定義1.314ppt課件定義1.415ppt課件例1.1：16ppt課件概率的基本性質(zhì)—單調(diào)性—次可列可加性17ppt課件18ppt課件事件列極限1：結(jié)論：19ppt課件定理：具體情況：20ppt課件事件列極限2：定義1.5—的下極限—的上極限21ppt課件例1.2：關(guān)系：含義：22ppt課件例1.3：23ppt課件1.2隨機變量和分布函數(shù)隨機變量：用實數(shù)來表示隨機實驗的各種結(jié)果.定義1.6關(guān)于隨機變量的幾點說明：24ppt課件25ppt課件定理1.1：26ppt課件定義1.7分布函數(shù)的含義：分布函數(shù)的性質(zhì)：27ppt課件隨機變量的類型：離散型：連續(xù)型：多維隨機變量：—d維隨機向量28ppt課件多維隨機變量聯(lián)合分布函數(shù)：性質(zhì)：29ppt課件一些常見的分布：1.離散均勻分布：分布列：2.二項分布：分布列：3.幾何分布：分布列：30ppt課件4.Poisson分布：分布列：____參數(shù)為的Poisson分布5.均勻分布：6.正態(tài)分布：31ppt課件7.分布：函數(shù)的性質(zhì)：32ppt課件8.指數(shù)分布：9.分布：10.d維正態(tài)分布：（略）33ppt課件34ppt課件1.3數(shù)字特征、矩母函數(shù)與特征函數(shù)一、數(shù)字特征定義1.8：——X的一階矩35ppt課件36ppt課件二、Rieman-Stieltjes積分Rieman-Stieltjes積分：37ppt課件注：38ppt課件R-S積分性質(zhì)：——可加性注：39ppt課件40ppt課件四、矩母函數(shù)與特征函數(shù)1.矩母函數(shù)（momentgeneratingfunction)定義1.9：41ppt課件矩母函數(shù)的性質(zhì)：42ppt課件2.特征函數(shù)（characteristicfunction)——復(fù)隨機變量定義1.10：——復(fù)隨機變量的數(shù)學(xué)期望43ppt課件特征函數(shù)的性質(zhì)：——有界性——共軛對稱性44ppt課件45ppt課件例3.1：例3.2：例3.3：例3.4：例3.5：46ppt課件作業(yè)題：47ppt課件1.4條件概率條件期望獨立性一、條件概率1.定義：1.基本公式定理1:(乘法公式)48ppt課件定理2:(全概率公式)定理3:(Bayes公式)49ppt課件二、獨立性1.定義：50ppt課件注1：兩兩獨立并不包含獨立性。例：51ppt課件注2我們有52ppt課件2.獨立性的性質(zhì)：定理4：推論1：推論2：53ppt課件定理5：54ppt課件定理6：55ppt課件四、條件期望1.邊緣分布——稱X,Y獨立.56ppt課件57ppt課件2.條件分布函數(shù)58ppt課件3.條件數(shù)學(xué)期望異同：59ppt課件60ppt課件61ppt課件定義：62ppt課件63ppt課件64ppt課件定理：例2：65ppt課件五、獨立隨機變量和的分布——卷積公式——稱為的卷積66ppt課件注：——結(jié)合律——分配律67ppt課件68ppt課件69ppt課件70ppt課件71ppt課件72ppt課件73ppt課件

第2章隨機過程的基本

概念和基本類型2.1基本概念在概率論中，我們研究了隨機變量，維隨機向量。

在極限定理中，我們研究了無窮多個隨機變量，但局限在它們相互獨立的情形。將上述情形加以推廣，即研究一族無窮多個、相互有關(guān)的隨機變量，這就是隨機過程。定義2.1：設(shè)是一概率空間，

對每一個參數(shù)，

是一定義在概率空間上的隨機變量，則稱隨機變量族為該概率空間上的一隨機過程。稱為參數(shù)集。74ppt課件隨機過程的兩種描述方法：用映射表示即是一定義在上的二元單值函數(shù)，

固定是一定義在樣本空間上的函數(shù)，

即為一隨機變量；對于固定的是一個關(guān)于參數(shù)的函數(shù)，或稱隨機過程的一次實現(xiàn)。記號通常稱為樣本函數(shù)，有時記為或簡記為參數(shù)一般表示時間或空間。參數(shù)常用的一般有：75ppt課件(1)(2)(3)當(dāng)參數(shù)取可列集時，一般稱隨機過程為隨機序列。

隨機過程可能取值的全體所構(gòu)成的集合稱為此隨機過程的狀態(tài)空間，記作S.S中的元素稱為狀態(tài)。狀態(tài)空間可以由復(fù)數(shù)、實數(shù)或更一般的抽象空間構(gòu)成。76ppt課件77ppt課件隨機過程分為以下四類：(1)離散參數(shù)離散型隨機過程；(2)連續(xù)參數(shù)離散型隨機過程；(3)連續(xù)參數(shù)連續(xù)型隨機過程；(4)離散參數(shù)連續(xù)型隨機過程。78ppt課件以隨機過程的統(tǒng)計特征或概率特征的分類，一般有：獨立增量過程；Markov過程；二階矩過程；平穩(wěn)過程；更新過程；Poission過程；維納過程。鞅；79ppt課件

隨機過程舉例例2.1例2.2拋擲一枚硬幣，樣本空間為定義：隨機過程。80ppt課件例2.381ppt課件2.2有限維分布與Kolmogvrov定理一、隨機過程的分布函數(shù)1.一維分布函數(shù)82ppt課件2.二維分布函數(shù)83ppt課件3.n維分布函數(shù)84ppt課件4.有限維分布族——稱為有限維分布族5.有限維分布族的性質(zhì)(1)對稱性85ppt課件(2)相容性注1：隨機過程的統(tǒng)計特性完全由它的有限維分

布族決定。注2：有限維分布族與有限維特征函數(shù)族相互唯

一確定。問題：一個隨機過程是否描述了該過程的全部概率特性？的有限維分布族，86ppt課件定理：（Kolmogorov存在性定理）設(shè)分布函數(shù)族滿足以上提到的對稱性和相容性，則必有一隨機過程恰好是的有限維分布族，即：定理說明：的有限維分布族包含了的所有概率信息。87ppt課件例2.488ppt課件例2.589ppt課件90ppt課件二、隨機過程的數(shù)字特征1.均值函數(shù)隨機過程（假設(shè)是存在的）的均值函數(shù)定義為：2.方差函數(shù)隨機過程的方差函數(shù)定義為：91ppt課件3.(自)協(xié)方差函數(shù)92ppt課件4.(自)相關(guān)函數(shù)93ppt課件5.(互)協(xié)方差函數(shù)6.互相關(guān)函數(shù)94ppt課件7.互不相關(guān)8.特征函數(shù)為隨機過程的有限維特征函數(shù)族。記：95ppt課件例2.6例2.796ppt課件作業(yè)197ppt課件2.3隨機過程的基本類型

一、嚴平穩(wěn)過程定義1：98ppt課件

二、嚴平穩(wěn)過程的特點則99ppt課件

三、寬平穩(wěn)過程(簡稱平穩(wěn)過程)定義2：100ppt課件注1：注2：101ppt課件例2.8例2.9102ppt課件

四、平穩(wěn)過程相關(guān)函數(shù)的性質(zhì)性質(zhì)1：性質(zhì)2：結(jié)論：性質(zhì)3：103ppt課件性質(zhì)4：注：104ppt課件定義：注：性質(zhì)5：性質(zhì)6：性質(zhì)7：105ppt課件性質(zhì)8：性質(zhì)9：例2.10：106ppt課件

五、獨立增量過程

定義1例2.11：107ppt課件

定義2108ppt課件

六、遍歷性定理109ppt課件110ppt課件111ppt課件

定義1:112ppt課件

定義2:113ppt課件

例2.12:114ppt課件

例2.13:115ppt課件

定理2.2:(均值遍歷性定理)116ppt課件

推論2.1:

推論2.2:117ppt課件

定理2.2:(協(xié)方差函數(shù)遍歷性定理)118ppt課件

作業(yè)1:

作業(yè)2:書第二章

習(xí)題2.6.

作業(yè)3:119ppt課件

第3章Poisson過程3.1Poisson過程定義3.1：120ppt課件121ppt課件Poission過程是計數(shù)過程，而且是一類最重要、應(yīng)用廣泛的計數(shù)過程，它最早于1837年由法國數(shù)學(xué)家Poission引入。122ppt課件定義3.2：123ppt課件例3.1：解：見板書。124ppt課件定義3.2’:一計數(shù)過程是獨立增量及平穩(wěn)增量過程，即任取相互獨立；125ppt課件定義3.2’的解釋:126ppt課件127ppt課件定理3.1:由增量平穩(wěn)性，記：（I）情形：因為我們有：另一方面128ppt課件代入上式，我們有：令我們有：（II）情形：因為：129ppt課件故有：化簡并令得：兩邊同乘以，移項后有：當(dāng)時，有：130ppt課件由歸納法可得：注意：因此代表單位時間內(nèi)事件出現(xiàn)的平均次數(shù)。131ppt課件由歸納法可得：注意：因此代表單位時間內(nèi)事件出現(xiàn)的平均次數(shù)。132ppt課件133ppt課件例3.2：134ppt課件例3.3：135ppt課件例3.4：136ppt課件作業(yè)1：作業(yè)2：書第三章習(xí)題3.5,3.6,3.10137ppt課件3.2Poisson過程相聯(lián)系的若干分布138ppt課件復(fù)習(xí)：1.指數(shù)分布2.無記憶性139ppt課件定理3.2：結(jié)論：140ppt課件定義3.3：注：141ppt課件例3.5:(見書例3.4)142ppt課件例3.6:143ppt課件定理3.3：證明：見板書。144ppt課件引理：145ppt課件146ppt課件原因：注：147ppt課件定理3.4：148ppt課件例3.7:(見書例3.5)149ppt課件例3.8:(見書例3.6)150ppt課件3.3Poisson過程的推廣一、非齊次Poisson過程151ppt課件定義3.4:過程有獨立增量；152ppt課件定義3.5：注2:定義3.4與定義3.5是等價的。注1:我們稱m(t)為非齊次poisson過程的均值或強度。153ppt課件定理3.5：注3:用此定理可以簡化非齊次Poisson過程的問題到齊次Poisson過程中進行討論。另一方面也可以進行反方向的操作，即從一個參數(shù)為的Poisson構(gòu)造一個強度函數(shù)為的非齊次Poisson過程。定理3.5’：（一般了解）154ppt課件例3.9:(見書例3.7)155ppt課件二、復(fù)合Poisson過程定義3.6:物理意義:如表示粒子流，156ppt課件例3.10:(見書例3.8)157ppt課件例3.11:(見書例3.9顧客成批到達的排隊系統(tǒng))158ppt課件定理3.6：159ppt課件例3.12:（見書例3.10）160ppt課件作業(yè)1:作業(yè)2:參考例3.12:（見書例3.10）作業(yè)3:見書習(xí)題3.12161ppt課件

第5章Markov過程5.1基本概念直觀意義：1.Markov鏈的定義162ppt課件定義5.1：163ppt課件定義5.2：定義5.3：2.轉(zhuǎn)移概率164ppt課件注：有定義5.1知165ppt課件166ppt課件轉(zhuǎn)移矩陣的性質(zhì)：定義5.4：167ppt課件2.Markov鏈的例子帶有一個吸收壁的隨機游動：特點：當(dāng)就停留在零狀態(tài)。此時是一齊次馬氏鏈，其狀態(tài)空間為，一步轉(zhuǎn)移概率為：注意；狀態(tài)為馬氏鏈的吸收狀態(tài)的充要條件是：例5.1：168ppt課件帶有兩個吸收壁的隨機游動：此時是一齊次馬氏鏈,狀態(tài)空間為為兩個吸收狀態(tài),它的一步轉(zhuǎn)移概率為：例5.2：169ppt課件它的一步轉(zhuǎn)移概率矩陣為：170ppt課件特點：概率為：例5.3：帶有一個反射壁的隨機游動：一旦質(zhì)點進入零狀態(tài)，下一步它以概率向右移動一格，以概率停留在零狀態(tài)。此時的狀態(tài)空間為它的一步轉(zhuǎn)移171ppt課件例5.4：172ppt課件例5.5：173ppt課件174ppt課件4.n步轉(zhuǎn)移概率C-K方程定義5.5（n步轉(zhuǎn)移概率）175ppt課件定理5.1:(Chapman-Kolmogorov方程，簡稱C-K方程)176ppt課件例5.6：177ppt課件例5.7:(隱Markov模型）或者為正面或者為反面.在任何給定時刻只有一枚硬呈現(xiàn)，但是有時硬幣可能被替換而不改變其正反面.硬幣M和W分別具有轉(zhuǎn)移概率在任何給定時刻硬幣被替換的概率為30%,替換完成時，硬幣的狀態(tài)不變.這一Markov鏈有4個狀態(tài)，分別記為1:UM;2:DM;3:UW;4:DW.狀態(tài)1、3表示正面U,狀態(tài)2、4表示反面D轉(zhuǎn)移矩陣為4X4的矩陣.我們178ppt課件可以計算轉(zhuǎn)移概率,比如,首先(無轉(zhuǎn)移),而后(無轉(zhuǎn)移).因此轉(zhuǎn)移概率為其他轉(zhuǎn)移概率類似可得，轉(zhuǎn)移方式為轉(zhuǎn)移概率矩陣為179ppt課件例5.8:180ppt課件例5.9:181ppt課件帶有兩個反射壁的隨機游動：此時是一齊次馬氏鏈,狀態(tài)空間為為兩個反射狀態(tài),求它的一步轉(zhuǎn)移概率。作業(yè)1：182ppt課件作業(yè)2:183ppt課件5.3狀態(tài)的分類及性質(zhì)引入：184ppt課件定義5.7注：定理5.3：185ppt課件注：定義5.8:例1：186ppt課件定義5.9(周期性)規(guī)定：例2(書5.14)注1：注2：187ppt課件定理5.4：證明：板書。注:當(dāng)兩個狀態(tài)的周期相同時，有時其狀態(tài)之間

有顯著差異。如：188ppt課件定義5.10:(常返性)189ppt課件注2：注3：注1：190ppt課件例3定義5.11191ppt課件例4192ppt課件引理5.1（）193ppt課件定理5.5194ppt課件引理5.2定理5.6195ppt課件作業(yè)1：196ppt課件思考題：197ppt課件定理5.5198ppt課件引理5.2定理5.6199ppt課件

閉集及狀態(tài)空間的分解定理

閉集：200ppt課件

相關(guān)性質(zhì)：任何兩個狀態(tài)均互通所有常返態(tài)構(gòu)成一個閉集在不可約馬氏鏈中,所有狀態(tài)具有相同的狀態(tài)類型.201ppt課件

狀態(tài)空間分解定理：定理5.7：202ppt課件例5203ppt課件例6：204ppt課件作業(yè)1：205ppt課件周期鏈分解定理：定理5.8：206ppt課件例7:207ppt課件5.4極限理論與不變分布5.4.1極限理論208ppt課件例8（書例5.17）(0-1傳輸系統(tǒng)）209ppt課件210ppt課件推論設(shè)i常返，則(1)i零常返(2)i遍歷定理5.9設(shè)i常返且有周期為d，則其中i為i的平均返回時間.當(dāng)i

=時211ppt課件證:(1)i零常返,i=,由定理5.9知，對d的非整數(shù)倍數(shù)的n，從而子序列i是零常返的212ppt課件(2)i是遍歷的，d=1，i

<，子序列所以d=1，從而i為非周期的，i是遍歷的213ppt課件定理5.10

結(jié)論：

214ppt課件215ppt課件(a)

所有非常返狀態(tài)組成的集合不可能是閉集;(b)沒有零常返狀態(tài);(c)必有正常返狀態(tài);(d)不可約有限馬氏鏈只有正常返態(tài);(e)狀態(tài)空間可以分解為:其中：每個均是由正常返狀態(tài)組成的有限不可約閉集，是非常返態(tài)集。216ppt課件注1：有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，也不可能含有零常返狀態(tài)，從而不可約的有限狀態(tài)的馬氏鏈必為正常返的。證設(shè)S={0,1,,N}，如S全是非常返狀態(tài)，則對任意i,jI，知故矛盾。如S含有零常返狀態(tài)i，則C={j:ij}是有限不可約閉集，由定理知，C中均為零常返狀態(tài)，知217ppt課件由引理知所以218ppt課件注2:

如馬氏鏈有一個零常返狀態(tài)，則必有無限多個證設(shè)i為零常返狀態(tài)，則C={j:ij}是不可約閉集，C中均為零常返狀態(tài)，故C不能是有限集。否則零常返狀態(tài)。219ppt課件稱概率分布{j

,jI}為馬爾可夫鏈的平穩(wěn)分布（不變分布），若設(shè){Xn,n0}是齊次馬爾可夫鏈，狀態(tài)空間為I，轉(zhuǎn)移概率為pij5.4.2平穩(wěn)分布(不變分布)與極限分布定義5.12一、平穩(wěn)分布(不變分布)220ppt課件注：(1)若初始概率分布{pj,jI}是平穩(wěn)分布，則(2)對平穩(wěn)分布{j

,jI}，有矩陣形式=

其中=(j)，(

)pj

=pj(1)=pj(2)==pj(n)221ppt課件二、遍歷性的概念與極限分布對于一般的兩個狀態(tài)的馬氏鏈,由上節(jié)內(nèi)容可知,意義對固定的狀態(tài)j,不管鏈在某一時刻的什么狀態(tài)i出發(fā),通過長時間的轉(zhuǎn)移到達狀態(tài)j的概率都趨222ppt課件定義5.13223ppt課件或定義則稱此鏈具有遍歷性.224ppt課件定理5.13225ppt課件定理不可約非周期馬爾可夫鏈是正常返的充要條件是存在平穩(wěn)分布，且此平穩(wěn)分布就是極限分布推論2若不可約馬爾可夫鏈的所有狀態(tài)是非常返或零常返，則不存在平穩(wěn)分布.推論1有限狀態(tài)的不可約非周期馬爾可夫鏈必存在平穩(wěn)分布。226ppt課件推論3若{j

,jI}是馬爾可夫鏈的平穩(wěn)分布，則所取的值與初始狀態(tài)的分布無關(guān)。證：由于：故227ppt課件例1

設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為求馬爾可夫鏈的平穩(wěn)分布及各狀態(tài)的平均返回時間。即，經(jīng)過無窮次轉(zhuǎn)移后處于狀態(tài)的概率與初始狀態(tài)無關(guān)，與初始狀態(tài)的分布也無關(guān)。228ppt課件解因為馬爾可夫鏈是不可約非周期有限狀態(tài)的，所以平穩(wěn)分布存在，設(shè)則=

P，1+2+3=1.即各狀態(tài)的平均返回時間為=(1,2,3)229ppt課件例2

設(shè)馬爾可夫鏈轉(zhuǎn)移概率矩陣為求每一個不可約閉集的平穩(wěn)分布。230ppt課件解從狀態(tài)轉(zhuǎn)移圖看出，狀態(tài)空間可分解為兩個不可約常返閉集C1={2,3,4}和C2={5,6,7}，一個非常返集N={1}。在常返集上求平穩(wěn)分布：231ppt課件在C1上，對應(yīng)的轉(zhuǎn)移概率矩陣為C1上的平穩(wěn)分布為：{0,0.4,0.2,0.4,0,0,0}同理可求得C2上的平穩(wěn)分布為{0,0,0,0,1/3,1/3,1/3}232ppt課件三、(有限鏈)遍歷性的充分條件233ppt課件說明2.極限分布轉(zhuǎn)化為了求解方程組.3.在定理的條件下馬氏鏈的極限分布是平穩(wěn)分布.234ppt課件試說明帶有兩個反射壁的隨機游動是遍歷的,

并求其極限分布(平穩(wěn)分布).解例3四、應(yīng)用舉例235ppt課件無零元,鏈是遍歷的236ppt課件代入最后一個方程(歸一條件),得唯一解237ppt課件所以極限分布為這個分布表明經(jīng)過長時間游動之后,醉漢Q位于點2(或3或4)的概率約為3/11,位于點1(或5)的概率約為1/11.238ppt課件設(shè)一馬氏鏈的一步轉(zhuǎn)移概率陣為試討論它的遍歷性.解例4239ppt課件表明此鏈不具遍歷性.240ppt課件五、小結(jié)遍歷性的概念則稱此鏈具有遍歷性.241ppt課件

(有限鏈)遍歷性的充分條件242ppt課件作業(yè)1：作業(yè)2：書習(xí)題5.7243ppt課件第七節(jié)

連續(xù)時間馬爾可夫鏈定義7.1

設(shè)隨機過程{X(t)，t0}，狀態(tài)空間及非負整數(shù)i1,i2,,in+1，有P{X(tn+1)=in+1|X(t1)=i1,X(t2)=i2,,X(tn)=in}則稱{X(t)，t0}為連續(xù)時間馬爾可夫鏈。I={0,1,2,}，若對任意0t1<t2<<tn+1=P{X(tn+1)=in+1|X(tn)=in}，244ppt課件轉(zhuǎn)移概率：在s時刻處于狀態(tài)i，經(jīng)過時間t后轉(zhuǎn)移到狀態(tài)j的概率pij(s,t)=P{X(s+t)=j|X(s)=i}定義7.2

齊次轉(zhuǎn)移概率(與起始時刻s無關(guān)，只與時間間隔t有關(guān))pij(s,t)=pij(t)此時有轉(zhuǎn)移概率矩陣P(t)=(pij(t))，i,jI，t0.245ppt課件記i為過程在狀態(tài)轉(zhuǎn)移之前停留在狀態(tài)i的時間，則對s,t0有(1)(2)i

服從指數(shù)分布證：(1)事實上ss+t0iiiiti246ppt課件247ppt課件(2)設(shè)i的分布函數(shù)為F(x),(x0),則生存函數(shù)由此可推出G(x)為指數(shù)函數(shù)，G(x)=e-x,則F(x)=1-G(x)=1-e-x為指數(shù)分布函數(shù)。G(x)=1-F(x)248ppt課件過程在狀態(tài)轉(zhuǎn)移之前處于狀態(tài)i的時間i服從指數(shù)分布(1)當(dāng)i=時，狀態(tài)i的停留時間i超過x的概率為0，則稱狀態(tài)i為瞬時狀態(tài)；(2)當(dāng)i=0時，狀態(tài)i的停留時間i超過x的概率為1，則稱狀態(tài)i為吸收狀態(tài)。249ppt課件定理7.1齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì)：(1)pij(t)0;(2)

(3)

證

由概率的定義，(1)(2)顯然成立，下證(3)250ppt課件

251ppt課件注：此為轉(zhuǎn)移概率的正則性條件。252ppt課件例1證明泊松過程{X(t),t0}為連續(xù)時間齊次馬爾可夫鏈。證先證泊松過程的馬爾可夫性。泊松過程是獨立增量過程，且X(0)=0，對任意0<t1<t2<<tn<tn+1有253ppt課件另一方面即泊松過程是一個連續(xù)時間馬爾可夫鏈254ppt課件

再證齊次性。當(dāng)ji時，當(dāng)j<i時,因增量只取非負整數(shù)值,故pij(s,t)=0，所以轉(zhuǎn)移概率與s無關(guān)，泊松過程具有齊次性。255ppt課件第六節(jié)馬氏鏈模型6.1基本應(yīng)用實例6.2健康與疾病6.3鋼琴銷售的存儲策略256ppt課件馬氏鏈模型

系統(tǒng)在每個時期所處的狀態(tài)是隨機的

從一時期到下時期的狀態(tài)按一定概率轉(zhuǎn)移

下時期狀態(tài)只取決于本時期狀態(tài)和轉(zhuǎn)移概率已知現(xiàn)在，將來與過去無關(guān)（無后效性）描述一類重要的隨機動態(tài)系統(tǒng)（過程）的模型馬氏鏈(MarkovChain)——時間、狀態(tài)均為離散的隨機轉(zhuǎn)移過程257ppt課件

某計算機房的一臺計算機經(jīng)常出故障,研究者每隔15分鐘觀察一次計算機運行狀態(tài),收集了24小時的數(shù)據(jù)(共作97次觀察).用1表示正常狀態(tài),用0表示不正常狀態(tài),所得的數(shù)據(jù)序列如下:試求一步轉(zhuǎn)移概率矩陣。1110010011111110011110111111001111111110001101101分析狀態(tài)空間:I={0,1}.例11110110110101111011101111011111100110111111001116.1基本應(yīng)用實例258ppt課件96次狀態(tài)轉(zhuǎn)移的情況:因此,一步轉(zhuǎn)移概率可用頻率近似地表示為:259ppt課件特點:用行向量表示為一維分布由初始分布和轉(zhuǎn)移概率矩陣決定260ppt課件由以上討論知,轉(zhuǎn)移概率決定了馬氏鏈的運動的統(tǒng)計規(guī)律.因此,確定馬氏鏈的任意n步轉(zhuǎn)移概率成為馬氏鏈理論中的重要問題之一.261ppt課件設(shè)每一級的傳真率為p,誤碼率為q=1-p.設(shè)一個單位時間傳輸一級,只傳輸數(shù)字0和1的串聯(lián)系統(tǒng)(傳輸系統(tǒng))如圖:分析:例2262ppt課件而與時刻n以前所處的狀態(tài)無關(guān).所以它是一個馬氏鏈,且是齊次的.

一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率矩陣263ppt課件在傳輸系統(tǒng)中,傳輸后的誤碼率;系統(tǒng)經(jīng)n級傳輸后輸出為1,問原發(fā)字符也是1的概率是多少?264ppt課件解先求出n步轉(zhuǎn)移概率矩陣.有相異的特征值所以可將P表示成對角陣265ppt課件傳輸后的誤碼率分別為:266ppt課件(2)根據(jù)貝葉斯公式,當(dāng)系統(tǒng)經(jīng)n級傳輸后輸出為1,原發(fā)字符也是1的概率為:267ppt課件說明n步轉(zhuǎn)移概率矩陣為矩陣一般可表示為:對于只有兩個狀態(tài)的馬氏鏈,一步轉(zhuǎn)移概率268ppt課件通過有實際背景的例子介紹馬氏鏈的基本概念和性質(zhì)例1.

人的健康狀況分為健康和疾病兩種狀態(tài)，設(shè)對特定年齡段的人，今年健康、明年保持健康狀態(tài)的概率為0.8,而今年患病、明年轉(zhuǎn)為健康狀態(tài)的概率為0.7，6.2健康與疾病

人的健康狀態(tài)隨著時間的推移會隨機地發(fā)生轉(zhuǎn)變保險公司要對投保人未來的健康狀態(tài)作出估計,以制訂保險金和理賠金的數(shù)額若某人投保時健康,問10年后他仍處于健康狀態(tài)的概率269ppt課件Xn+1只取決于Xn和pij,與Xn-1,

…無關(guān)狀態(tài)與狀態(tài)轉(zhuǎn)移狀態(tài)轉(zhuǎn)移具有無后效性120.80.20.30.7270ppt課件n0a2(n)0a1(n)1設(shè)投保時健康給定a(0),預(yù)測a(n),n=1,2…設(shè)投保時疾病a2(n)1a1(n)0n時狀態(tài)概率趨于穩(wěn)定值，穩(wěn)定值與初始狀態(tài)無關(guān)3…

0.778…

0.222…

∞7/92/90.70.770.777…0.30.230.223…

7/92/9狀態(tài)與狀態(tài)轉(zhuǎn)移120.80.20.30.710.80.220.780.22271ppt課件1230.10.0210.80.250.180.65例2.

健康和疾病狀態(tài)同上，Xn=1~健康,Xn=2~疾病p11=0.8,p12=0.18,p13=0.02死亡為第3種狀態(tài)，記Xn=3健康與疾病

p21=0.65,p22=0.25,p23=0.1p31=0,p32=0,p33=1272ppt課件n0123a2(n)00.180.1890.1835

a3(n)00.020.0540.0880

a1(n)10.80.7570.7285設(shè)投保時處于健康狀態(tài)，預(yù)測a(n),n=1,2…

不論初始狀態(tài)如何，最終都要轉(zhuǎn)到狀態(tài)3；一旦a1(k)=a2(k)=0,a3(k)=1,則對于n>k,a1(n)=0，a2(n)=0,a3(n)=1,即從狀態(tài)3不會轉(zhuǎn)移到其它狀態(tài)。狀態(tài)與狀態(tài)轉(zhuǎn)移00150

0.12930.0326

0.8381

273ppt課件馬氏鏈的基本方程基本方程274ppt課件馬氏鏈的兩個重要類型1.正則鏈

~從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達另外任一狀態(tài)（如例1）。w~穩(wěn)態(tài)概率275ppt課件馬氏鏈的兩個重要類型2.吸收鏈

~存在吸收狀態(tài)（一旦到達就不會離開的狀態(tài)i,pii=1）,且從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達吸收狀態(tài)（如例2）。276ppt課件6.3鋼琴銷售的存貯策略

鋼琴銷售量很小，商店的庫存量不大以免積壓資金一家商店根據(jù)經(jīng)驗估計，平均每周的鋼琴需求為1架存貯策略：每周末檢查庫存量，僅當(dāng)庫存量為零時，才訂購3架供下周銷售；否則，不訂購。估計在這種策略下失去銷售機會的可能性有多大，以及每周的平均銷售量是多少。背景與問題277ppt課件問題分析

顧客的到來相互獨立，需求量近似服從波松分布，其參數(shù)由需求均值為每周1架確定，由此計算需求概率存貯策略是周末庫存量為零時訂購3架周末的庫存量可能是0,1,2,3，周初的庫存量可能是1,2,3。用馬氏鏈描述不同需求導(dǎo)致的周初庫存狀態(tài)的變化。動態(tài)過程中每周銷售量不同，失去銷售機會（需求超過庫存）的概率不同。可按穩(wěn)態(tài)情況（時間充分長以后）計算失去銷售機會的概率和每周的平均銷售量。278ppt課件模型假設(shè)鋼琴每周需求量服從波松分布，均值為每周1架存貯策略：當(dāng)周末庫存量為零時，訂購3架，周初到貨；否則，不訂購。以每周初的庫存量作為狀態(tài)變量，狀態(tài)轉(zhuǎn)移具有無后效性。在穩(wěn)態(tài)情況下計算該存貯策略失去銷售機會的概率，和每周的平均銷售量。2