隨機(jī)過(guò)程課件

1、第一章 概率論基礎(chǔ)1.從傳統(tǒng)的長(zhǎng)度概念說(shuō)起1.1 區(qū)間（a,b）、a,b等都有長(zhǎng)度，用字母表示,而且知道(a,b)=b-a我們進(jìn)而認(rèn)為是一種（函數(shù)）運(yùn)算，自變量*為一維數(shù)軸上的區(qū)間，顯然，應(yīng)滿足：（1） L(*)非負(fù)性；（2）有限可加性；（3）甚至要求滿足可列可加性我們提出問(wèn)題1：區(qū)間作為的子集，具有長(zhǎng)度，那么的一般子集也有長(zhǎng)度嗎？答案是否定的。因?yàn)閭鹘y(tǒng)長(zhǎng)度是集合的右端點(diǎn)與左端點(diǎn)之差值，而只有區(qū)間這種集合才有端點(diǎn)。問(wèn)題2：是否可以推廣為某作為一般點(diǎn)集的長(zhǎng)度呢？當(dāng)然可以適當(dāng)推廣成為某種運(yùn)算，用以作為更廣泛的一類集合（包含全體區(qū)間）的“長(zhǎng)度”。但是，事實(shí)表明，無(wú)論怎樣改進(jìn)，都無(wú)法適應(yīng)的全體子集。1

2、.2長(zhǎng)度向某推廣的直接動(dòng)力是，人們發(fā)現(xiàn)了積分的缺陷并希望加以改進(jìn)。積分的缺陷1：也可寫成，積分符號(hào)的右下角就是積分區(qū)間，也就是積分范圍，此范圍不可以是一般的實(shí)數(shù)點(diǎn)集，只能是區(qū)間。缺陷2：按照黎曼積分的定義（工科高數(shù)教材）：（1）分割區(qū)間成為若干小區(qū)間，（2）任意取小區(qū)間的點(diǎn)，求值，進(jìn)而得到第個(gè)小矩形的面積（3）做和，也即全體小矩形面積之和（4），這一步是對(duì)前三步工作的無(wú)窮細(xì)化。這種方法的核心思想是微小范圍內(nèi)以直代曲，例如，第個(gè)小矩形的面積應(yīng)是，但這里卻以加以代替，依據(jù)是在很小區(qū)間上，函數(shù)的變化不大，可以近似看成常數(shù)。這就要求函數(shù)在區(qū)間上“基本連續(xù)”，否則，無(wú)論在多小的區(qū)間上，函數(shù)取值變化很大，

3、從而會(huì)因?yàn)榈冢?）步的不同而使得極限不存在，從而產(chǎn)生不可積的現(xiàn)象。這就大大減少了能夠在區(qū)間上可積的函數(shù)的數(shù)量。例如：函數(shù)在區(qū)間上就不可積分 為了克服黎曼積分定義的這種局限性，建立起一種全新的積分勒貝格積分將區(qū)間分割成若干小集合（注意：不是小區(qū)間?。指顦?biāo)準(zhǔn)是：在每個(gè)小集合上的“變動(dòng)不大”。，而且小集合兩兩互斥。我們觀察第個(gè)小集合，由于其上變化很小，故可以某常數(shù)（）替代，作為小集合的“高”，新的問(wèn)題隨之產(chǎn)生，小集合的“底”也就是其“長(zhǎng)度”怎樣求？這正是點(diǎn)集測(cè)度的由來(lái)。如果一般點(diǎn)集有了測(cè)度（長(zhǎng)度），那么黎曼積分的缺陷1也隨之解決。 為此，有必要學(xué)習(xí)一下一維直線上實(shí)數(shù)點(diǎn)集合的有關(guān)內(nèi)容。2集合論初步

4、2.1對(duì)等的概念（不限于實(shí)數(shù)集合）若集合中的每個(gè)元素都可在集合中找到唯一的對(duì)應(yīng)元素，反之也成立，則稱與對(duì)等，記做對(duì)等表明兩個(gè)集合所含元素的個(gè)數(shù)相等2.2基數(shù)2.3集合的分類有限集有限集的任意真子集都不能與對(duì)等無(wú)限集如果集合存在與自己對(duì)等的真子集，則稱集合為無(wú)限集無(wú)限集可以分為：（1）可列集（無(wú)限可數(shù)集），的基數(shù)是（2）不可列集（無(wú)限不可數(shù)集）2.4命題1：內(nèi)的有理數(shù)可列證明：任取，則,互質(zhì)，且唯一。則令，則，這是因?yàn)椋喝〔煌臄?shù)對(duì)、，反證法可得與不同；取不同的與，反證法可得數(shù)對(duì)、不同。因此結(jié)合，有是自然數(shù)，可從小至大排列：，因此可列，從而可列。 命題2：、 命題3：內(nèi)的全體有理數(shù)排列不構(gòu)成長(zhǎng)度

5、命題4：區(qū)間是一個(gè)不可列集，記，稱為連續(xù)基數(shù)。證明：僅證不可列（反證法）假設(shè)可列，則具體的等等現(xiàn)取數(shù)，其中，等等一方面，另一方面，由的表達(dá)式可知，產(chǎn)生矛盾。2.5集合(序)列的極限（集）（1）若，則有極限集（2）若，則有極限集（3）對(duì)一般的集列，有上下極限集=證明：僅證(1)取， 則，即，所以反之，取，則，所以，即，從而有無(wú)限個(gè)包含元素，即綜上述，=證完。2.6三分集（介紹，了解）去掉中間三分之一開區(qū)間，去掉中間三分之一開區(qū)間，去掉中間三分之一開區(qū)間，無(wú)限次進(jìn)行得到的集合。基數(shù)是，長(zhǎng)度為，這表明：個(gè)點(diǎn)既可以構(gòu)成長(zhǎng)度也可以不構(gòu)成長(zhǎng)度。2.7開集與閉集（1）由內(nèi)點(diǎn)構(gòu)成的集合叫開集（）開集的構(gòu)造：開

6、集可表達(dá)為至多可列個(gè)互不相交的開區(qū)間之并；、各種區(qū)間、都是開集；有限個(gè)開集的交仍是開集；，任意個(gè)開集的并仍是開集。（2）包含自己的聚點(diǎn)的集合叫閉集（）；有限個(gè)閉集的并仍是閉集；，任意個(gè)閉集的交仍是閉集。2.8集系的定義，冪集2.9代數(shù)的定義（不限于實(shí)數(shù)集合）若是中一些子集組成的集類，且滿足：（1）；（2）若，則；（3）若，則，則稱為上的一個(gè)代數(shù)；并稱二元組為可測(cè)空間。2.10命題1：任給一集，則=與不對(duì)等證明：反證之。若，則可記=，即可將中的元素用的元素來(lái)標(biāo)記（使與的元素一一對(duì)應(yīng)）。對(duì)于，只有下列兩種情形之一發(fā)生：或。令=，有，因此可知，滿足若，則，即，矛盾；若，則，即，矛盾。證完命題2：最大

7、的基數(shù)不存在。 命題3：連續(xù)統(tǒng)假設(shè) 1.4測(cè)度論初步1點(diǎn)集的Lebesgue外測(cè)度（1902年） 設(shè)，稱=為點(diǎn)集的Lebesgue外測(cè)度。2外測(cè)度的性質(zhì)（1）若點(diǎn)集至多可列，則（2）（3） 非負(fù)性，（4） 單調(diào)性（5）半加性：人們已經(jīng)證明，存在集列，兩兩互斥，但有（這類集合不好?。┻@意味著，作為一般點(diǎn)集的“長(zhǎng)度”，仍然不夠完善。事實(shí)上，勒貝格以前，等人都曾定義過(guò)長(zhǎng)度（容度），但均有重大缺陷，勒貝格外測(cè)度是重大進(jìn)步。既然存在一些“不好”的集合，人們就想辦法找出所有“好的”集合，以迎合勒貝格外測(cè)度。當(dāng)然首先要制定評(píng)價(jià)“好壞”的標(biāo)準(zhǔn)。3Caratheodory條件（1918年）：設(shè)，若對(duì)于任意的點(diǎn)集

8、，有，則稱為(勒貝格）可測(cè)集，為試驗(yàn)集。若為可測(cè)集，其外測(cè)度稱為測(cè)度，記為。4全體可測(cè)集組成的集系記作，則是一個(gè)代數(shù)可以證明：（）（）若，則（）若，則（此證明需分幾步，稍復(fù)雜，略去）5稱二元組為（勒貝格）可測(cè)空間。在此空間上，勒貝格測(cè)度滿足：（）非負(fù)性：，（）可列可加性：（）下連續(xù)性：若，且，則上連續(xù)性：若，且，又存在，則（）存在不滿足卡氏條件（即不可測(cè)）的點(diǎn)集6設(shè)是中一些子集組成的集類，則存在唯一的的代數(shù)，它包含而且被包含的任一代數(shù)所包含。稱為由生成的代數(shù)，或包含的最小代數(shù)。 Borel集（1898年）設(shè)，則集類：是的子集類，則域稱為域（代數(shù)），其元素稱為Borel集。Borel集是可測(cè)集，

9、從而（真包含）由于結(jié)構(gòu)較之于簡(jiǎn)單，且對(duì)于一般研究足夠用，所以（，）取代，作為（勒貝格）可測(cè)空間。非Borel可測(cè)集，均為零測(cè)集。10我們注意到, 域的構(gòu)造過(guò)程與勒貝格測(cè)度無(wú)關(guān),因此我們說(shuō)：可以先構(gòu)造出可測(cè)空間（，），而是其上滿足非負(fù)性和可列可加性的集函數(shù)（即是測(cè)度），從而就產(chǎn)生了測(cè)度空間（，）11在抽象集合（假定全集是）上,也可以類似構(gòu)造測(cè)度空間：（）依據(jù)具體問(wèn)題，選擇上的適當(dāng)代數(shù)當(dāng)然，上的代數(shù)是很多很多的有時(shí)為了某個(gè)問(wèn)題的研究，總會(huì)假定某個(gè)可測(cè)空間（，）已經(jīng)存在（）在可測(cè)空間（，）上，適當(dāng)定義一個(gè)滿足非負(fù)性和可列可加性的集函數(shù)，就構(gòu)成了一個(gè)抽象的測(cè)度空間（，），一般測(cè)度理論由此展開。第二章

10、概率空間與隨機(jī)變量1.概率空間（，）的產(chǎn)生（）在給定條件之下，試驗(yàn)所產(chǎn)生的結(jié)果不能或不必再分，這些結(jié)果叫做基本事件，其全體構(gòu)成樣本空間（）至于在樣本空間上構(gòu)造滿足要求的代數(shù)，一般視情況而定。例如：（）若為至多可列點(diǎn)集，則取（）若，取或，等等。今后總假定已經(jīng)給出（盡管沒(méi)能夠真正找出來(lái)），中的元素稱為事件。（）對(duì)于可測(cè)空間，定義一個(gè)非負(fù)集函數(shù)，以度量中事件發(fā)生可能性大小，它滿足：非負(fù)性：，對(duì)于任何事件；規(guī)范性：；可列可加性：若，且兩兩不交，則稱為事件A的概率，稱為概率空間2.隨機(jī)變量設(shè)是一可測(cè)空間，若函數(shù)使得對(duì)任意，有則稱函數(shù)是關(guān)于（或上）的可測(cè)函數(shù)。在概率空間上定義的可測(cè)函數(shù)稱為隨機(jī)變量（）命題

11、1：，有F，有F證明：1）：，有2）：，有=命題2：，F(xiàn)，有F命題3：B,有F，有F3.分布函數(shù)設(shè)是定義在上的一個(gè)隨機(jī)變量，令，稱為隨機(jī)變量的分布函數(shù)4.定義設(shè)是概率空間上的一個(gè)隨機(jī)變量，對(duì)Borel集B，定義把稱為的分布5.兩個(gè)重要的離散型分布（1）二項(xiàng)分布（實(shí)際背景）若的分布為稱隨機(jī)變量服從參數(shù)為的二項(xiàng)分布注：表示第次試驗(yàn)中事件發(fā)生，表示第次試驗(yàn)中事件未發(fā)生，另，設(shè)，則，（2）泊松分布（實(shí)際背景）設(shè)，若的分布為稱隨機(jī)變量服從參數(shù)為的泊松分布6.三個(gè)重要的連續(xù)型分布（1）均勻分布（實(shí)際背景）如果連續(xù)型隨機(jī)變量的分布密度為則稱在區(qū)間上服從均勻分布，記為（2）指數(shù)分布（實(shí)際背景）如果連續(xù)型隨機(jī)變

12、量的分布密度為則稱服從參數(shù)為的指數(shù)分布注：指數(shù)分布具有無(wú)記憶性，即若服從指數(shù)分布，則對(duì)于任意，有反過(guò)來(lái)，如果一個(gè)非負(fù)連續(xù)型隨機(jī)變量的分布函數(shù)具有無(wú)記憶性，則它一定是指數(shù)分布（3）正態(tài)分布（實(shí)際背景）如果連續(xù)型隨機(jī)變量的分布密度為，式中，則稱服從參數(shù)為的正態(tài)分布或高斯分布，記為7.隨機(jī)變量的數(shù)字特征 （1）離散型隨機(jī)變量數(shù)字特征設(shè)離散型隨機(jī)變量的分布率為，則稱為隨機(jī)變量數(shù)學(xué)期望或均值令稱為隨機(jī)變量的方差令，稱為隨機(jī)變量的階矩令稱為函數(shù)的數(shù)學(xué)期望（2）連續(xù)型隨機(jī)變量數(shù)字特征設(shè)連續(xù)型隨機(jī)變量的分布密度為，則稱為隨機(jī)變量數(shù)學(xué)期望或均值令稱為隨機(jī)變量的方差令稱為隨機(jī)變量的階矩令稱為函數(shù)的數(shù)學(xué)期望注：數(shù)學(xué)

13、期望反映了隨機(jī)變量取值的平均水平；方差和標(biāo)準(zhǔn)方差體現(xiàn)了隨機(jī)變量與期望值的偏離程度。8.隨機(jī)向量及其聯(lián)合分布（1）n維隨機(jī)變量及其數(shù)字特征設(shè)，如果其中每一個(gè)分量是一維的、取值為實(shí)數(shù)的隨機(jī)變量，則稱為n維隨機(jī)向量。（2）分布函數(shù)設(shè)為n維隨機(jī)向量，則的聯(lián)合概率分布定義為其中,又簡(jiǎn)稱為的分布函數(shù)設(shè)x為上非負(fù)可積函數(shù)，使得對(duì)任意，有則稱為連續(xù)型隨機(jī)變量，為的聯(lián)合概率密度設(shè)為隨機(jī)變量的概率密度，那么其中任意分量組都存在概率密度，把它們稱為的邊緣密度（3）隨機(jī)變量的協(xié)方差定義為隨機(jī)變量的相關(guān)系數(shù)定義為隨機(jī)變量的數(shù)學(xué)期望定義為隨機(jī)變量的協(xié)方差矩陣定義為其中，9隨機(jī)事件獨(dú)立和相關(guān)的定義（1）定義隨機(jī)變量稱為是相

14、互獨(dú)立的，如果有B即事件與是互相獨(dú)立的（2）定義如果隨機(jī)變量，對(duì)于任意,滿足B則稱隨機(jī)變量是相互獨(dú)立的，即事件是相互獨(dú)立的（3）相互獨(dú)立的隨機(jī)變量的性質(zhì)定理如果相互獨(dú)立且它們的數(shù)學(xué)期望存在，則對(duì)于任何實(shí)函數(shù)，有10條件數(shù)學(xué)期望（1）離散型隨機(jī)變量的條件數(shù)學(xué)期望設(shè)為離散型隨機(jī)變量，對(duì)一切使成立的，給定時(shí)，隨機(jī)變量的條件分布函數(shù)定義為設(shè)隨機(jī)變量可能的取值為，離散型條件數(shù)學(xué)期望定義為（2）連續(xù)型隨機(jī)變量的條件數(shù)學(xué)期望設(shè)為連續(xù)型隨機(jī)變量，對(duì)一切使成立的，給定時(shí)，隨機(jī)變量的條件概率密度定義為給定時(shí)，隨機(jī)變量的條件分布函數(shù)定義為連續(xù)型條件數(shù)學(xué)期望定義為（3）表示隨即變量的函數(shù)，當(dāng)時(shí)，取值則有證明：（只對(duì)，

15、為離散型）=，證完思考題：設(shè)為取非負(fù)整值的隨即變量，證明：1矩母函數(shù)和特征函數(shù)（1）矩母函數(shù)設(shè)是上實(shí)隨機(jī)變量，的矩母函數(shù)定義為：對(duì)于任意，（2）特征函數(shù)設(shè)是上實(shí)隨機(jī)變量，的特征函數(shù)定義為：對(duì)于任意，式中，i是虛數(shù)單位，（3）特征函數(shù)性質(zhì)（），對(duì)任意；（）若互相獨(dú)立，則，對(duì)任意（4）常見(jiàn)分布的特征函數(shù)兩點(diǎn)分布 二項(xiàng)分布 泊松分布 均勻分布 指數(shù)分布 標(biāo)準(zhǔn)正態(tài)分布注：隨機(jī)變量，分布函數(shù)，特征函數(shù)，矩母函數(shù)之間相互惟一決定（惟一性定理）。（5）特征函數(shù)定理是n個(gè)互相獨(dú)立的實(shí)值隨機(jī)變量，其特征函數(shù)分別為。設(shè)為的特征函數(shù)，則有 97第三章 隨機(jī)過(guò)程3.1 隨機(jī)過(guò)程的基本概念1、隨機(jī)過(guò)程定義3-1設(shè)是給定

16、的概率空間，為一指標(biāo)集，對(duì)于任意，都存在定義在上，取值于的隨機(jī)變量與它相對(duì)應(yīng)，則稱依賴于的一族隨機(jī)變量為隨機(jī)過(guò)程，簡(jiǎn)記，或。注：隨機(jī)過(guò)程是時(shí)間參數(shù)和樣本點(diǎn)的二元函數(shù)，對(duì)于給定的時(shí)間是是概率空間上的隨機(jī)變量；對(duì)于給定樣本點(diǎn)是定義在上的實(shí)函數(shù)，此時(shí)稱它為隨機(jī)過(guò)程對(duì)應(yīng)于的一個(gè)樣本函數(shù)，也成為樣本軌道或?qū)崿F(xiàn)。稱為隨機(jī)過(guò)程的相空間，也成為狀態(tài)空間，通常用表示處于狀態(tài)。2、隨機(jī)過(guò)程分類：隨機(jī)過(guò)程按照時(shí)間和狀態(tài)是連續(xù)還是離散可以分為四類：連續(xù)型隨機(jī)過(guò)程、離散型隨機(jī)過(guò)程、連續(xù)隨機(jī)序列、離散隨機(jī)序列。3、有窮維分布函數(shù)定義3-2設(shè)隨機(jī)過(guò)程，在任意個(gè)時(shí)刻的取值構(gòu)成維隨機(jī)向量，其維聯(lián)合分布函數(shù)為： 其維聯(lián)合密度函數(shù)

17、記為。我們稱為隨機(jī)過(guò)程的有窮維分布函數(shù)。3.2 隨機(jī)過(guò)程的數(shù)字特征1、數(shù)學(xué)期望對(duì)于任何一個(gè)時(shí)間，隨機(jī)過(guò)程的數(shù)學(xué)期望定義為 是時(shí)間的函數(shù)。2、方差與矩隨機(jī)過(guò)程的二階中心矩稱為隨機(jī)過(guò)程的方差。隨機(jī)過(guò)程的二階原點(diǎn)矩定義為 注：是時(shí)間的函數(shù)，它描述了隨機(jī)過(guò)程的諸樣本對(duì)于其數(shù)學(xué)期望的偏移程度。3、協(xié)方差函數(shù)和自相關(guān)函數(shù)隨機(jī)過(guò)程對(duì)于任意，其協(xié)方差函數(shù)定義為當(dāng)時(shí)，協(xié)方差函數(shù)就是方差。隨機(jī)過(guò)程的自相關(guān)函數(shù)（相關(guān)函數(shù)）定義為當(dāng)時(shí)，自相關(guān)函數(shù)就是二階原點(diǎn)矩。4、實(shí)二階矩過(guò)程定義3-3設(shè)為實(shí)隨機(jī)過(guò)程，若對(duì)于任意的，其均方函數(shù)，則稱為實(shí)二階矩過(guò)程。 注：由柯西-施瓦茲（Cauchy-Schwarz）不等式：，可知，二

18、階矩過(guò)程自相關(guān)函數(shù)一定存在。5、例3-1判斷隨機(jī)過(guò)程在下列兩種情況下是否為二階矩過(guò)程。 （1）為常數(shù)； （2）具有概率密度解：（1）因?yàn)?所以是二階矩過(guò)程。 （2）因?yàn)?所以不時(shí)二階矩過(guò)程。3.3 離散時(shí)間和離散型隨機(jī)過(guò)程當(dāng)時(shí)間參數(shù)取離散值時(shí)，這種隨機(jī)過(guò)程稱為離散隨機(jī)過(guò)程 。這時(shí)，是一串隨機(jī)變量所構(gòu)成的序列，即隨機(jī)序列。由于隨機(jī)序列的指標(biāo)表示時(shí)間，所以常稱隨機(jī)序列為時(shí)間序列。1、例3-2設(shè)一維隨機(jī)游動(dòng)過(guò)程，其中(即獨(dú)立同分布隨機(jī)序列，且。求。解：根據(jù)期望、方差的定義和性質(zhì)，有而且則2、例3-3考慮隨機(jī)點(diǎn)在時(shí)間區(qū)間內(nèi)發(fā)生的次數(shù)，若隨機(jī)點(diǎn)在內(nèi)發(fā)生的次數(shù)是偶數(shù)（視0為偶數(shù)），則令；若為奇數(shù)，且令；且

19、。又設(shè)在內(nèi)有個(gè)隨機(jī)點(diǎn)發(fā)生的概率與無(wú)關(guān)，且（即參數(shù)為的Poisson分布）其中由此計(jì)算可得于是有故得通過(guò)類似的計(jì)算，可以得到對(duì)于所以相關(guān)函數(shù)為同理可以計(jì)算當(dāng)時(shí)的情況。綜合上面的結(jié)論有因此的方差為3.4 正態(tài)隨機(jī)過(guò)程1、正態(tài)隨機(jī)過(guò)程如果隨機(jī)過(guò)程的任意n維概率分布都是正態(tài)分布，則稱它為正態(tài)隨機(jī)過(guò)程或高斯隨機(jī)過(guò)程，簡(jiǎn)稱正態(tài)過(guò)程或高斯過(guò)程。正態(tài)隨機(jī)過(guò)程的n維概率密度為其中，是n維向量，是階的矩陣，逆矩陣，它的第i行j列的元素為其中，為相關(guān)系數(shù)。 注：由上式可見(jiàn)，正態(tài)隨機(jī)過(guò)程的n維概率分布僅取決于它的一、二階矩函數(shù)，即只取決于它的數(shù)學(xué)期望、方差和相關(guān)系數(shù)。2、正態(tài)隨機(jī)過(guò)程性質(zhì)如果對(duì)正態(tài)過(guò)程在n個(gè)不同時(shí)刻采

20、樣，所得到的一組隨機(jī)變量?jī)蓛苫ゲ幌嚓P(guān)，即則這些隨機(jī)變量也是相互獨(dú)立的。在的條件下，n維正態(tài)概率密度等于n個(gè)一維正態(tài)概率密度的連乘積。所以對(duì)于一個(gè)正態(tài)過(guò)程來(lái)說(shuō)，不相關(guān)與獨(dú)立是等價(jià)的。3.5 Poisson過(guò)程1、獨(dú)立增量過(guò)程定義3-4設(shè)是一隨機(jī)過(guò)程，若對(duì)任意正整數(shù)n及，隨機(jī)變量的增量是相互獨(dú)立的，則稱是獨(dú)立增量過(guò)程。 注：設(shè)是獨(dú)立增量過(guò)程，若對(duì)任意的，增量的概率分布只依賴于而與無(wú)關(guān)，則稱隨機(jī)過(guò)程為齊次的或時(shí)齊的。 若只要時(shí)間間隔相同，那么增量服從的分布也相同，也稱此過(guò)程具有平穩(wěn)性。 具有獨(dú)立增量和平穩(wěn)增量的過(guò)程稱為獨(dú)立平穩(wěn)增量過(guò)程。常見(jiàn)的獨(dú)立平穩(wěn)增量過(guò)程有Poisson過(guò)程和Wiener（維納）

21、過(guò)程。2、計(jì)數(shù)過(guò)程定義3-5如果用表示內(nèi)隨機(jī)事件發(fā)生的總數(shù)，則隨機(jī)過(guò)程稱為一個(gè)計(jì)數(shù)過(guò)程。因此，計(jì)數(shù)過(guò)程滿足（1）；（2）是非負(fù)整數(shù)值；（3）對(duì)于任意兩個(gè)時(shí)刻，有；（4）對(duì)于任意兩個(gè)時(shí)刻，等于時(shí)間區(qū)間中發(fā)生的事件個(gè)數(shù)。如果計(jì)數(shù)過(guò)程在不相交時(shí)間區(qū)間中發(fā)生的事件個(gè)數(shù)是獨(dú)立的，則稱計(jì)數(shù)過(guò)程有獨(dú)立增量。3、Poisson過(guò)程的兩個(gè)定義定義3-6設(shè)隨機(jī)過(guò)程是一個(gè)計(jì)數(shù)過(guò)程，如果滿足（1）；（2）是獨(dú)立增量過(guò)程；（3）對(duì)于任意，增量具有參數(shù)的Poisson分布，即 則稱為具有參數(shù)的齊次Poisson過(guò)程。 注：Poisson過(guò)程有平穩(wěn)增量且，并稱為此過(guò)程的速率或強(qiáng)度，即單位時(shí)間內(nèi)發(fā)生的事件的平均個(gè)數(shù)。定義3-

22、7設(shè)隨機(jī)過(guò)程是一個(gè)計(jì)數(shù)過(guò)程，參數(shù)為，如果滿足（1）；（2）過(guò)程有平穩(wěn)的獨(dú)立增量；（3）；（4）則稱為具有參數(shù)的齊次Poisson過(guò)程。其中表示當(dāng)時(shí)，對(duì)h的高階無(wú)窮小。定理3-1 上述定義3-6與定義3-7是等價(jià)的。4、例題例3-4顧客依Poisson過(guò)程到達(dá)某汽車站，其速率人/小時(shí)。試求：（1）的均值、方差、自相關(guān)函數(shù)和協(xié)方差函數(shù)；（2）在第三分鐘到第五分鐘之間到達(dá)汽車站的顧客人數(shù)的概率分布。解：（1）根據(jù)題意，強(qiáng)調(diào)，故的均值、方差、自相關(guān)函數(shù)和協(xié)方差函數(shù)分別為第三分鐘到第五分鐘之間到達(dá)的人數(shù)為，所以其分布率為例3-5顧客依Poisson過(guò)程到達(dá)到達(dá)某商店，速率人/小時(shí)，已知商店上午9：00開

23、門，求到9：30時(shí)僅到一位顧客，而到11：30時(shí)總計(jì)已達(dá)到5五位顧客的概率。解：3.6 平穩(wěn)隨機(jī)過(guò)程1、嚴(yán)格平穩(wěn)隨機(jī)過(guò)程定義3-8實(shí)隨機(jī)過(guò)程,若對(duì)任意正整數(shù)n及任意與任意，有或即隨機(jī)過(guò)程的有限分布在時(shí)間的平移下保持不變，則稱為嚴(yán)格平穩(wěn)隨機(jī)過(guò)程。2、嚴(yán)格平穩(wěn)隨機(jī)過(guò)程的一些特性如果是嚴(yán)平穩(wěn)隨機(jī)過(guò)程，則它的一維概率密度與時(shí)間無(wú)關(guān)，令，則有 由此可求得隨機(jī)過(guò)程的均值、矩和方差皆與時(shí)間無(wú)關(guān)的常數(shù)。嚴(yán)平穩(wěn)隨機(jī)過(guò)程的二維概率密度只與的時(shí)間間隔有關(guān)，而與時(shí)間起點(diǎn)無(wú)關(guān)，令，則有這表明二維概率密度僅依賴于時(shí)間差，而與時(shí)刻無(wú)關(guān)。由此可得，隨機(jī)變量的自相關(guān)函數(shù)、協(xié)方差函數(shù)只是單變量的函數(shù)。3、寬平穩(wěn)隨機(jī)過(guò)程定義3-9

24、若實(shí)隨機(jī)過(guò)程滿足：對(duì)于任意有（1）；（2）；（3）則稱為寬平穩(wěn)隨機(jī)過(guò)程。 注：由于寬平穩(wěn)隨機(jī)過(guò)程的定義只涉及與一、二維概率密度有關(guān)的數(shù)字特征，所以 一個(gè)嚴(yán)平穩(wěn)隨機(jī)過(guò)程只要二階原點(diǎn)矩有界，則它必定是寬平穩(wěn)的。但是反之不一定成立，但正態(tài)隨機(jī)過(guò)程。因?yàn)檎龖B(tài)隨機(jī)過(guò)程的概率密度是由均值和自相關(guān)函數(shù)完全確定的，所以如果均值和自相關(guān)函數(shù)不隨時(shí)間平移而變化，則概率密度也不隨時(shí)間的平移而變化，于是一個(gè)寬平穩(wěn)的正態(tài)過(guò)程必定也是嚴(yán)平穩(wěn)的。4、平穩(wěn)隨機(jī)過(guò)程自相關(guān)函數(shù)的性質(zhì)性質(zhì)3-1設(shè)為平穩(wěn)過(guò)程的自相關(guān)函數(shù)，則（1）平穩(wěn)過(guò)程的自相關(guān)函數(shù)在上是非負(fù)值，即；（2）自相關(guān)函數(shù)是變量的偶函數(shù)，；（3）自相關(guān)函數(shù)在時(shí)取到最大值，

25、；（4）如果平穩(wěn)過(guò)程滿足條件，則稱它為周期平穩(wěn)過(guò)程，其中T為過(guò)程的周期；周期平穩(wěn)過(guò)程的自相關(guān)函數(shù)必為周期函數(shù)，并且它的周期與過(guò)程的周期相同；（5）如果平穩(wěn)過(guò)程含有一個(gè)周期分量，則也含有一個(gè)同周期的周期分量；（6）（非負(fù)定性）對(duì)于任意有限個(gè)和任意的實(shí)數(shù)，有（7）在上連續(xù)的充分必要條件為其自相關(guān)函數(shù)于處連續(xù)。5、平穩(wěn)隨機(jī)過(guò)程的相關(guān)系數(shù)令稱為隨機(jī)過(guò)程的自相關(guān)系數(shù)，簡(jiǎn)稱相關(guān)系數(shù)。相關(guān)系數(shù)表現(xiàn)了隨機(jī)過(guò)程在兩個(gè)不同時(shí)刻隨機(jī)變量之間的線性相關(guān)程度，它滿足及。第四章 Poisson過(guò)程4.1 齊次Poisson過(guò)程到達(dá)時(shí)間間隔于等待時(shí)間的分布1、定理4-1強(qiáng)度為的齊次Poisson過(guò)程的到達(dá)時(shí)間間隔序列是獨(dú)立

26、同分布的隨機(jī)變量序列，且是具有相同均值的指數(shù)分布。證：事件發(fā)生當(dāng)且僅當(dāng)Poisson過(guò)程在區(qū)間內(nèi)沒(méi)有事件發(fā)生，即事件等價(jià)于，所以有因此，具有均值為的指數(shù)分布，再求已知的條件下，的分布。上式表明與相互獨(dú)立，而且也是一個(gè)具有均值為的指數(shù)分布的隨機(jī)變量，重復(fù)同樣的推導(dǎo)可以證明定理4-1的結(jié)論。2、定理4-2等待時(shí)間服從參數(shù)為n，的分布，即分布密度為證：因?yàn)榈趎個(gè)事件在時(shí)刻t或之前發(fā)生當(dāng)且僅當(dāng)?shù)綍r(shí)間t已發(fā)生的事件數(shù)目至少是n，即事件是等價(jià)的，因此上式兩邊對(duì)t求導(dǎo)得的分布密度為注：定理4-2又給出了定義Poisson過(guò)程的另一種方法。從一列均值為的獨(dú)立同分布的指數(shù)隨機(jī)變量序列出發(fā)，定義第n個(gè)事件發(fā)生的時(shí)

27、刻為，則這樣就定義了一個(gè)計(jì)數(shù)過(guò)程，且所得計(jì)數(shù)過(guò)程就是參數(shù)為的Poisson過(guò)程。3、定理4-3條件隨機(jī)變量，即在區(qū)間內(nèi)為均勻分布。證：對(duì)的分布函數(shù)為這說(shuō)明在上服從均勻分布。4、順序統(tǒng)計(jì)量設(shè)是n個(gè)隨機(jī)變量，如果是中第k個(gè)最小值，則稱是對(duì)應(yīng)與的順序統(tǒng)計(jì)量。5、定理4-4已知在的條件下，n個(gè)事件來(lái)到的時(shí)刻的聯(lián)合密度與n個(gè)獨(dú)立的上均勻分布隨機(jī)變量的順序統(tǒng)計(jì)量的聯(lián)合密度相同，即條件隨機(jī)向量具有聯(lián)合分布證：設(shè)，則把分成n+1個(gè)小部分，于是有所以對(duì)給定的n維條件密度函數(shù)是得證。6、定理4-5和是相互獨(dú)立的隨機(jī)變量，分別服從均值為和的Poisson分布，其中證：考慮中發(fā)生的任一事件，如果它在s時(shí)刻發(fā)生，則它是

28、1型的概率為。由定理4-4，時(shí)刻s服從上的均勻分布，所以而且與其他事件歸為什么類型相互獨(dú)立。因此正好是次Bernoulli試驗(yàn)中，1型事件出現(xiàn)n次，2型事件出現(xiàn)m次的概率。故有所以有由此證明了定理4-5的結(jié)論成立。7、例題例4-1設(shè)乘客按參數(shù)的Poisson過(guò)程來(lái)到火車站，若火車在時(shí)刻啟程，計(jì)算在時(shí)間內(nèi)到達(dá)的乘客的等待時(shí)間總和的期望。解：設(shè)按照Poisson過(guò)程到達(dá)的第一位乘客的到達(dá)時(shí)間為，因此其等待時(shí)間為，而第i位乘客的等待時(shí)間為，在時(shí)間內(nèi)共來(lái)了位乘客，所以這些乘客總的等待時(shí)間為要求的就是上式的數(shù)學(xué)期望。為此先求條件期望令為互相獨(dú)立的上的均勻分布隨機(jī)變量，由定理4-4有因此從而容易看出，旅客

29、平均總等待時(shí)間和成正比，比例因子的大小決定于Poisson過(guò)程的強(qiáng)度。例4-2（無(wú)窮個(gè)服務(wù)員Poisson排隊(duì)服務(wù)系統(tǒng)）設(shè)顧客到達(dá)服務(wù)臺(tái)的過(guò)程式強(qiáng)度為的Poisson過(guò)程，每個(gè)顧客到達(dá)后的服務(wù)時(shí)間是獨(dú)立同分布的隨機(jī)變量，其分布函數(shù)為。服務(wù)員的人數(shù)是無(wú)窮多，即表示顧客到達(dá)服務(wù)臺(tái)后立即接受服務(wù)而無(wú)需等待。為了研究這一服務(wù)系統(tǒng)的運(yùn)轉(zhuǎn)效率，需要管理者知道時(shí)間T已經(jīng)服務(wù)完的顧客數(shù)與未服務(wù)完的顧客數(shù)的聯(lián)合分布。設(shè)表示到時(shí)刻t已經(jīng)服務(wù)完的顧客數(shù)，表示到時(shí)刻t未服務(wù)完的顧客數(shù)。假設(shè)顧客與時(shí)刻s到達(dá)，那么他到t時(shí)刻已經(jīng)服務(wù)完畢就意味著他的服務(wù)時(shí)間，故其相應(yīng)的概率為。由上面的定義有根據(jù)定理4-5，可得到和的聯(lián)合分

30、布及獨(dú)立性,而且（已經(jīng)服務(wù)完畢的顧客數(shù)）的分布是均值為的Poisson分布。（在時(shí)刻t未服務(wù)完畢的顧客數(shù)）的分布是均值為 的Poisson分布。4.2 非齊次Poisson過(guò)程和復(fù)合Poisson過(guò)程1、非齊次Poisson過(guò)程定義4-1計(jì)數(shù)過(guò)程稱為具有強(qiáng)度的非平穩(wěn)或非齊次Poisson過(guò)程，如果（1）(即仍從時(shí)刻0開始計(jì)數(shù))；（2）具有獨(dú)立增量；（3）；（4）。其中，表示當(dāng)時(shí)，對(duì)h的高階無(wú)窮小。2、定理4-6 若是強(qiáng)度為的非齊次Poisson過(guò)程，令則其中，。即具有均值為的Poisson分布。3、復(fù)合Poisson過(guò)程設(shè)是獨(dú)立同分布的隨機(jī)變量序列，是強(qiáng)度為的Poisson過(guò)程，且與相互獨(dú)立。

31、令則稱隨機(jī)過(guò)程為復(fù)合Poisson過(guò)程 。4、定理4-7設(shè)是一個(gè)復(fù)合Poisson過(guò)程，則對(duì)于任意，（1）是一個(gè)獨(dú)立增量過(guò)程；（2）的特征函數(shù)為其中，是隨機(jī)變量的特征函數(shù)；若，則有。5、例題例4-5（保險(xiǎn)公司保險(xiǎn)金儲(chǔ)備問(wèn)題）設(shè)某保險(xiǎn)公司人壽保險(xiǎn)者在時(shí)刻時(shí)死亡，其中是隨機(jī)變量（因?yàn)橥侗Ｕ吆螘r(shí)死亡是一隨機(jī)現(xiàn)象），在時(shí)刻死亡者的家屬持保險(xiǎn)單可領(lǐng)取保險(xiǎn)金。設(shè)是一獨(dú)立同分布的隨機(jī)變量序列，令表示在內(nèi)死亡的人數(shù)，是強(qiáng)度為的Poisson過(guò)程，則保險(xiǎn)公司在時(shí)間內(nèi)應(yīng)準(zhǔn)備支付的保險(xiǎn)金總金額為顯然為一復(fù)合Poisson過(guò)程。若服從指數(shù)分布則由前面的定理4-7知，在時(shí)間內(nèi)保險(xiǎn)公司平均支付的賠償費(fèi)為又因?yàn)?，所以方差?/p>

32、或支付賠償費(fèi)的偏差）為因?yàn)橹笖?shù)分布隨機(jī)變量的特征函數(shù)為所以由定理4-7可得的特征函數(shù)為例4-6(商店的營(yíng)業(yè)額問(wèn)題)設(shè)每天進(jìn)入某商店的顧客數(shù)為一Poisson過(guò)程，進(jìn)入該商店的第n位客人所花的錢為元。設(shè)是一獨(dú)立同分布的隨機(jī)變量序列，且與互相獨(dú)立，則在內(nèi)該商店的營(yíng)業(yè)額可表示為顯然為一復(fù)合Poisson 過(guò)程。第五章 離散參數(shù)Markov鏈5.1 Markov鏈的基本概念1、Markov鏈和轉(zhuǎn)移概率矩陣定義5-1考慮只取有限個(gè)或可數(shù)個(gè)值的隨機(jī)過(guò)程。把過(guò)程所取可能值得全體稱為它的狀態(tài)空間，記之為E，通常假設(shè)。若就說(shuō)“過(guò)程在時(shí)刻n處于狀態(tài)i”，假設(shè)每當(dāng)過(guò)程處于狀態(tài)i，則在下一個(gè)時(shí)刻將處于狀態(tài)j的概率是固

33、定的，即對(duì)任意時(shí)刻n若對(duì)任意狀態(tài)有這樣的隨機(jī)過(guò)程稱為Markov鏈。稱矩陣是一步轉(zhuǎn)移概率矩陣，簡(jiǎn)稱為轉(zhuǎn)移矩陣。由的定義可知，這是一種帶有平穩(wěn)轉(zhuǎn)移概率的Markov鏈，也稱作時(shí)間齊次Markov鏈或簡(jiǎn)稱時(shí)齊次Markov鏈。2、例題例5-1（直線上的隨機(jī)游動(dòng)）考慮在直線上整數(shù)點(diǎn)上運(yùn)動(dòng)的粒子，當(dāng)它處于位置j時(shí)，向右轉(zhuǎn)移到j(luò)+1的概率為p，而向左移動(dòng)到j(luò)-1的概率為q=p-1，又設(shè)時(shí)刻0時(shí)粒子處在原點(diǎn)，即。于是粒子在時(shí)刻n所處的位置就是一個(gè)Markov鏈，且具有轉(zhuǎn)移概率當(dāng)時(shí)，稱為簡(jiǎn)單對(duì)稱隨機(jī)游動(dòng)。例5-6（排隊(duì)模型）考慮顧客到服務(wù)臺(tái)排隊(duì)等候服務(wù)，在每個(gè)服務(wù)周期中只要服務(wù)臺(tái)前有顧客在等待，就要對(duì)排隊(duì)在

34、隊(duì)前的一位顧客提供服務(wù)，若服務(wù)臺(tái)前無(wú)顧客時(shí)就不實(shí)施服務(wù)。設(shè)在第n個(gè)服務(wù)周期中到達(dá)的顧客數(shù)為一隨機(jī)變量，且序列是獨(dú)立同分布隨機(jī)序列，即且設(shè)為服務(wù)周期n開始時(shí)服務(wù)臺(tái)前顧客數(shù)，則有此時(shí)為一Markov鏈，其轉(zhuǎn)移概率矩陣為。例5-8（生滅鏈）觀察某種生物群體，以表示在時(shí)刻n群體的數(shù)目，設(shè)為i個(gè)數(shù)量單位，如在時(shí)刻n+1增生到i+1個(gè)數(shù)量單位的概率為，減滅到i-1個(gè)數(shù)量單位的概率為，保持不變的概率為，則為齊次馬爾可夫鏈，其轉(zhuǎn)移概率為,稱此馬爾可夫鏈為生滅鏈。3、定理5-1設(shè)隨機(jī)過(guò)程滿足：（1）其中，且取值在E上；（2）為獨(dú)立同分布隨機(jī)變量，且與也相互獨(dú)立，則是Markov鏈，而且其一步轉(zhuǎn)移概率為，對(duì)于任意

35、，證：設(shè)，由上面(1)、(2)可知，與互相獨(dú)立，所以有同理即是Markov鏈，由時(shí)間齊次性，其一步轉(zhuǎn)移概率為于是定理5-1得證。4、定理5-2時(shí)齊次Markov鏈完全由其初始狀態(tài)的概率分布和其轉(zhuǎn)移概率矩陣所確定。證：對(duì)于任意，計(jì)算有限維聯(lián)合分布，由概率的乘法公式及馬氏性可知定理5-2得證。5、例題例5-9（二項(xiàng)過(guò)程）設(shè)在每次試驗(yàn)中，事件A發(fā)生的概率為，獨(dú)立地重復(fù)進(jìn)行這項(xiàng)試驗(yàn)，以表示到第n次為止事件A發(fā)生的次數(shù)，則是一個(gè)獨(dú)立平穩(wěn)增量過(guò)程。實(shí)際上，由二項(xiàng)分布知識(shí)可知，服從二項(xiàng)分布，故稱此為二項(xiàng)過(guò)程。若令增量易見(jiàn)是第n次試驗(yàn)中事件A發(fā)生的次數(shù)，其概率為且即為一個(gè)獨(dú)立平穩(wěn)增量過(guò)程，當(dāng)然是一齊次Mark

36、ov過(guò)程。5.2 Chapman-Kolmogorov方程1、定理5-3（Chapman-Kolmogorov（切普曼-柯爾莫哥洛夫）方程，C-K方程）對(duì)任何整數(shù)，有或證：這里只需要證明成立，再依次遞推即可證明定理5-3。因?yàn)楦鶕?jù)矩陣的乘法規(guī)則，定理得證。 注：定義m步轉(zhuǎn)移概率 表示給定時(shí)刻n時(shí)，過(guò)程處于狀態(tài)i，間隔m步之后過(guò)程在時(shí)刻n+m轉(zhuǎn)移到了狀態(tài)j的條件概率。還約定。以表示第i行、第j列的元素矩陣，稱為Markov鏈的n步轉(zhuǎn)移概率矩陣。2、例題（兩狀態(tài)Markov鏈）例5-10在重復(fù)獨(dú)立貝努里（Bernoulli）試驗(yàn)中，每次試驗(yàn)有兩種狀態(tài)，設(shè)表示第n次試驗(yàn)中出現(xiàn)的結(jié)果，且有其中，則顯然

37、是獨(dú)立同分布隨機(jī)序列，從而它是Markov鏈。于是經(jīng)過(guò)計(jì)算有所以，一步轉(zhuǎn)移概率矩陣為而且有5.3 Markov鏈的狀態(tài)分類1、互通定義5-2稱自狀態(tài)i可達(dá)狀態(tài)j，并記，如果存在，使，稱狀態(tài)i與j互通（相同，互達(dá)），并記為，如且。2、定理5-4可達(dá)關(guān)系與互通關(guān)系都具有傳遞性，即如果且，則。證：因?yàn)橛?，所以存在，使由C-K方程這里，所以成立。若將可達(dá)關(guān)系得證明正向進(jìn)行，再反向進(jìn)行，就可得出互通關(guān)系的傳遞性，證畢。3、周期定義5-3設(shè)為齊次Markov鏈，其狀態(tài)空間為E。對(duì)于任意，如果集合非空，則稱該集合的最大公約數(shù)為狀態(tài)i的周期，若就稱狀態(tài)i為有周期的，且周期為d；若就稱狀態(tài)i為非周期的。4、定理

38、5-5如果Markov鏈狀態(tài)i的周期為d，則存在正整數(shù)M，對(duì)一切，有。證：設(shè)，令則故存在正整數(shù)N，使得，因此故存在正整數(shù)M，對(duì)一切，由初等數(shù)論有由于，因而當(dāng)時(shí)定理5-5得證。5、首達(dá)時(shí)間定義5-4設(shè)狀態(tài)，首達(dá)時(shí)間定義為表示Markov鏈從狀態(tài)i出發(fā)，首次到達(dá)狀態(tài)j的時(shí)間，稱為自i到j(luò)的首達(dá)時(shí)間。表示從i出發(fā)，首次回到i的時(shí)間。6、首達(dá)概率設(shè)狀態(tài)，首達(dá)概率定義為而且令表示過(guò)程從狀態(tài)i出發(fā)經(jīng)n步首次到達(dá)狀態(tài)j的概率，稱為首達(dá)概率。再令它表示過(guò)程從狀態(tài)i出發(fā)經(jīng)有限步到達(dá)狀態(tài)j的概率，即從狀態(tài)i出發(fā)經(jīng)有限步終于到達(dá)狀態(tài)j的概率。7、常返定義5-6稱狀態(tài)i為常返的，如果；稱狀態(tài)i為非常返的（或稱為瞬時(shí)的

39、），如果。定義5-7設(shè)狀態(tài)i為常返狀態(tài)（即），如果，則稱常返態(tài)i為正常返的；如果，則稱常返態(tài)i為零常返的。非周期的正常返態(tài)稱為遍歷狀態(tài)。 注：對(duì)于常返態(tài)i，由定義知，即構(gòu)成一概率分布，此分布的數(shù)學(xué)期望為，表示由i出發(fā)再返回到i的平均返回時(shí)間。8、定理5-6對(duì)任意狀態(tài)及，有證：由轉(zhuǎn)移概率的定義得定理5-6討論了首達(dá)概率與轉(zhuǎn)移概率之間的關(guān)系。C-K方程即上式是馬氏鏈的關(guān)鍵性公式，它們可以把分解成較低步轉(zhuǎn)移概率之和的形式。9、定理5-7對(duì)任意狀態(tài)，的充分條件是。證：充分性.如果，則存在，使得，由定理5-6有從而中至少有一個(gè)為正，所以必要性如果，由，至少有一個(gè)，使得。由定理5-6有即說(shuō)明成立，證畢。1

40、0、定理5-8狀態(tài)i常返的充分條件為如果狀態(tài)i為非常返，當(dāng)且僅當(dāng)推論5-1 若狀態(tài)j為非常返的，則對(duì)于任意，有推論5-2若狀態(tài)j為常返態(tài)，則（1）當(dāng)，有（2）當(dāng)時(shí)（即不可達(dá)時(shí)），有11、定理5-9對(duì)任意狀態(tài)，有12、定理5-10狀態(tài)i常返當(dāng)且僅當(dāng)；如果i非常返，則。13、定理5-11設(shè)i常返且有周期d，則其中為i的平均返回時(shí)間。當(dāng)時(shí)，。推論5-3設(shè)i是常返狀態(tài)，則i是零常返狀態(tài)i是遍歷狀態(tài)14、定理5-12如果（即互通），則i與j同為常返或非常返，如果為常返，則它們同為正常返或零常返；i與j有同樣的周期。5.4 閉集與狀態(tài)空間的分解1、閉集定義5-8狀態(tài)空間E的子集C稱為（隨機(jī)）閉集，如果對(duì)任

41、意及都有。若C的狀態(tài)是互通的，閉集C稱為不可約的。馬氏鏈稱為不可約的，如果其狀態(tài)空間不可約。2、相關(guān)引理引理5-1C是閉集的充要條件是對(duì)任意的，都有引理5-2設(shè)馬氏鏈的狀態(tài)空間為E，已知狀態(tài)i常返，若，則狀態(tài)必常返，且。證明： 引理5-3Markov鏈具有如下性質(zhì)：（1） Markov鏈所有常返態(tài)構(gòu)成一閉集；（2） 不可約Markov鏈或者全是常返態(tài)，或者全是非常返態(tài)。3、定理5-13（分解定理）任一馬氏鏈的狀態(tài)空間E，可唯一的分解成有限個(gè)或可列個(gè)互不相交的子集之和，使得（1） 每一是常返態(tài)組成的不可約閉集；（2） 中的狀態(tài)同類，或全是正常返，或全是零常返，它們有相同的周期且；（3） D由全體

42、非常返狀態(tài)組成，自中的狀態(tài)不能到達(dá)D中的狀態(tài)。注：分解定理中的集D不一定是閉集，但如果E為有限集，D一定是非閉集。因此，如果最初質(zhì)點(diǎn)是自某一非常返狀態(tài)出發(fā)，則它可能就一直在D中運(yùn)動(dòng)，也可能在某一時(shí)刻離開D轉(zhuǎn)移到某一常返閉集中。一旦質(zhì)點(diǎn)進(jìn)入后，它將永遠(yuǎn)在此中運(yùn)動(dòng)。4、例題例5-14（平面上（或二維）的對(duì)稱隨機(jī)游動(dòng)）設(shè)質(zhì)點(diǎn)的位置是平面上的整數(shù)格點(diǎn)，每個(gè)位置有4 個(gè)相鄰的位置，質(zhì)點(diǎn)分別以1/4的概率轉(zhuǎn)移到這4個(gè)相鄰位置中的每一個(gè)上。討論平面上對(duì)稱隨機(jī)游動(dòng)的常返性。解：可以看出，平面上對(duì)稱隨機(jī)游動(dòng)是周期為2的不可約馬氏鏈?？梢杂?jì)算質(zhì)點(diǎn)經(jīng)過(guò)2n步仍回到原位置的概率。這時(shí)質(zhì)點(diǎn)必須與橫坐標(biāo)平行地向右移動(dòng)k步

43、，向左也移動(dòng)k步；與縱坐標(biāo)平行地向上移動(dòng)步，向下也移動(dòng)步，而且，所以因此有于是，平面上的對(duì)稱隨機(jī)游動(dòng)也是常返的。5、隨機(jī)矩陣定義5-9稱矩陣為隨機(jī)矩陣，如果元素非負(fù)且對(duì)每個(gè)有顯然Markov鏈的一步轉(zhuǎn)移矩陣和n步轉(zhuǎn)移矩陣都為隨機(jī)矩陣。6、定理5-14引理5-4設(shè)為閉集，又是C上所得的（即與C相應(yīng)的）m步轉(zhuǎn)移子矩陣，則G是隨機(jī)矩陣。定理5-14考慮周期為d的不可約馬氏鏈，其狀態(tài)空間C可唯一地分解為d個(gè)互不相交的子集之和，即，其中當(dāng)時(shí)，而且使得自中任一狀態(tài)出發(fā)，經(jīng)一步轉(zhuǎn)移必進(jìn)入中（其中）7、例題例題5-16設(shè)不可約Markov鏈的狀態(tài)空間，其轉(zhuǎn)移概率矩陣為試分解此鏈。解：由于第四行第四列都只有一個(gè)

44、非零元素，所以考慮狀態(tài)4，易知其周期，因此根據(jù)定理5-14，有于是有5.5 轉(zhuǎn)移概率的極限狀態(tài)與平穩(wěn)分布1、定理5-15定理5-15若j為非常返狀態(tài)或零常返狀態(tài)，則對(duì)任意，有證明：當(dāng)j為常返狀態(tài)時(shí)，由推論5-1有且當(dāng)j為零常返狀態(tài)時(shí)，取，有固定m，令，由推論5-3的結(jié)論知，故上式右方第一項(xiàng)趨于0；再令，第二項(xiàng)因?yàn)槭諗慷呌?，于是有即證明了定理5-15成立。=（二次極限）推論5-4有限Markov鏈至少有一個(gè)常返態(tài)，但有限Markov鏈沒(méi)有零常返狀態(tài)。推論5-5不可約有限Markov鏈只有正常返狀態(tài)。推論5-6若Markov鏈有一零常返狀態(tài)，則必有無(wú)限多個(gè)零常返狀態(tài)。2、定理5-16若j為正常

45、返狀態(tài)，周期為d，則對(duì)任意及，有式中為狀態(tài)j的平均返回時(shí)間。3、遍歷鏈定義5-10若對(duì)于一切，極限存在，則稱該Markov鏈具有遍歷性。此鏈又稱為遍歷鏈。4、定理5-17定理5-17若j是非周期，正常返狀態(tài)（即遍歷態(tài)），則其中為狀態(tài)j的平均返回時(shí)間。推論5-7（1）對(duì)于不可約Markov鏈，若它的狀態(tài)是非周期、正常返的，則它是遍歷鏈，而且有（2）對(duì)于不可約Markov鏈，若它的狀態(tài)有限且非周期的，則它是遍歷鏈，而且有。5、平穩(wěn)分布定義5-11設(shè)Markov鏈有轉(zhuǎn)移概率矩陣，若存在一個(gè)概率分布，其滿足則稱為該Markov鏈的平穩(wěn)分布。6、定理5-18定理5-18不可約非周期Markov鏈?zhǔn)钦７档某湟獥l件是它存在平穩(wěn)分布，且此時(shí)平穩(wěn)分布就是極限分布。推論5-8（1） 對(duì)于不可約非周期Markov鏈，若所有狀態(tài)是正常返（即鏈的遍歷的），則