隨機(jī)過程的基本概念和基本類型

1、第二章隨機(jī)過程的基本概念和基本類型教學(xué)目的：( 1)掌握隨機(jī)過程的定義；( 2)了解有限維分布族和Kolmogorov 定理；( 3)掌握獨(dú)立增量過程和獨(dú)立平穩(wěn)增量過程概念。教學(xué)重點(diǎn)：( 1)有限維分布和Kolmogorov 定理；( 2)隨機(jī)過程的基本類型。教學(xué)難點(diǎn)：( 1)有限維分布和Kolmogorov 定理。2.1 基本概念教學(xué)目的：掌握隨機(jī)過程的定義；了解隨機(jī)過程的按狀態(tài)集和參數(shù)的分類。教學(xué)重點(diǎn)：隨機(jī)過程的定義。在概率論中，我們研究了隨機(jī)變量，n 維隨機(jī)向量。在極限定理中，我們研究了無窮多個(gè)隨機(jī)變量，但局限在它們相互獨(dú)立的情形。將上述情形加以推廣，即研究一族無窮多個(gè)、相互有關(guān)的隨機(jī)變

2、量，這就是隨機(jī)過程。定義 2.1 ：設(shè) ( , , P)是一概率空間，對每一個(gè)參數(shù)t T , X(t, ) 是一定義在概率空間 ( , , P)上的隨機(jī)變量，則稱隨機(jī)變量族XT X(t, );t T, 為該概率空間上的一隨機(jī)過程。T 稱為參數(shù)集。隨機(jī)過程的兩種描述方法：用映射表示XT， X(t, ): T R，即 X( , )是一定義在 T 上的二元單值函數(shù)，固定 t T, X(t, )是一定義在樣本空間上的函數(shù)， 即為一隨機(jī)變量；對于固定的0， X(t, 0)是一個(gè)關(guān)于參數(shù)t T的函數(shù)，通常稱為樣本函數(shù)，或稱隨機(jī)過程的一次實(shí)現(xiàn)。記號 X(t, )有時(shí)記為Xt( )或簡記為X(t).參數(shù)T一般

3、表示時(shí)間或空間。參數(shù)常用的一般有：T N0 0,1,2, , 此時(shí)稱之為隨機(jī)序列或時(shí)間 序列 .隨機(jī)序列寫為X(n)，n 0 或 Xn, n 0,1, .T0, 1,2, Ta,b 其中 a可以取0或, b可以取.當(dāng)參數(shù)取可列集時(shí)，一般稱隨機(jī)過程為隨機(jī)序列。隨機(jī)過程X(t); t T可能取值的全體所構(gòu)成的集合稱為此隨機(jī)過程的狀態(tài)空間，記作S. S 中的元素稱T和 T和 S的不同過程可以分成不離散參數(shù)連續(xù)參數(shù)離散狀態(tài)連續(xù)狀態(tài)參數(shù)空間分類：狀態(tài)空間分類：如 T 離散參數(shù)連續(xù)參數(shù)離散狀態(tài)連續(xù)狀態(tài)參數(shù)空間分類：狀態(tài)空間分類：S取值是離散的 S取值是連續(xù)的隨機(jī)過程分為以下四類：離散參數(shù)離散型隨機(jī)過程；連

4、續(xù)參數(shù)離散型隨機(jī)過程；連續(xù)參數(shù)連續(xù)型隨機(jī)過程；離散參數(shù)連續(xù)型隨機(jī)過程。以隨機(jī)過程的統(tǒng)計(jì)特征或概率特征的分類，一般有：獨(dú)立增量過程；二階矩過程； 平穩(wěn)過程； Poission 過程； 更新過程；Markov過程；鞅；維納過程。隨機(jī)過程舉例例 2.1 隨機(jī)游動(dòng)：一醉漢在路上行走，以概率p前進(jìn)一步，以概率 1 p后退一步(假設(shè)其步長相同) ,以 X(t)記他在t時(shí)刻在路上的位置，則X (t)就是直線上的隨機(jī)游動(dòng) .例 2.2 拋擲一枚硬幣，樣本空間為S H ,T定義：X(t)cos t, 當(dāng)出現(xiàn)X(t)cos t, 當(dāng)出現(xiàn)H 時(shí)2t， 當(dāng)出現(xiàn)T時(shí)t( ,)其中 PH PT 1/2, 則 X(t),t

5、 (,)是一 隨機(jī)過程。例 2.3 Brown運(yùn)動(dòng)： 英國植物學(xué)家Brown注意到 漂浮在液面上的微小粒子不斷進(jìn)行無規(guī)則的運(yùn)動(dòng)，這種運(yùn)動(dòng)后來稱為 Brown運(yùn) 動(dòng)。同時(shí)分子大量隨機(jī)碰撞的結(jié)果。記(X(t),Y(t)為粒子在平面坐標(biāo)上的位置，則它是平面上的Brown 運(yùn)動(dòng)。2.2 有限維分布與Kolmogvrov 定理教學(xué)目的：掌握隨機(jī)過程有限維分布函數(shù)的定義和性質(zhì)；會(huì)求隨機(jī)過程的均值函數(shù)、協(xié)方差函數(shù)、方差函數(shù)、自相關(guān)函數(shù)；了解Kolmogvrov 定理。教學(xué)重點(diǎn)：隨機(jī)過程的有限維分布函數(shù)；隨機(jī)過程的數(shù)字特征(均值函數(shù)、協(xié)方差函數(shù)、方差函數(shù)、自相關(guān)函數(shù))。教學(xué)難點(diǎn)：隨機(jī)過程有限維分布；Kolmo

6、gvrov 定理。一維分布函數(shù)設(shè) X (t)是一隨機(jī)過程，稱Ft(x) F(t,x) PX(t) x 為 X (t)的一維分布函數(shù).x若 f(t,x) 0, 使得Ft (x) F(t,x) f(t,y)dy 則稱 f(t,x)為 X(t) 的一-維概率密度.二維分布函數(shù)設(shè)二維隨機(jī)向量(X(t1),X(t2) (t1,t2) T，F(xiàn)t1,t2(x1,x2) F(t1 ,t2, x1,x2) PX (t1) x1, X(t2) x2稱為二維隨機(jī)向量(X(t1), X(t2)的分布函數(shù)。x1 x2若 f (t1,t2, x1, x2) 0, Ft1,t2(x1,x2) F(t1,t2,x1, x2)

7、f (t1,t2, y1, y2)dy1dy212-則稱f(t1,t2,x1,x2)為二維概率密度.n 維分布函數(shù)n維隨機(jī)向量(X(t1),X(t2), , X(tn)的聯(lián)合分布函數(shù)為Ft1, ,tn (x1, , xn ) F (t1, ,tn ; x1 , , xn )PX(t1) x1, ,X(tn) xn若f(t1, ,tn;x1, ,xn) 0,Ft1, ,tn(x1, ,xn) F(t1, ,tn;x1, ,xn) TOC o 1-5 h z x1xn-f(t1, ,tn; y1, ,yn)dy1dyn稱為n維隨機(jī)向量(X(t1),X(t2), ,X(tn)的 n維分布函數(shù). 則稱

8、f(t1, ,tn;x1, ,xn)為 n維概率密度.有限維分布族一維、二維， n維分布函數(shù)的全體:Ft1, ,tn(x1, ,xn)， t1, ,tn T,n 1稱為有限維分布族有限維分布族的性質(zhì)(1) 對稱性Ftt (xj ,xj)F(tj, ,tj;xj,xj)j1 , , jn j 1jnj1j n j 1j nPX(tj1) xj1, ,X(tjn) xjnPX(t1) x1 , , X(tn) xnFt1 , ,tn (x1, xn ) F (t1 , ,tn ; x1, xn )( 2)相容性對于 m n 有Ftj1 , ,tjm,tjm 1, ,tjn (x1, , xm ,

9、, , )Ftj1 , ,tjm (x1, , xm)注1：隨機(jī)過程的統(tǒng)計(jì)特性完全由它的有限維分布族決定。注 2：有限維分布族與有限維特征函數(shù)族相互唯一確定。問題：一個(gè)隨機(jī)過程X(t); t T的有限維分布族，是否描述了該過程的全部概率特性？定理： ( Kolmogorov存在性定理)設(shè)分布函數(shù)族Ft , ,t (x1, ,xn)， t1, ,tn T,n 1 滿足以上提到的對稱性和相容性，則 必 有 一 隨 機(jī) 過 程 X(t);t T， 使 Ft1, ,tn(x1, ,xn)， t1, ,tn T,n 1 恰 好 是 X (t); t T的有限維分布族，即：Ft1, ,tn(x1, ,xn

10、) PX(t1) x1, ,X(tn) xn定理說明：X(t); t T的有限維分布族包含了X(t); t T的所有概率信息。2.4 袋中有一個(gè)白球，兩個(gè)紅球，每隔單位時(shí)間從袋中 任取一球后放回，對每一個(gè)確定的t對應(yīng)隨機(jī)變量t 如果對 t時(shí)取得紅球X(t) 3et 如果對 t時(shí)取得白球試求這個(gè)隨機(jī)過程的一維分布函數(shù)族.例 2.5 利用拋擲硬幣的試驗(yàn)定義一個(gè)隨機(jī)過程X(t)cos t, 出現(xiàn)正面X(t)cos t, 出現(xiàn)正面2t，出現(xiàn)反面tR設(shè)出現(xiàn)正面反面的概率是相同的。(1)寫出X(t)的所有樣本函數(shù)(實(shí)現(xiàn))；1(2)寫出X(t)的以為分布函數(shù)F1(x; )和 F1(x;1).2Kolmogo

11、rov定理說明，隨機(jī)過程的有限維分布族是隨機(jī)過程概率特征的完整描述，但在實(shí)際問題 中，要知道隨機(jī)過程的全部有限維分布族是不可 能的。因此，人們想到了用隨機(jī)過程的某些特征來刻畫隨機(jī)過程的概率特征。二、隨機(jī)過程的數(shù)字特征均值函數(shù)隨機(jī)過程X(t); t T的均值函數(shù)定義為：(假設(shè)是存在的)X(t) ?m(t) EX(t)注：m(t)是 X(t)的所有樣本函數(shù)在時(shí)刻t的函數(shù)值的平均，它表示隨機(jī)過程X(t)在時(shí)刻t的擺動(dòng)中心。方差函數(shù)5. ( 5. ( 互 ) 協(xié)方差函數(shù)隨機(jī)過程 X(t); t T的方差函數(shù)定義為：D(X(t) EX(t)X(t)2EX(t) m(t)2注 1： 均方差函數(shù)(t)D(t

12、) 表示X (t)在各個(gè)時(shí)刻t 對于均值m(t)的 偏離程度。注 2： 若 t T,EX2(t) , 稱 X(t)是二階矩過程。( 自 ) 協(xié)方差函數(shù)X(t)， t1,t2 T的狀態(tài)X(t1)， X(t2)的二階中心混合矩X(t1,t2) ?EX(t1) m(t1)X(t2) m(t2)X (t)的自協(xié)方差函數(shù)，簡稱協(xié)方差函數(shù)。當(dāng) t1 t2時(shí)，DX(t) VarX(t) X(t,t) EX(t) m(t)2EX(t) E(X(t)2EX(t)2 E(X(t)2( 自 ) 相關(guān)函數(shù)X(t)， t1,t2 T的狀態(tài) X(t1)， X(t2)的二階原點(diǎn)混合矩RX(t1,t2) ?EX(t1)X(t

13、2) X(t)的自相關(guān)函數(shù)，簡稱相關(guān)函數(shù)。注 1： 當(dāng) EX(t) m(t) 0時(shí)，RX (t1 ,t2)X(t1,t2)注 2：X (t1,t2) RX (t1,t2)-m(t1)m(t2)注 3：X (t1,t2)及 RX (t1,t2)反映了隨機(jī)過程X(t)在 時(shí)刻t1和 t2時(shí)的線性相關(guān)程度。注 4： 對兩個(gè)隨機(jī)過程的關(guān)系，要引進(jìn)互協(xié)方差函數(shù)或互相關(guān)函數(shù)來描述它們的線性關(guān)系。設(shè) X(t)， t T，Y(t)， t T 是兩個(gè)二階矩過程，則稱XY(t1,t2) ?E X(t1) mX(t1)Y(t2) mY(t2) X (t)， Y(t)的互協(xié)方差函數(shù)。其中：mX (t)EX(t), m

14、Y (t)EY(t)互相關(guān)函數(shù)RXY(t1,t2) ? E X (t1)Y(t2) X(t)， Y(t)的互相關(guān)函數(shù)。注：XY (t1, t2 ) RXY (t1 ,t2) -mX (t1)mY (t2 )互不相關(guān)若XY(t1,t2) 0, 稱 X(t)， Y(t)互不相關(guān)。注：若 X (t),Y(t)互不相關(guān)，則RXY (t1 ,t2) mX (t1 )mY (t2)即 EX(t1)Y(t2) EX(t1)EY(t2)特征函數(shù)記：X(u1,u2,un;t1,t2, ,tn) ?Eexpiu1X(t1)unX(tn)稱X(u1,u2, ,un;t1,t2,tn),t1,t2, ,tn T,n

15、1 為隨機(jī)過程X(t);t T的有限維特征函數(shù)族。例 2.6 設(shè)隨機(jī)過程X(t) U cos2t，其中U是隨機(jī)變量，且E(U ) 5， D(U) 5.求：1）均值函數(shù)；（2）協(xié)方差函數(shù)；（3）方差函數(shù)PX(tPX(t1) x1, ,X(tn) xn例 2.7 設(shè)有兩個(gè)隨機(jī)過程X(t) Ut2， Y(t) Ut3,其中U是 隨機(jī)變量，且D(U ) 5.試求它們的互協(xié)方差函數(shù)。作業(yè) 1 設(shè) A, B是兩個(gè)隨機(jī)變量, 試求隨機(jī)過程X(t) At 3B， t T (,)的均值函數(shù)和自相關(guān)函數(shù).若 A, B相互獨(dú)立 ,且 A N(1,4), BU(0,2),則 mX(t)及 RX(t1,t2)為多少？2

16、.3 隨機(jī)過程的基本類型教學(xué)目的：了解嚴(yán)平穩(wěn)過程的定義；掌握寬平穩(wěn)過程的定義，會(huì)判斷一個(gè)隨機(jī)過程是否是寬平穩(wěn)過程；掌握均值遍歷性定理；了解協(xié)方差函數(shù)遍歷性定理；掌握獨(dú)立增量過程和平穩(wěn)增量過程的定義。教學(xué)重點(diǎn)：寬平穩(wěn)過程的判定；均值遍歷性定理；獨(dú)立增量過程和平穩(wěn)增量過程的定義。教學(xué)難點(diǎn)：寬平穩(wěn)過程的判定；均值遍歷性定理；協(xié)方差函數(shù)遍歷性定理；一、嚴(yán)平穩(wěn)過程定義1：設(shè)隨機(jī)過程X(t)，t T, 若對n(n 1,2, ),t1,tnT和任意實(shí)數(shù)， 當(dāng)t1, ,tn T時(shí)， (X(t1), ,X(tn)和(X(t1),X(tn)有相同的分布函數(shù)，即F(t1, ,tn;x1,xn) PX(t1) x1,

17、X(tn)xnF (t1, ,tn; x1 , , xn ) TOC o 1-5 h z 則 X(t)， t T稱為嚴(yán)平穩(wěn)過程.平穩(wěn)過程的參數(shù)T :可以是連續(xù)的，如 t 0,),(,)可以是離散的，如 t 0, 1, 2, ,0,1,2, 二、嚴(yán)平穩(wěn)過程的特點(diǎn).嚴(yán)平穩(wěn)過程X(t)的一維概率密度f (t;x)與 t無關(guān)；二維概率密度f(t1,t2;x1,x2) 僅與t1 t2有關(guān)，而與時(shí)間的起點(diǎn)無關(guān)。 TOC o 1-5 h z . 若嚴(yán)平穩(wěn)過程存在二階矩 (即 EX(t)2), 則1)均值函數(shù)為常數(shù)：m(t) EX(t) m協(xié)方差函數(shù)X (t1,t2),(自)相關(guān)函數(shù)RX(t1,t2)僅是時(shí)間

18、差t1t2的函數(shù).三、寬平穩(wěn)過程( 簡稱平穩(wěn)過程)定義2： 設(shè)隨機(jī)過程 X(t)， t T, 如果它滿足：X(t)是二階矩過程；(即所以二階矩存在EX(t)2)2)均值函數(shù)為常數(shù)：即 m(t) EX(t) m;協(xié)方差函數(shù)X (t1,t2),(自 )相關(guān)函數(shù)RX(t1,t2) 僅依賴于時(shí)間差t1 t2.則稱X (t)為寬平穩(wěn)過程，或二階平穩(wěn)過程.當(dāng) T為整數(shù)集時(shí)，稱 X(t)為平穩(wěn)時(shí)間序列 . TOC o 1-5 h z 注1： 嚴(yán)平穩(wěn)過程不一定是寬平穩(wěn)過程。因?yàn)椋簢?yán)平穩(wěn)過程不一定是二階矩過程。若嚴(yán)平穩(wěn)過程存在二階矩，則它一定是寬平穩(wěn)過程.注2： 寬平穩(wěn)過程也不一定是嚴(yán)平穩(wěn)過程。因?yàn)椋簩捚椒€(wěn)過程

19、只保證一階矩二階矩不隨時(shí)間的 推移而改變，這當(dāng)然不能保證其有限維分布不隨時(shí) 間而推移。例 2.8 設(shè) X(t)是相互獨(dú)立同分布的隨機(jī)變量序列,其中 T 0, 1, 2, , 且均 值和方差分別為EX(t) 0， DX(t)2,試討論X(t)的平穩(wěn)性。例 .9 設(shè)隨機(jī)序列X(t) sin2 t ,t T, 其中 T 1,2, , 是 0,1上服從均勻分布的隨機(jī)變量，試討論隨機(jī)序 列 X (t)的平穩(wěn)性.當(dāng) X(t) t 0時(shí)，討論其平穩(wěn)性.四、平穩(wěn)過程相關(guān)函數(shù)的性質(zhì)性質(zhì)1： RX (0) EX2(t) 0性質(zhì)2： RX ( ) RX(0)柯西-許瓦茲不等式： TOC o 1-5 h z 222|

20、 E( XY) |2 (EX2)(EY2)或 | E(XY)| (EX2)(EY2)結(jié)論：(自 )相關(guān)函數(shù)RX ( )在 0時(shí)取得最大值.性質(zhì) 3： RX( ) 是偶函數(shù)，即 RX (- )RX( )性質(zhì) 4： RX ( )是非負(fù)定的. 即對任意數(shù)組t1, ,tn T和任意n個(gè)不全為零的實(shí)數(shù)a1 ,a2, ,an都有nn aiajRX (ti tj ) 0 i1j1注： 自相關(guān)函數(shù)的非負(fù)定性是平穩(wěn)過程最本質(zhì)的特性， 因?yàn)?，任一連續(xù)函數(shù)，只要具有非負(fù)定性，那么該函數(shù)必定是某平穩(wěn)過程的自相關(guān)函數(shù).性質(zhì)8：2|RXY()| RX (0) RY(0)性質(zhì)9：若平穩(wěn)過程X (t)與Y(t )是平穩(wěn)相關(guān)的

21、，則其和 Z (t ) X (t )Y(t)也是平 穩(wěn)過程 , 其相關(guān)函數(shù)為RZ ( ) RX ( ) RY( ) RXY ( ) RYX ( )例 2.10： 設(shè) S(t)是一周期為T的函數(shù)，U0,T，稱X(t) S(t)為隨機(jī)相位周期過程，試討論它的平穩(wěn)性.五、獨(dú)立增量過程定義 1 設(shè) X(t) t T是一隨機(jī)過程, 若對任意正整數(shù) n, n N ,及 t1, ,tn T，t1 t2tn 1 tn , 隨機(jī)過程的增量：X(t2)-X(t1)， X(t3)-X(t2)， ， X(tn)-X(tn 1)是相互獨(dú)立的，則稱X (t)為獨(dú)立增量過程。例 2.11 ： 設(shè) X(n), n 0,1,2

22、, 是相互獨(dú)立的隨機(jī)序列， 令 Y(i) i X(n), 則n0Y(i), i 0,1,2, 是一獨(dú)立增量過程.若對任何t1,t2 T 有X(t1 h) X(t1)d X(t2 h) X(t2)則稱 X (t), t T為平穩(wěn)增量過程.兼有獨(dú)立增量和平穩(wěn)增量的過程稱為平穩(wěn)獨(dú)立增量過程。定義2若二階矩過程X(t), tT對任意的t1t2t3t4,t1,t2,t3,t4T，有EX(t2) X(t1)X(t4) X(t3) 0則稱 X(t), t T為正交增量過程。六、遍歷性定理(1)Xn,n 0,1,2, , 其中Xn為獨(dú)立同分布隨機(jī)變量序列，E(Xn2); E(Xn) m,n 0,1,2, .(

23、2)Yn Y,n 0,1,2, , 其中Y是隨機(jī)變量,E(Y2). TOC o 1-5 h z 1n11n1對 (1)而言，由大數(shù)定律知，1 Xi m (a.s.)， 但在 (2)中， 1YiY， 即經(jīng)過ni0ni0對時(shí)間的平均后，隨機(jī)性沒有任何改變。于是自然產(chǎn)生這樣的問題： 在何種條件下，平穩(wěn)過程對時(shí)間的平均值可以等于過程的均值？這一 問題稱為平穩(wěn)過程的遍歷性問題。這是平穩(wěn)過程 研究中的一個(gè)重要課題。對于平穩(wěn)過程Xn,n 0,1,2, 重要的是確定它的均值m和它的協(xié)方差函數(shù)( )(或相關(guān)函數(shù)R( )。E(Xn) m，為估計(jì)m，就必須對隨機(jī)過程Xn,n 0,1,2, 作大量觀察.Xj(t)記第

24、j次觀察 中時(shí)刻t的值j 0,1,2, n.由大數(shù)定律知，可以用1nm Xk(t)nk1來估計(jì)m。同樣，為了估計(jì)協(xié)方差 ( ),也可以用1n( ) n(Xk(t) m)(Xk (t) m)來估計(jì)。然而對隨機(jī)過程作多次觀察一般來說很難 做到。容易做到的是作次觀察，獲得一條樣本路 徑 , 我們希望由這一次觀察來估計(jì)m和( )。對于一般的隨機(jī)過程這是不可能的 , 但是對于平穩(wěn)過程,只要 加上一些條件，就可以加上一些條件，就可以較好的估計(jì)，這就是遍歷性定理。1T定義 1: 設(shè) X(t), t為一平穩(wěn)過程，若X Lim 1 X (t)dt m 或 當(dāng)參數(shù)空間T Z時(shí)，1NX LimX(k) mN 2N

25、1k N則稱 X(t), t的均值有遍歷性。這里的極 限是指均方意義下的極限，1T2Lim E | X(t)dt m| 0T 2T T定義 2: 設(shè) X(t), t 為一平穩(wěn)過程，若1T( ) Lim (X(t) m)(X(t ) m)dt ( )T 2T T或當(dāng)參數(shù)空間T Z時(shí)，1N( ) Lim(X (k) m)(X(k ) m) ( )N 2N 1kN則稱 X(t), t的協(xié)方差有遍歷性.這里的極限是指均方意義下的極限 .若隨機(jī)過程(或隨機(jī)序列)的均值和協(xié)方差函數(shù)都具有 遍歷性，則稱此隨機(jī)過程有遍歷性。上述的定義中，如果t只取非負(fù)實(shí)數(shù)(非負(fù)整數(shù))時(shí) ,相應(yīng)的積分和求和就限制在0,)上 .例如，相應(yīng)的1TX Lim X(t)dt m1N或X LimX(k) mN N 1k01例 2.12: