應用統(tǒng)計學與隨機過程(第2章--隨機過程的基本概念2014)

1、主講教師：何松華 教授聯(lián)系電話：(0731）82687718子信箱：應用統(tǒng)計學與隨機過程應用統(tǒng)計學與隨機過程( (通信專業(yè)通信專業(yè)) )Applied Statistics and Random ProcessApplied Statistics and Random Process湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念2. 隨機過程的基本概念(8學時)2.1隨機過程的定義隨機過程的定義2.2隨機過程的統(tǒng)計特性隨機過程的統(tǒng)計特性2.3平穩(wěn)隨機過程平穩(wěn)隨機過程2.4各態(tài)經(jīng)歷隨機過程各態(tài)經(jīng)歷隨機過程2.5隨機過程的聯(lián)合分布與互相關隨機過程的聯(lián)合分布與互

2、相關2.6隨機過程的功率譜隨機過程的功率譜隨機過程的定義隨機過程的定義2.1( (連續(xù)時間連續(xù)時間) )隨機過程的定義隨機過程的定義 設某個可觀測的隨時間變化而變化的物理量X(t),t為以觀測開始時刻為參考點的時間變量，如果滿足如下條件之一,則稱其為隨機過程 (1)對于在相同條件下可重復進行的觀測,如果對于任意的時刻t, X(t)為隨機變量,即對于不同的觀測試驗,任意t時刻的觀測值隨機地取不同的值,不同的觀測試驗得到不同的樣本函數(shù)x(t) (2)對于一次觀測試驗,如果已知一段樣本函數(shù)的值x(t)|tt0,不能確定該試驗在tt0時刻的觀測值湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概

3、念隨機過程舉例隨機過程舉例1 1 接收機噪聲(同時滿足條件1和條件2)湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念對同一接收機進行多次試驗,(1)對于不同的試驗,其輸出的熱噪聲信號是不同的隨機的;(2)對于每次試驗,已知過去及當前時刻值,不能確定以后時刻的值隨機過程舉例隨機過程舉例2 2 隨機初始相位過程(只滿足條件1)湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念幅度A、頻率為常數(shù)，初始相位為0,2區(qū)間均勻分布的隨機變量；對于不同的觀測試驗，隨機地取不同的值，對于同一個觀測試驗，不隨時間的變化而變化，已知樣本的一段，可以預測后面的值。舉例：在不同的示波器上產(chǎn)生相同幅

4、度及頻率的正弦波信號，不同示波器信號的初始相位是隨機的、不可控制的，對于任意的時刻tn，不同示波器的信號x(tn)隨機地取不同的值;x(tn)為隨機變量X(tn)的樣本。( )sin()X tAt隨機過程舉例隨機過程舉例3 3 加拿大山貓捕獲數(shù)據(jù)(只滿足條件2)(不能重復的試驗)湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念從歷史數(shù)據(jù)中得不到確定性的規(guī)律,只能得到統(tǒng)計規(guī)律,已知過去及當前時刻值,不能準確確定以后時刻的值,只能進行近似的預測(本例的隨機過程為離散時間隨機過程,概念后面介紹)269,321,585,871,1475,2821,3928,5943,4950,2577,52

5、3,98,184,279,409,2285,2685,3409,1824,409,151,45,68,213,546,1033,2129,2536,957,361,377,225,360,731,1638,2725,2871,2119,684,299,236,245,552,1623,3311,6721,4254,687,255,473,358,784,1594,1676,2251,1426,756,299離散時間隨機過程的定義離散時間隨機過程的定義 設n表示第n個觀測時刻，如果X(n)為某個物理量在第n時刻的觀測值，如果滿足如下條件之一，稱為離散時間隨機過程 (1)對于在相同條件下可重復進行

6、的觀測,如果對于任意的時刻n, X(n)為隨機變量,即對于不同的觀測試驗,任意n時刻的觀測值隨機地取不同的值,不同的觀測試驗得到不同的觀測序列x(n) (2)對于一次觀測試驗,如果已知的一段樣本函數(shù)的值x(n) |nn0,不能確定該試驗在nn0的觀測值湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念隨機過程與隨機變量的區(qū)別與聯(lián)系隨機過程與隨機變量的區(qū)別與聯(lián)系 (1)隨機過程在任意時刻的取值為隨機變量 (2)概率密度分布函數(shù)可以完全確定一個隨機變量的統(tǒng)計特性，對于隨機過程，則還必須考察不同時刻取值之間的相關性；任意n個時刻 (n任意取值，t1、t2、tn任意取值)的多維隨機變量X(t1

7、), X(t2), X(tn)的多維聯(lián)合概率密度分布函數(shù)才能確定其統(tǒng)計特性； (3)除了概率密度分布外，不同時刻的相關特性或隨機過程的功率譜特性是隨機過程研究的主要內容，相關性是隨機過程可以近似預測的基本條件。湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念隨機過程的統(tǒng)計特性隨機過程的統(tǒng)計特性2.21.1.隨機過程的一維概率分布特性隨機過程的一維概率分布特性(1)隨機過程X(t)在任意t時刻的概率分布函數(shù)湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念( , ) ( )XF x tP X tx(2)隨機過程X(t)在任意t時刻的概率密度分布函數(shù)( , )( , )XXF x

8、 tfx tx( , )( , )xXXF x tfx t dx同一隨機過程在不同時刻對應的隨機變量可能具有不同的分布函數(shù)2.2.隨機過程的多維聯(lián)合概率分布特性隨機過程的多維聯(lián)合概率分布特性(1)隨機過程X(t)在任意多個時刻的聯(lián)合概率分布函數(shù)湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念(2)隨機過程X(t)在任意多個時刻的聯(lián)合概率密度分布函數(shù)12121122( ,.,; , ,., ) ( ),( ),( )XnnnnF x xx t ttP X tx X txX txL1212121212( ,.,; , ,., )( ,.,; , ,., ).nXnnXnnnF x xx

9、t ttfx xx t ttx xx 121212121221( ,.,; , ,., ).( ,.,; , ,., ).nXnnxxxXnnnF x xx t ttfx xx t tt dxdx dx 例題例題1:1:隨機幅度過程在任意時刻的概率密度分布函數(shù)湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念0( )cos()X tYt0為常數(shù),Y為標準正態(tài)分布隨機變量當 (k為任意整數(shù))時,X(t)為常數(shù)00(1/2)kt( , )( )Xfx tx對其他的任意時刻t,根據(jù)反函數(shù)y=x/cos(0t)2002200 /cos()11( , )exp|2cos()21exp2cos (

10、)2 |cos()|Xxtfx ttxtt例題例題2:2:接上例,Y為0,1兩種取值的變量(概率各1/2)湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念求X(t)在t=0、t=/0時刻的二維聯(lián)合分布函數(shù)00 (0) 0, ( /) 0 ( /) 0| (0) 0 (0) 0 1 1/2 1/2P XXP XXP X 解：X(0)=Y，X(/0)=-Y； X(0)為0,1兩種取值、 X(/0)為0,-1兩種取值的隨機變量，兩個變量的取值組合數(shù)為4，由于兩個時刻Y的取值是一致的，則有00 (0) 0, ( /)1 ( /)1| (0) 0 (0) 0 0 1/2 0P XXP XXP

11、X 00 (0) 1, ( /) 0 ( /) 0|(0) 1 (0) 0 0 1/2 0P XXP XXP X 00 (0) 1, ( /)1 ( /)1| (0) 1 (0) 0 1 1/2 1/2P XXP XXP X 1201212( ,;0, /)0.5 ( ,) 0.5 (1,1)Xfx xx xxx 1201212( ,;0, /)0.5 ( ,) 0.5 (1,1)XF x xu x xu xx 二維單位沖激/單位階躍函數(shù)附錄附錄( (自學自學):):二維沖激函數(shù)特性湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念12120(,)()xxaxa xbdxxbxa122

12、10(,)()xx bxa xbdxxax b1212(,)()xa xbdxxb1221(,)()xa xbdxxa1212(,)() ()xa xbxaxb1212(,)0 1 (,)xyxa xbdxdxxa or ybxa and ybu x a y b (,)1ababx a y bdydx 湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念本小節(jié)作業(yè)本小節(jié)作業(yè)2.3 2.63.3.隨機過程的示性函數(shù)隨機過程的示性函數(shù) 隨機過程X(t)是時間t的隨機函數(shù)，則其數(shù)值特征(均值、方差、協(xié)方差等)也是時間的函數(shù)(確定性的)，稱其為隨機過程的示性函數(shù)(為區(qū)別于隨機變量的數(shù)值特征)。湖

13、南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念(1)均值函數(shù)(任意t時刻的均值)( ) ( )( , )XXm tE X txfx t dx為什么是確定性的？(2)方差函數(shù)(任意t時刻的方差)222( ) ( )( ) ( )( , )XXXXtE X tm tx m tfx t dx(3)均方值函數(shù)(任意t時刻的二階原點矩)22( )( , )XE X tx fx t dx信號的總功率信號的總功率= =信號的直流功率信號的直流功率+ +交流功率交流功率 練習：根據(jù)方差的定義以及數(shù)學期望運算的性質證明湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念222( )( )( )X

14、XE X ttmt總功率交流功率直流功率22( )( )X tE X t瞬時能量功率12121 2121221( , ) ( ) ( )( ,; , )XXR t tE X t X txx fx x t t dx dx (4)隨機過程的自相關函數(shù)(任意兩個不同時刻的相關)采用什么函數(shù)描述隨機過程不同時刻取值之間的采用什么函數(shù)描述隨機過程不同時刻取值之間的內在聯(lián)系呢？相關函數(shù)內在聯(lián)系呢？相關函數(shù)( (均值、方差為什么不行均值、方差為什么不行) )附錄附錄( (自學自學):):自相關函數(shù)上述定義的合理性自相關函數(shù)上述定義的合理性湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念A.正相關

15、RX(t1,t2)0,說明X(t1)取正(負)的x1值時, X(t2)也傾向于取正(負)的x2值,乘積x1x2和(積分)取正值B.負相關 RX(t1,t2)0的值越大,則說明X(t1)取絕對值大的、正的或負的x1值時, X(t2)傾向于取絕對值大的、正的或負的x1值,說明正相關性越強D. RX(t1,t2)0,說明X(t1)大/小于均值時, X(t2)也傾向于大/小于均值； KX(t1,t2)0,說明X(t1)大/小于均值時, X(t2)傾向于小/大于均值；同樣可用于描述相關性。根據(jù)數(shù)學期望運算的性質容易證明(練習)：121212( , )( , )( )( )XXXXKt tR t tm t

16、 m t22( , )( , )( )( )XXXXK t tR t tm tt湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念自相關函數(shù)的性質22121212|( , )| | ( ) ( )|( ) ( )XR t tE X t X tE X tE X t證：t1=t2時等式顯然成立212( ) ( )( ) 0g cE X tcX t即：2222121( )( ) 2 ( ) ( )( ) 0g cc E X tcE X t X tE X t以c為自變量的拋物線位于c軸上方的充要條件是二次方程的判別式的值非正，即22212214 ( ) ( )4 ( ) ( ) 0E X t

17、X tE X tE X t221212| ( ) ( )|( ) ( )E X t X tE X tE X t湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念等式成立的充要條件, 位于c軸上方的拋物線2222121( )( ) 2 ( ) ( )( )g cc E X tcE X t X tE X t與c軸相切的充要條件是g(c)=0存在重根c02220020121( )( ) 2 ( ) ( )( ) 0g cc E X tc E X t X tE X t2102 ( )( ) 0E X tc X t102( )( )0X tc X t102( )( )X tc X t當兩個不同時

18、刻的隨機變量存在線性關系時,相關性最強根據(jù) 可得21122( )( )( )( ) 0EX tE X tc X tE X t1212|( , )|( )( )XXXK t ttt(6)相關系數(shù)121212( , )( , )/( )( )XXXXr t tKt ttt12|( , )| 1Xr t t即:練習互不相關、正交以及統(tǒng)計獨立的概念互不相關、正交以及統(tǒng)計獨立的概念湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念 1、若若KX(t1,t2)=0，則稱隨機過程則稱隨機過程X(t)在在t1、 t2兩個不同時刻互不相關；此時兩個不同時刻互不相關；此時 RX(t1,t2)=EX(t1)

19、 X(t2)=EX(t1) EX(t2) 2、若若RX(t1,t2)=0，則稱隨機過程則稱隨機過程X(t)在在t1、 t2兩個不同時刻相互正交；兩個不同時刻相互正交； 3、若若fX(x1,x2;t1,t2)= fX(x1, t1) fX(x2,t2) ，則稱則稱隨機過程隨機過程X(t)在在t1、 t2兩個不同時刻是統(tǒng)計獨立兩個不同時刻是統(tǒng)計獨立的。的。統(tǒng)計獨立則必然不相關(練習)，反之則不一定湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念1212002121( , )( , )cos2()()XXKt tR t tN Bf ttSaB tt自相關函數(shù)舉例自相關函數(shù)舉例1 1：限帶白

20、色噪聲：限帶白色噪聲中心頻率為f0、中心頻率兩邊帶寬和為B、單邊功率譜密度為N0的中頻接收機輸出的熱噪聲X(t)(0均值)的自相關函數(shù) (時間連續(xù)且隨機變量取值也連續(xù)的隨機過程)自相關函數(shù)舉例自相關函數(shù)舉例2 2：隨機電報過程：隨機電報過程隨機過程X(t)在任意時刻t的取值為0(x1)或1(x2)，兩種取值的概率各為1/2,在任意給定的時間內，X(t)的變換從“1”變換為“0”或從“0”變換為“1”次數(shù)K服從參數(shù)為的泊松分布(K與X獨立)(為單位時間內的平均變換次數(shù))。求X(t)的期望函數(shù)及協(xié)方差函數(shù)。(時間連續(xù)但取值為離散的隨機過程)( )sin( )/Sa xxx湖南大學教學課件：應用統(tǒng)計

21、學與隨機過程 隨機過程的基本概念解：21111( ) ( ) ( ) 01222Xiiim tE X txP X tx 2212121211121212121212( , ) ( ) ( ) ( ),( )0 0 ( )0,( )0 0 1 ( )0,( ) 1 1 0 ( ) 1,( )0 1 1 ( ) 1,( ) 1 ( ) 1,( ) 1 ( ) 1, is even in XijijijR t tE X t X txx P X tx X txP X tX tP X tX tP X tX tP X tX tP X tX tP X tKt 1121 ( ) 1 is even in tP

22、 X tP Ktt泊松分布X、K獨立21|2121 | !kttttP Kk inttek湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念2121|2121|21210 | is even in ! |12!kttk evenkkttkttP Kttekttttekk根據(jù)概率函數(shù)性質等值變換，顯然，k為奇數(shù)時，求和項為021|2100 |1!kttkkttP Kkek21|210 |!kttkttek21|210|!kttkttek綜合得到212 |12( , )(1)/4ttXR t te212 |121212( , )( , )( )( )/4ttXXXXKt tR t tm t

23、 m te只與差t2-t1有關指數(shù)函數(shù)的泰勒級數(shù)展開湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念t01x(t)隨機電報過程的典型樣本函數(shù)隨機電報過程的典型樣本函數(shù)t2-t10RX(t2-t1 )RX(0) X2EX(t2)EX(t1)t2-t10 KX(t2-t1) X24.4.隨機過程的特征函數(shù)隨機過程的特征函數(shù)湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念(1)一維特征函數(shù)(任意t時刻的隨機變量的特征函數(shù))( )( , )( , ) (*)j X tj xXXCtE eefx t dx1( , )( , )2j xXXfx tCt ed0( , )( )( , )

24、()kkkkXXkCtE Xtx fx t dxj (*)式兩邊對求k次偏導可以得到(參見第1章)任意t時刻的原點矩與該時刻隨機變量的特征函數(shù)的關系為參見第1章ppt關于傅立葉變換對的證明特征函數(shù)在特征函數(shù)在 =0=0處處的泰勒級數(shù)展開的泰勒級數(shù)展開湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念000(, )(, )!()( )!nnXXnnnnCtCtnjE Xtn結論：隨機過程在某個時刻的原點矩特性可以唯一確定該隨機過程在該時刻的全部統(tǒng)計特性(2)二維特征函數(shù)11221 12 2( )( )1212121221( ,; , )( ,; , ) (#)jX tjX tXjxjxX

25、Ct tE eefx x t t dx dx ( )nnj E Xt湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念(#)式兩邊對1求偏導再對2求偏導可以得到隨機過程的相關函數(shù)與二維特征函數(shù)的關系(練習)1 12 212121212212( ,; , )1( ,; , )4XjxjxXfx x t tCt t edd 1221212121 2121221120( ,; , )( , )( , ; , )XXXCt tR t txx fx x t t dx dx 推論：根據(jù)二維函數(shù)的泰勒展開原理，隨機過程的二維聯(lián)合矩特性EXn(t1)Xm(t2)可以唯一確定其兩個時刻的聯(lián)合分布特性；同

26、理，多維聯(lián)合矩特性可以唯一確定其多維聯(lián)合概率密度分布特性。練習：參照第1章ppt方法證明二維傅立葉變換對關系附錄附錄( (拓展拓展/ /自學自學):):多維聯(lián)合矩與特征函數(shù)關系多維聯(lián)合矩與特征函數(shù)關系湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念對于二維情況,根據(jù)二維特征函數(shù)定義容易得到(練習):12121212121212120( ,; , )( )( ) ()kkkkXkkCt tE Xt Xtj 對于多維情況, 多維特征函數(shù)及矩特性為:11221 12 2( )( ) .( )1212.121211( ,.,; , ,., )( ,.,; , ,., ). nnn njX t

27、jX tjX tXnnjxjxjxXnnnnCt ttE eefx xx t tt dx dxdx 12121212.12121212.0( ,.,; , ,., )( )( ).( ) ().nnnnkkkkkkXnnnkkknCt ttE Xt XtXtj 5.5.離散時間隨機過程的各種函數(shù)離散時間隨機過程的各種函數(shù)( (自學為主自學為主) )湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念( , ) ( )XF x nP X nx對于離散時間隨機過程X(n)|-n0)XCov X tX tKt ttt0均值隨機變量對隨機過程進行采樣，采樣間隔為T，將X(kT)簡記為X(k),對

28、任意n，設X(1)、X(2) 、X(n)為聯(lián)合正態(tài)的，則其聯(lián)合概率密度分布函數(shù)為12112121211(,.,;1,2,., )exp,.,22|XnnnnxxfxxxnxxxCCx湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念其中C為多維隨機變量的協(xié)方差矩陣，其第i行j列的元素值為2 ( ),( )exp| ( ,1,2,., )ijCCov X i X jT iji jn特別地，當=，即隨機過程在不同時刻互不相關時，2()ijCij 1221.12222111( ,.,)exp221exp( )22niniiX XXnnnnniXiiixfx xxxfx單位脈沖函數(shù)2CI121

29、CI2|nC對于正態(tài)隨機過程,不相關則相互獨立12(,.,;1,2,., )Xnfx xxn 10( )00kkkKX(iT,jT)或KX(i,j)的不同含義湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念對于離散時間隨機過程，定義相關系數(shù)12122112122222222222112222222(,; ,)11exp,2211exp22(1)21Xnmnmnmnmnmnmnmfxxn mxxxxxx xx( , )( , )( )( )XXXXKn mr n mnm對于本例的離散時間正態(tài)隨機過程,記( , )exp| nmXr n mT n m|( , )| 1Xr n m 零均值

30、等方差湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念驗證1(拓展訓練/自學):對于0均值隨機過程,驗證1 212212211 221 221222222222111 221222221,( ,)( ,)21exp2(1)21()(1)1exp2(1)211e2nmnmXnmX XnmnmnmnmnmnmnmCov XXKn mE X Xx x fx x dx dxxx xxx xdx dxxxxx xdx dxx 2221122122222221112()1xpexp22(1)211exp22nmnmnmnmnmxxxxdx dxxxdx 內為求均值為？、方差為？的正態(tài)分布的均值？

31、湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念驗證2(拓展訓練/自學):相關函數(shù)與二維特征函數(shù)的關系1 12 21 12 21 11212212211 2221222222222222221 22(,; , )( ,)2exp2(1)211exp2(1)21 22(1)nmjxjxXX XjxjxnmnmnmjxnmnmnmnmCn mefx x dx dxxx xxedx dxexx xj 22121xxdx dx對x2積分先考慮如何整理成關于x2的正態(tài)分布函數(shù)形式湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念1 122224212 11 12222221221222

32、22224212 11 121211exp22(1)22(1) exp2(1)2122(1)1exp221exp2nmnmjxnmnmnmnmnmnmxjxjxxxjedx dxxjxjxdx 222121122222222422121222()()2()() (1) exp2nmnmnmnmxjjdx 整理成關于x1的正態(tài)分布形式湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念222121122(,; ,)exp(2)2XnmCn m 2221211221212(,; ,)exp(2)2 ()XnmnmCn m 2222121122122221221(,; ,)exp(2)2 ()

33、 ()XnmnmnmnmCn m 122212120(,; ,)( ,)XXnmCn mRn m 湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念本小節(jié)作業(yè)本小節(jié)作業(yè)2.7 2.16平穩(wěn)隨機過程平穩(wěn)隨機過程2.31.1.平穩(wěn)隨機過程的工程背景平穩(wěn)隨機過程的工程背景 在實際的研究工作中,通常只能截取隨機過程的一個時間段,如果隨機過程在該時間段內的統(tǒng)計特性能夠代表該隨機過程在其他任意時間段內的特性,即隨機過程的統(tǒng)計特性不隨時間的平移而變化，即隨機過程是平穩(wěn)的，則問題的研究變得簡單。(1)通信與電子系統(tǒng)中的隨機過程一般為平穩(wěn)的。(2)非平穩(wěn)隨機過程去除確定性的趨勢項以及季節(jié)項后或經(jīng)有限次差

34、分處理后可以轉化為平穩(wěn)隨機過程。 湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念2.2.非平穩(wěn)隨機過程的平穩(wěn)化舉例非平穩(wěn)隨機過程的平穩(wěn)化舉例( (拓展訓練拓展訓練/ /自學自學) )湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念舉例舉例: : 某城市居民季度用煤消耗量某城市居民季度用煤消耗量 ( ( 單位單位: : 噸噸 ) )請預測請預測19971997年度每個季度的用煤消耗量年度每個季度的用煤消耗量年份1季度2季度3季度4季度年平均19916878.45343.74847.96421.9 5873.019926815.45532.64745.66406.2 5875

35、.019936634.45658.54674.86645.5 5853.319947130.25532.64898.66642.3 6073.719957413.55863.14997.46776.1 6262.619967476.55965.55202.16894.1 6384.5隨機但逐年增長且季度差異大湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念 (1,2,.,24)nnzab nen 1. 1. 趨勢項的消除趨勢項的消除 ( (假設增長趨勢是線性的假設增長趨勢是線性的) )122324 ,.,TZz zzz令令則則1112124aZYb 122324 ,.,Te eee

36、EZY TTTTTTTE EZ ZY YY ZZ Y 2()20TTY YY Z去除趨勢項后的剩余項(誤差項)6年24個月的數(shù)據(jù)ab 誤差平方和最小準則線性方程組的矩陣形式標量對矢量的求導為矢量,定義為對矢量的每個元素求偏導湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念2. 2. 季節(jié)季節(jié)( (周期周期) )項的消除項的消除 ( (對于本例對于本例, ,周期為周期為4)4)15780.1()21.9TTaY YY Zb 去除去除 趨勢項后的序列為趨勢項后的序列為5780.121.9 (1,2,.,24)nneznn四個季度的剩余項平均值分別為四個季度的剩余項平均值分別為5401(

37、) (1,2,3,4)6kjjS kek (1)1037.2, (2)393.4.2, (3)1155.0, (4)511.2SSSS 去除去除 趨勢項和季節(jié)項后的序列為趨勢項和季節(jié)項后的序列為湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念3. 3. 利用平穩(wěn)隨機過程的樣本數(shù)據(jù)利用平穩(wěn)隨機過程的樣本數(shù)據(jù) x1,x2,x23,x24 建立建立ARAR預測模型預測模型44( ) (1,2,3,4; 0,1,.,5)kjkjxeS kkj ( (后面及其他課程將要學到后面及其他課程將要學到) )4. 4. 利用已經(jīng)建立的利用已經(jīng)建立的ARAR預測模型進行平穩(wěn)隨機項的預測預測模型進行平穩(wěn)隨

38、機項的預測1 (25,26,27,28)pnkn kkxa xn 5. 5. 綜合趨勢項以及季節(jié)項得到綜合趨勢項以及季節(jié)項得到19971997年度各季度預測值年度各季度預測值25252626(1)5780.121.9 25 ; (2)5780.121.9 26zxSzxS27272828(3)5780.121.9 27 ; (4)5780.121.9 28zxSzxS3.3.嚴格平穩(wěn)隨機過程嚴格平穩(wěn)隨機過程( (狹義平穩(wěn)隨機過程狹義平穩(wěn)隨機過程) )湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念如果隨機過程X(t)在任意n個時刻t1、t2、tn的聯(lián)合概率密度分布函數(shù)不隨時間的平移而

39、變化，即對于任意的時間平移量t,滿足12121212( ,.,; , ,., )( ,.,;,.,)XnnXnnfx xx t ttfx xx tt ttttDDDX(t1),X(t2),X(tn)的聯(lián)合概率密度分布X(t1+ t),X(t2 + t),X(tn + t)的聯(lián)合概率密度分布性質：令t=-t1121212211( ,.,; , ,., )( ,.,;0,.,)XnnXnnfx xx t ttfx xxtttt平穩(wěn)隨機過程在多個時刻的聯(lián)合概率密度分布只與這些時刻的時間差有關，與時刻的起點無關一階平穩(wěn)性：嚴格平穩(wěn)則必然一階平穩(wěn)一階平穩(wěn)性：嚴格平穩(wěn)則必然一階平穩(wěn)湖南大學教學課件：應用統(tǒng)

40、計學與隨機過程 隨機過程的基本概念在嚴格平穩(wěn)隨機過程定義中，令n=1, t1=t,t=-t,得到( , )( ,)( ,0)XXXfx tfx ttfxD性質：嚴格平穩(wěn)隨機過程在任意時刻的概率密度分布函數(shù)都相同，與時間t無關；可以記 fX(x,t)=fX(x)性質：嚴格平穩(wěn)隨機過程的均值函數(shù)、方差函數(shù)為常數(shù)，記為mX、X2( ) ( )( , )( )XXXXm tE X txfx t dxxfx dxm2222( )( )( , )()( )XXXXXXtx m tfx t dxx mfx dxss二階平穩(wěn)性：嚴格平穩(wěn)則必然二階平穩(wěn)二階平穩(wěn)性：嚴格平穩(wěn)則必然二階平穩(wěn)湖南大學教學課件：應用統(tǒng)計

41、學與隨機過程 隨機過程的基本概念在嚴格平穩(wěn)隨機過程定義中，令n=2, t1=t +, t2=t, t=-t,得到性質：嚴格平穩(wěn)隨機過程在任意兩個時刻的聯(lián)合概率密度分布函數(shù)只與時間差有關；記性質：嚴格平穩(wěn)隨機過程的相關函數(shù)只與時間差有關，記為RX()121212( ,;, )( ,;,)( ,; ,0)XXXfx x ttfx x tt ttfx x 1212( ,;, )( ,; )XXfx x ttfx x1 212121 21212(, ) () ( )( ,;, ) ( ,; )( )XXXXR ttE X tX txx fx x tt dxdxxx fx xdxdxR 4.4.寬平穩(wěn)隨

42、機過程寬平穩(wěn)隨機過程( (廣義平穩(wěn)隨機過程廣義平穩(wěn)隨機過程) )湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念如果隨機過程X(t)的均值函數(shù)為常數(shù)，相關函數(shù)值只與時間差有關隱含：方差函數(shù)也為常數(shù)，協(xié)方差函數(shù)也只與時間差有關，則稱其為廣義或寬平穩(wěn)隨機過程( ) ( )XXm tE X tm性質：嚴格(狹義)隨機過程一定是寬(廣義)平穩(wěn)隨機過程；反之則不一定(一階、二階平穩(wěn)不一定高階平穩(wěn))，但如果不寬平穩(wěn)，則一定不嚴格平穩(wěn)；如果不特別提出，平穩(wěn)隨機過程系指寬(廣義)平穩(wěn)隨機過程222(0)( )( )( )XXXRE X ttmt222( )(0)XXXXtRm(, )()( )( )

43、XXRttE X tX tR2(, )(, )()( )( )( )XXXXXXXK ttR tm tm tRmK 例題例題1 1：證明獨立同分布隨機變量構成的序列為離散時：證明獨立同分布隨機變量構成的序列為離散時間嚴格平穩(wěn)隨機過程，并說明其廣義平穩(wěn)性間嚴格平穩(wěn)隨機過程，并說明其廣義平穩(wěn)性湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念獨立同分布離散時間隨機過程X(k)|k=,-1,0,1,2, ;對于任意的n個時刻及時間平移量m(離散的整數(shù))，有12121122( ,.,;,.,)( ,)( ,).( ,)XnnXXXnnfx xx km kmkmfx km fx kmfx km獨

44、立12( )( ).( )XXXnfx fxfx同分布fX(x)121212( ,.,.,)( )( ).,( )XnnXXXnfx xx k kkfx fxfx( )XXmxfx dx222()( )0 0Xn mnnXn mnXRmE XXE Xx fx dxmE XE Xmm同理：與起點n無關,只與時刻差m有關獨立例題例題2 2：非對稱正交載波調制信號為廣義平穩(wěn)隨機過程：非對稱正交載波調制信號為廣義平穩(wěn)隨機過程，但不是嚴格平穩(wěn)隨機過程，但不是嚴格平穩(wěn)隨機過程湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念 隨機過程隨機過程Z(t)=Xcos( t)+Ysin( t)，- t0時

45、，互不相關，稱0為相關時間0越大，相關系數(shù)拖尾越長，相關性減弱就越慢。(3)平穩(wěn)隨機過程的相關時間0定義20| |( )|0.05Xr量剛？湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念( )( )( )Z tX tjY t附錄:復平穩(wěn)隨機過程相關函數(shù)定義*( ) ()( )ZRE Z tZtZXYmmjm222(0)|( )| |ZZZRE Z tm2*22 ( ) ( ) |( )| |ZZZZEZ tmZ tmE Z tm*2( ) () ( ) ( ) |ZZZZZKEZ tmZ tmRm22(0)(0) |ZZZZKRm各態(tài)經(jīng)歷隨機過程各態(tài)經(jīng)歷隨機過程2.41.1.各態(tài)經(jīng)

46、歷隨機過程的工程背景各態(tài)經(jīng)歷隨機過程的工程背景 對于隨機過程X(t)的觀測而言，不同的觀測試驗，得到不同的樣本函數(shù)x(t)。從理論上講，X(t)的統(tǒng)計特性需要經(jīng)過大量的觀測試驗才能得到。例：EX(t1)為t1時刻全部試驗(無窮)不同樣本函數(shù)在該時刻取值的平均值。在實際的研究工作中,通常只能在一次觀測試驗中得到隨機過程的一個樣本函數(shù)x(t),能否從x(t)得到X(t)的統(tǒng)計特性呢？如果隨機過程是各態(tài)經(jīng)歷的，即任意樣本函數(shù)經(jīng)歷該隨機過程的所有狀態(tài)，包含研究該過程所必需的全部統(tǒng)計信息，則問題的研究變得簡單。湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念(1)通信與電子系統(tǒng)的隨機過程一般為

47、各態(tài)經(jīng)歷的。(2)通信與電子系統(tǒng)的隨機過程一般為平穩(wěn)正態(tài)隨機過程或其變換，只要知道其均值以及相關函數(shù)(則方差已知)，則可以確定其全部的統(tǒng)計特性(包括一維及多維)。(3)如果隨機過程是各態(tài)經(jīng)歷的，則可以通過其任意的樣本函數(shù)(時間范圍為無窮大)的時間統(tǒng)計平均得到其均值及相關函數(shù)，從而獲得其全部統(tǒng)計特性。(4)在實際的工程應用中，一次觀測試驗的時間范圍不可能為無窮大，但依然可以根據(jù)樣本函數(shù)的其中一段得到隨機過程統(tǒng)計參數(shù)(均值、相關函數(shù))的估計，時間范圍越大，則參數(shù)估計的精度就越高。湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念2.2.各態(tài)經(jīng)歷隨機過程的數(shù)學定義各態(tài)經(jīng)歷隨機過程的數(shù)學定義

48、對于均值為mX、相關函數(shù)為RX()平穩(wěn)隨機過程X(t)，如果其任意的樣本函數(shù)x(t)滿足如下條件，則稱其為各態(tài)經(jīng)歷的。湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念1( )lim( )( )2TXTTmE X tx t dtx tT(1)期望統(tǒng)計均值等于任意樣本函數(shù)的時間統(tǒng)計均值( )()( )1lim() ( )() ( )2XTTTRE X tX tx tx t dtx tx tT(2)期望統(tǒng)計相關函數(shù)等于任意樣本函數(shù)的時間統(tǒng)計相關函數(shù)推廣到離散時間隨機過程情況推廣到離散時間隨機過程情況( (自學為主自學為主) ) 對于均值為mX、相關函數(shù)為RX(m)離散時間平穩(wěn)隨機過程X(n

49、)，如果其任意的樣本序列x(n)滿足如下條件，則稱其為各態(tài)經(jīng)歷的。湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念1( )lim( )( )21NXNnNmE X nx nx nN(1)期望統(tǒng)計均值等于樣本序列的集合統(tǒng)計均值( )1lim() ( )() ( )21Xn mnNNnNRmE XXx nm x nx nm x nN(2)期望統(tǒng)計的相關函數(shù)等于樣本序列的集合統(tǒng)計相關函數(shù)( (擴展擴展/ /自學自學) )推廣到有限時間范圍情況推廣到有限時間范圍情況 設得到各態(tài)經(jīng)歷隨機過程X(t)的一段樣本函數(shù)(不妨將試驗的起始時刻定義為t=0)x(t)|0tT或離散時間隨機過程的一段序列(

50、不妨將序列的第一個元素定義為n=1)x(n)|n=1,2,.,N；則可以根據(jù)時間有限的樣本函數(shù)或序列得到其均值以及相關函數(shù)的估計。湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念01( )TXmx t dtT|11()(|) ( ) ( |)NmXnRmx nmx nmNN11NXnnmxN| |01( )(|) ( ) ( |)TXRx tx t dtTT或或相關函數(shù)的有偏估計湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念舉例1：設平穩(wěn)隨機過程X(t)的協(xié)方差函數(shù)為2| |( ) ( 0)XXKe 現(xiàn)用時間寬度為T的一段樣本來估計隨機過程的均值，求其估計精度，并證明該過

51、程的均值滿足各態(tài)經(jīng)歷性解：對于某次觀測試驗s而言01( )TssXmx t dtT對于不同的觀測試驗s，得到不同的樣本函數(shù)xs(t),得到不同的估計 ，不同觀測試驗的 的平均值為 00001111( )( ) ( )TTTTsssXXXmx t dtx tdtE X t dtm dtmTTTTsXmsXm均值的估計是無偏的(物理含義？)對s的集合平均加法的交換律大數(shù)定理湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念22020200200200201()( )1( )1( )( )1( )( )1( )( )1( )( )TssXXXXTsXTTssXXTTssXXTTssXXTXX

52、Var mmmxt dtmTxtmdtTxtmdtxumduTxtmxumdudtTxtmxumdudtTEX tmX umT 02001()TTTXdudtKtu dudtT 估計精度用方差來衡量，即不同觀測試驗得到的 在真值 左右的平均偏離程度 sXmXm大數(shù)定理,對s的集合平均加法的交換律大數(shù)定理乘法對加法的分配律湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念作積分變量置換 vutu 20002000200202001()1( )( )1()( )()( )1()( )()() ()22(1)( )(1)TTXTTTXXTTXXTTXXTTTXXKtu dudtTKdv dK

53、dv dTTKdTKdTTKdTKdTKdedTTTT t下三角區(qū)域的積分上三角區(qū)域的積分TTuTTvABDCABCD00湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念2221()TXeTT顯然有:2221lim0()TXTeTT2limlim()0ssXXXTTVar mmmlimsXXTmm即對任意的觀測試驗s均值滿足各態(tài)經(jīng)歷性非負數(shù)的平均值為0的含義？練習湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念舉例2：初始相位隨機過程為各態(tài)經(jīng)歷平穩(wěn)隨機過程0( )sin()X tAtA、0為常數(shù)，為0,2區(qū)間上均勻分布隨機變量。解：20001( ) sin()sin()02

54、E X tE AtAtd1( ) (02 )2f00200022000()( ) sin()sin0.5cos()cos(22 )0.5cos()0.5cos(22 )E X tX tE AtAtEAtAA Et 任意t時刻不同樣本函數(shù)值的平均(不同且隨機)隨機變量函數(shù)的數(shù)學期望湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念222000001cos()cos(22 )cos()222AAtd 因此，X(t)為平穩(wěn)隨機過程。對于任意的樣本函數(shù)0( )sin()x tAt(為某個具體的值)0001( )limsin()2sin( )sin()lim0( )TTTTx tAtdtTATE

55、 X tT00220001() ( )limsin()sin21cos()limcos22 ( )222TTTTXTTx tx tAtAtdtTAAtdtRT 積分值有界湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念本小節(jié)作業(yè)本小節(jié)作業(yè)2.34 2.35隨機過程的聯(lián)合分布與互相關隨機過程的聯(lián)合分布與互相關 2.51.1.問題的提出問題的提出 (1)前面分析了單個隨機過程的統(tǒng)計特性; (2)隨機過程通過線性系統(tǒng)后依然為隨機過程; (3)對于一個系統(tǒng)而言,需要研究輸出隨機過程與輸入隨機過程之間的關系; (4)兩個隨機過程的聯(lián)合分布與互相關是研究隨機過程之間相互關系的重要手段。湖南大學教

56、學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念2.2.兩個隨機過程的聯(lián)合分布函數(shù)兩個隨機過程的聯(lián)合分布函數(shù) 對于任意的n、m以及任意的時刻t1,t2,.,tn、 ；兩個隨機過程X(t)、Y(t)的n+m維聯(lián)合概率分布函數(shù)以及聯(lián)合概率密度分布函數(shù)定義為：12,.,mttt121212121111( ,.,; , ,., ;,.,; ,.,)( ),.,( ); ( ),., ()XYnnmmnnmmFx xx t tty yytttP X txX tx Y tyY ty12121212121212121212(,.,; ,.,;,.,;

57、,.,)(,.,; ,.,;,.,;,.,).XYnnmmn mXYnnmmnmfx xxt ttyyytttFx xxt ttyyytttx xxyyy 湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念(1)如果兩個隨機過程相互獨立，當且僅當其任意的n+m維聯(lián)合分布滿足1212121212121212( , ., ; , ,., ; ,.,; , ,.,)( , ,., ; , ,., ) ( ,.,; , .,)XYnnmmXnnYmmfx xx t tt y yy t ttfx xx t tt f y yy t tt(2)如果兩個隨機過程聯(lián)合狹義平穩(wěn)，當且僅當其任意的n+m維聯(lián)

58、合分布滿足時間平移不變性或與時間起點無關，即對任意的時間平移量t,有121212121111( , ., ; , ., ; ,.,; , . )( ,., ;,.,; ,.; ,.,)XYnnmmXYnnmmfx xx t tt y yy t ttfxx tttt yy ttttDDDD3.3.兩個隨機過程的互相關函數(shù)、互協(xié)方差函數(shù)兩個隨機過程的互相關函數(shù)、互協(xié)方差函數(shù)湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念121212( , )( ) ( )( , ; , )XYXYRt tE X t Y txyfx t y t dxdy 1211221212( , )( )( ) ( )

59、( )( , )( )( )XYXYXYXYKt tEX tmtY tm tRt tmt m t(1)如果兩個隨機過程相互獨立，則對任意的t1,t2有12121212( , )( ) ( )( ) ( )( )( )XYXYRt tE X t Y tE X tE Y tmt m t12( , )0XYKt t(2)如果對任意的t1,t2有KXY(t1,t2)=0，則稱兩過程不相關相互獨立則必不相關，反之不一定練習:聯(lián)系定義證明湖南大學教學課件：應用統(tǒng)計學與隨機過程 隨機過程的基本概念(3)如果對任意的t1,t2有RXY(t1,t2)=0，則稱兩個隨機過程相互正交，對于零均值隨機過程，正交與不相

60、關等價。(4)如果X(t),Y(t)為聯(lián)合正態(tài)分布的隨機過程，則兩個隨機過程不相關與相互獨立等價。4.4.兩個隨機過程的廣義聯(lián)合平穩(wěn)兩個隨機過程的廣義聯(lián)合平穩(wěn)(1)如果X(t),Y(t)的均值函數(shù)mX(t),mY(t)都為常數(shù)(與時間無關)，記為mX ,mY ；(2)如果對任意的t1,t2或t,；RXY(t1,t2)、KXY(t1,t2)或RXY(t+,t)、 KXY(t+,t)只與時間差t1-t2或有關，記為RXY(t1-t2)、 KXY(t1-t2)或RXY()、KXY()；則稱這兩個隨機過程是廣義聯(lián)合平穩(wěn)的為什么？對各自的自相關函數(shù)是否有要求;聯(lián)合平穩(wěn)是否各自平穩(wěn)?湖南大學教學課件：應用