隨機分析之收斂(極限)

1、隨機分析之收斂（極限）隨機分析之收斂（極限）2014/12/4XXX收斂的概念收斂的概念設(shè) 為數(shù)列， 為常數(shù)，若對于 ，總 ，使得當(dāng) 時有 ，則稱數(shù)列 收斂于 ，常數(shù) 稱為數(shù)列的極限。 nxa0 +NNnNnxa nxaa處處收斂（強收斂）處處收斂（強收斂）：隨機變量序列 是定義在 上的一族數(shù)列nX12( ),( ),( ),()kXXX每個試驗結(jié)果 ，上述序列均收斂，即limnnXXP.S.：上述收斂定義太苛刻了，要求對每個 都收斂。下面介紹隨機序列在較弱意義下的收斂定義，它們不一定要求對每個 都收斂。nX則稱隨機序列 處處收斂，即1112111212222212:(),(),()():()

2、,(),()():(),(),()()nnnnnmmmnmmx x x x x x x x x x x x LLML 定義定義1 稱二階矩隨機序列 以概率以概率1收斂收斂于二階矩隨機變量 ，若使成立的 的集合的概率為1，即或稱 幾乎處處收斂幾乎處處收斂于 ，記作P.S.：有個別 不收斂，這些點的概率為0以概率以概率1 1收斂收斂( )nX( )Xlim( )( )nnXXlim( )( )1nnPXX( )nX( )X. a enXX (Almost everywhere converge)依概率收斂依概率收斂 定義定義2 稱二階矩隨機序列 依概率收斂依概率收斂于二階矩隨機變量 ，若對于 ，有

3、記作( )nX( )X0lim( )( )0nnPXXPnXX lim( )( )1nnPXX等價于(Convergence in probability)P.S.： 是一個隨機事件，等式表明，當(dāng) 時，這個事件的概率趨于1。即對于 ，當(dāng) 充分大時，事件發(fā)生的概率很大。( )( )nXXn 0 n伯努利大數(shù)定律：設(shè) 是 次獨立重復(fù)試驗中事件 發(fā)生的次數(shù)，而 是事件 在每次試驗中發(fā)生的概率，對于任意給的正數(shù) ，都有伯努利大數(shù)定律說明當(dāng)所做的獨立重復(fù)試驗的次數(shù)趨向于無窮時，可以用頻率來計算事件發(fā)生的概率nknApAlim1nnkPpn依概率收斂實例依概率收斂實例頻率以概率為其穩(wěn)定值例例 設(shè) 隨機變量

4、序列服從以下分布：為 的分布函數(shù)列 ，則有假設(shè)隨機變量 的分布函數(shù)為 ，又設(shè)另一函數(shù)（1）可知 ，即 點點收斂于 ，但是 不滿足分布函數(shù)的右連續(xù)性，不是分布函數(shù)。（2）除了 的跳躍間斷點 外， 均收斂于因此：因此：要求分布函數(shù)序列要求分布函數(shù)序列 點點收斂于一個分布函數(shù)點點收斂于一個分布函數(shù) 有些太苛刻了，需要有些太苛刻了，需要定義分布函數(shù)序列的定義分布函數(shù)序列的弱收斂弱收斂nX11,(1,2,)nP Xnn( )nF xnX10( )11nxnF xxnX00( )10 xF xx00( )10 xG xxlim( )( )nnF xG x( )nF x( )G x( )G x( )nF x

5、( )F x0 x ( )F x依分布收斂依分布收斂 定義定義3 稱二階矩隨機序列 依分布收斂依分布收斂于二階矩隨機變量 ，若相應(yīng)的分布函數(shù)列 ，在 的每一個連續(xù)點，有記作稱分布函數(shù)序列 弱收斂弱收斂于分布函數(shù) ，記作( )nX( )X( )nF x( )F xlim( )( )nnF xF xdnXX ( )nF x( )F x( )( )WnF xF x (Convergence in distribution)P.S.：上述收斂定義中，對于分布函數(shù)序列 稱為弱收斂，而對隨機變量序列 則稱為依分布收斂，這是在兩種不同場合給出的兩個不同的名稱，但是本質(zhì)含義一樣，都要求在 的連續(xù)點有( )nF

6、 x( )nX( )nF xlim( )( )nnF xF x隨機序列的均方收斂隨機序列的均方收斂定義定義4 設(shè)有二階矩隨機序列 和二階矩隨機變量 ，若有成立，則稱 均方收斂均方收斂于 ，記作 上述極限常寫成nXX2lim0nnEXXnXX.m snXXl.i.ml.i.mnnnXXXX或(Limit in mean)P.S.：在Hilbert空間中，隨機變量 和 之間的距離的平方的均值，在 時，趨于0（均方距離）nXXn 設(shè) 是相互獨立同分布的隨機變量序列，則有證：由 的相互獨立同分布性，得1nXnH，,1,2,nE Xan11l.i.mnknkXan均方極限下的大數(shù)定理均方極限下的大數(shù)定理

7、1nXnH，22112112111211111cov(,)()1()0,nnkkkkknnkkllklnnklklnkkEXaEXE XnnEXE XXE XnXXnD XD Xnnn P.S.：說明獨立同分布的二階矩隨機變量序列的算術(shù)平均必收斂于它的統(tǒng)計平均定義定義5 設(shè)有二階矩隨機過程 和二階矩隨機變量 ，若有成立，則稱 當(dāng) 時均方收斂均方收斂于 ，記作 P.S.：后面的均方連續(xù)、均方導(dǎo)數(shù)和均方積分都是在隨機過程的均方收斂的基礎(chǔ)上定義的( ),X t tTX02lim( )0ttEX tXX.0()m stXX tt0l.i.m( )ttX tX或(Limit in mean)隨機過程的均

8、方收斂隨機過程的均方收斂( ),X t tT0tt收斂之間的關(guān)系收斂之間的關(guān)系（1）若 ，則（2）若 ，則（3）若 ，則 .m snXXPnXX . a enXX PnXX PnXX dnXX 不收斂不收斂dPa.em.s相互關(guān)系：（1）若 ，則（2）均方收斂必依概率收斂，反之不一定成立，即均方收斂比依概率收斂有更強的收斂性（3）均方收斂是根據(jù)均方距離定義的，依概率收斂是根據(jù)概率意義定義的 .m snXXPnXX 均方收斂均方收斂VS依概率收斂依概率收斂 若 ，則證：由馬爾可夫不等式得由均方收斂知 ，則對任意給定的 ，有 .m snXXPnXX 22nnEXXPXX2lim0nnEXX0lim

9、0nnP XXrrEXP X 馬爾可夫不等式：（1）若 ，則（2）幾乎處處收斂必依概率收斂，反之不一定成立，即幾乎處處收斂比依概率收斂有更強的收斂性（3）定義式的比較 ,a enXX PnXX 幾乎處處收斂幾乎處處收斂VS依概率收斂依概率收斂lim( )( )1nnPXXlim( )( )0nnPXXlim( )( )1nnPXX 若 ，則證：由 ，得因此，對任意給定的的 ，有 . a enXX PnXX lim1nnPXXlim1nnP XXlim()01lim01nnnnPXXPXX0即lim0nnP XX幾乎處處收斂不一定均方收斂，盡管二階矩存在。均方收斂和幾乎處處收斂沒有誰包含誰的問題

10、，但若幾乎處處收斂的序列滿足一些限制條件時，可以等價 幾乎處處收斂幾乎處處收斂VS均方收斂均方收斂（1）若 ，則（2）依概率收斂必依分布收斂，反之不一定成立。因為若隨機序列 的取值依概率收斂于隨機變量 的取值，則 的分布即是 的極限分布；但是取值分布的收斂并不意味著取值的收斂。由上可知，依分布收斂是一種比依概率收斂更弱的收斂，也是四種收斂中最弱的 依概率收斂依概率收斂VS依分布收斂依分布收斂PnXX dnXX nXXXnX 若 ，則證：設(shè)隨機序列 的分布函數(shù)列為 ，為證 ，只須證明對所有的 ，有因為如果上式成立，則當(dāng) 是分布函數(shù) 的連續(xù)點時，有因此有：首先令 ，則由得 PnXX dnXX nX

11、( )nF xdnXX x(0)lim( )lim( )(0)nnnnF xF xF xF xx( )F x(0)(0)F xF x( )( )WnF xF x xx,nnnnnnXxXx XxXx XxXxXx XxXxXXxx( )( )nnnnF xP XxP XxPXXxxF xPXXxx由于 ，有 ，所以再令 ，得同理可證，當(dāng) 時，有再令 ，得因此定理得證 PnXX lim0nnPXXxx( )lim( )nnF xF x xx(0)lim( )nnF xF xxxlim( )()nnF xF xxxlim( )(0)nnF xF x（3）若 ，則逆命題不成立，反例：例例 設(shè)隨機變量

12、 的分布列為再令 ，則隨機變量 與隨機變量有相同的分布函數(shù)，因此隨機變量序列 依分布收斂于隨機變量 ，即但是對于任意的 ，由于即所以： 并不依概率收斂于PnXX dnXX X111,122P XP X ,(1,2,3,)nXXn nXnXXdnXX 02 21nPXXXlim0nnPXXnXX特殊情況特殊情況：對于常數(shù) ，則 與 等價證：由 ，則 ，CPnXC dnXC dnXC 01(0)()1 100nnnnnPXCP XCP XCF CF C 定理定理1（柯西收斂準(zhǔn)則）（柯西收斂準(zhǔn)則） 二階矩隨機序列 收斂于二階矩隨機變量 的充要條件為證：充分性充分性 見隨機過程引論奚宏生 編著 P14

13、4 定理4.1.5 必要性必要性nXX2,lim0nmn mEXX2222=()0,nmnmnmEXXEXXXXEXXEXXm n 例 設(shè) 是相互獨立的隨機變量序列，其分布律為NnXn，220,1,2,111nnXnnn22221 11 2112(1)2,mnmmnnEXXE XX XXm nm nmn 由于所以 不均方收斂 NnXn， 定理定理2 設(shè) ， ， 都是二階矩隨機序列， 為二階矩隨機變量， 為常數(shù)序列，a，b，c為常數(shù)。令 ， ， ， 。則（1）（2）（3）（4）（5）（6）特別有nX nYnZU ncl.i.mnXXl.i.mnYYl.i.mnZZlimnnccl.i.mlimn

14、nncccl.i.mUUl.i.m()nnaXbYaXbY lim=l.i.mnnnE XE XEX,lim=l.i.ml.i.mnmnnn mE X YE XYEXYl.i.mnc UcU22lim=l.i.mnnnEXEXEXl.i.m()nnaXbYaXbY（4）證：因為所以2222222222()()()()2()2()2()2()0,nnnnnnnnEaXbYaXbYE a XXb YYEaXXbYYa EXXb EYYn m l.i.m()nnaXbYaXbY（5）證：由許瓦茲不等式，有令 ，代入上式，得所以 lim=l.i.mnnnE XE XEX 22222*11E YE YE YEE YnYXX 22200()nnnE XE XE XXEXXn lim=l.i.mnnnE XE XEX（6）證：當(dāng) 時，所以,lim=l.i.ml.i.mnmnnn mE X YE XYEXY 222222()()2()()()()()()()()nmnmnmnmnmnmnmnmnmnmE X YE XYE X YXYEXX YYX YXYXYEXXYYEXX YE X YYEXXYYEXX YE X YYEXXE YYEXXE YEXE YY, n m 2222220nmnmEXXE YYEXXE YEXE YY,lim=nmn mE X YE