隨機(jī)變量序列的收斂性及其相互關(guān)系

1、長(zhǎng)江大學(xué)畢業(yè)論文題 目 名 稱 隨機(jī)變量序列的收斂性及其相互關(guān)系院 （系） 信息與數(shù)學(xué)學(xué)院 專 業(yè) 班 級(jí) 信計(jì)11001班 學(xué) 生 姓 名 傅志立 指 導(dǎo) 教 師 李 治 輔 導(dǎo) 教 師_ 李 治_ 摘要：概率極限理論不僅是概率論的重要組成部分，而且在數(shù)理統(tǒng)計(jì)中有廣泛的應(yīng)用。本文主要對(duì)a.e.收斂、依概率收斂、依分布收斂、r階收斂四種隨機(jī)變量序列的概率和收斂性性質(zhì)進(jìn)行闡述；并結(jié)合具體實(shí)例討論了它們之間的關(guān)系，進(jìn)一步對(duì)概率論中依分布收斂的等價(jià)條件和一些依概率收斂的弱大數(shù)定律進(jìn)行了具體的研究.目錄1. 引言2. a.e.收斂、依概率收斂、依分布收斂、r階收斂的概念、性質(zhì)及其相互關(guān)系.2.1 a.

2、e.收斂的概念及性質(zhì)2.2 依概率收斂的概念及性質(zhì)2.3 依分布收斂的概念及性質(zhì)2.4 r-階收斂的概念及性質(zhì)2.5 結(jié)論3. 隨機(jī)變量序列依分布收斂的等價(jià)條件4. 隨機(jī)變量依概率收斂的一些結(jié)果5. 小結(jié)6. 參考文獻(xiàn)1.引言：在數(shù)學(xué)分析和實(shí)變函數(shù)中“收斂性”極為重要，特別在實(shí)變函數(shù)中對(duì)可測(cè)函數(shù)列收斂性的討論。實(shí)變函數(shù)主要是在集合論與測(cè)度論的基礎(chǔ)上建立起了Lebesgue積分以及它的一些性質(zhì)，而Lebesgue積分的討論中，在測(cè)度空間中關(guān)于可測(cè)函數(shù)列的各種收斂性以及它們之間的關(guān)系的討論在理論和應(yīng)用上都是十分重要的.同樣在現(xiàn)代概率論中，其中的許多概念也是借助于集合論和測(cè)度論中的概念來定義和研究的

3、，比如概率論中事件間的關(guān)系及運(yùn)算與集合論中代數(shù)間的關(guān)系及運(yùn)算是相類似的，而且在許多情況下，用集合論的表達(dá)方式更簡(jiǎn)練、更容易理解，不妨設(shè)為滿足某一性質(zhì)的全體所成的集合，若F為的一個(gè)代數(shù)，則稱為可測(cè)空間；若為F上的測(cè)度，則稱為測(cè)度空間；若為F上的測(cè)度，且，則稱為F上的概率測(cè)度，稱為概率測(cè)度空間；由此我們通過測(cè)度論知識(shí)就得到了概率測(cè)度空間，同時(shí)引出了概率公理化定義：概率是在代數(shù)F上的一個(gè)非負(fù)的、規(guī)范的、可列可加的集函數(shù)，其中為某一試驗(yàn)中可能的結(jié)果的全體,稱為樣本空間；F為隨機(jī)事件全體，稱為事件域（代數(shù)）；也就是說概率P是概率測(cè)度空間F上的一個(gè)測(cè)度集函數(shù)，同實(shí)變函數(shù)中的可測(cè)函數(shù)列收斂性一樣，在概率論中

4、我們有必要研究隨機(jī)變量序列的收斂性，這對(duì)于概率論的學(xué)習(xí)是十分重要的.2.a.e.收斂、依概率收斂、依分布收斂、r階收斂的概念、性質(zhì)及其相互關(guān)系.在概率論中，概率空間上的隨機(jī)變量就是樣本空間上關(guān)于F的可測(cè)函數(shù)，對(duì)于一般的可測(cè)函數(shù)的序列我們?cè)跀?shù)學(xué)分析和實(shí)變函數(shù)中已有認(rèn)識(shí)，其中“收斂性”理論是非常重要的，在概率論中也一樣重要，隨機(jī)變量序列有：幾乎處處收斂，依概率收斂，依分布收斂，r階收斂。2.1 a.e.收斂的概念及性質(zhì)定義 1 設(shè) 是一可測(cè)函數(shù)序列，是可測(cè)函數(shù)，若存在N.A,N=0,使得對(duì)于每一Nc有() (),(n)則稱幾乎處處收斂于，記作 a.e.如果對(duì)于每一Nc， - ()0,(m,n)則稱

5、幾乎處處相互收斂，記作- a.e.0.定理 1 a.e.（某一）（n）的充分必要條件是- a.e.0(m,n).證: 利用性質(zhì)a.e.， gna.e. ,a.e.,g=f,a.e.,則gna.e. g.,假設(shè)，f皆有限，則存在N.A,N=0，當(dāng)Nc時(shí)() ()，利用Cauchy準(zhǔn)則，- 0(m,n)，即- a.e.0.反之，若- a.e.0，則存在一M.A,M=0，當(dāng)Mc時(shí)，- 0(m,n)，根據(jù)Cauchy準(zhǔn)則，存在一個(gè)有數(shù)a,使() a(n)令 =a0，McM 則 a.e.且f是一有限可測(cè)函數(shù)。f的可測(cè)性是由于Mc是可測(cè)函數(shù)序列，且對(duì)一切有() Mc() ()，（n），即f是可測(cè)函數(shù)序列的

6、極限，因而可測(cè)。2.2 依概率收斂的概念及性質(zhì)定義 2 設(shè)Xn為一隨機(jī)變量序列，X為一隨機(jī)變量，如果對(duì)任意的，有P（|Xn-X|）0(n),則程序列Xn依概率收斂于X，記作XnpX. 依概率收斂的含義是：Xn對(duì)X的絕對(duì)偏差不小于任意給定的可能性將隨著n的增大而越來越小。等價(jià)于P（|Xn-X|<）1(n).特別當(dāng)X為退化分布是，即P(X=c)=1,則稱序列Xn依概率收斂于c，即Xnpc定理 2 設(shè)Xn，Yn是兩個(gè)隨機(jī)變量序列，a,b是兩個(gè)常量。如果Xnpa ,Ynpb,則有（1）Xn±Ynpa±b;(2) Xn×Ynpa×b；(3) Xn÷

7、Ynpa÷b;證明 （1）因?yàn)閨（Xn+Yn）-（a+b）|（|Xn-a|2）（|Yn-b|2）所以 0P（|（Xn+Yn）-（a+b）|）PXn-a2+PYn-b20 (n)，即P（|（Xn+Yn）-（a+b）|<）1，由此得Xn+Ynpa+b，類似可證Xn-Ynpa-b. （2）i）若Xnp0，則有Xn2p0.這是因?yàn)閷?duì)任意，有PXn2= PXn0 (n).ii）若Xnpa，則有cXnpca.這是因?yàn)閷?duì)任意c0，有P|cXn-ca|= PXn-a|c|0 (n).而當(dāng)c=0時(shí)，結(jié)論顯然成立。iii）若Xnpa，則有.這是因?yàn)橛幸韵乱幌殿惤Y(jié)論：Xn-ap0， （Xn-a）2p

8、0， 2a（Xn-a）p0，（Xn-a）2+2aXn-a=Xn2-a2p0， 即Xn2pa2iv）由iii）及（1）知Xn2pa2， Yn2pb2， （Xn+Yn）2p（a+b）2.從而有 Xn×Yn=12【（Xn+Yn）2-Xn2-Yn2】p12【（a+b）2-a2-b2】=ab（3）為了證明Xn/Ynpa/b，我們先證：1/Ynp1/b,這是因?yàn)閷?duì)任意，有P（|-1b|）=P（|Yn-bYnb|）=P（|Yn-bb2+b（Yn-b）|，|Yn-b|<）+ P（|Yn-bb2+b（Yn-b）|，|Yn-b|）P（|Yn-b|b2-|b|）+P（|Yn-b|）=P（|Yn-b|

9、（b2-|b|）+ P（|Yn-b|）0 (n)這就證明了1/Ynp1/b，再與Xnpa結(jié)合，利用2即得Xn/Ynpa/b.2.3依分布收斂的概念及性質(zhì)定義 3 設(shè)隨機(jī)變量X,X1，X2，的分布函數(shù)分別為F(x)，F(xiàn)1（x），F(xiàn)2（x），。若對(duì)F(x)的任一連續(xù)點(diǎn)x，都有l(wèi)imnFn（x）= F(x)，則稱Fn（x）弱收斂于F(x)，記作 Fn（x）wF(x).也稱Xn按分部收斂于X，記作 XnLX.定理 3 XnpX XnLX.設(shè)隨機(jī)變量X,X1，X2，的分布函數(shù)分別為F(x)，F(xiàn)1（x），F(xiàn)2（x），。為證 XnLX，相當(dāng)于證Fn（x）wF(x)，所以只需證：對(duì)所有的x，有F(x-0)li

10、mF(x)Fn（x）limnFn（x）F(x+0). （a）因?yàn)槿羯鲜匠闪?，則當(dāng)x是F(x)的連續(xù)點(diǎn)時(shí)，有F(x-0)=F(x+0)，由此即可得Fn（x）wF(x)為證（a）式成立，先令x'<x，則Xx'= Xnx，Xx' Xn>x，Xx'Xnx |Xn-X |x-x',從而有F(x') Fn（x）+P（ |Xn-X |x-x'）.由 XnpX，得P（ |Xn-X |x-x'）0 (n).所以有F(x') limF(x)Fn（x）.再令x'x，即得 F(x-0)limF(x)Fn（x）.同理可證，當(dāng)x&

11、#39;'>x時(shí)，有 limnFn（x）F(x'').令x''x，即得 limnFn（x）F(x=0).定理4 若c為常數(shù)，則 Xnpc的充要條件是： XnLc.證明：（必要性）已由定理3給出，下證（充分性）：記 Xn的分布函數(shù)為Fn（x）=n=1,2，因?yàn)槌?shù)c的分布函數(shù)為對(duì)任意的，有P（| Xn-c|）=P（ Xnc+）+P（ Xnc-）P（ Xn>c+/2）+P（ Xnc-）=1-Fnc+/2+Fn（c-）.由于x= c+/2和x= c-均為F(x)的連續(xù)點(diǎn)，且Fn（x）wF(x)，所以當(dāng)(n)時(shí)，有Fnc+/2F(c+/2)=1， F

12、nc-F(c-)=0.由此得 P（| Xn-c|）0 即 Xnpc。引理 1 （馬爾科夫Mapkob不等式）設(shè)隨機(jī)變量有r階絕對(duì)矩，即E|r<,(r>0),則對(duì)任意>0有 P（|）E|rr. （1.4） 取r=2，并-E以代替，得P（|-E|）D2，稱為切比雪夫不等式2.4 r階收斂的概念及性質(zhì)定義 4 設(shè)對(duì)隨機(jī)變量n及有E|r<，其中r>0為常數(shù)，如果limnE|n-|r=0, 則稱nr-階收斂于，記為 nr.定理 5 如果 nr，則 np；反之不真.證明：由引理1，對(duì)，有P(|-E|) E|n-|rr，又limnE|n-|r=0，所以limnP(| n-|)=

13、0，即得 np.2.5結(jié)論由上面四種收斂性的概念及性質(zhì)間可得關(guān)系：幾乎處處收斂依概率收斂依分布收斂.階收斂依概率收斂依分布收斂.階收斂依概率收斂依分布收斂幾乎處處收斂3.隨機(jī)變量序列依分布收斂的等價(jià)條件. 因?yàn)殡S機(jī)變量取值的統(tǒng)計(jì)規(guī)律可由它的分布函數(shù)完全確定，所以自然會(huì)考慮利用分布函數(shù)的收斂性來定義隨機(jī)變量的收斂性，又分布函數(shù)和特征函數(shù)一一對(duì)應(yīng)，而判斷一個(gè)分布函數(shù)的序列的收斂是否弱收斂有時(shí)是很麻煩的，但判斷相應(yīng)的特征函數(shù)序列的收斂性卻往往比較容易，下面給出弱收斂的充要條件，首先做一些準(zhǔn)備：定理 6 設(shè)均為分布函數(shù)，則的充要條件是：對(duì)于函數(shù)的連續(xù)點(diǎn)集的某個(gè)稠子集有. （2.1）證明：由立得必要性.

14、下設(shè)（2.1）式成立.對(duì)任何,取且則有 .令，用（2.1）式得.再令便得證，即.引理 2 （海來Helly第一定理）任一分布函數(shù)列必定含弱收斂于某函數(shù)的子列，而且單調(diào)不減，右連續(xù)，.注：在引理2中不能斷定海來第一定理中的是分布函數(shù).事實(shí)上，取，則對(duì)任應(yīng)的分布函數(shù),極限函數(shù)不是分布函數(shù).引理 3 （海來Helly第二定理）設(shè)分布函數(shù)列弱收斂于分布函數(shù)，則對(duì)任何有界連續(xù)函數(shù)有. （其中分別是的密度函數(shù)）.定理 7 （連續(xù)性定理）分布函數(shù)列弱收斂到分布函數(shù)的充要條件是：相應(yīng)的特征函數(shù)列逐點(diǎn)收斂到相應(yīng)的特征函數(shù).證明：令分別是的密度函數(shù).（必要性）：設(shè)，對(duì)有界連續(xù)函數(shù)分別用引理3便得，當(dāng)時(shí)對(duì)一切有 .

15、（充分性）據(jù)引理2知，分布函數(shù)列必存在子序列，使當(dāng)時(shí).其中極限函數(shù)是上非減右連續(xù)函數(shù)且有界：.下證此二式均取等號(hào)，即為分布函數(shù).如若不然，有. （2.2）那么，一方面由及連續(xù)知，對(duì)滿足的任意，存在充分小的正數(shù)，使.另一方面，既然，由（2.1）式知可選取，使與皆為的連續(xù)點(diǎn)，且存在自然數(shù)，使當(dāng)時(shí)有. （2.3）再由及時(shí)有，便可得到這與（2.3）式矛盾.至此得證的子列弱收斂到分布函數(shù).對(duì)此運(yùn)用已證的必要性，知所對(duì)應(yīng)的特征函數(shù)為.再由極限函數(shù)的唯一性定理可推出.最后證明分布函數(shù)列也弱收斂到.仍然用反證法.如若不然，必存在的連續(xù)點(diǎn)，使不趨于.于是有界數(shù)列必含收斂子列.其極限值.對(duì)分布函數(shù)序列運(yùn)用引理2，

16、又存在子列使.與前述至少在上不同.但是重復(fù)上述論證可知也應(yīng)當(dāng)是與對(duì)應(yīng)的分布函數(shù)，由唯一性定理知，這導(dǎo)出矛盾.定理證完.下面給出弱收斂的各種等價(jià)條件：如果存在一個(gè)函數(shù)，使對(duì)每一,有，則稱特征函數(shù)列為廣義均勻收斂到，而且這收斂對(duì)每一有限區(qū)間中的是均勻的（即對(duì)任意，任意有限區(qū)間，存在正整數(shù)，使對(duì)一切，當(dāng)時(shí) ，有），這時(shí)也說廣義均勻（一致）收斂.注：由于連續(xù)，如廣義均勻收斂到，則必定是連續(xù)函數(shù).系1 設(shè)分布函數(shù)列對(duì)應(yīng)的特征函數(shù)列為，則下列四條件等價(jià)：（1）弱收斂于某分布函數(shù)，（2）收斂到某函數(shù)，在點(diǎn)0連續(xù)，（3）收斂到某連續(xù)函數(shù)，（4）廣義均勻收斂到某函數(shù).當(dāng)任一條件滿足時(shí)，是的特征函數(shù).下面說明系1

17、中等價(jià)條件（2）中“在的連續(xù)性”是不可缺少的條件.例6 設(shè) .是一列特征函數(shù).實(shí)際上，其中 是分布函數(shù) （2.5）的密度函數(shù).顯然，對(duì)任意，這里，在0點(diǎn)不連續(xù)，也不是特征函數(shù).另外對(duì)于（2.5）中，極限函數(shù)不是一分布函數(shù).至此我們可將隨機(jī)變量序列的四種收斂性間的蘊(yùn)含關(guān)系總結(jié)如下：幾乎處處收斂依概率收斂分布函數(shù)的弱收斂 r階收斂 特征函數(shù)逐點(diǎn)收斂4.隨機(jī)變量依概率收斂的一些結(jié)果在概率論，我們用“頻率的穩(wěn)定性”引出概率這個(gè)基本的概念.許多試驗(yàn)結(jié)果表明，雖然一次隨機(jī)試驗(yàn)中某確定事件發(fā)生與否不能預(yù)言，但是如果在相同條件下大量重復(fù)這個(gè)試驗(yàn)，則此事件發(fā)生的頻率會(huì)穩(wěn)定在某個(gè)值的附近.這說明，在一定條件下各事

18、件出現(xiàn)的可能性的大小是客觀存在的，可以用上述頻率的穩(wěn)定值來度量，這就是事件的概率.頻率的穩(wěn)定性呈現(xiàn)在大量重復(fù)試驗(yàn)中，歷史上把這個(gè)試驗(yàn)次數(shù)很大時(shí)出現(xiàn)的規(guī)律稱作大數(shù)定律.后來我們引入了伯努利概型來刻畫獨(dú)立重復(fù)試驗(yàn).將一成功（即A發(fā)生）概率為p的試驗(yàn)獨(dú)立重復(fù)n次，其中成功次，則是二項(xiàng)分布隨機(jī)變量.因此成功的頻率也是隨機(jī)變量.其期望為p與n無關(guān)，且方差當(dāng)時(shí)趨于0.熟知，方差為0的隨機(jī)變量恒等于它的期望，所以當(dāng)時(shí)頻率應(yīng)以概率p為極限.另一方面，可以寫，其中相互獨(dú)立，具有相同的伯努利分布，至此，問題轉(zhuǎn)化為研究時(shí)的平均值序列的極限行為.鑒于已在上面討論過隨機(jī)變量列的各種收斂性，因此我們可以給出大數(shù)定律的嚴(yán)格

19、定義.定義5 設(shè)為隨機(jī)變量序列，它們都有有限的數(shù)學(xué)期望.如果, （3.1）則稱滿足大數(shù)定律.定理8 （馬爾科夫大數(shù)定律）設(shè)是方差有限的隨機(jī)變量序列，如果有. （3.2）則滿足大數(shù)定律.證明：由切比雪夫不等式及（3.2）式立得，對(duì)任意的有，即得證（3.1）式成立，定理得證.注：將稱為馬爾科夫條件，由定理8知它是大數(shù)定律成立的一個(gè)充分條件.定理9（切比雪夫大數(shù)定律）若序列兩兩不相關(guān)且方差有界：，則滿足大數(shù)定律.證明：在所給條件下，（3.2）式的左方.即馬兒科夫條件滿足,從而大數(shù)定律成立.定理 10 （伯努利大數(shù)定律）設(shè)為n重伯努利試驗(yàn)中事件A出現(xiàn)的次數(shù)，又A在每次試驗(yàn)中出現(xiàn)的概率為,則對(duì)任意的，有.證明：令則是n個(gè)相互獨(dú)立的隨機(jī)變量，且.滿足切比雪夫大數(shù)定律條件，從而大數(shù)定律成立.注：此定理就是“頻率以概率為其穩(wěn)定值”的嚴(yán)格刻畫.馬爾科夫大數(shù)定律的重要性在于對(duì)已經(jīng)沒有任何同分布、獨(dú)立性、不相關(guān)的假定.切比雪夫大數(shù)定律可以看成是馬爾科夫大數(shù)定律的特例，伯努利大數(shù)定律是切比雪夫大數(shù)定律的特例，下面介紹一個(gè)隨機(jī)變量序列獨(dú)立同分布時(shí)的大數(shù)定律：定理 11（辛欽大數(shù)定律）設(shè)是一列獨(dú)立同分布的隨機(jī)變量，且數(shù)