依分布收斂與中心極限定理

1、第四章 第四章 極限定理1 依分布收斂與中心極限定理一、 一、分布函數(shù)弱收斂二、性質(zhì)三、中心極限定理概率論早期發(fā)展的目的在于揭示由于大量隨機(jī)因素產(chǎn)生影響而呈現(xiàn)的規(guī)律性. 貝努里首先認(rèn)識到研究無窮隨機(jī)試驗(yàn)序列的重要性，并建立了概率論的第一個(gè)極限定理大數(shù)定律，清楚地刻畫了事件的概率與它發(fā)生的頻率之間的關(guān)系. 棣莫佛和拉普拉斯提出將觀察的誤差看作大量獨(dú)立微小誤差的累加，證明了觀察誤差的分布一定漸近正態(tài)中心極限定理. 隨后，出現(xiàn)了許多各種意義下的極限定理. 這些結(jié)果和研究方法對概率論與數(shù)理統(tǒng)計(jì)及其應(yīng)用的許多領(lǐng)域有著重大影響. 本章著重介紹上述大數(shù)定律和中心極限定理等有關(guān)內(nèi)容.1 依分布收斂與中心極限定

2、理我們知道，如果是概率空間 (, F, P)上的隨機(jī)變量，那么它的分布函數(shù)F(x)=P()刻畫了它的全部概率性質(zhì). 因此，對隨機(jī)變量序列的研究就必須首先對相應(yīng)的分布函數(shù)序列作深入研究.一、分布函數(shù)弱收斂定義1 設(shè)F是一分布函數(shù)，是一列分布函數(shù)，如果對F的每個(gè)連續(xù)點(diǎn)xR，都有(x)F(x) (n)，則稱弱收斂(weak convergence)于F，記作F.設(shè)是一隨機(jī)變量，是一列隨機(jī)變量，如果的分布函數(shù)列弱收斂于的分布函數(shù)，則稱依分布收斂(convergence in distribution)于，記作.注1 注1 分布函數(shù)逐點(diǎn)收斂的極限函數(shù)未必是分布函數(shù). 例如, (x)=該分布函數(shù)列處處收斂

3、于0, 但G(x)0不是分布函數(shù). 因此對一般的分布函數(shù)列，要它們逐點(diǎn)收斂于分布函數(shù)，要求是過高了，不得不如定義1加上限制.注2 定義1中的限制條件“對F的每個(gè)連續(xù)點(diǎn)x，(x) F(x)”是足夠?qū)挼模? (x)= F(x)= 除在0點(diǎn)以外(0)=0F(0)=1)，逐點(diǎn)收斂于F(x)，而0點(diǎn)剛好是F(x) 的唯一不連續(xù)點(diǎn)，因此按定義1，F(xiàn).*注3 由于分布函數(shù)F的不連續(xù)點(diǎn)最多有可數(shù)個(gè)，F(xiàn) 意味著在R的一個(gè)稠密子集上處處收斂于F（D在R上稠密，是指對任意R, 在的任意小鄰域內(nèi)，一定有xD）.下面給出海萊(Helly)定理，它們對分布函數(shù)列弱收斂性的研究起著重要作用.定理1（海萊第一定理） 設(shè)是

4、一列分布函數(shù)，那么存在一個(gè)單調(diào)不減右連續(xù)的函數(shù)F (不一定是分布函數(shù))，0, xR, 和一子列，使得對F的每個(gè)連續(xù)點(diǎn)x，(x)F(x) (k+).證 令表示全體有理數(shù). 0意味著是有界數(shù)列，因此可以找到一個(gè)收斂子列, 記. 接著考慮有界數(shù)列，存在它的一個(gè)收斂子列，記. 如此繼續(xù)，得到, , k.現(xiàn)在考慮對角線序列. 顯然，=對所有正整數(shù)k都成立. 另外，由于單調(diào)不減，如果，有. 因此G(r)是定義在有理數(shù)上的有界不減函數(shù). 定義 xR. (1)這個(gè)函數(shù)在有理數(shù)上與G(x)相等，它顯然也是有界不減的. 下面證明，對F的每個(gè)連續(xù)點(diǎn)x, =F(x). (2)任意給定0和F的連續(xù)點(diǎn)x，選取h 0，使得

5、F(x+h)-F(x-h) /2. 根據(jù)有理數(shù)的稠密性，存在有理數(shù)滿足x-h 0使得 |g (x) | 0, 可以選取a0使得a是F的連續(xù)點(diǎn)，并且F(-a)/12c,1-F(a)/12c. (7)由于F，存在, 使得當(dāng)n時(shí),|(-a)-F(-a)|/12c, |1-(a)-(1-F(a)|/12c, (8)這樣我們有| |(-a)-F(-a)|+2F(-a)+|1-(a)-(1-F(a)|+2(1-F(a)/2. (9)下面考慮|. 由于g(x)在閉區(qū)間-a, a上一致連續(xù)，可以選取, 使得所有是F的連續(xù)點(diǎn)，且|g(x)-g()|/8. 于是|=|+|=. (10)由于 , , 再選擇使得當(dāng)n

6、時(shí),i = 0,1,2,m. (11)故(10)式不超過/2. 因此，當(dāng)n時(shí),| 0, 僅考慮 | t |. 令, xR. 注意到下列事實(shí): |=1, , 則該定理的證明完全類似于定理2，不再重復(fù).由前面一章知道，特征函數(shù)與分布函數(shù)相互唯一確定. 同樣，勒維連續(xù)性定理的逆命題也成立.定理4（逆極限定理） 設(shè)是分布函數(shù)的特征函數(shù)，如果對每一個(gè)t，, 且在t=0處連續(xù)，則一定是某個(gè)分布函數(shù)F的特征函數(shù), 且F.本定理的證明比較繁復(fù)，從略. 但定理的作用是很大的，它使得特征函數(shù)成為研究某些極限定理的重要工具. 這里先舉個(gè)例子來說明這個(gè)定理的應(yīng)用.例1 用特征函數(shù)法證明二項(xiàng)分布的泊松逼近定理.證 設(shè)服

7、從二項(xiàng)分布B (n,)，且. 它的特征函數(shù)為=, 其中. 當(dāng)n時(shí)，它的極限為，這正是泊松分布的特征函數(shù). 由逆極限定理，二項(xiàng)分布B (n,)依分布收斂于泊松分布P().二、性質(zhì)除連續(xù)性定理外，分布函數(shù)弱收斂還有下列性質(zhì).性質(zhì)1 設(shè)是一列分布函數(shù)，如果F, F是一連續(xù)的分布函數(shù)，則(x)在R上一致收斂于F(x).證明留給讀者.性質(zhì)2 設(shè)是一隨機(jī)變量，是一列隨機(jī)變量，(x)是R上的連續(xù)函數(shù)，如果，則.證 假設(shè)和的分布函數(shù)分別為F和. 如果，即F，由定理2，的特征函數(shù)收斂于, 該極限正是的特征函數(shù). 再類似定理4, 的分布函數(shù)弱收斂于的分布函數(shù)，即 .性質(zhì)3 設(shè)和是兩列常數(shù)，F(xiàn)是一分布函數(shù), 是一列

8、分布函數(shù). 如果 a, b, F,則()F(a x +b )，其中x使得a x +b是F的連續(xù)點(diǎn).證 設(shè)x使得a x +b是F的連續(xù)點(diǎn). 令0使得F在a x +b處連續(xù)（這是可能的，因?yàn)镕的連續(xù)點(diǎn)在R上稠密). 顯然a x +b, 故對充分大的n,(13)因此由于F ，則讓0，由于F在a x+b處連續(xù)，即可完成證明.推論 如果，則,().這是因?yàn)榕c的分布函數(shù)分別為()與F()，再應(yīng)用性質(zhì)3即可.三、中心極限定理設(shè)一次貝努里試驗(yàn)中成功的概率為p (0 p 1), 令表示n重貝努里試驗(yàn)中成功的次數(shù)，那么,概率P(=k) = b (k; n, p). 在實(shí)際問題中, 人們常常對成功次數(shù)介于兩整數(shù)和之

9、間()的概率感興趣，即要計(jì)算P(. (14)這一和式往往涉及很多項(xiàng)，直接計(jì)算相當(dāng)困難. 然而德莫佛和拉普拉斯發(fā)現(xiàn)，當(dāng)n時(shí)可以用正態(tài)分布函數(shù)作為二項(xiàng)分布的漸近分布.定理5（德莫佛拉普拉斯定理） 設(shè)(x)為標(biāo)準(zhǔn)正態(tài)分布的分布函數(shù). 對-x,有P=(x), (15)其中q=1-p.注意到E= np, Var= npq, (15)式左邊是標(biāo)準(zhǔn)化后的分布函數(shù)的極限，因此這個(gè)定理表示二項(xiàng)分布的標(biāo)準(zhǔn)化變量依分布收斂于標(biāo)準(zhǔn)正態(tài)分布. 簡單地說成二項(xiàng)分布漸近正態(tài)分布.歷史上人們是通過精確估計(jì)二項(xiàng)分布的值來說明該定理的. 但從現(xiàn)代分析概率論的觀點(diǎn)看，這個(gè)結(jié)果只是將要介紹的更一般的中心極限定理（見定理6）的特殊情形

10、. 因此, 我們不再給出它的證明.定理的直接應(yīng)用是：當(dāng)n很大，p的大小適中時(shí)，(14)式可用正態(tài)分布近似計(jì)算： P(=P =-. (16)它的含義可用右圖(圖4-1)顯示（為了直觀，圖中顯示的是未標(biāo)準(zhǔn)化的隨機(jī)變量)：作相鄰小矩形，各小矩形的底邊中心為k(k)，底邊長為1，高度為b( k; n, p)，這些小矩形面積之和即為P(. 再作N(np, npq)的密度曲線，在,之間曲線覆蓋的面積為(16)式右邊之值.注1 第二章講過二項(xiàng)分布漸近于泊松分布的泊松定理，它與定理5是沒有矛盾的. 因?yàn)椴此啥ɡ硪笫浅?shù)，而定理5中p是固定的. 實(shí)際應(yīng)用中，當(dāng)n很大時(shí), 若p大小適中，用正態(tài)分布(x)去逼近(

11、15)式左邊的概率，精度達(dá)到O(); 如果p接近0(或1), 且np較小(或較大)，則二項(xiàng)分布的圖形偏斜度太大，用正態(tài)分布去逼近效果就不好. 此時(shí)用泊松分布去估計(jì)精度會(huì)更高.注2 實(shí)際計(jì)算中，若n不很大，把(16)式右邊修正為-,(17)一般可提高精度(從上圖看，相當(dāng)于計(jì)算密度曲線下-0.5,+0.5之間的面積).例2 設(shè)n=, p=5, 求P().解 盡管p很小，但np=50很大，此時(shí)用泊松逼近并不好, 故用定理5.P()=P0.997.例3 拋擲一枚均勻硬幣時(shí)需要拋擲多少次才能保證出現(xiàn)正面的頻率在0.4與0.6之間的概率不小于90%？解 令n為拋擲次數(shù), 為出現(xiàn)正面的次數(shù), B(n, 1/

12、2). 題意要求n, 使P(0.40.6)0.9.利用定理5, 上式左邊等于P(0.2)-(-0.2)=2(0.2)-1,當(dāng)n69時(shí), 上式0.9.如果用第三章的切比雪夫不等式，則因E(/n)=1/2, Var(/n)=1/4n，取=0.1,則P(0.40.6)=P(|/n-1/2|1-25 / n, 只當(dāng)n250時(shí)才滿足要求. 通過比較可以看出正態(tài)逼近比切比雪夫不等式要精確得多.德莫佛拉普拉斯定理的意義遠(yuǎn)不限于這些數(shù)值計(jì)算. 該定理及其推廣形式實(shí)際上是概率論早期研究的中心問題.定義2 設(shè)是一列隨機(jī)變量. 如果存在常數(shù)列與，使N (0,1), (18)就稱滿足中心極限定理(central li

13、mit theorem).定理6（林德貝格(Lindeberg)勒維定理） 設(shè)是一列獨(dú)立同分布的隨機(jī)變量. 記=, E=a, Var=, 則中心極限定理成立，即N (0,1).證 我們用特征函數(shù)法. 令與分別為-a與的特征函數(shù)，由于獨(dú)立同分布，故=. 另外，已知E=a, Var=, 所以特征函數(shù)有二階連續(xù)導(dǎo)數(shù)，并且由泰勒 (Taylor) 展開式得, x0.對給定的tR，=1-, n,從而, 后者是標(biāo)準(zhǔn)正態(tài)分布的特征函數(shù)，由定理4即得定理6的結(jié)論.中心極限定理有著廣泛的應(yīng)用，在實(shí)際工作中，只要n足夠大，便可以把獨(dú)立同分布的隨機(jī)變量和的標(biāo)準(zhǔn)化當(dāng)作正態(tài)變量. 下面再看兩個(gè)例子.例4 近似計(jì)算時(shí)，原

14、始數(shù)據(jù)四舍五入到小數(shù)第m位，這時(shí)舍入誤差可以看作在-0.5,0.5上均勻分布，而據(jù)此得n個(gè)的和，按四舍五入所得的誤差是多少呢？習(xí)慣上人們總是以各誤差上限的和來估計(jì)的誤差限，即0.5n. 當(dāng)n很大時(shí)，這個(gè)數(shù)自然很大.事實(shí)上，誤差不太可能這么大. 因?yàn)楠?dú)立同分布，E=0, Var=/12. 由定理6，P(|)2(x)-1.若取x=3,上述概率為0.997. 和的誤差超過的可能性僅為0.003. 顯然，對較大的n，這一誤差界限遠(yuǎn)小于習(xí)慣上的保守估計(jì)0.5.*例5 正態(tài)隨機(jī)數(shù)的產(chǎn)生有各種方法. 除第二章5介紹的以外，下面這種方法也是常用的：設(shè)獨(dú)立同分布，都服從0,1 上的均勻分布，則E=0.5, ，由

15、中心極限定理，n很大時(shí),=近似服從標(biāo)準(zhǔn)正態(tài)分布，事實(shí)上取n=12就夠了. 于是取區(qū)間 0, 1上12個(gè)均勻隨機(jī)數(shù)，則即近似為標(biāo)準(zhǔn)正態(tài)隨機(jī)數(shù).定理6要求各同分布，這要求有時(shí)還是高了一點(diǎn). 更一般地，林德貝格證明了在各獨(dú)立隨機(jī)變量組成的和式中，只要各被加項(xiàng)依概率“均勻地小”，中心極限定理就仍然成立. 即定理7（林德貝格費(fèi)勒(Lindeberg-Feller)定理）設(shè)為獨(dú)立隨機(jī)變量序列，則=0 (費(fèi)勒條件)與成立的充要條件是林德貝格條件被滿足 ：0,0.特別地有定理8（李雅普諾夫(Lyapunov)定理） 若對獨(dú)立隨機(jī)變量序列，存在常數(shù)0, 使當(dāng)n時(shí)有,則中心極限定理成立. 這些結(jié)果解釋了正態(tài)隨機(jī)變

16、量在自然界中普遍存在的原因. 例6 設(shè)是相互獨(dú)立的隨機(jī)變量序列，的分布列是. 易知,. 因此，當(dāng)時(shí)，也就是說滿足李雅普洛夫條件，所以滿足中心極限定理. 對數(shù)理統(tǒng)計(jì)學(xué)的許多分支，如參數(shù)（區(qū)間）估計(jì)、假設(shè)檢驗(yàn)、抽樣調(diào)查等，中心極限定理都有著重要的作用. 事實(shí)上，它也是保險(xiǎn)精算等學(xué)科的理論基礎(chǔ)之一. 假定某保險(xiǎn)公司為某險(xiǎn)種推出保險(xiǎn)業(yè)務(wù)，現(xiàn)有個(gè)顧客投保，第份保單遭受風(fēng)險(xiǎn)后損失索賠量記為. 對該保險(xiǎn)公司而言，隨機(jī)理賠量應(yīng)該是所有保單索賠量之和，記為S，即S弄清S的概率分布對保險(xiǎn)公司進(jìn)行保費(fèi)定價(jià)至關(guān)重要. 在實(shí)際問題中，通常假定所有保單索賠相互獨(dú)立. 這樣，當(dāng)保單總數(shù)充分大時(shí)，我們并不需要計(jì)算S 的精確分布（一般情況下這是困難甚至不可能的）. 此時(shí)，可應(yīng)用中心極限定理，對S進(jìn)行正態(tài)逼近：漸