概率統(tǒng)計簡明教程大數(shù)定律與中心極限定理

1、第五章大數(shù)定律與中心極限定理我們知道，隨機事件在某次試驗中可能發(fā)生也可能不發(fā)生，但在大量 的重復(fù)試驗中隨機事件的發(fā)生卻呈現(xiàn)出明顯的規(guī)律性，例如人們通過大量 的試驗認(rèn)識到隨機事件的頻率具有穩(wěn)定性這一客觀規(guī)律.實際上，大量隨機現(xiàn)象的一般平均結(jié)果也具有穩(wěn)定性，大數(shù)定律以嚴(yán)格的數(shù)學(xué)形式闡述了這 種穩(wěn)定性，揭示了隨機現(xiàn)象的偶然性與必然性之間的內(nèi)在聯(lián)系客觀世界中的許多隨機現(xiàn)象都是由大量相互獨立的隨機因素綜合作用的結(jié)果，而其中每個隨機因素在總的綜合影響中所起作用相對微小.可以證明，這樣的隨機現(xiàn)象可以用正態(tài)分布近似描述，中心極限定理闡述了這一 原理.§ 1 大數(shù)定律首先我們介紹證明大數(shù)定律的重要工具

2、一切比雪夫(Chebyshev)不等式.1.1 切比雪夫不等式定理1.1設(shè)隨機變量X數(shù)學(xué)期望E(X )和方差D(X )都存在，則對任意給定的正數(shù) 8 ,成立JI D(X)PX -E(X)頊4.(1.1)z證明 只對X是連續(xù)型隨機變量情形給予證明.設(shè)X的密度函數(shù)為f(x),則有px - E ( X )= jf (x)d x|x±(X)|_；')2x - E(X )-,2 f (x)dxx _E (X )22一x - E (X ) f (x)dxD (X )一2.z稱(1.1)為切比雪夫不等式，它的等價形式為D(X) P|X _E(X) |<sX .(1.2z切比雪夫不等式

3、直觀的概率意義在于：隨機變量X與它的均值E(X )1 的距離大于等于 e的概率不超過 1( X).在隨機變量 X分布未知的情e況下，利用 切比雪夫不等式 可以給出隨機手件X _E(X) <&的概率的 一種估計.例如當(dāng)z =3jD(X)時，有P| X - E(X) | ：: 3'. D(X) ? - 8 =0.8889. 9也就是說，隨機變量 X落在以E(X)為中心，以3jD(X)為半徑的 鄰域內(nèi)的概率很大，而落在該鄰域之外的概率很小 .當(dāng)JD(X)較小時,隨 機變量X的取值集中在E (X )附近，而這正是方差這個數(shù)字特征的意義所 在.例1.1 已知隨機變量X和Y的數(shù)學(xué)期望

4、、方差以及相關(guān)系數(shù)分別為 E(X) =E(Y) =2 , D(X) =1 , D(Y) =4 , Px,y =0.5 ,用切比雪夫不等 式估計概率P X Y >6.解由于E(X -Y) =E (X ) -E(Y) =0 ,Cov(X ,Y)=x,y . D(X) . D(Y) =1 ,D (X -Y) = D(X) D (Y) 2cov(X,Y) = 52 = 3,由切比雪夫不等式，有D (X -Y)P( X -Y 芝 6 =P (X Y) E(X Y)芝 6苴2631=0.0833 .3612例1.2 假設(shè)某電站供電網(wǎng)有 10000盞電燈，夜晚每一盞燈開燈的概 率都是0.7 ,并且每一

5、盞燈開、關(guān)時間彼此獨立 ，試用切比雪夫不等式估計 夜晚同時開燈的盞數(shù)在 6800至7200之間的概率.解 令X表示夜晚同時開燈的盞數(shù)，則XB(n,p) , n =10000 ,p =0.7 ,所以E(X) =np = 7000, D(X) = np(1 - p) = 2100.由切比雪夫不等式，有2100P 16800 : X ：:7200- P 1| X 7000 | ：: 200一 1 一= 0.9475.在例1.2中，如果用二項分布直接計算，這個概率近似為 0.99999.可見切比雪夫不等式的估計精確度不高.切比雪夫不等式的意義在于它的理論價值，它是證明大數(shù)定律的重要工具.1.2依概率收

6、斂在微積分中，收斂性及極限是一個基本而重要的概念，數(shù)列an收斂到a是指對任意e> 0,總存在正整數(shù) N ,對任意的n > N時，恒有I an - a |< e.在概率論中，我們研究的對象是隨機變量，要考慮隨機變量序列的收 斂性.如果我們以定義數(shù)列的極限完全相同的方式來定義隨機變量序列的收斂性，那么，隨機變量序列 Xn( n3 1)收斂到一個隨機變量 X是指對 任意e > 0 ,總存在正整數(shù) N ,對任意的n > N時，恒有| x n - X |< e .但由于X n, X均為隨機變量，于是|Xn- X |也是隨機變量，要求一個隨機變量取值小于給定足夠小的e未

7、免太苛刻了，而且對概率論中問題的進一步研究意義并不大.為此，我們需要對上述定義進行修正，以適合隨機變量本身的特性.我們并不要求n > N時，|Xn- X |< e恒成立，只要求n足夠大時，出現(xiàn)|Xn- X |> e的概率可以任意小.于是有下列的定義定義1.1設(shè)X/X?，Xn，是一個隨機變量序列，X是一個隨機變量，如果對于任意給定的正數(shù)8，恒有-X0,(1.3 )179則稱隨機變量序列Xi，X?，Xn，依概率收斂于X ,記作1.3大數(shù)定律在第一章，我們曾指出，如果一個事件A的概率為p ,那么大量重復(fù)試驗中事件 A發(fā)生的頻率將逐漸穩(wěn)定到p，這只是一種直觀的說法.下面的定理給出這一

8、說法的嚴(yán)格數(shù)學(xué)表述.定理1.2伯努利大數(shù)定律 設(shè)nA是n重伯努利試驗中事件 A發(fā)生的次數(shù)，p (0 < p <1)是事件A在一次試驗中發(fā)生的概率，則對任意給定的正數(shù)有l(wèi)im Pn_ l :nAT.(1.4 )證明 由于nA是n重伯努 利試驗中 事件A發(fā)生的次 數(shù)，所以nA B (n，p),進而E (nA) = np , D (n A) = np (1 - p).匕 E(nA)E()=p ,n n根據(jù)切比雪夫不等式，對任意給定的nA、D (nA)p(1- p)=2-n nne a。，有crnA(-/叫、I.P( -E()< 8 >1 -aD( A)2z.p(1 - p)1

9、 n ；nA< P(p < 哥壬1 .nlim p(n_ .a.,p < & =1 .由伯努利大數(shù)定律可以看出，當(dāng)試驗次數(shù) n充分大時，事件 A發(fā)生 的頻率咽與其概率p能任意接近的可能性很大(概率趨近于 1),這為實 際應(yīng)用中用頻率近似代替概率提供了理論依據(jù) 定理1.3切比雪夫大數(shù)定律設(shè)X1-X2"i,Xn"L是相互獨立的隨機變量序列，其數(shù)學(xué)期望與方差都存在，且方差一致有界，即存在正數(shù) M ,對 任意k ( k =1,2，)，有D(XQ 土M則對任意給定的正數(shù)& ,恒有f1 n 一£ Xk1 n 一£ E(Xk)1<

10、; s Jn k*n kmJlim Pn_j：:=1.(1.5 )n1.EXk =_、E(Xn k七證明 因為nn11),D(£ Xk )=二£ D(Xk)n k 1n k ±由切比雪夫不等式，有Z D(Xk)nn' k /r 1 一 1, jP-，Xk ，Eg) <&Xn k會 nn z由于方差一致有界，因此n'、'D(XQ £ nM , k 1從而得M1 n1 n1-Z Xk-Z E(Xk) </<1n谷n k 土n k義令n t *,則有推論1.11 一一、Eg)設(shè)隨機變量X.X?，Xn， 相互獨立

11、且服從相同的分布,具有數(shù)學(xué)期望 E (X k) = Wk =1,2，)和方差D (X k) =。2 ( k =1,2，),則對任意給定的正數(shù) 8,有S 11l%pj£ Xk <3=1.(1.6)切比雪夫大數(shù)定律是 1866年俄國數(shù)學(xué)家切比雪夫提出并證明的 ，它是 大數(shù)定律的一個相當(dāng)普遍的結(jié)果，而伯努利大數(shù)定律可以看成是它的推論 . 事實上，在伯努利大數(shù)定律中，令°,在第k次試驗中事件A發(fā)生，、，一，(k =1,2, ), 在第k次試驗中事件A不發(fā)生.n則 Xk B(1,p)(k =1,2"), Xk =nA, L： Xk =墮，E(Xk) = p ， k&#

12、177;n k 注n n k并且X1，X2，Xn,滿足切比雪夫大數(shù)定律的條件, 數(shù)定律可證明伯努利大數(shù)定律于是由切比雪夫大以上兩個大數(shù)定律都是以切比雪夫不等式為基礎(chǔ)來證明的，所以要求隨機變量的方差存在.但是進一步的研究表明，方差存在這個條件并不是必要的.下面介紹的辛欽大數(shù)定律就表明了這一點.定理1.4 辛欽(Khintchine) 大數(shù)定律 設(shè)隨機變量序列Xi，X2，Xn, 相互獨立且服從相同的分布,具有數(shù)學(xué)期望E(XD =N, k =1,2，,則對任意給定的正數(shù) & ,有n!”了'-* Xk 一” =(1.7 )證明略.使用依概率收斂的概念，伯努利大數(shù)定律表明：n重伯努利試驗

13、中事件A發(fā)生的頻率依概率收斂于事件 A發(fā)生的概率，它以嚴(yán)格的數(shù)學(xué)形式闡 述了頻率具有穩(wěn)定性的這一客觀規(guī)律.辛欽大數(shù)定律表明：n個獨立同分布的隨機變量的算術(shù)平均值依概率收斂于隨機變量的數(shù)學(xué)期望，這為實際問 題中算術(shù)平均值的應(yīng)用提供了理論依據(jù).例1.3 已知X1, X 2l , X n相互獨立且都服從參數(shù)為2的指數(shù)分1 n布，求當(dāng)nT七時，Yn =£ X k2111 E(XQ=E (XQ+Dg) =+_= - , k=1,2，, 42由辛欽大數(shù)定律，有n 1 2 P21*=一 X kE(Xk)=.n k 土2最后需要指出的是：不同的大數(shù)定律應(yīng)滿足的條件是不同的，切比雪夫大數(shù)定律中雖然只要

14、求X1,X2，Xn, 相互獨立而不要求具有相同的分布，但對于方差的要求是一致有界的；伯努利大數(shù)定律則要求X1,X2，Xn, 不僅獨立同分布，而且要求同服從同參數(shù)的0- 1分布；依概率收斂的極限. n k 21 1 .解 顯然 E(Xk)= , D(Xk)=，所以2 4辛欽大數(shù)定律并不要求 X k的方差存在，但要求 X 1, X 2，X n, 獨立同分布.各大數(shù)定律都要求 X k的數(shù)學(xué)期望存在，如服從柯西(Cauchy)分布, 1笞度函數(shù)均為f (x)= 的相互獨立隨機變重序列，由于數(shù)學(xué)期望p(1+ x2)不存在，因而不滿足大數(shù)定律.§ 2 中心極限定理上節(jié)大數(shù)定律實際上告訴我們：當(dāng)n

15、趨向于無窮時，獨立同分布的隨1 n機變量序列的算術(shù)平均值一？ y依概率收斂于Xk的數(shù)學(xué)期望m,即對kkn k = in1任怠給7E的e> 0，有p| _L? Xk - m鈔e 0.那么，對固te的e> 0 ,n k= 1nn充分大時，事件| 一？ Xk- m| e)的概率究竟有多大，大數(shù)定律并沒n k=1有給出答案，本節(jié)的中心極限定理將給出更加“精細”的結(jié)論 定理2.1列維-林德伯格(Levy-Lindberg)定理(獨立同分布的中心極限定理)設(shè)隨機變量 X1，X2，Xn， 相互獨立且服從相同的分布，具有)=。A0 (k=1,2，)，則對任意實數(shù)2數(shù)學(xué)期望E(XJ=H和方差D(Xx

16、,有2t1 X -= Xf-e dt”(X).(2.1)證明略.獨立同分布的中心極限定理表明：只要相互獨立的隨機變量序列Xi，X2，Xn，服從相同的分布，數(shù)學(xué)期望和方差(非零)存在，貝U當(dāng) n t 時，隨機變量n'、Xk -nk ±Yn-總以標(biāo)準(zhǔn)正態(tài)分布為極限分布，或者說，隨機變量n£ X k 以 N (n P, ncr2 ) k =1為其極限分布.在實際應(yīng)用中，只要n足夠大,便可以近似地把n個獨立同分布的隨機變量之和當(dāng)做正態(tài)隨機變量來處理，即n近似-.,2二 X k : N (n.、n。)k 4n£ Xi近似i A.(2.2 )Yn = 一： N(0,1

17、).下面的定理是獨立同分布的中心極限定理的一種特殊情況定理2.2棣莫弗一拉普拉斯(De Moivre-Laplace )定理設(shè)隨機變量Yn服從參數(shù)為n, p(0 < p <1)的二項分布，則對任意實數(shù)x,恒有七- np"*1一 疽、2 tx _2 ,e dt =(x)-CO(2.3 )證明 設(shè)隨機變量X1，X2，.，Xn相互獨立，且都服從B(1, p) n(0 < p <1 )，則由二項分布的可加性，知Yn = £ X k .nkk =±由于E(Xk) =p , D(Xk) = p(1 p) , k =1,2，根據(jù)獨立同分布的中心極限定理可

18、知，對任意實數(shù)I 二 X k - nPjk1 x Wlim. P '< x . = ： , | e dt =(x),I P( P) J亦即2Yn _ np1 x 3lim P Mx * = = e 2dt =(x).當(dāng)n充分大時，可以利用該定理近似計算二項分布的概率例2.1某射擊運動員在一次射擊中所得的環(huán)數(shù)X具有如下的概率分X109876p0.50.30J0.050.05求在100次獨立射擊中所得環(huán)數(shù)不超過930的概率.解 設(shè)Xi表示第i(i =1,2，100)次射擊的得分?jǐn)?shù)，則X1, X2，X100相互獨立并且都與 X的分布相同，計算可知E(X,) =9.15 , D (X,)

19、 =1.2275, i =1,2，100 ,于是由獨立同分布的中心極限定理，所求概率為100P = P X, £ 930 Ji 4j10°I 二 X, -100 9.15930 -100 9.15=P ,-I "100 1.22753'100 1.2275IJ2（1.35） =0.9115 .例2.2某車間有150臺同類型的機器，每臺出現(xiàn)故障的概率都是0.02 ,假設(shè)各臺機器的工作狀態(tài)相互獨立，求機器出現(xiàn)故障的臺數(shù)不少于 2的概率.解 以X表示機器出現(xiàn)故障的臺數(shù),依題意，X : B(150, 0.02),且0(180E(X) =3 , D(X) =2.94

20、 , Jd(X) =1.715 ,由德莫弗一拉普拉斯中心極限定理，有X -31-3P IX _2. =1 一P 1 X < 1；=1 - P 11.7151.7151 _ 中（-0.5832） =0.879 .例2.3生產(chǎn)線生產(chǎn)的產(chǎn)品成箱包裝，每箱的重量是一個隨機變量，平均每箱重50千克，標(biāo)準(zhǔn)差5千克.若用最大載重量為 5噸的卡車承運， 利用中心極限定理說明每輛車最多可裝多少箱，才能保證不超載的概率大 于 0.977 ?解 設(shè)每輛車最多可裝 n箱，記Xji =1,2，n）為裝運的第i箱的重量（千克），則X“X2，Xn相互獨立且分布相同，且E(Xi) =50 , D (Xi) =25, i

21、 =1,2，,n ,于是n箱的總重量為Tn =X1 +X2 +,十 Xn ,由獨立同分布的中心極限定理，有nXi 50n5000 一 50nPTn £ 5000 = P 土 一 -25 n. 25 n5000 -50n).由題意，令5000 -50n1 k +0.5 np I 陌;=rlJnp(1p) j1 k 0.5 np I,Jnp(1 p) j(2)對非負(fù)整數(shù)k1, k2； 0 我:k2 £ n( )k2 npP峪 <X <k2)財-,：,Jnp( 1 - p) j(2.4)、一np中 r ,Jnp(1 p),(2.5 )(=一)>0.977 =(2

22、).25n有 5000 -50 勇, 解得n <98.02，即每輛車最多可裝98箱.、.25 n第二章的泊松定理告訴我們：在實際應(yīng)用中，當(dāng)n較大p相對較小而np比較適中(n芝100,np <10 )時，二項分布 B (n, p)就可以用泊松分布P(赤)(九=np )來近似代替；而德莫弗一拉普拉斯中心極限定理告訴我們：只要n充分大，二項分布 B(n, p)就可以用正態(tài)分布近似計算， 一般的計算方法是：(1)對 k =0,1，n,P(X =k = Pk -0.5 : k _k 0.5)186*李雅普諾夫(Liapunov )定理設(shè)X”X2，Xn,相互獨立，且具有數(shù)學(xué)期望E(Xk)=A和

23、方差2Dg)=礦 #° ( k =1,2，)，記n2L2B = 廠nkk去若存在正數(shù)& ,使得nT w時,則隨機變量1 n一 E(|Xk")B '、二 nnnnnX _E(W X )Xk 、kkkknk-x的分布函數(shù)Fn(x)對于任意實數(shù)x ,恒有l(wèi)im Fn(x) =lim P n_.Un ?:2t1X-=- e 2 dt =(x)IJOO' 2 二證明略.在李雅普諾夫定理的條件下，當(dāng)n充分大時，隨機變量nn、xl七k 1kA.Z =n近似服從標(biāo)準(zhǔn)正態(tài)分布N (0, 1).因此，當(dāng)n充分大時，隨機變量nnnE Xk =BnZn +£改近似

24、服從正態(tài)分布N(£匕Bl) .這就是說，無論k 七k ±k 4.隨機變量X k (k =1,2，)服從什么分布,只要滿足李雅普諾夫定理的條件當(dāng)n充分大時，這些隨機變量的和 乏Xk就近似服從正態(tài)分布.在許多實際問題中，所考察的隨機變量往往可以表示成很多個獨立的隨機變量的和 例如，一個試驗中的測量誤差是由許多觀察不到的、可加的微小誤差合成 的；一個城市的用水量是大量用戶用水量的總和，等等，它們都近似服從 正態(tài)分布.習(xí)題五1. 已知E(X)=1, D(X)=4 ,利用切比雪夫不等式估計概率PX -l| .：: 2.5 , 22. 設(shè)隨機變量X的數(shù)學(xué)期望E(X) = P，方差D(X)=b ,利用切 比雪夫不等式估計p q x -|_ 3。).3. 隨機地擲6顆骰子，利用切比雪夫不等式估計6顆骰子出現(xiàn)點數(shù)之和在15 : 27之間的概率.4. 對敵陣地進行1000次炮擊，每次炮擊中.