8-第五章大數(shù)定律和中心極限定理解析

1、第五章 大數(shù)定律和中心極限定理大數(shù)定律和中心極限定理是概率論中兩類極限定理的統(tǒng)稱，前者是從理論上證明隨機(jī)現(xiàn)象的“頻率穩(wěn)定性”，并進(jìn)一步推廣到“算術(shù)平均值法則”；而后者證明了獨立隨機(jī)變量標(biāo)準(zhǔn) 化和的極限分布是正態(tài)分布或近似正態(tài)分布問題，這兩類極限定理揭示了隨機(jī)現(xiàn)象的重要統(tǒng)計規(guī)律，在理論和應(yīng)用上都有很重要的意義。 5.1 大數(shù)定律設(shè)是互相獨立的一列隨機(jī)變量，每個隨機(jī)變量取值于二元集合0，1，并有相同的概率分布函數(shù)PXj=O 二q, PXj=1 二 p, p q=1易計算它們的數(shù)學(xué)期望和方差為E(Xj)= p, D(Xj) = pq如果取這些Xj的部分和&X2Xnn并考慮它們的平均值 Sn/n=r

2、Xj)/n，易知它的數(shù)學(xué)期望和方差為j =1pq利用定理4213給出的切比雪夫不等式可知：對任何一個正數(shù)t有P Inlim PtnJ嘰器0lim P=0(5.1.1)可見當(dāng)n很大時，部分和的平均值&/n與p相距超過任何一個數(shù)t 0的概率都很小，而當(dāng)n ； :時，這個概率趨于 0。(5.1.1)式的結(jié)果稱為弱大數(shù)定律， 也稱伯努利大數(shù)定律,因為這個定律是伯努利在 1713 年首先證明的，是從理論上證明隨機(jī)現(xiàn)象的頻率具有穩(wěn)定性的第一個定律。注意式(5.1.1)等價于lim Pn廠snt =0Sn = Xj X2Xn則或等價地lim Pin廠| n伯努利大數(shù)定律說明了概率論中一個重要的事實，設(shè)p是伯

3、努利試驗中事件 A出現(xiàn)的概率，則Sn是n重伯努利試驗中事件 A發(fā)生的次數(shù)，Sn/n是事件A出現(xiàn)的相對頻率，當(dāng)n 很大時事件 A出現(xiàn)的相對頻率與事件 A出現(xiàn)的概率p的偏差超過任何一個正數(shù) t的可能性 很小。“概率很小的隨機(jī)事件在個別事件中是幾乎不可能發(fā)生的”這一原理稱為小概率事件 的實際幾乎不可能原理，有廣泛的應(yīng)用，至于“小概率”小到什么程度才能看作實際上幾乎 不可能發(fā)生，則要視具體情況而定。例如，自動車床加工零件出現(xiàn)次品的概率為0.01,若零件的重要性不大且價格很低，則完全允許有1%的次品率，可以忽視100個零件中出現(xiàn)一個次品的可能性。但對于飛機(jī)或更昂貴的航天器來說，出現(xiàn)次品的概率應(yīng)當(dāng)幾乎為零

4、，1%的次品率是絕對不允許的。伯努利大數(shù)定律提供了通過試驗來確定事件的概率的方法。既然相對頻率Sn/ n與事件出現(xiàn)的概率p有較大偏差的可能性很小，因此在實踐中可以通過做試驗確定某事件出現(xiàn)的 相對頻率作為該事件出現(xiàn)的概率的近似估計，這種方法稱為參數(shù)估計， 它是數(shù)理統(tǒng)計中的重要方法，它的一個重要理論基礎(chǔ)就是大數(shù)定律。伯努利大數(shù)定律可以推廣為以下形式的弱大數(shù)定律。定理5.1.2 (弱大數(shù)定律)設(shè)X-X2，Xn,是互相獨立的一列隨機(jī)變量，并有相同的概率分布函數(shù)，它們公共的數(shù)學(xué)期望和方差為E(Xj)二a,D(Xj) 乂2設(shè) Sn =X1 X Xn，則則或等價地lim P/Sn an_acnt =0(5.

5、1.3)I i mP a 蘭 t = 1(5.1.4)f Q n I 丿對任何t . 0成立。該定理的證明可以利用定理4213給出的切比雪夫不等式類似伯努利大數(shù)定律證之，把它留給讀者。本定律使算術(shù)平均值的法則有了理論依據(jù)，比如要測量某個物理量 a，在客觀條件不變的情況下重復(fù)測量n次，得到n個測量值X,X2 - ,Xn，顯然可以把它們看作n個獨立同 分布的隨機(jī)變量，有數(shù)學(xué)期望 a，由大數(shù)定律知，當(dāng)n充分大時，n次測量的平均值可作為 a的近似估計，即由此所產(chǎn)生的誤差很小。弱大數(shù)定律可以進(jìn)一步推廣為以下形式的切比雪夫大數(shù)定律。定理5.1.3 (切比雪夫弱大數(shù)定律)設(shè)X,X2/ ,Xn/是互相獨立的一

6、列隨機(jī)變量,每一個隨機(jī)變量都有數(shù)學(xué)期望E(Xj)和有限方差D(Xj)=1,2,11)，并且它們有公共的上界D(Xj)空c,設(shè)Sn二XX2 Xn，則對任何t 0有l(wèi)im Pn :|S-Z E(Xj)n n j二-0(5.1.5)或等價地lim/Sn:E(Xj)n j d(5.1.6)證因X1,X2 / ,Xn,互相獨立，所以邑=2、D(Xn)：厶 nc=C.n n i mn n又因為EE(Xn)，由切比雪夫不等式可得.n n i 彳吟瓷E中-S 1 n nmP氏E(Xn心=0.由俄國數(shù)學(xué)家切比雪夫證明的上述定律是關(guān)于大數(shù)定律的一個相當(dāng)普遍的結(jié)論，前兩 個弱大數(shù)定律都是它的特例。弱大數(shù)定律涉及一列

7、概率的收斂性，此種收斂稱為依概率收斂，定義如下：定義5.1.4 設(shè)Y，%，丫n，是互相獨立的一列隨機(jī)變量，a是一個常數(shù)，如果對任意正數(shù)；，有或等價地=0,(5.1.7)(5.1.8)則稱序列餡,丫2,，丫n，依概率收斂于a。依概率收斂的更一般的定義如下：定義5.1.5 （依概率收斂）設(shè)丫1,丫2,，丫n，是一列隨機(jī)變量，丫是一個隨機(jī)變量, 如果對任意正數(shù)；，有l(wèi)im P(Yn 丫 王 e ) = 0,(5.1.9)或等價地(5.1.10)則稱序列餡,，丫n，依概率收斂于丫。通常記為Yn Y .弱定律只涉及一列概率的收斂性，對應(yīng)地一個強(qiáng)定律則給出了一列隨機(jī)變量的極限情 況，它涉及的收斂性為幾乎處

8、處收斂，或依概率1收斂，其定義如下：定義5.1.6 設(shè)丫,丫2，,Yn，是互相獨立的一列隨機(jī)變量，a是一個常數(shù)，如果對任意正數(shù)；，有P(lim Yn a ) = 0,(5.1.11)或等價地P(lim 丫. -a 名)=1,(5.1.12)則稱序列丫!，丫2,，丫n,幾乎處處收斂于a （或依概率1收斂于a）。幾乎處處收斂的更一般的定義如下：定義5.1.7 （幾乎處處收斂）設(shè)，篦，Yn，是一列隨機(jī)變量，丫是一個隨機(jī)變量如果對任意正數(shù)；，有(5.1.13)P lim -丫 ； =0,或等價地P(lim 丫； 一丫 Y(a.e.).注 幾乎處處收斂的定義(5.1.13)和(5.1.14)與依概率收斂

9、的定義中(5.1.9)和(5.1.10)形式上的區(qū)別是將極限號和概率符號交換了，但這卻是本質(zhì)上的區(qū)別，因為一般情況下是不能交換的。幾乎處處收斂要強(qiáng)于依概率收斂，即若隨機(jī)變量序列丫|,丫2,，丫n,幾乎處處收斂于 丫，則必定也依概率收斂于 丫。但反之不成立。在幾乎處處收斂意義下的大數(shù)定律稱為強(qiáng)大數(shù)定律，通常強(qiáng)定律的證明要比弱定律的證明困難得多，以下不給證明地給出強(qiáng)大數(shù)定律。定理5.1.8 (強(qiáng)大數(shù)定律)設(shè)X1,X2 ,Xn,是互相獨立同分布的一列隨機(jī)變量，有數(shù)學(xué)期望E(Xj)=a和有限方差D(Xj) 72 :： ：, j =1,2，川，設(shè)則對任何t 0有Xn，(5.1.15)或等價地lim旦na

10、ct =1(5.1.16)注意弱大數(shù)定律和強(qiáng)大數(shù)定律的區(qū)別不僅僅是一個法則的不同，不能簡單地把極限號”m從概率號P 中移出來，這兩個定律描述的是相當(dāng)不同的事情，弱定律描述的是一列概率的收斂性，而強(qiáng)大數(shù)定律說的是一列隨機(jī)變量Sn/n收斂到一個常數(shù)a。正是強(qiáng)大數(shù)定律最有力地保證了用事件出現(xiàn)的相對頻率作為事件出現(xiàn)概率的估計的正確性。下面舉一個信息論中應(yīng)用的例子說明大數(shù)定律的重要性。定理5.1.9 設(shè)X-X2，Xn,是互相獨立同分布、取值于同一個有限字母集：X1,X2，,Xn的一列隨機(jī)變量，它們的公共分布記為p(x) = ：P(X1), P(X2),，P(Xn)f，則依概率收斂的意義下有p(X1,X2

11、,HI,Xn)二H(X)-1 lim ln n其中H(X) =- p(xjln p(x)1稱為分布p(x)的熵，當(dāng)式中對數(shù)是以2為底時，熵的單位為比特(bit),當(dāng)式中對數(shù)是以e為底的自然對數(shù)時，熵的單位為奈特(nat)。證設(shè)Yn二-logXn，由于X-X2,，Xn,是互相獨立同分布，它們的函數(shù)丫1,丫2,，丫n,也是互相獨立同分布的隨機(jī)變量,11 n1 n-In p(Xi,X2,|l|,Xn)In p(Xi)_ Yinn yn y根據(jù)大數(shù)定律,1 “-Z Yi依概率收斂到Y(jié)的數(shù)學(xué)期望n i 4nE InY = E -In Xi = p(xjln p(xj這里用到了求隨機(jī)變量函數(shù)數(shù)學(xué)期望的(4

12、.1.3)式，由此定理得證。口這個定理稱為熵定理，在信息論和數(shù)據(jù)壓縮中有重要應(yīng)用。以上介紹了概率論中的兩種重要的收斂性：依概率收斂和幾乎處處收斂，下面再簡要 介紹概率論中另外兩種常見的收斂性：依分布收斂和矩收斂。定義5.1.10(分布函數(shù)弱收斂)設(shè)Fn(x), n=1,2,J是一列分布函數(shù)，如果存在一個非降函數(shù)F(x)，對它的每個連續(xù)點 x，都有Fn(xF(x)W則稱分布函數(shù)列Fn(x), n=1,2,J弱收斂于F(x)，記為Fn(x)F(x).定義5.1.11(依分布收斂)設(shè)隨機(jī)變量序列Yn,門二乙厶和隨機(jī)變量 Y的分布分別為Fn (x), n =1,2, 和 F (x)，如果Fn(x),

13、n =1,2, 弱收斂于 F (x),則稱LYn,n =1,2依分布收斂于Y，記為Yn Y.定義5.1.12(矩收斂)設(shè)對隨機(jī)變量序列=,n = 1,2,和隨機(jī)變量Y有其中r 0為常數(shù)，如果E(|Ynr )5, E(丫 r )心,limE(M-Yr )=0r則稱隨機(jī)變量序列Yn, n=1,2,-r階矩收斂于隨機(jī)變量 Y , Yn-； Y .在r 階矩收斂中最重要的是 r =2的情形，這時稱為均方收斂。以上介紹了隨機(jī)變量序列的4種收斂性，它們之間有什么關(guān)系呢，哪種強(qiáng)一些，哪種弱一些呢？下面用圖 5.1表示它們的關(guān)系：圖5.1隨機(jī)變量序列的四種收斂性的關(guān)系其中“ A B ”表示由命題 A可以推出命

14、題 B,上述逆命題一般不成立。此外在“r -階矩收斂”和“幾乎處處收斂”之間不存在確定的隱含關(guān)系。以上各種收斂性的關(guān)系的證明以 及逆命題不成立的例子已超出本書范圍，讀者可以參考有關(guān)的文獻(xiàn)或教材。 5.2 中心極限定理在5.1節(jié)中討論的大數(shù)定律雖然證實了“頻率的穩(wěn)定性”，但并未給出獨立隨機(jī)變量和的分布是什么，而這正是本節(jié)要討論的問題，這個問題就引出了概率論中最重要的一類定理稱之為中心極限定理，這類定理有很多推廣的或一般化的形式，這里只討論其中一種適合于大多數(shù)應(yīng)用情形的形式。為了描述問題，設(shè) X-X2，Xn，是互相獨立同分布的一列隨機(jī)變量，有數(shù)學(xué)期望E(Xj) =a和有限方差D(Xj)：，j =1

15、,2,11),且每個Xj的矩母函數(shù)在0點的一個鄰域中都存在，考慮部分和&X2Xn ,中心極限定理說明了當(dāng)n充分大時，無論各個 X j的分布是什么，這個部分和的分布是近似正態(tài)的。顯然這個結(jié)論是十分重要的，因為在概率統(tǒng)計和實際應(yīng)用中會經(jīng)常遇到這種獨立隨機(jī)變量和的情形。為了嚴(yán)格地描述上述結(jié)論，考慮的標(biāo)準(zhǔn)化變量。因為 E(Sn)二na, D(Sn) = ；2，標(biāo)準(zhǔn)化后的隨機(jī)變量Z =Sn-E(Sn)=Sn丁a=(X1-a)(Xal(Xa)n, D(Sn)n二n；有數(shù)學(xué)期望0和方差1。定理5.2.1 (中心極限定理) 設(shè)乙的分布函數(shù)為Fn(X)，貝V1 x .2/2nm/ng =nmp(Zn jJedu

16、(5.2.1)(右式即是標(biāo)準(zhǔn)正態(tài)分布的分布函數(shù))證只給出證明的主要思路。設(shè)M (t)為標(biāo)準(zhǔn)化隨機(jī)變量(Zj _a)/二的矩母函數(shù)，則(i)_ (ii)t2 t3M (t) =E et(Xj= 1 + Pt +乞可 +川(iii) t2t3(iv)t2t2=131 t3R(t)=11 2tR(t)23!22其中(i)是矩母函數(shù)的定義，(ii)利用泰勒展開，(iii)是因為標(biāo)準(zhǔn)化后的隨機(jī)變量有數(shù)學(xué)期望0和方差1, (iv)右端的t3R(t)代表幕次為t3及以上的所有項的和(將公因子t3提出來)。在定理的假設(shè)條件下，R(t)在t = 0附近是連續(xù)有界的。現(xiàn)在設(shè)M n(t)為乙的矩母函數(shù)，則Mn(t)

17、 =E(etZn )=E et(Xi _a)/(.麗；：)=E et (Xi)02)7 (Xn _a) /(. nr)E I et(Xn _a)/( Ln；-)EILe利用X j們的獨立性和數(shù)學(xué)期望的線性性可得Mn(t)二 M (tr.n)M (t / . d)川 M (t / . n)=m(t/、n) = i t ii弓 R(t/、n)-_2n .、n對每個固定的t, (2t /, n)R(t/ . n) 小于i,從而當(dāng)nT 時趨于0；又因為當(dāng)Jn t時,2tR(t / . n)趨于2tR(0)，從而是有界的。因此當(dāng) n匚時,(2t/ ： n)R(t/、n)這項充分小，可以忽略不計，于是可以

18、簡記，z t2Mn(t)= i+ I 2n由微積分中眾所周知的結(jié)果lim 1 -二 ex nn(5.2.2)用于(5.2.2)式可得右式就是標(biāo)準(zhǔn)正態(tài)分布的矩母函數(shù)。注意到在證明過程中用到了“當(dāng)t2 /2lim M n(t)二etn)： nv n；：時，(2t/、n)R(t/-. n)這項充分小，可以忽略不計”這個結(jié)論，事實上只要通過更精細(xì)但并不太困難的推導(dǎo)，可以得到(2t/、n)R(t/. n)這項的上界估計，這里把這個過程省略了。此外，也要注意為使中心極限定理成立，各個Xj須滿足的不太強(qiáng)的條件，即它們的矩母函數(shù)要存在，否則就不能保證結(jié)論的正確性。中心極限定理說明了當(dāng) n充分大時，無論各個 X

19、j的分布是什么，這個部分和的分布是 近似正態(tài)的。為更直觀地了解 Zn的極限分布趨于正態(tài)分布的情況，下面舉一個例子。例521設(shè)XX2,，Xn，是互相獨立的一列隨機(jī)變量，每個都服從-.3 :： x 3上的均勻分布，易計算得它們的數(shù)學(xué)期望EXj= 0，方差DXj1，考慮部分和5 X2 xn，標(biāo)準(zhǔn)化后得Zn=Sn/.一 n，可以精確計算它的分布函數(shù)，圖5.2顯示了 n =1, 2, 3及n；兒：時分布的圖形，最初它的分布遠(yuǎn)不是正態(tài)的，但隨著n的增大而逐步趨向正態(tài)。圖5.2 n = 1, 2, 3及n：時分布的圖形定理5.2.2 (棣美弗-拉普拉斯(DeMoivre-Laplace )定理)設(shè)隨機(jī)變量

20、Yn (n = 1,2，)服從二項分布B(n, p)，則對于任意區(qū)間(a,b)，恒有f、t2limp a丫n_np “4冷nY ( Jnp(1-p) 丿 a 2 n證 由于服從二項分布的隨機(jī)變量Yn可以看作n個相互獨立的、服從同一參數(shù)p的兩點分布的隨機(jī)變量，即YnX2Xn，其中 E(XJ =p, D(XJ =pq, i =1,2J|, n, q =1 - p，由定理 5.2.1 可得lim Pn -.npnpq x = lim Pf nZ Xi _npi=1:xdt于是對于任意區(qū)間（a,b）有l(wèi)im P Yn n 15) = 1P(X 蘭14 )=1PI &4.99J4.99 丿冷145) 不

21、了 9=1鬟= 0.000069&4.99 丿（2）保險公司獲利不少于1000000元意味著3000000 -200000X _ 1000000, x乞10 ,則P （保險公司獲利不少于 1000000元）=P （死亡人數(shù)不多于10）fx-510-5) f 5)= P(X 蘭 10)=P蘭= 陽=0.98631499 7499 丿17499 丿注意，在以上的計算中用到了中心極限定理作近似估計，請讀者自己體會是怎么用的。下面再舉一個金融方面的例子。例5.2.3 銀行為支付某日即將到期的債券須準(zhǔn)備一筆現(xiàn)金，已知這批債券共發(fā)放了500張，每張須付本息1000元，設(shè)持券人(一人一券)到期日到銀行領(lǐng)取本

22、息的概率為0.4。問銀行于該日應(yīng)準(zhǔn)備多少現(xiàn)金才能以99.9%的把握滿足客戶的兌換。解設(shè)H,第i個持券人到期日去銀行兌換Xi =i 0,第i個持券人到期日不去銀行兌換500500則該日到銀行兌換的總?cè)藬?shù)為Xi，所需資金為1000 Xi，為使銀行能以 99.9%的把i 4i 4500握滿足客戶的兌換，即要求 x，使得p 7 xi x - 0.999。這里Xj, i =1,2,，500服 丿從伯努利分布E(XJ二p=0.4, D(XJ二p(1-p) =0.24，由中心極限定理知f 500送 Xj - 200i =1x 二 200x 二 200-0.999查表得x二200 3.1, x _ 233.9

23、6。所以銀行只須準(zhǔn)備 234000元就能以99.9%的把握滿足 訥20客戶的兌換?？诶?.2.4電視臺作某節(jié)目 A收視率的調(diào)查，在每天節(jié)目A播出時隨機(jī)地向當(dāng)?shù)鼐用翊螂娫?，問是否在看電視，如在看電視，再問是否在看?jié)目 A，設(shè)回答在看電視的居民數(shù)為 n , 問為保證以95%的概率使調(diào)查誤差在 1%之內(nèi)，n應(yīng)取多大？解 設(shè)Yn為回答看電視的居民中在收看節(jié)目A的人數(shù)，要估計的收視率設(shè)為 p，要求n0.1 =0.95略作變換可得0.95 二 PYn - np0.1 =PYn - np(19.6) pq現(xiàn)在的問題是如何確定 pq。定義函數(shù)h(p) = p(1 - p) = pq則其導(dǎo)數(shù)h(p) =1 _2

24、p，當(dāng)p =1/2時h(p) =0，易證這時h(p)=1/4達(dá)到最大值，即2 2 1意味著 19.6 pq _19.696.04，所以 n 96.04，取 n =97就足夠了?？? 5.3閱讀材料：股票瞬時價格的分布股票的價格運動有無規(guī)律性是金融中的一個基本問題，股票價格的隨機(jī)游動理論在金融數(shù)學(xué)中有著重要意義，它的基本思想是概率論思想應(yīng)用的一個范例。以下簡單作一介紹。設(shè)某股票初始時刻的價格為 0，考察它在時段0,t間的變化，將該時段分成長度為 厶 的n =.占I等分，并記為在各小時段末股票的價格，即 S為在時刻迪股 票的價格，則股票在t時刻的對數(shù)收益率為X =ln 弘(5.3.1)S。或等價地

25、S = Sn 二 Sd(5.3.2)X可以表示為7 I SnA I Sn2(n4)AlHSA JvX = In InInXiS0Sn).J I I S.S其中Xi =1 n為股票在第i個小時段的對數(shù)收益率，如果假設(shè)它們是獨立同分布，有公共的均值E(Xj) = 和有限方差D(X2：，i =1,2,川，n，由中心極限 定理知，當(dāng)n充分大時，無論各個 Xi的分布是什么，它們的和X的分布是近似正態(tài)的，更嚴(yán)格地說，考慮 X的標(biāo)準(zhǔn)化變量，由獨立性假設(shè)可得，nnE(X)= E(XJ 二n：),D(X) = D(Xi2,i =ii=1標(biāo)準(zhǔn)化后的隨機(jī)變量X -E(X)近似地服從標(biāo)準(zhǔn)正態(tài)分布N（0,1）.通過在概率論中某種收斂意義下的極限，極限lim Z服從二0正態(tài)分布，進(jìn)而得到股票在t時刻的瞬時價格St 二 lim0 Sn由此可以得到結(jié)論：由（532）式知股票在t時刻的瞬時價格 S本身不服從正態(tài)分布，但價格 的對數(shù)服從正態(tài)分布，用連續(xù)時間金融的術(shù)語來說，就是服從（帶漂移的）布朗運動，有興趣的讀者可以參考相關(guān)的文獻(xiàn)。習(xí)題五1. 生產(chǎn)燈泡的合格率為 0.6,求10000個燈泡中合格燈泡數(shù)在5800到6200的概率。2. 某地區(qū)種植某種農(nóng)作物，根據(jù)統(tǒng)計