第四章 大數(shù)定律與中心極限定理

1、第四章 大數(shù)定律與中心極限定理第四章 大數(shù)定律與中心極限定理一、教學要求1. 深刻理解并掌握大數(shù)定律，能熟練應用大數(shù)定律證明題目；2.理解隨機變量序列的兩種收斂性，了解特征函數(shù)的連續(xù)性定理；3. 深刻理解與掌握中心極限定理，并要對之熟練應用。二、重點與難點本章的重點是講清大數(shù)定律與中心極限定理的條件、結論，難點是隨機變量序列的兩種收斂及大數(shù)定律和中心極限定理的應用。§4.1 大數(shù)定律一、大數(shù)定律的意義1.引入在第一章中引入事件與概率的概念時曾經(jīng)指出，盡管隨機事件A在一次試驗可能出現(xiàn)也可能不出現(xiàn)，但在大量的試驗中則呈現(xiàn)出明顯的統(tǒng)計規(guī)律性頻率的穩(wěn)定性。頻率是概率的反映，隨著觀測次數(shù)的增加

2、，頻率將會逐漸穩(wěn)定到概率。這里說的“頻率逐漸穩(wěn)定于概率”實質(zhì)上是頻率依某種收斂意義趨于概率，這個穩(wěn)定性就是“大數(shù)定律”研究的客觀背景。詳細地說：設在一次觀測中事件A發(fā)生的概率，如果觀測了次（也就是一個重貝努利試驗），A發(fā)生了次，則A在次觀測中發(fā)生的頻率為，當充分大時，頻率逐漸穩(wěn)定到概率。若用隨機變量的語言表述，就是：設表示第次觀測中事件A發(fā)生次數(shù)，即 則是個相互獨立的隨機變量，顯然,從而有.因此“穩(wěn)定于”，又可表述為次觀測結果的平均值穩(wěn)定于。 現(xiàn)在的問題是：“穩(wěn)定”的確切含義是什么？穩(wěn)定于是否能寫成 （1）亦即，是否對， ? （2）對重貝努里試驗的所有樣本點都成立？實際上，我們發(fā)現(xiàn)事實并非如此

3、，比如在次觀測中事件A發(fā)生次還是有可能的，此時，從而對，不論多么大，也不可能得到成立。也就是說，在個別場合下，事件（）還是有可能發(fā)生的，不過當很大時，事件（）發(fā)生的可能性很小。例如，對上面的，有 。顯然，當時， ，所以“穩(wěn)定于”是意味著對，有 （3） （概率上“穩(wěn)定于”還有其他提法，如波雷爾建立了，從而開創(chuàng)了另一形式的極限定理-強大數(shù)定律的研究）沿用前面的記號，（3）式可寫成一般地，設是隨機變量序列，為常數(shù)，如果對，有 （4）即則稱穩(wěn)定于。概率論中，一切關于大量隨機現(xiàn)象之平均結果穩(wěn)定性的定理，統(tǒng)稱為大數(shù)定律。2定義若將（4）式中的換成常數(shù)列，即得大數(shù)定律的一般定義。定義4.1 若是隨機變量序列

4、，如果存在常數(shù)列，使對，有成立，則稱隨機變量序列服從大數(shù)定律。 若隨機變量具有數(shù)學期望，則大數(shù)定律的經(jīng)典形式是：對，有這里常數(shù)列。二、大數(shù)定律本段介紹一組大數(shù)定律，設是一隨機變量序列，我們總假定存在。定理4.1（馬爾可夫大數(shù)定律）如果隨機變量序列，當時，有（*）證明：服從大數(shù)定律。證明 : 對，由切比雪夫不等式，有因此即 故服從大數(shù)定律。 此大數(shù)定律稱為馬爾可夫大數(shù)定律，（*）式稱為馬爾可夫條件。定理4.2（切比雪夫大數(shù)定律）設是一列獨立隨機變量列，若存在常數(shù)，使有則隨機變量序列服從大數(shù)定律，即對，有證明： 因為為獨立隨機變量列，且由它們的方差有界即可得到從而有滿足馬爾可夫條件，因此由馬爾可夫

5、大數(shù)定律，有 注：切比雪夫大數(shù)定律是馬爾可夫大數(shù)定律的特例。例1 設為獨立同分布隨機變量序列，均服從參數(shù)為的泊松分布，則由獨立性及知其滿足定理4.2的條件，因此有注：此例題也可直接驗證滿足馬爾可夫條件。定理4.3（貝努利定理或貝努利大數(shù)定律）設是重貝努利試驗中事件A出現(xiàn)的次數(shù)，又A在每次試驗中出現(xiàn)的概率為，則對，有證明：令 顯然.由定理條件，獨立同分布（均服從二點分布）。且都是常數(shù)，從而方差有界。由切比雪夫大數(shù)定律，有 貝努利大數(shù)定律的數(shù)學意義：貝努利大數(shù)定律闡述了頻率穩(wěn)定性的含義，當充分大時可以以接近的概率斷言，將落在以為中心的內(nèi)。貝努利大數(shù)定律為用頻率估計概率（）提供了理論依據(jù)。注1：此定

6、理的證明也可直接驗證滿足馬爾可夫條件。注2：貝努利大數(shù)定律是切比雪夫大數(shù)定律的特例。它是1713年由貝努利提出的概率極限定理中的第一個大數(shù)定律。以上大數(shù)定律的證明是以切比雪夫不等式為基礎的，所以要求隨機變量的方差存在，通過進一步研究，我們發(fā)現(xiàn)方差存在這個條件并不是必要條件。定理4.4（辛欽大數(shù)定律）設是一列獨立同分布的隨機變量，且數(shù)學期望存在,則對，有成立。注：貝努利大數(shù)定律是辛欽大數(shù)定律的特例。辛欽大數(shù)定律的數(shù)學意義：辛欽大數(shù)定律為實際生活中經(jīng)常采用的算術平均值法提供了理論依據(jù)。它斷言：如果諸是具有數(shù)學期望、相互獨立、同分布的隨機變量，則當充分大時，算術平均值一定以接近1的概率落在真值的任意

7、小的鄰域內(nèi)。據(jù)此，如果要測量一個物體的某指標值，可以獨立重復地測量次，得到一組數(shù)據(jù)：，當充分大時，可以確信，且把作為的近似值比一次測量作為的近似值要精確的多，因，；但，即關于的偏差程度是一次測量的偏差程度的，越大，偏差越小。辛欽大數(shù)定律也是數(shù)理統(tǒng)計學中參數(shù)估計理論的基礎，通過第六章的學習，我們對它會有更深入的認識。例2 設隨機變量X1,X2,Xn,相互獨立同分布，且EXn=0,求 .解 由辛欽大數(shù)定律有(=1) 即 顯然有 故 。從而有 。 例3 設獨立同分布，且存在，則也服從大數(shù)定律。證明：獨立同分布，所以也獨立同分布；又存在，故由辛欽大數(shù)定律知服從大數(shù)定律。注：例3是統(tǒng)計學中矩估計法的理論

8、依據(jù)。§4.2隨機變量序列的兩種收斂性一、依概率收斂和依分布收斂定義4.2 設有一列隨機變量，如對任意的0，有 （5）則稱隨機變量序列依概率收斂到，并記作 （）（5）式也等價于。注：由此可知，前一節(jié)中討論過的大數(shù)定律只是上述依概率收斂的一種特殊情況。例4 證明隨機變量序列依概率收斂于隨機變量的充要條件為：證：充分性，令，則，故是的單調(diào)上升函數(shù)，因而，于是有 對任意的成立，充分性得證。必要性，對任給的，令，因為，故存在充分大的使得當時有，于是有 ，由的任意性知，結論為真。 我們知道，隨機變量的統(tǒng)計規(guī)律由它的分布函數(shù)完全刻劃，當時，其相應的分布函數(shù)與之間的關系怎樣呢？例5 設都服從退化分

9、布：對任給0，當n時，有所以 而的d.f為 的d.f為 易驗證 當時，有（n）但，不趨于 上例表明，一個隨機變量依概論收斂到某隨機變量，相應的分布函數(shù)不是在每一點都收斂，但如果仔細觀察這個例，發(fā)現(xiàn)不收斂的點正是的不連續(xù)點，類似的例子可以舉出很多，使人想到要求在每一點都收斂到是太苛刻了，可以去掉的不連續(xù)點來考慮。定義4.3 設為一分布函數(shù)序列，如存在一個函數(shù)，使在的每一連續(xù)點x，都有，則稱分布函數(shù)列弱收斂于，并記作 （6）定義4. 設隨機變量序列和的分布函數(shù)分別為，若 ，則稱按分布收斂于，并記作 （）.二、兩者之間的關系定理4.5 若，則。證 對于，因有故 即 因 ，故所以有 同理可證，對 有于

10、是對任意 有令，有若x是的連續(xù)點，就有。 注：此定理的逆不真。例6 拋擲一枚均勻硬幣，記=“出現(xiàn)正面”，=“出現(xiàn)反面”則令 n=1，2， 因與完全相同，顯然有對成立。但對，有 = ，故 不成立。 一般來說，按分布收斂不能推出依概率收斂，但在特殊情況下，卻有下面的結果。定理4.6 設C是一常數(shù)，則（即），證（）由定理4.5推得（）（不妨就設）對任給，有 (7) 因 的分布函數(shù)為 只在處不連續(xù)，而在處都是連續(xù)的，由在（7）中令得。在第一節(jié)中介紹的大數(shù)定律實際上就是隨機變量列依概率收斂于常數(shù)的問題，由定理4.6知，它可歸結為相應的分布函數(shù)列弱收斂于一退化分布，而中心極限定理就是隨機變量的分布函數(shù)列弱

11、收斂問題，可見分布函數(shù)列的弱收斂在本章討論中占重要地位。然而，要直接判斷一個分布函數(shù)列是否弱收斂是很困難的上一章我們就知道，分布函數(shù)與特征函數(shù)一一對應，而特征函數(shù)較之分布函數(shù)性質(zhì)優(yōu)良很多，故判斷特征函數(shù)的收斂一般較易，那么是否有相應的。答案是肯定的。即下述的特征函數(shù)的連續(xù)性定理。三、特征函數(shù)的連續(xù)性定理定理4.7 分布函數(shù)列弱收斂于分布函數(shù)的充要條件是相應的特征函數(shù)列收斂于的特征函數(shù)。證明：略。例7 若是服從參數(shù)為的普哇松分布的隨機變量，證明：證明：已知的特征函數(shù)為，故的特征函數(shù)為對任意的，有于是從而對任意的點列，有又是分布的特征函數(shù)，由定理4.6即知有因是可以任意選取的，所以 注：此例說明普

12、哇松分布（當參數(shù)時）收斂于正態(tài)分布。例8 辛欽大數(shù)定律的證明證：因同分布，故有相同的特征函數(shù)，將（t）在t=0處展開，有由相互獨立，得的特征函數(shù)為對于任意，由定理4.7知，再由 定理4.6得，即服從大數(shù)定理。隨機變量到依概率收斂具有如下性質(zhì)。定理4.8（斯魯茨基）設，是k個隨機變量序列，并且, （n,i=1,2, ,k）又R是k元變量的有理函數(shù)，并且R,則有R（，,） R，n成立。作為它的直接推論，我們可知，隨機變量序列在概率意義下的極限（即依概率收斂于常數(shù)）在四則運算下仍然成立。推論若，則有 （1） （2）時，例9 設，為上的連續(xù)函數(shù)，則有 。證明：由于在上連續(xù)，故對任意的，任給，存在使當時

13、，由此可知，因此。由于則上式右端當時而趨向于1，因此即 。 例10 設為獨立同分布隨機變量序列，存在，令 證明 證：i.i.d 則 亦i.i.d由辛欽大數(shù)律 ， 由例9， 故由斯魯茨基定理 §4.3 中心極限定理 第二章介紹正態(tài)分布時，我們一再強調(diào)正態(tài)分布在概率統(tǒng)計中的重要地位和作用，為什么實際上有許多隨機現(xiàn)象會遵循正態(tài)分布？這僅僅是一些人的經(jīng)驗猜測還是確有理論依據(jù)，“中心極限定理”正是討論這一問題的。在長達兩個世紀的時間內(nèi)成為概率論討論的中心課題，因此得到了中心極限定理的名稱。一、中心極限定理的概念設為一獨立隨機變量序列，且，均存在，稱 為的規(guī)范和。概率論中，一切關于隨機變量序列規(guī)

14、范和的極限分布是標準正態(tài)分布的定理統(tǒng)稱為中心極限定理，即設的規(guī)范和為，有，則稱服從中心極限定理。中心極限定理實質(zhì)上為 近似服從標準正態(tài)分布。 二、獨立同分布中心極限定理大數(shù)定律僅僅從定性的角度解決了頻率穩(wěn)定于概率p，即，為了定量地估計用頻率估計概率的誤差，歷史上De MoivreLaplace給出了概率論上第一個中心極限定理，這個定理證明了的標準化隨機變量漸近于分布。定理4.9（德莫佛拉普拉斯）極限定理 在重貝努里試驗中，事件A在每次試驗中出現(xiàn)的概率為，為次試驗中事件A發(fā)生的次數(shù)，則注：定理4.9說明近似服從，從而近似服從，又服從二項分布，所以定理4.5也稱為二項分布的正態(tài)近似或二項分布收斂于

15、正態(tài)分布。在第二章，泊松定理也被說成是“二項分布收斂于泊松分布”。同樣一列二項分布，一個定理說是收斂于泊松分布，另一個定理又說是收斂于正態(tài)分布，兩者不是說有矛盾嗎？請仔細比較兩個定理的條件和結論，就可以知道其中并無矛盾之處。這里應該指出的是在定理4.9中，而泊松定理中則要求。所以在實際問題中作近似計算時，如果很大，不大或不大（即很小或很?。瑒t應該利用泊松定理；反之，若都較大，則應該利用定理4.9。定理4.9（林德貝爾格-勒維）極限定理設，,是一列獨立同分布的隨機變量，且， 則有 注：德莫佛拉普拉斯極限定理是林德貝爾格-勒維極限定理的特例。證明：設的特征函數(shù)為，則的特征函數(shù)為又因為所以于是特征

16、函數(shù)為有展開式從而對任意固定的，有又是分布的特征函數(shù)，由定理4.7有注：定理4.9表明：當充分大時，的分布近似于，從而具有近似分布。這意味大量相互獨立、同分布且存在方差的隨機變量之和近似服從正態(tài)分布。該結論在數(shù)理統(tǒng)計的大樣本理論中有廣泛應用，同時也提供了計算獨立同分布隨機變量之和的近似概率的簡便方法。例11 利用中心極限定理證明：證：設是獨立同分布隨機變量序列，共同分布為的Poisson分布，故，由林德貝爾格-勒維中心極限定理知由Poisson分布的可加性知服從參數(shù)為的Poisson分布，因而，但，所以成立，結論得證。三、應用 德莫佛拉普拉斯中心極限定理是概率論歷史上的第一個中心極限定理，它有

17、許多重要的應用。下面介紹它在數(shù)值計算方面的一些具體應用。1.二項概率的近似計算設是重貝努里試驗中事件發(fā)生的次數(shù)，則，對任意有 當很大時，直接計算很困難。這時如果不大（即較小接近于0）或不大（即接近于1）則用泊松定理來近似計算（大小適中）；當不太接近于0或1時，可用正態(tài)分布來近似計算（較大）：例12在一家保險公司里有10000個人參加保險，每人每年付12元保險費。在一年內(nèi)一個人死亡的概率為0.006，死亡時其家屬可向保險公司領得1000元，問：(1) 保險公司虧本的概率多大？(2) 保險公司一年的利潤不少于40000元的概率為多大？解：保險公司一年的總收入為120000元，這時(1) 若一年中死

18、亡人數(shù)，則保險公司虧本；(2)若一年中死亡人數(shù)，則利潤元。令則，記,已足夠大，于是由德莫佛拉普拉斯中心極限定理可得欲求事件的概率為（1）（其中）同理可求得 （2）。例13某單位內(nèi)部有260架電話分機，每個分機有4%的時間要用外線通話?？梢哉J為各個電話分機用不同外線是相互獨立的。問：總機需備多少條外線才能以95%的把握保證各個分機在使用外線時不必等候？解：由題意，任意一個分機或使用外線或不使用外線只有兩種可能結果，且使用外線的概率=0.04，260個分機中同時使用外線的分機數(shù)設總機確定的最少外線條數(shù)為,則有 由于較大，故由德莫佛拉普拉斯定理，有查正態(tài)分布表可知解得所以總機至少備有16條外線，才能以95%的把握保證各個分機使用外線時不必等候。2.用頻率估計概率的誤差估計由貝努利大數(shù)定律 那么對給定的和較大的，究竟有多大？貝努利大數(shù)定律沒有給出回答，但利用德莫佛拉普拉斯極限定理可以給出近似的解答。對充分大的 故 由此可知，德莫佛拉普拉斯極限定理比貝努利大數(shù)定律更精細，也更有用。例14重復擲一枚質(zhì)地不均勻的硬幣，設在每次試驗中出現(xiàn)正面的概率未知。試問要擲多少次才能使出現(xiàn)正面的頻率與相差不超過的概率達95%以上？解：依題