概率論與隨機過程：第五章 大數(shù)定律與中心極限定理

1、 第五章第五章大數(shù)定律與中心極限定理大數(shù)定律與中心極限定理 引言 概率論是研究隨機現(xiàn)象統(tǒng)計規(guī)律性的學科概率論是研究隨機現(xiàn)象統(tǒng)計規(guī)律性的學科. 隨機現(xiàn)象隨機現(xiàn)象的規(guī)律性只有在相同的條件下進行的規(guī)律性只有在相同的條件下進行大量大量重復(fù)試驗時才會呈重復(fù)試驗時才會呈現(xiàn)出來現(xiàn)出來. 也就是說，要從隨機現(xiàn)象中去尋求必然的法則，也就是說，要從隨機現(xiàn)象中去尋求必然的法則，應(yīng)該研究應(yīng)該研究大量隨機現(xiàn)象大量隨機現(xiàn)象. 極限定理的內(nèi)容很廣泛，其中最重要的有兩種極限定理的內(nèi)容很廣泛，其中最重要的有兩種:與與大數(shù)定律大數(shù)定律中心極限定理中心極限定理下面我們先介紹大數(shù)定律下面我們先介紹大數(shù)定律 (1)事件發(fā)生的頻率具有穩(wěn)

2、定性，即隨著試驗次數(shù)的增事件發(fā)生的頻率具有穩(wěn)定性，即隨著試驗次數(shù)的增加，事件發(fā)生的頻率逐漸穩(wěn)定于某個常數(shù)。加，事件發(fā)生的頻率逐漸穩(wěn)定于某個常數(shù)。大數(shù)定律的客觀背景大數(shù)定律的客觀背景(現(xiàn)象)：大量拋擲硬幣大量拋擲硬幣正面出現(xiàn)頻率正面出現(xiàn)頻率字母使用頻率字母使用頻率生產(chǎn)過程中的生產(chǎn)過程中的廢品率廢品率一、大數(shù)定律一、大數(shù)定律(2)特別的，在實踐中人們認識到大量測量值的算術(shù)平均特別的，在實踐中人們認識到大量測量值的算術(shù)平均值具有穩(wěn)定性。值具有穩(wěn)定性。1.大數(shù)定律的定義 定義定義1 1 設(shè)X1,X2,Xn,為一隨機變量序列,如果對于任意正整數(shù)k(k2)及任意k個隨機變量 相互獨立，則稱隨機變量序列X1

3、,X2,Xn,相互獨立。 kiiiXXX,21定義定義2 2 設(shè)Y1，Y2，Yn，是一隨機變量序列，a是一常數(shù)，若對任意正數(shù)，有 ,則稱序列Y1，Y2，Yn，依概率收斂Y，記為 1lim YYPnn PYYn定義定義3 3 設(shè)Xn為一隨機變量序列,E(Xn)存在，記 , 2 , 111 nXEXnYniiin , 11limlim1 niiinnnXEXnPYP若若則稱Xn服從（弱）大數(shù)定律。大數(shù)定律。 2 2幾個常見的大數(shù)定律幾個常見的大數(shù)定律的定理的定理 定理定理1 1( (切比雪夫大數(shù)定理切比雪夫大數(shù)定理) ) 設(shè)X1，X2，,Xn，是相互獨立的隨機變量序列，且具有相同的數(shù)學期望與方差：

4、E(Xk k)=，D(Xk k)=2(k=1，2),則Xn服從大數(shù)定律。即對于任意正數(shù)，有 . 11limlim1 niinnnXnPYP,1)(1111 nnXEnXnEniinii由由于于切比雪夫切比雪夫 ,111111 niiniiniiinXnXnXEXnY證證： 設(shè)隨機變量設(shè)隨機變量X有期望有期望E(X)和方差和方差 ，則對于任給則對于任給 0,2 221| )(| XEXP,1)(11222121nnnXDnXnDniinii 由切比雪夫不等式對于任意正數(shù)，有 221/11 nXnPYPniin 令n，注意到概率不能大于1，即得 .11limlim1 niinnnXnPYP 作為切

5、比雪夫大數(shù)定律的特殊情況，有下面的定理作為切比雪夫大數(shù)定律的特殊情況，有下面的定理.分析分析 定理定理2(2(貝努利大數(shù)定理貝努利大數(shù)定理) ) 設(shè)nA A為n次獨立重復(fù)試驗中事件A發(fā)生的次數(shù)。p是事件A在每次試驗中發(fā)生的概率,則事件A的頻率依概率收斂到概率p，即對于任意正數(shù)，有 . 1lim pnnPAn 證：引入隨機變量 , 2 , 1,01 kAkAkXk不不發(fā)發(fā)生生次次實實驗驗中中在在第第發(fā)發(fā)生生次次實實驗驗中中在在第第 由于各次試驗是獨立的。于是X1，X2，,Xn是相互獨立的；又由于Xk k服從(0-1)分布，所以E(Xk k)=p，D(Xk k)=p(1-p)，k=1，2，n，。

6、顯然: nA=X1+X2+Xn，由定理一有 11lim1 niinpXnP1lim pnnPAn即即 切比雪夫大數(shù)定理的條件可以減弱為（不要求方差存在不要求方差存在）定理定理3 3( (辛欽定理辛欽定理) ) 設(shè)隨機變量X1，X2，,Xn，相互獨立，服從同一分布，具有數(shù)學期望E(Xk k)= (k=1，2，)，則對于任意正數(shù)，有 . 11lim1 niinXnP分析分析 (1)在切比雪夫大數(shù)定理的證明過程中可以看出只要 ()， 則大數(shù)定理就能成立。這個條件稱為馬爾可夫條件。因此更一般的定理有馬爾可夫大數(shù)定理：對于隨機變量X1，X2，,Xn，若條件()成立，則對于任意0，有 0)(1lim12

7、niinXDn 111lim11 niniiinXEnXnP注釋注釋 例如要估計某地區(qū)的平均畝產(chǎn)量，要收割某些有代表例如要估計某地區(qū)的平均畝產(chǎn)量，要收割某些有代表性的地塊，例如性的地塊，例如n 塊塊. 計算其平均畝產(chǎn)量，則當計算其平均畝產(chǎn)量，則當n 較大時，較大時，可用它作為整個地區(qū)平均畝產(chǎn)量的一個估計可用它作為整個地區(qū)平均畝產(chǎn)量的一個估計. 大數(shù)定律為尋找隨機變量的期望值提供了一條實大數(shù)定律為尋找隨機變量的期望值提供了一條實際可行的途徑際可行的途徑.下面我們再舉一例說明大數(shù)定律的應(yīng)用下面我們再舉一例說明大數(shù)定律的應(yīng)用. .定積分的概率計算法。定積分的概率計算法。 求求的值的值10)(dxxg

8、I 介紹均值法，步驟是介紹均值法，步驟是1) 產(chǎn)生在產(chǎn)生在(0,1)上均勻分布的隨機數(shù)上均勻分布的隨機數(shù)rn,2) 計算計算g(rn)， n=1,2,Nn=1,2,N即即IrgNINnn1)(13) 用平均值近似積分值用平均值近似積分值 原理是什么呢？原理是什么呢？因此，當因此，當N充分大時，充分大時，設(shè)設(shè)XU(0, 1)由大數(shù)定律由大數(shù)定律1|)()(1|lim101dxxgrgNPNnnNIrgNINnn1)(1其它, 010, 1)(xxfX101)()(1dxxgrgNNnn, 0 10)(dxxgdxxfxgXgE)()()(應(yīng)如何近似計算？請思考應(yīng)如何近似計算？請思考.請看請看 定

9、積分的概率計算法定積分的概率計算法 問：若求問：若求的值的值badxxgI)( 中心極限定理的客觀背景中心極限定理的客觀背景 在實際問題中，常常需要考慮許多隨機因素所產(chǎn)生總在實際問題中，常常需要考慮許多隨機因素所產(chǎn)生總影響影響.例如：炮彈射擊的落點與目標的偏差，就受著許多隨機因素例如：炮彈射擊的落點與目標的偏差，就受著許多隨機因素的影響的影響.二、二、中心極限定理 空氣阻力所產(chǎn)生的誤差，空氣阻力所產(chǎn)生的誤差，對我們來說重要的是這些隨機因素的總影響對我們來說重要的是這些隨機因素的總影響.如瞄準時的誤差，如瞄準時的誤差，炮彈或炮身結(jié)構(gòu)所引起的誤差等等炮彈或炮身結(jié)構(gòu)所引起的誤差等等. 自從高斯指出測

10、量誤差服從正態(tài)分布之后，人們發(fā)自從高斯指出測量誤差服從正態(tài)分布之后，人們發(fā)現(xiàn)，正態(tài)分布在自然界中極為常見現(xiàn)，正態(tài)分布在自然界中極為常見. 在實際中所遇到的許多隨機變量，往往服從正態(tài)在實際中所遇到的許多隨機變量，往往服從正態(tài)分布或近似服從正態(tài)分布。分布或近似服從正態(tài)分布。 他們共同的特點：這些隨機現(xiàn)象是由大量的相互獨立他們共同的特點：這些隨機現(xiàn)象是由大量的相互獨立隨機因素的綜合作用的結(jié)果。而其中每個個別因素所起隨機因素的綜合作用的結(jié)果。而其中每個個別因素所起的作用是微小的，只是它們作用總和中的一部分。大量的作用是微小的，只是它們作用總和中的一部分。大量實踐經(jīng)驗告訴我們這一總和的分布是近似服從正態(tài)

11、分布。實踐經(jīng)驗告訴我們這一總和的分布是近似服從正態(tài)分布。 現(xiàn)在我們就來研究獨立隨機變量之和所特有的規(guī)律性現(xiàn)在我們就來研究獨立隨機變量之和所特有的規(guī)律性問題問題. 當當n無限增大時，這個和的極限分布是什么呢？在什無限增大時，這個和的極限分布是什么呢？在什么條件下極限分布會是正態(tài)的呢？么條件下極限分布會是正態(tài)的呢？ 由于無窮個隨機變量之和相當復(fù)雜，故我們不研究由于無窮個隨機變量之和相當復(fù)雜，故我們不研究n個個隨機變量之和本身而考慮它的標準化的隨機變量隨機變量之和本身而考慮它的標準化的隨機變量nkknknkkknXDXEXZ111)()(的分布函數(shù)的極限的分布函數(shù)的極限. 在概率論中，習慣于把和的分

12、布收斂于正態(tài)分在概率論中，習慣于把和的分布收斂于正態(tài)分布這一類定理都叫做布這一類定理都叫做中心極限定理中心極限定理.我們只討論幾種簡單情形我們只討論幾種簡單情形.1 1定義：定義： 設(shè)隨機變量Xn和X的分布函數(shù)分別為Fn(x)，F(xiàn)(x)， n=1,2, . 若對F(x)的一切連續(xù)點x，有： ，則稱Xn依分布收斂到X。 xFxFnn )(lim2. 2. 中心極限定理中心極限定理 定理定理1 1(獨立同分布的中心極限定理) 設(shè)隨機變量X1，X2，,Xn，相互獨立，服從同一分布，且具有數(shù)學期望和方差 E(Xk k)=，D(Xk k)=20,(k=1,2,) 則隨機變量 nnXXDXEXYnkknk

13、knkknkkn 1111依分布收斂到Y(jié),而YN(0,1). 即Yn的分布函數(shù)Fn(y),對于任意x滿足 dteynnXPyFtynkknnn2/1221lim)(lim 定理定理2 2(李雅普諾夫Liapunov定理) 設(shè)隨機變量X1，X2，,Xn，相互獨立，它們具有數(shù)學期望和方差, E(Xk)=k ， D(Xk)=k20 (k=1，2，),記 nkknB122 若存在正數(shù)，使得當n時， ,則隨機變量 01122 nkkknXEB nnkknkknkknkknkknBXXDXEXZ 11111 的分布函數(shù)Fn(x)對任意x，滿足 dtexBXPxFtxnnkknkknnn2/11221lim

14、lim 注釋：(1)定理2表明，在定理的條件下，隨機變量, nnkknkknBXZ 11 2111,nnkknkknnnkkBNZBX 近似地服從正態(tài)分布.當n很大時，近似地服從正態(tài)分布 N(0，1)。由此，當n很大時，(2)同時定理也提供了大量獨立隨機變量之和有關(guān)的事件概率的近似計算方法.定理定理3 3(德莫佛-拉普拉斯De Moivre-Laplace定理) 設(shè)隨機變量n (n=1，2，) 服從參數(shù)為n,p (0p105 的近似值。 nkkVV1解: 易知E(Vk)=5，D(Vk)=100/12(k=1，2，20)。 由定理1，隨機變量 2020/1005202020/1005201 VV

15、nkk近似服從正態(tài)分布N(0，1)， 2020/1005201052020/100520105VPVP于于是是 387. 02020/100520VP 387. 02020/1005201VP348. 0)387. 0(1 即有 PV1050.348。 例2: 保險業(yè)是最早使用概率論的部門之一，保險公司為了估計企業(yè)的利潤，需要計算各種概率。假設(shè)現(xiàn)要設(shè)置一項保險：一輛自行車年交保費2元，若自行車丟失，保險公司賠償200元，設(shè)在一年內(nèi)自行車丟失的概率為0.001,問至少要有多少輛自行車投保才能以不小于0.9的概率保證這一保險不虧本？ 解: 設(shè)有n輛自行車投保，n表示一年內(nèi)n輛自行車中丟失的數(shù)量。則

16、 nb(n, 0.001),問題歸結(jié)為n至少為多少時， P2n-200n00.9 上式化為 Pn0.01n0.9 nnnnnPnPnn000999. 0001. 001. 0000999. 0001. 001. 0 9 . 0)000999. 0009. 0( nn查表得29. 1000999. 0009. 0 nn,解不等式得n21.例例1 根據(jù)以往經(jīng)驗，某種電器元件的壽命服從均值為根據(jù)以往經(jīng)驗，某種電器元件的壽命服從均值為100小時的小時的指數(shù)分布指數(shù)分布. 現(xiàn)隨機地取現(xiàn)隨機地取16只，設(shè)它們的壽命是相互獨立的只，設(shè)它們的壽命是相互獨立的. 求這求這16只元件的壽命的總和大于只元件的壽命的

17、總和大于1920小時的概率小時的概率.由題給條件知，諸由題給條件知，諸Xi獨立，獨立，16只元件的壽命的總和為只元件的壽命的總和為161kkXY解解: 設(shè)第設(shè)第i只元件的壽命為只元件的壽命為Xi , i=1,2, ,16E(Xi)=100, D(Xi)=10000依題意，所求為依題意，所求為P(Y1920)由題給條件知由題給條件知,諸諸Xi獨立獨立,16只元件的壽命的總和為只元件的壽命的總和為161kkXY解解: 設(shè)第設(shè)第i只元件的壽命為只元件的壽命為Xi , i=1,2, ,16E(Xi)=100,D(Xi)=10000依題意，所求為依題意，所求為P(Y1920)由于由于E(Y)=1600,

18、D(Y)=160000由中心極限定理由中心極限定理,近似近似N(0,1)4001600YP(Y1920)=1-P(Y 1920) =1- (0.8)40016001920( 1-=1-0.7881=0.2119例例2. (供電問題供電問題)某車間有某車間有200臺車床臺車床,在生產(chǎn)期間由于需要檢在生產(chǎn)期間由于需要檢修、調(diào)換刀具、變換位置及調(diào)換工件等常需停車修、調(diào)換刀具、變換位置及調(diào)換工件等常需停車. 設(shè)開工率設(shè)開工率為為0.6, 并設(shè)每臺車床的工作是獨立的，且在開工時需電力并設(shè)每臺車床的工作是獨立的，且在開工時需電力1千瓦千瓦.問應(yīng)供應(yīng)多少瓦電力就能以問應(yīng)供應(yīng)多少瓦電力就能以99.9%的概率保

19、證該車間不會因的概率保證該車間不會因供電不足而影響生產(chǎn)供電不足而影響生產(chǎn)?解：對每臺車床的觀察作為一次試驗，解：對每臺車床的觀察作為一次試驗，每次試驗觀察該臺車床在某時刻是否工作，每次試驗觀察該臺車床在某時刻是否工作， 工作的概率為工作的概率為0.6，共進行，共進行200次試驗次試驗.用用X表示在某時刻工作著的車床數(shù)，表示在某時刻工作著的車床數(shù)，依題意，依題意，XB(200,0.6),現(xiàn)在的問題是：現(xiàn)在的問題是：P(XN)0.999的最小的的最小的N.求滿足求滿足設(shè)需設(shè)需N臺車床工作，臺車床工作，（由于每臺車床在開工時需電力（由于每臺車床在開工時需電力1千瓦，千瓦，N臺工作所臺工作所需電力即需

20、電力即N千瓦千瓦.） 由德莫佛由德莫佛-拉普拉斯極限定理拉普拉斯極限定理)1 (pnpnpX近似近似N(0,1),于是于是 P(XN)= P(0XN)48120()48120(N由由3準則，準則，此項為此項為0。)48120N(查正態(tài)分布函數(shù)表得查正態(tài)分布函數(shù)表得由由 0.999，)48120(N從中解得從中解得N141.5,即所求即所求N=142. 也就是說也就是說, 應(yīng)供應(yīng)應(yīng)供應(yīng)142 千瓦電力就能以千瓦電力就能以99.9%的概率保證該車間不會因供電不的概率保證該車間不會因供電不足而影響生產(chǎn)足而影響生產(chǎn).999. 0) 1 . 3(48120N 3.1,故故例例3 在一個罐子中在一個罐子中,裝有裝有10個編號為個編號為0-9的同樣的球，從罐的同樣的球，從罐中有放回地抽取若干次，每次抽一個，并記下號碼中有放回地抽取若干次，每次抽一個，并記下號碼.問對序列問對序列Xk,能否應(yīng)用大數(shù)定律？能否應(yīng)用大數(shù)定律？ 諸諸Xk 獨立同分布，且期望存在，故能使用大數(shù)定律獨立同分布，且期望存在，故能使用大數(shù)定律.解解: ,9 . 01 . 001kXk=1,2, E(Xk)=0.1, 否則次取到號碼第001kXk(1) 設(shè)設(shè)，k=1,2, nkknXnP11| 1 . 01|lim 即對即對任意的任意的0,(2) 至少應(yīng)取球多少次才能使至