大數(shù)定律與中心極限定理

遼寧石油化工大學(xué) 概率論與數(shù)理統(tǒng)計(jì)教案 1 第五章 大數(shù)定律及中心極限定理 【 基本要求 】 1、了解切比雪夫不等式； 2、了解切比雪夫大數(shù)定律， Bernoulli 大數(shù)定律和辛欽大數(shù)定律成立的條件及結(jié)論； 3、了解獨(dú)立同分布的中心極限定理（列維 林德伯格定理）和德莫佛 拉普拉斯中心極限定理（二項(xiàng)分布以正態(tài)分布為極限分布）的應(yīng)用條件和結(jié)論，并會(huì)用相關(guān)定理近似計(jì)算有關(guān)隨機(jī)事件的概率。 【 本章重點(diǎn) 】 切比雪夫不等式，切比雪夫大數(shù)定理及 Bernoulli 大數(shù)定理。 【 本章難點(diǎn) 】 對(duì)切比雪夫大數(shù)定理及獨(dú)立同分布的中心極限定理的理解。 【 學(xué)時(shí)分配 】 2 學(xué)時(shí) 【 授課內(nèi)容 】 5.1 大數(shù)定律 0.前言 在第一章我們提到過事件發(fā)生的頻率具有穩(wěn)定性，即隨著試驗(yàn)次數(shù)的增加，事件發(fā)生的頻率逐漸穩(wěn)定于某個(gè)常數(shù)，這一事實(shí)顯示了可以用一個(gè)數(shù)來表征事件發(fā)生的可能性大小，這使人們認(rèn)識(shí)到概率是客觀存在的，進(jìn)而由頻率的三條性質(zhì)的啟發(fā)和抽象給出了概率的定義，而頻率的穩(wěn)定性是概率定義的客觀基礎(chǔ)。在實(shí)踐中人們還認(rèn)識(shí)到大量測(cè)量值的算術(shù)平均值也具有穩(wěn)定性，而這種穩(wěn)定性就是本節(jié)所要討論的大數(shù)定律的客觀背景，而這些理論正是概率論的理論基礎(chǔ)。 下面介紹三個(gè)定理，它們分別反映了算術(shù)平均值及頻率的穩(wěn)定性。 一、切比 雪夫大數(shù)定律 遼寧石油化工大學(xué) 概率論與數(shù)理統(tǒng)計(jì)教案 2 事 件 的 頻 率 穩(wěn) 定 于 概 率 ， 能 否 有 pnlim nn ， 答 案 是 否 定 的 。 而 是 用)(0 npnP n 依概率收斂 來刻劃（弱）。或者用 1nnPpn a.e.收斂 來刻劃（強(qiáng)）。 1.定義： 設(shè) ,21 nXXX是一個(gè)隨機(jī)變量序列， a 是一個(gè)常數(shù)，若對(duì)于任意正數(shù) ，有 1lim aXP nn ， 則稱序列 ,21 nXXX依概率收斂于 a .記為 aX Pn . 2切比雪夫不等式 設(shè)隨機(jī)變量 具有有限的期望與方差，則對(duì) 0 ，有 2)()( DEP 或2)(1)( DEP 證明：我們就連續(xù)性隨機(jī)變量的情況來證明。設(shè) ( )px ，則有 22( ) ( )( ( ) )( ( ) ) ( ) ( )x E x ExEP E p x d x p x d x 2221 ( )( ( ) ) ( ) Dx E p x d x 該不等式表明：當(dāng) )(D 很小時(shí)， )( EP 也很小，即 的取值偏離 )(E 的可能性很小。這再次說明方差是描述 取值分散程度的一個(gè)量。 切比雪夫不等式常用來求在隨機(jī)變量分布未知，只知其期望 和方差的情況下，事件E 概率的下限估計(jì)；同時(shí)，在理論上切比雪夫不等式常作為其它定理證明的工具。 3定理 1（切比雪夫大數(shù)定律） 設(shè) n是相互獨(dú)立的隨機(jī)變量序列，每一隨機(jī)變量都有有限的方差，且一致有界，即存在常數(shù) C ，使 ,2,1)( iCDi，則對(duì)任意的 0 ，有 0111 1 )(EnnPlim nini iin即遼寧石油化工大學(xué) 概率論與數(shù)理統(tǒng)計(jì)教案 3 1111 ( ) ( )nnpiiiiEnnn 證明：由切比雪夫不等式知： ,0 有： )(0)1(1)(110 222221121 1 nn Cn nCnDnDEnnPniiniininiii 該定理表明：當(dāng) n 很大時(shí)，隨機(jī)變量n ,1 的算術(shù)平均值11 niin 接近于其數(shù)學(xué)期望11()niiE n ，這種接近是在概率意義下的接近。通俗的說，在定理的條件下， n 個(gè)相互獨(dú)立的隨機(jī)變量算術(shù)平均值，在 n 無限增加時(shí)將幾乎變成一個(gè)常數(shù)。 推 論 ： 設(shè)n ,1 是 相 互 獨(dú) 立 的 隨 機(jī) 變 量 ， 由 相 同 的 數(shù) 學(xué) 期 望 和 方 差,2,1)(,)( 2 iDE ii ，則 ,0 有 01lim1ni in nP （即 ni in 11 以概率收斂于 ） 這個(gè)結(jié)論有很實(shí)際的意義：人們?cè)谶M(jìn)行精密測(cè)量時(shí)，為了減少隨機(jī)誤差，往往重復(fù)測(cè)量多次，測(cè)得若干實(shí)測(cè)值n ,1 ，然后用其平均值 ni in 11 來代替 。 切比雪夫大數(shù)定律是最基本的大數(shù)定理，作為切比雪夫大數(shù)定律的特殊情形有 Bernoulli 大數(shù)定理和辛欽大數(shù)定律。 二、 Bernoulli 大數(shù)定律 定理 2：設(shè)n是 n 重 Bernoulli 試驗(yàn)中事件 A 出現(xiàn)的次數(shù)，而 )10( pp 是事件 A 在每次試驗(yàn)中出現(xiàn)的概率，則對(duì) 0 ， 0lim pnP nn 證明：令不出現(xiàn)次試驗(yàn)中第出現(xiàn)次試驗(yàn)中第AiAii 01 ， ni ,1,2, 遼寧石油化工大學(xué) 概率論與數(shù)理統(tǒng)計(jì)教案 4 則12, , , n 相互獨(dú)立且nn ni in 11 ， PE i )( ，11()niiEpn ，41)1()( PPD i，ni ,1,2, 故由切比雪夫大數(shù)定律立刻推出貝努里大數(shù)定律。 或者，直接由切比雪夫不等式，對(duì) 0 ，有 ni ini in nEnPPnP11110 0111 212 n)p(pnDni i )( n 即 Pnpn )( n 。故 i 服從大數(shù)定律。 Bernoulli 大數(shù)定律表表明：事件發(fā)生的頻率 nn依概率收斂于事件的概率 p ，這個(gè)定理以嚴(yán)格的數(shù)學(xué)形式表達(dá)了頻率的穩(wěn)定性。就是說當(dāng) n 很大時(shí) ，事件發(fā)生的頻率于概率有較大偏差的可能性很小。由實(shí)際推斷原理，在實(shí)際應(yīng)用中，當(dāng)試驗(yàn)次數(shù)很大時(shí)，便可以用事件發(fā)生的頻率來代替事件的概率。 切比雪夫大數(shù)定律（定理 1）中要求隨機(jī)變量12, , , ,n 的方差存在，但在這些隨機(jī)變量服從相同分布的場(chǎng)合，并不需要這一要求，從而我們有以下的定理： 三、辛欽大數(shù)定律 定理 3： 設(shè)隨機(jī)變量n ,1 獨(dú)立同分布，且具有數(shù)學(xué)期望 ( ) , 1 , 2 ,iEi，則 ,0 有 01lim1ni in nP （即 ni in 11 以概率收斂于 ） 證明：略。 顯然， Bernoulli 大數(shù)定律是辛欽大數(shù)定律的特殊情況。 遼寧石油化工大學(xué) 概率論與數(shù)理統(tǒng)計(jì)教案 5 5.2 中心極限定理 0.前言 在客觀實(shí)際中有許多隨機(jī)變量，它們是由大量的相互獨(dú)立的隨機(jī)因素的綜合影響所形成的，而其中每一個(gè)因素在總的影響中所起的作用都是微小的，這種隨機(jī)變量是近似地服從正態(tài)分布，這種現(xiàn)象就是中心極限定理的客觀背景。 中心極限定理的 內(nèi)容包含極限，因而稱它為極限定理是很自然的，又由于它在統(tǒng)計(jì)中的重要性，稱它為中心極限定理這是 Poyla 在 1920 年取得名字。 設(shè) n是相互獨(dú)立的隨機(jī)變量序列，它們的期望與方差均存在，考慮)()(111niiniiniinDE（標(biāo)準(zhǔn)化和） 2,1n ，這時(shí)對(duì)于任意的 n 都有 1,0 nn DE，因而當(dāng) n 時(shí)，n不至于發(fā)生趨向于 0 或 這種情形，這時(shí)討論它的分布才有意義。下面研究n的分布： 中心極限定理有多種不同的形式，下面我主要講 獨(dú)立同分布 的中心極限定理及其一特殊情形： 一、定理 1:(Levy-Lindeberg 極限定理 )獨(dú)立同分布的中心極限定理 設(shè) n是獨(dú)立同分布的隨機(jī)變量序列，且 2, ii DE（ 0 ）， ,2,1i ，均存在，則 Rx ，有 )(21lim 212xdtexnnPx tniin 證：（略） 該定理也可改寫為：對(duì) ba ，有 )()(lim 1 abbnnaPniin 遼寧石油化工大學(xué) 概率論與數(shù)理統(tǒng)計(jì)教案 6 在一般情況下，很難求出 n 個(gè)隨機(jī)變量之和1nii 的分布函數(shù)，該定理表明：當(dāng) n 充分大時(shí)，可以通過 ()x 給出其近似分布，這樣就可以利用正態(tài)分布對(duì)1nii 作理論分析或作實(shí)際計(jì)算，其好處是明顯的。 二、定理 2（ De Moivre-Laplace 極限定理） (定理 1 的特殊情形 ) 設(shè) ( 1 , 2 , )n n 是 n 重 Bernoulli 試驗(yàn)中成功的次數(shù)，已知每次試驗(yàn)成功的概率為 10 pp ，則對(duì) ,Rx 有 221l i m 2xnntnpP x d t xn p q e 。 該定理也可改寫為： ba ，有 l i m nn npP a b b an p q 證明： 令次試驗(yàn)不出現(xiàn)成功第次試驗(yàn)出現(xiàn)成功第iii 01 則 i 為獨(dú)立同分布的隨機(jī)變量序列 ,且 , (1 )iiE p D p p 均存在 顯然：1nnii ，此時(shí)nn npnpq 該定理為上定理的一個(gè)特殊情形，故由上定理該定理得證。 中心極限定理表明：在相當(dāng)一般的條件下，當(dāng)獨(dú)立隨機(jī)變量 的個(gè)數(shù)增加時(shí)，其和的分布趨于正態(tài)分布。因此，只要和式中加項(xiàng)的個(gè)數(shù)充分大，就可以不必考慮和式中的隨機(jī)變量服從什么分布，都可以用正態(tài)分布來近似，這在應(yīng)用上是有效的和重要的。 作為以上兩個(gè)定理的應(yīng)用，我們給出下面例子： 例 1：一加法器同時(shí)收到 20 個(gè)噪聲電壓 )20,2,1( kVk ，設(shè)它們是相互獨(dú)立的隨機(jī)變量，且都在區(qū)間（ 0， 10）上服從均勻分布。記 201k kVV ，求 )105( VP 的近似值。 解： )20,2,1(121 0 0)(,5)( kVDVEkk，由定理 1，得 )105( VP )20)1210(52010520)1210(520( VP 遼寧石油化工大學(xué) 概率論與數(shù)理統(tǒng)計(jì)教案 7 )3 8 7.020)1210(1 0 0( VP )3 8 7.020)1210(1 0 0(1 VP )387.0(1 348.0 即有 )105( VP 348.0 例 2:一船舶在某海區(qū)航行，已知每遭受一次波浪的沖擊，縱搖角大于 3 的概率為 31p ，若船舶遭受了 90000 次波浪沖擊，問其中有 3050029500 次縱搖角大于 3 的概率是多少？ 解：設(shè) 3 縱搖角大于A ，