統(tǒng)計基礎二大數(shù)定律與中心極限定理

1、中心極限定理中心極限定理-1大數(shù)定律與中心極限定理大數(shù)定律與中心極限定理 中心極限定理中心極限定理-2獨立同分布大數(shù)定律：設隨機變量X1,X2,X3,Xn, 相互獨立，且具有相同的方差和期望：E(Xk)=,D(Xk)=2（k1，2，3，），作前n個隨機變量的算術平均則對任意小的正數(shù)，有nkkXnX111limXPn 該定律表明，當該定律表明，當n n足夠大時，獨立同分布的一系列隨機變量的算術平足夠大時，獨立同分布的一系列隨機變量的算術平均數(shù)接近（以概率收斂于）數(shù)學期望，即平均數(shù)具有穩(wěn)定性。從而提供了均數(shù)接近（以概率收斂于）數(shù)學期望，即平均數(shù)具有穩(wěn)定性。從而提供了用樣本平均數(shù)估計總體平均數(shù)的理論

2、依據(jù)。用樣本平均數(shù)估計總體平均數(shù)的理論依據(jù)。大數(shù)定律大數(shù)定律是闡述大量隨機變量的平均結果具有穩(wěn)定性的一系列定律的總稱。是闡述大量隨機變量的平均結果具有穩(wěn)定性的一系列定律的總稱。中心極限定理中心極限定理-3貝努利大數(shù)定律 設A在n重貝努利試驗中發(fā)生 次，p=P(A)，則對任何 0，有An. 1)(limpnnPAn說明：貝努利大數(shù)定律是說，當n很大時，故可用事件發(fā)生的頻率近似代替事件發(fā)生的概率。，1)( pnnPA例1 設總體X服從參數(shù)為2的指數(shù)分布， 為 來自總體X的簡單隨機樣本，則當n時， 依概率收斂于 。nXXX，21niinXnY121中心極限定理中心極限定理-4定義定義q 中心極限定理

3、中心極限定理是闡述大量隨機變量之和的極限分布是正態(tài)分布的一系是闡述大量隨機變量之和的極限分布是正態(tài)分布的一系列定理的總稱。最常用的有：列定理的總稱。最常用的有：q 獨立同分布中心極限定理獨立同分布中心極限定理： “隨機變量隨機變量x1，x2，獨立，且服從同一分布，獨立，且服從同一分布， 若存在有限的數(shù)學期望若存在有限的數(shù)學期望E(xi)=u和方差和方差D(xi)=2， 當當n時，隨機變量的總和時，隨機變量的總和xi趨于均值為趨于均值為nu，方差為，方差為n 2的正態(tài)分布。的正態(tài)分布。 （即算術平均數(shù)（即算術平均數(shù)1/n xi=xbar趨于均值為趨于均值為u，方差為，方差為2/n的正態(tài)分布）的正

4、態(tài)分布）” 不論總體服從何種分布，只要它的數(shù)學期望和方差存在，不論總體服從何種分布，只要它的數(shù)學期望和方差存在， 從中抽取容量為從中抽取容量為n的樣本，則這個樣本的總和或平均數(shù)是隨機變量，的樣本，則這個樣本的總和或平均數(shù)是隨機變量， 當當n充分大時，充分大時， xi或或 xbar趨于正態(tài)分布。趨于正態(tài)分布。中心極限定理中心極限定理-5定義定義q 德莫佛德莫佛-拉普拉斯中心極限定理拉普拉斯中心極限定理： “如果用如果用X表示表示n次獨立試驗中事件次獨立試驗中事件A發(fā)生發(fā)生(“成功成功”)的次數(shù)，的次數(shù)，P是事件是事件A在每在每次試驗中發(fā)生的概率次試驗中發(fā)生的概率,則則X服從二項分布服從二項分布,

5、B(n,p), 當當n時，時，X趨于均值為趨于均值為np，方差為，方差為npq的正態(tài)分布。的正態(tài)分布。 ” 正態(tài)分布和泊松分布都是二項分布的極限分布，正態(tài)分布和泊松分布都是二項分布的極限分布， 當當n足夠大時，足夠大時， 可用正態(tài)分布近似計算可用正態(tài)分布近似計算; 當當n足夠大且足夠大且p小時小時,可用泊松分布近似計算?？捎貌此煞植冀朴嬎?。q 中心極限定理是一種十分重要的現(xiàn)象中心極限定理是一種十分重要的現(xiàn)象,它是統(tǒng)計學中應用的許多方法它是統(tǒng)計學中應用的許多方法的理論基礎的組成部分的理論基礎的組成部分(如如:計算樣本均值的置信區(qū)間計算樣本均值的置信區(qū)間) 中心極限定理中心極限定理-6利用同樣的

6、數(shù)據(jù)畫出兩種不同的控制圖利用同樣的數(shù)據(jù)畫出兩種不同的控制圖,并仔細比較它們的差異并仔細比較它們的差異: 打開文件打開文件CENLIMIT.MTW .分別用下面的兩個路徑畫出個體圖和子群大小為分別用下面的兩個路徑畫出個體圖和子群大小為5的均值圖的均值圖 個體圖路徑個體圖路徑 均值圖路徑均值圖路徑中心極限定理中心極限定理-7圖形輸出圖形輸出樣本平均樣本平均 仔細比較兩個圖上的控制上下線仔細比較兩個圖上的控制上下線(UCL和和LCL),有什么不同有什么不同?ObservationIndividual Value1361211069176614631161100908070605040_X=68.28

7、UCL=96.59LCL=39.97I Chart of OutputSampleSample Mean28252219161310741807570656055_X=68.28UCL=80.70LCL=55.861Xbar Chart of Output中心極限定理中心極限定理-8個體控制圖和個體控制圖和 X barX bar控制圖的差異控制圖的差異UCLX3LCLX3UCLnX3LCLnX315100102030405060中心極限定理中心極限定理-9E平均值分布的標準偏差叫做平均值分布的標準偏差叫做 E這個公式表明平均值比個體數(shù)據(jù)更穩(wěn)定，穩(wěn)定因子是樣本數(shù)的平這個公式表明平均值比個體數(shù)據(jù)更

8、穩(wěn)定，穩(wěn)定因子是樣本數(shù)的平方根。方根。xxn x 均值標準誤差均值標準誤差個體值的標準差個體值的標準差n =平均值的樣本數(shù)平均值的樣本數(shù)x均值的標準誤差（Standard Error of the Mean）其中其中中心極限定理中心極限定理-10MS meanMSn() 我們經(jīng)常依靠從測量系統(tǒng)中得到的一個數(shù)值來估計我們經(jīng)常依靠從測量系統(tǒng)中得到的一個數(shù)值來估計輸入輸入或或輸輸出出變量的值變量的值。減小測量系統(tǒng)誤差的簡易方法就是把兩個或更多的。減小測量系統(tǒng)誤差的簡易方法就是把兩個或更多的讀數(shù)平均。讀數(shù)平均。 我們的測量系統(tǒng)的精密度自動增加，增加因子是平均值樣本我們的測量系統(tǒng)的精密度自動增加，增加因

9、子是平均值樣本數(shù)的平方根數(shù)的平方根, ,如果我們要想使測量系統(tǒng)的誤差減小一半，我們就如果我們要想使測量系統(tǒng)的誤差減小一半，我們就需要把需要把4 4次的測量值平均才可以。次的測量值平均才可以。實際應用實際應用測量系統(tǒng)的改善測量系統(tǒng)的改善中心極限定理中心極限定理-11l當總體數(shù)據(jù)具備正態(tài)分布時當總體數(shù)據(jù)具備正態(tài)分布時中心極限定理理解例題模擬中心極限定理理解例題模擬-1l 假設你面前有一個大桶假設你面前有一個大桶, ,桶里面裝有相當多數(shù)量的白色紙條桶里面裝有相當多數(shù)量的白色紙條, ,每張紙條上都寫每張紙條上都寫 有數(shù)字，且假定這些數(shù)字都來自一個具有特定平均值和標準偏差的正態(tài)分布有數(shù)字，且假定這些數(shù)字

10、都來自一個具有特定平均值和標準偏差的正態(tài)分布. . 1)1)從中隨機抽出從中隨機抽出9 9張白色紙條張白色紙條, ,并把其上面的并把其上面的9 9個數(shù)字求平均個數(shù)字求平均, , 2)2)然后把這個平均值寫在一張綠色紙條上然后把這個平均值寫在一張綠色紙條上, , 3)3)把這把這9 9張白色紙條放回原來的桶里張白色紙條放回原來的桶里, , 4)4)把這張綠色紙條放入另外一個桶里把這張綠色紙條放入另外一個桶里, , 如此重復上面的步驟，直到盛有綠色紙條的桶放滿為止。如此重復上面的步驟，直到盛有綠色紙條的桶放滿為止。l白色紙條代表總體的數(shù)據(jù)；白色紙條代表總體的數(shù)據(jù)；l綠色紙條代表平均值的樣本；綠色紙

11、條代表平均值的樣本；l我們用我們用MINITABMINITAB來模擬做這個練習。來模擬做這個練習。中心極限定理中心極限定理-12:讓我們用讓我們用MINITABMINITAB產(chǎn)生一些模擬的數(shù)據(jù)來驗證我們的理論。產(chǎn)生一些模擬的數(shù)據(jù)來驗證我們的理論。:首先用首先用MINITABMINITAB產(chǎn)生產(chǎn)生9 9列各列各250250個數(shù)據(jù)，假設這些數(shù)據(jù)來自一個個數(shù)據(jù)，假設這些數(shù)據(jù)來自一個 平均值平均值=70=70、標準偏差標準偏差=9=9的正態(tài)分布的正態(tài)分布: :則列則列C1-C9 C1-C9 代表白色紙條代表白色紙條:然后求出各行然后求出各行9 9個數(shù)據(jù)的平均值，其結果放在列個數(shù)據(jù)的平均值，其結果放在列

12、C10C10，則，則:C10C10代表綠色紙條。代表綠色紙條。:我們用描述統(tǒng)計的方法求出各列數(shù)據(jù)的平均和標準偏差。我們用描述統(tǒng)計的方法求出各列數(shù)據(jù)的平均和標準偏差。:仔細比較仔細比較C1-C9C1-C9列與列與C10C10列有什么差別？列有什么差別？ 例題例題1 1 中心極限定理應用模擬中心極限定理應用模擬中心極限定理中心極限定理-131、用、用MINITAB隨機產(chǎn)生樣本數(shù)據(jù)隨機產(chǎn)生樣本數(shù)據(jù)分別輸入下列信息分別輸入下列信息中心極限定理中心極限定理-142、樣本平均數(shù)計算、樣本平均數(shù)計算中心極限定理中心極限定理-153、輸出：產(chǎn)生、輸出：產(chǎn)生10列數(shù)據(jù)列數(shù)據(jù)注意：每次每個人操作產(chǎn)生的數(shù)據(jù)都不一樣

13、注意：每次每個人操作產(chǎn)生的數(shù)據(jù)都不一樣中心極限定理中心極限定理-164 4、描述統(tǒng)計路徑、描述統(tǒng)計路徑中心極限定理中心極限定理-175 5、描述統(tǒng)計結果比較、描述統(tǒng)計結果比較Variable N Mean SE Mean TrMean StDev MedianC1 250 69.218 0.592 69.116 9.364 68.803C2 250 69.649 0.573 69.610 9.059 69.204C3 250 70.354 0.548 70.290 8.672 69.870C4 250 71.108 0.577 71.120 9.125 70.722C5 250 70.398

14、0.542 70.402 8.574 70.105C6 250 70.650 0.534 70.772 8.442 70.483C7 250 70.161 0.551 70.293 8.713 70.216C8 250 70.377 0.550 70.238 8.698 70.397C9 250 69.872 0.580 69.925 9.173 70.145C10 250 70.199 0.187 70.187 2.955 70.29xxxn99933中心極限定理中心極限定理-185 5、描述統(tǒng)計結果比較（續(xù)）、描述統(tǒng)計結果比較（續(xù)）Variable N Mean SE Mean TrMea

15、n StDev MedianC1 250 69.218 0.592 69.116 9.364 68.803C2 250 69.649 0.573 69.610 9.059 69.204C3 250 70.354 0.548 70.290 8.672 69.870C4 250 71.108 0.577 71.120 9.125 70.722C5 250 70.398 0.542 70.402 8.574 70.105C6 250 70.650 0.534 70.772 8.442 70.483C7 250 70.161 0.551 70.293 8.713 70.216C8 250 70.377

16、 0.550 70.238 8.698 70.397C9 250 69.872 0.580 69.925 9.173 70.145C10 250 70.199 0.187 70.187 2.955 70.29現(xiàn)在開始比較。現(xiàn)在開始比較。中心極限定理中心極限定理-19C9Frequency90.082.575.067.560.052.545.037.535302520151050Mean69.87StDev 9.173N250Histogram (with Norm al Curve) of C9C10Frequency787572696663403020100Mean70.20StDev2.9

17、55N250Histogram (with Normal Curve) of C10l樣本的散布樣本的散布( (C C9)9)和樣本平均的散布和樣本平均的散布( (C10)C10)進行比較。進行比較。散布散布減少了很多減少了很多. = = 9.173 = = 2.9556 6、直方圖直方圖結果比較結果比較中心極限定理中心極限定理-20l用點圖比較頻度數(shù)用點圖比較頻度數(shù)則則能夠更明確的了解能夠更明確的了解散布散布。Data88807264564840C9C10Dotplot of C9, C10Each symbol represents up to 2 observations.7 7、點圖點

18、圖結果比較結果比較中心極限定理中心極限定理-21F樣本平均值分布的樣本平均值分布的平均值平均值和總體的平均值十分接近和總體的平均值十分接近;F樣本平均值分布的樣本平均值分布的標準偏差標準偏差等于總體的標準偏差除以等于總體的標準偏差除以樣本數(shù)的平方根樣本數(shù)的平方根;F樣本平均值的分布十分接近正態(tài)分布。樣本平均值的分布十分接近正態(tài)分布。8 8、結論結論中心極限定理中心極限定理-22q 當總體數(shù)據(jù)是非正態(tài)分布時，若從中隨機抽樣當總體數(shù)據(jù)是非正態(tài)分布時，若從中隨機抽樣n n個并計算其平均，個并計算其平均， 同樣如此反復若干次，然后比較這些平均的散布與這些個體值的同樣如此反復若干次，然后比較這些平均的散

19、布與這些個體值的 散布，你會發(fā)現(xiàn)，當散布，你會發(fā)現(xiàn)，當n n時，時，x-barx-bar的散布也具有正態(tài)分布。的散布也具有正態(tài)分布。q 為了驗證為了驗證, ,我們在非正態(tài)分布中隨機選擇一個偏移較大的分布我們在非正態(tài)分布中隨機選擇一個偏移較大的分布- - “Chi-SquareChi-Square分布分布”，求其，求其x-barx-bar來體會一下中心極限定理。來體會一下中心極限定理。 l當總體數(shù)據(jù)不具備正態(tài)分布時當總體數(shù)據(jù)不具備正態(tài)分布時中心極限定理理解例題模擬中心極限定理理解例題模擬-2中心極限定理中心極限定理-231 1、用、用Chi-SquareChi-Square分布隨機產(chǎn)生分布隨機產(chǎn)

20、生9 9列，每列各有列，每列各有250250個數(shù)據(jù)個數(shù)據(jù)中心極限定理中心極限定理-24C911.29.68.06.44.83.21.60.0D o tplo t o f C 92 2、用產(chǎn)生的數(shù)據(jù)進行、用產(chǎn)生的數(shù)據(jù)進行點圖點圖描繪和描繪和正態(tài)檢驗正態(tài)檢驗 在這里看到，這是一個很偏移的分布，在這里看到，這是一個很偏移的分布，我們用它來驗證中心極限定理我們用它來驗證中心極限定理C9Percent12.510.07.55.02.50.0-2.5-5.099.99995908070605040302010510.1Mean0.0051.929StDev2.085N250AD14.539P-ValueP

21、robability Plot of C9Normal 中心極限定理中心極限定理-25xxxn20920367.C10 項是對項是對 C1C9 的平均值的數(shù)據(jù)統(tǒng)計，的平均值的數(shù)據(jù)統(tǒng)計，同樣同樣樣樣本本大小為大小為 9，其散布明顯變得小多了。其散布明顯變得小多了。Variable N Mean SE Mean TrMean StDev MedianC1 250 2.041 0.137 1.765 2.163 1.287C2 250 2.055 0.135 1.798 2.134 1.475C3 250 1.861 0.119 1.644 1.874 1.291C4 250 1.966 0.122 1.731 1.930 1.406C5 250 1.953 0.111 1.791 1.749 1.339C6 250 1.966 0.128 1.717 2.026 1.220C7 250 1.842 0.118 1.640 1.869 1.357C8 250 2.024 0.120 1.843 1.899 1.534C9 250 1.