北郵概率論與數(shù)理統(tǒng)計(jì)統(tǒng)計(jì)量及其分布

1、本文格式為Word版，下載可任意編輯 北郵概率論與數(shù)理統(tǒng)計(jì)統(tǒng)計(jì)量及其分布 6.3 統(tǒng)計(jì)量及抽樣分布 6.3.1 統(tǒng)計(jì)量 為研究一個問題而收集數(shù)據(jù)，數(shù)據(jù)就是樣本，樣本中含有總體的信息。要實(shí)施統(tǒng)計(jì)推斷，那么要依據(jù)樣本所供給的信息。樣本本身是一堆雜亂無章的數(shù)字，需要對這些數(shù)字舉行加工、整理把樣本中所含的信息集中起來以反映總體的各種特征，也就是要由樣本計(jì)算出一些量以用于統(tǒng)計(jì)推斷。這些量是樣本的函數(shù)而且完全由樣本所確定，在統(tǒng)計(jì)學(xué)中，把只要由樣本算出的量稱為統(tǒng)計(jì)量。因此有下面定義。 定 義 6.3.1 設(shè)nx x x ,., ,2 1為 取 自 某 總 體 的 樣 本 ， 若 樣 本 的 函 數(shù)) ,.,

2、 , (2 1 nx x x T T 中不含任何未知參數(shù)，那么稱 T 為統(tǒng)計(jì)量。 在此要強(qiáng)調(diào)一點(diǎn)：統(tǒng)計(jì)量只憑借于樣本，而不能與任何未知的量有關(guān)，更加地不能憑借于未名參數(shù)。換言之，統(tǒng)計(jì)量是能由樣本完全確定的量.在概括的統(tǒng)計(jì)問題中選用什么統(tǒng)計(jì)量，當(dāng)然要看問題的性質(zhì).一個好的統(tǒng)計(jì)量理應(yīng)能很好地集中與問題有關(guān)的信息. 例如: 樣本均值.設(shè)nX X X ,., ,2 1為來自某總體的樣本,那么樣本均值定義為 niiXnX11 若要對總體均值作推斷(估計(jì)、檢驗(yàn)),那么我們很自然地會想到樣本均值. 例如: 樣本方差.設(shè)nX X X ,., ,2 1為來自某總體的樣本,那么樣本方差定義為 212) (11X

3、XnSnii 若要對總體方差作推斷(估計(jì)、檢驗(yàn)),那么我們很自然地會想到樣本方差.在這里我們常說2S 的自由度為 1 n ,自由度這個名詞有如下兩種解釋: (1) 2S 是 n 個數(shù) X X 1, X X n 的平方和,而這 n 個數(shù)受到一個(也只有一個)約束: niiX X10 ) ( ,故只有 1 n 個自由度. (2) 若niiXnX11代入21) ( X Xnii中,并將其整理為二次型 AXX,那么 A 的秩為 1 n .自由度就定義為這個秩。 下面列舉一些常用的統(tǒng)計(jì)量： 樣本均值: niiXnX11, 樣本方差: 2111) X - X (- nSnii2 , 樣本標(biāo)準(zhǔn)差:2S S

4、樣本 k 階原點(diǎn)矩:niki kXnA11 樣本 k 階中心矩:niki k) X - (XnB11 樣本偏度 2 / 323 BBs 樣本峰度 3224 BBk 次序統(tǒng)計(jì)量:設(shè)有樣本nX , , X 1,按如下方式定義隨機(jī)變量) i (X ,當(dāng)有了樣本值nx , , x 1后,將樣本值從小到大排序?yàn)? n ( (2) )x x x 1 （,那么) i (X 的取值為) i (x ,稱i)X（為第 i 個次序統(tǒng)計(jì)量,稱 ) X X X (n) ) ( ) 2 ( 1, , , （為樣本nX , , X 1的次序統(tǒng)計(jì)量, ) x x x (n) ) ( ) 2 ( 1, , , （是 ) X X

5、 X (n) ) ( ) 2 ( 1, , , （的一次實(shí)現(xiàn).) (X1和) n (X 分別稱為微小和極大次序統(tǒng)計(jì)量. R) n (X) (X1 稱為樣本極差. 樣本分位數(shù):樣本 ) p p( 1 0 分位數(shù)定義為 是整數(shù)不是整數(shù)， ，）p , X21np) 1 ( (np1) np (n XXmnpp 樣本中位數(shù)為 是偶數(shù)是奇數(shù)， ，n XXmn, X21n) 12( )2n()21 n(5 . 0 注：樣本分位數(shù)的定義在不同的教材上可能會有所差異。 樣本閱歷分布函數(shù):對于任意的實(shí)數(shù) x , 2 1 # n , , , i , x X ) x ( Vi n ,即 ) x ( V x 表示樣本

6、nX , , X 1中小于或等于 x 的頻數(shù). 閱歷分布函數(shù)定義為 x ,n) x ( V) x ( Fnn. 對應(yīng)于樣本的二重性，統(tǒng)計(jì)量也有二重性.若樣本nX , , X 1是 n 個隨機(jī)變量,那么統(tǒng)計(jì)量 ) X , , X ( T Tn1 是隨機(jī)變量. 而對于概括的樣本值nx , , x 1, ) , , (1 nx x T 是一個概括的取值,稱此概括取值為統(tǒng)計(jì)量的查看值. 在統(tǒng)計(jì)分析和統(tǒng)計(jì)推斷中,統(tǒng)計(jì)量起著重要作用,對統(tǒng)計(jì)量的統(tǒng)計(jì)性質(zhì)的了解就很重要. 譬如計(jì)算統(tǒng)計(jì)量的特征數(shù)(譬如,期望、方差等),推導(dǎo)統(tǒng)計(jì)量的概率分布. 例如, 對于任意給定的實(shí)數(shù) x ,閱歷分布函數(shù)值 ) (x F n

7、是一個隨機(jī)變量,并且 ) (x nF n 按照二項(xiàng)分布 ) ( , ( x F n B ,其中 ) (x F 為總體分布函數(shù).對于概括的樣本查看值nx x , ,1 ,那么閱歷分布函數(shù) ) (x F n 的查看值 (閱歷分布函數(shù) ) (x F n 的查看值仍記為 ) (x F n )是一個階梯形的函數(shù)，例如，若樣本值nx x , ,1 兩兩不相等，其次序統(tǒng)計(jì)量為) ( ) 2 ( ) 1 (, , ,nx x x ，那么 . , 1, 1 , 2 , 1 , , 0,) () () 1 ( ) () 1 (nk k nx xn k x x xnkx xx F 例 6.3.1 設(shè)總體 X 的數(shù)學(xué)

8、期望為 ，方差為2 ，nX , , X 1為來自該總體的簡樸隨機(jī)樣本，2S , X 為樣本均值和樣本方差，那么 （1） ) X ( E （2）n) X ( Var2 （3）2 2 ) S ( E 證明：（1） niinii) X ( En) Xn( E ) X ( E1 11 1 （2） n) X ( Varn) Xn( Var ) X ( Varniinii21211 1 ； (3)由于 nii inii) X X X - X ( ) X - X (12 2122niiX n - X12 2,從而 nii) X - X ( ( E12) X ( nE - ) X ( Enii 12 2 2

9、21 - (n ) n / n( - ) ( n ） 2 2 2 所以 2 2 ) S ( E 例 6.3.2 設(shè)總體 X 的數(shù)學(xué)期望為 ，方差為2 ，nX , , X 1為來自該總體的簡樸隨機(jī)樣本， X 為樣本均值.求(1) ) j i )( X X , X X Cov(j i , (2) ) X X ( Vari 解:(1) j i 時 ) X , X ( Cov ) X , X ( Cov ) X , Cov(X ) X , Cov(X) X X , X X Cov(j i j ij i 2 2 2 21 1 1 10 n n n n (2) ) X X ( Vari211 )n( )

10、X X , X X ( Covi i . 或 ) X X ( Vari) X , X ( Cov ) X ( Var ) X Var(i i2 211 )n( 例 6.3.3 設(shè)nX , , X 1為來自總體 ) )( , ( U 0 0 的簡樸隨機(jī)樣本,) n (X 為極大次序統(tǒng)計(jì)量,求（1）) n (X 的概率密度函數(shù)；（2）) X ( E) n (, ) X ( Var) n (. 解: ) X , , X ( Max Xn ) n (1 的分布函數(shù)為 x , x ,x, x ,) x ( F x) FnnnM100 0（ 這里 ) x ( F 是分布 ) , ( U 0 的分布函數(shù),從

11、而可得) n (X 的概率密度函數(shù)為 其他（, x ,nxx) fn- nM001 所以 10 nndxnxx ) X ( En1 - n) n ( 2n1 - n2 2) n (2 nndxnxx ) X ( E 0 ) X ( Var) n (222 21 2 1 2 ) n )( n (n)nn( -nn . 例 6.3.4 設(shè)nX , , X 1為來自總體 X 的簡樸隨機(jī)樣本, X 的分布函數(shù)為 ) x ( F , ) x ( F n 為樣本的閱歷分布函數(shù),對于任意給定的實(shí)數(shù) x ,求(x) (F En, (x) F ( Varn. 解: 對于任意給定的實(shí)數(shù) x , ) x ( V n

12、 ) x ( F , n ( B ,從而 (x) (F EnF(x) ) x ( V ( Enn 1, (x) F ( Varnn) x ( F - )( x ( F) x ( V ( Varnn1 12 . 6.3.2 抽樣分布 樣本是隨機(jī)變量，有確定的概率分布。而統(tǒng)計(jì)量是樣本的已知函數(shù)，那么它是隨機(jī)變量，有其概率分布，這個分布稱為抽樣分布。 為特定的統(tǒng)計(jì)推斷問題而構(gòu)造特定統(tǒng)計(jì)量，由于統(tǒng)計(jì)量會受到隨機(jī)性的影響，因而推斷的結(jié)果也會有隨機(jī)性干擾.統(tǒng)計(jì)推斷方法的優(yōu)良性只能是從整體效果去考察，而整體效果取決于統(tǒng)計(jì)量的抽樣分布.因此研究統(tǒng)計(jì)量的抽樣分布就成為 統(tǒng)計(jì)推斷的一個重要問題. 例如, 若nX

13、X X ,., ,2 1為取自總體 ) , (2 N 的簡樸隨機(jī)樣本，用樣本均值niiXnX11估計(jì)總體均值 ，那么這個統(tǒng)計(jì)量的抽樣分布為 ) , (2nN ，從這個抽樣分布，我們可以知道樣本均值 X 是如何圍繞總體均值 而隨機(jī)波動的，假設(shè) 己知那么可以計(jì)算出 X 與 的偏差超過確定限度的機(jī)遇有多大，即概率) | (| X P 。 再比例, 若nX X X ,., ,2 1為取自總體 ) ( P 的簡樸隨機(jī)樣本，那么統(tǒng)計(jì)量niiX T1的抽樣分布為 ) ( n P 。如用樣本均值niiXnX11估計(jì)總體均值 ，那么樣本均值niiXnX11的抽樣分布抉擇了這個估計(jì)量的性能。 從原那么上講，統(tǒng)計(jì)量

14、的抽樣分布可由樣本分布定出，但在好多處境下，統(tǒng)計(jì)量的精確分布分外繁雜. 在統(tǒng)計(jì)量的精確分布難以確定或分外繁雜時，我們往往求助于統(tǒng)計(jì)量的近似分布. 例如, 假設(shè)nX X X ,., ,2 1為取自某總體的簡樸隨機(jī)樣本，總體的均值為 ，方差為2 。由中心極限定理知 / ) (X n 依分布收斂于 ) 1 , 0 ( N ，從而樣本均值niiXnX11在 n 很大時的近似分布為 ) , (2nN . 6.3.3 三大分布 好多統(tǒng)計(jì)推斷是基于正態(tài)模型（即基于總體為正態(tài)分布的假設(shè)），而對于來自正態(tài)總體的簡樸隨機(jī)樣本，一些常用統(tǒng)計(jì)量（樣本均值、樣本方差）的精確分布是可以推導(dǎo)出來的.這些分布涉及下面介紹的三

15、大分布. （一）2 分布 在第三章中，我們介紹過外形參數(shù)為2n，尺度參數(shù)為21的 Gamma分布 )21,2( n Ga 為自由度為 n 的2 分布. 若隨機(jī)變量nX X X ,., ,2 1獨(dú)立同分布于 ) 1 , 0 ( N ,那么2iX )21,21( Ga ,再由Gamma分布的可加性知 niiX12 )21,2( n Ga ,從而 niiX12按照自由度為 n的2 分布.因此也可以如下方式給出2 分布的定義. 定義 5.4.1 設(shè)nX X X ,., ,2 1為取自總體 ) 1 , 0 ( N 的簡樸隨機(jī)樣本,那么稱統(tǒng)計(jì)量 niiX12 2的分布為自由度為 n 的2 分布,記為2 )

16、 (2n . 由 Gamma 分布的概率密度的表達(dá)式,易知自由度為 n 的2 分布) (2n 的密度函數(shù)為 0 , e)2() 2 / 1 () ; (2122 x xnn x fx nn. 自由度為 n 的2 分布 ) (2n 的 分位數(shù)記為 ) (2n ,即 ) (2n 得志 ) ( 2n X P , 其中 X ) (2n ,分位數(shù) ) (2n 可從附表 3 中查到.譬如 31 . 18 ) 10 (205 . 0 . 由此定義,易得2 分布的兩條性質(zhì): (1) 若隨機(jī)變量 X ) (2n ,那么 n X Var n X E 2 ) ( , ) ( . (2) 若隨機(jī)變量 X ) (2n

17、, Y ) (2m ,且 X 與 Y 相互獨(dú)立,那么Y X ) (2m n . 例 6.3.5 設(shè)nX X X ,., ,2 1為取自總體 ) , (2 N 的簡樸隨機(jī)樣本,那么 iX ) , (2 N ( n i , , 2 , 1 ),從而 niiX122) (1 ) (2n .若 已知,那么可得統(tǒng)計(jì)量 niiX T12) ( 的密度函數(shù)為 0 , e)2() 2 / 1 () (221222 t tnt ft nn. (二) t 分布 定義 設(shè)隨機(jī)變量1X ) 1 , 0 ( N ,2X ) (2n ,且1X 與2X 相互獨(dú)立,那么稱n XXT/21 的分布為自由度為 n 的 t 分布,

18、記為 t ) (n t . 自由度為 n 的 t 分布 ) (n t 的密度函數(shù)為 , ) (1)2()21() ; (212nnxnnnn x f x . t 分布的密度函數(shù)是偶函數(shù),而且隨 | | x 的增大而裁減,因此其分布也有標(biāo)準(zhǔn)正態(tài)分布類似的特征:中間高,兩端低;左右對稱.而且有當(dāng)n 時, 分布 ) (n t 收斂于標(biāo)準(zhǔn)正態(tài)分布 ) 1 , 0 ( N . 自由度為 n 的 t 分布 ) (n t 的 分位數(shù)記為 ) (n t ,即 ) (n t 得志 ) ( ( n t t P , 其中 t ) (n t ,分位數(shù) ) (n t 可從附表4中查到.譬如 812 . 1 ) 10 (

19、05 . 0 t .由于 t分布的密度函數(shù)是偶函數(shù),故分位數(shù)有如下關(guān)系 ) (n t 0 ) (1 n t , 當(dāng)自由度較大(如 30 n )時, t 分布可用標(biāo)準(zhǔn)正態(tài)分布 ) 1 , 0 ( N 近似， t分布的分位數(shù)可用標(biāo)準(zhǔn)正態(tài)分布 ) 1 , 0 ( N 的分位數(shù)近似. t 分布的性質(zhì): (1) 1 n 時, 分布 ) (n t 的數(shù)學(xué)期望存在,且期望為 0. (2) 2 n 時, 分布 ) (n t 的方差存在,且方差為2 nn. (3) 若 t ) (n t ,那么2t ) , 1 ( n F . 例 6.3.6 設(shè)nX X X ,., ,2 1為取自總體 ) , 0 (2 N 的簡

20、樸隨機(jī)樣本,那么1221niin XX ) 1 ( n t . (三) F 分布 定義 設(shè)隨機(jī)變量1X ) (2m ,2X ) (2n ,且1X 與2X 相互獨(dú)立, 稱n Xm XF/21 的分布為自由度為 m 和 n 的 F 分布,記為 F ) , ( n m F . 自由度為 m 和 n 的 F 分布 ) , ( n m F 的密度函數(shù)為 0 , )nm(1)2( )2() / )(2() , ; (2122 x x xn mn mn mm n x fn m mm 自由度為 m 和 n 的 F 分布 ) , ( n m F 的 分位數(shù)記為 ) , ( n m F ,即 ) , ( n m

21、F 得志 ) , ( ( n m F F P , 其 中 F ) , ( n m F , 分 位 數(shù) ) , ( n m F 可 從 附 表 5 中 查 到 . 比 如74 . 4 ) 5 , 10 (05 . 0 F . 由此定義,易得 F 分布的性質(zhì): (1) 若隨機(jī)變量 F ) , ( n m F ,那么F1 ) , ( m n F . (2) ) , (1) , (1m n Fn m F . 例 6.3.7 設(shè)nX X X ,., ,2 1為取自總體 ) , (2 N 的簡樸隨機(jī)樣本,那么) ) ( /( ) ( ) (1212 nk iikiiX k X k n ) , ( k n

22、k F . 例 6.3.8 設(shè)mX X X ,., ,2 1為取自總體 ) , (21 1 N 的簡樸隨機(jī)樣本, 設(shè)nY Y Y ,., ,2 1為取自總體 ) , (22 2 N 的簡樸隨機(jī)樣本,且兩樣本獨(dú)立,那么 niimiiY mX n1222212121/ ) (/ ) ( ) , ( n m F . 6.3.4 正態(tài)總體的抽樣分布 在正態(tài)總體下,樣本均值和樣本方差等常用統(tǒng)計(jì)量的精確分布是可以導(dǎo)出的.下面給出其結(jié)果. 定理 6.3.1 設(shè)nX , , X 1為來自總體 ) , N(2 的簡樸隨機(jī)樣本，2S , X為樣本均值和樣本方差，那么 （1） X /n) , N(2 ， （2）22

23、1S ) - n （212nii) X - X ( ) - n ( 12 ， （3）2S , X 相互獨(dú)立. 對于結(jié)論（1），利用正態(tài)分布的性質(zhì)易得，下面給出結(jié)論（2），（3）的證明. 證明：記 X ) , , (1nX X L ，那么 X ) , 1 (2nI N ，其中 ) 1 ,., 1 , 1 ( 1 ，nI 為 n階單位矩陣。 取一個 n 階正交矩陣 A ， A 的第一行的每個元素均為n1。 令 AX Y Y Y Yn ) ,., , (2 1， 由多維正態(tài)分布的性質(zhì)知 Y ) , 1 (2A A A N 由于 A 為正交矩陣，且 A 的第一行的每個元素均為n1，故 ) 0 ,.,

24、0 , ( 1 n A ，nI A A ， X X Y Y 所以 X n Y 1 ) , (2 n N ，iY n i N ,., 3 , 2 ), , 0 (2 ， 并且nY Y Y ,., ,2 1相互獨(dú)立。 從而有 niiY2221 ) 1 (2 n ，且1Y 與niiY2221獨(dú)立。 又21) ( X Xnii 212X n Xnii 2112Y Ynii niiY22， 所以11YnX 與niiYnS22 211獨(dú)立，并且 221S ) - n （212nii) X - X (niiY2221 ) - n ( 12 。 推論：設(shè)nX , , X 1為來自總體 ) , N(2 的簡樸隨機(jī)樣本，2S , X 分別為樣本均值和樣本方差，那么 n SX/ ) - n ( t 1 . 證明：由定理知 X /n) , N(2 ， 221S ) - n （212nii) X - X ( ) - n ( 12 ， 并且兩者獨(dú)立，從而 ) 1 () 1 (/22 nS nnX ) 1 - (n t 即n S/- X ) - n ( t 1 在數(shù)理統(tǒng)計(jì)中，經(jīng)常會遇到兩獨(dú)立樣本的對比問題.在正態(tài)模型下常需對兩正態(tài)總體的均值、方差作對比，此時一般可通過對樣本均值的對比、樣本方差的對比得出結(jié)論.這就需要知道樣本均值之差、樣本方差之比的抽樣分布