數(shù)理統(tǒng)計大數(shù)定律和中心極限定理

1、-1-第 五 講一、大數(shù)定律二、隨機變量的收斂性三、中心極限定理-2-一 大數(shù)定律 要解決的問題 為何能以某事件發(fā)生的頻率 作為該事件的 概率的估計？為何能以樣本均值作為總體 期望的估計？為何正態(tài)分布在概率論中占 有極其重要的地位？大樣本統(tǒng)計推斷的理論基礎(chǔ) 是什么？答復(fù)大數(shù)定律中心極限定理-3-設(shè)為一隨機變量, 其數(shù)學(xué)期望和方差都存在，則對于任意有1) 切比雪夫不等式2) A.L.CauchySchwarz不等式. 準(zhǔn)備工作-4-設(shè)事件 在每次試驗中出現(xiàn)的概率為 p, 在n次重復(fù)獨立試驗中出現(xiàn)的頻率為 且貝努里（Bernoulli） 大數(shù)定律證 引入 r.v. 序列Xk設(shè)則-5-記由 Cheb

2、yshev 不等式相互獨立，-6-故-7-在概率的統(tǒng)計定義中, 事件 A 發(fā)生的頻率 “ 穩(wěn)定于”事件 A 在一次試驗中發(fā)生的概率是指：頻率與 p 有較大偏差是小概率事件, 因而在 n 足夠大時, 可以用頻率近似代替 p . 這種穩(wěn)定稱為依概率穩(wěn)定.貝努里(Bernoulli)大數(shù)定律的意義-8- 大數(shù)定律設(shè) r.v. 序列或則有是常數(shù)序列，則稱服從大數(shù)定律-9-Chebyshev 大數(shù)定律則有或兩兩不相關(guān)的隨機變量,又設(shè)-10-兩兩不相關(guān),且方差有界，則可得到-11-辛欽大數(shù)定律 為一列相互獨立同分布的隨機變量，且具有相同的數(shù)學(xué)期望 設(shè)在定理一中,去掉方差存在的條件而加上相同分布的條件，則有

3、：注相互獨立的條件可以去掉，代之以（Markov） 大數(shù)定律-12-如果對于任意的 有，二隨機變量的收斂性定義1存在常數(shù) 使得對于任意的 有設(shè)為一列隨機變量，如果 記為 則稱依概率收斂于 定義2設(shè)為一列隨機變量,X是隨機變量記為 則稱 依概率收斂于 -13-定義:設(shè) 是一列分布函數(shù),如果對F(x)每個連續(xù)點x，都有則稱分布函數(shù)列弱收斂于分布函數(shù)F(x) ，記為定義：如果則稱依分布收斂于X，記為-14-可以證明：（）若則，（）設(shè)C為常數(shù)，則充分性：F(x)是X=C的分布函數(shù)，即-15-：r階收斂定義：設(shè)對隨機變量Xn及X，r0為常數(shù)，如果且，則稱r階收斂于X,記作特別：階收斂為平均收斂，階為均方

4、收斂-16-：以概率收斂定義：若存在一隨機變量X,使我們稱隨機序列 以概率為收斂于X,或說幾乎處處收斂于X，并記為四種收斂關(guān)系：以概率收斂或r-階收斂 依概率收斂依分布收斂-17-中心極限定理討論：隨機變量序列對應(yīng)的分布函數(shù)序列收斂于標(biāo)準(zhǔn)正態(tài)分布函數(shù)的定理三、 中心極限定理-18-的隨機變量，且具有數(shù)學(xué)期望和方差， 定理1（獨立同分布的中心極限定理）任意實數(shù) 有其中為標(biāo)準(zhǔn)正態(tài)分布的分布函數(shù)。 設(shè)為一列相互獨立相同分布則對于-19-若一隨機變量可以表示成數(shù)量很多的相互獨立相同分布的隨機變量的和，則該隨機變量可近似服從正態(tài)分布，標(biāo)準(zhǔn)化后就服從標(biāo)準(zhǔn)正態(tài)分布。近似近似服從-20-對任意 有，-21-中

5、心極限定理的意義前面講過有許多隨機現(xiàn)象服從正態(tài)分布若聯(lián)系于此隨機現(xiàn)象的隨機變量為X ，則是由于許多彼此沒有什么相依關(guān)系、對隨機現(xiàn)象誰也不能起突出影響，而均勻地起到微小作用的隨機因素共同作用(即這些因素的疊加)的它可被看成為許多相互獨立的起微小作用的因素Xk的總和 ，而這個總和服從或近似服從正態(tài)分布.結(jié)果.-22-對此現(xiàn)象還可舉個有趣的例子高爾頓釘板試驗 加以說明.03 釘子層數(shù)-23-表示某一個小球在第k次碰了釘子后向左或向右落下這一隨機現(xiàn)象聯(lián)系的隨機變量，滿足中心極限定理條件，獨立投入個小球，-24-有其中為標(biāo)準(zhǔn)正態(tài)分布的分布函數(shù)。這個定理表明，二項分布的極限分布是正態(tài)分布項分布的概率。很大

6、時，我們便可以利用定理 2 來近似計算二當(dāng)定理 2 （德莫佛拉普拉斯）則對于任意實數(shù)設(shè)-25-對任意 有，-26- 某單位有200臺電話分機，每臺分機有5%的時間要使用外線通話。假定每臺分機是否使用外線是相互獨立的，問該單位總機要安裝多少條外線，才能以90%以上的概率保證分機用外線時不等待？解：設(shè)有X部分機同時使用外線，則有設(shè)有N 條外線。由題意有例-27-由德莫佛-拉普拉斯定理有查表得故N應(yīng)滿足條件 即 -28- 對隨機現(xiàn)象進(jìn)行觀測、試驗， 以取得有代表性的觀測值 對已取得的觀測值進(jìn)行整理、 分析,作出推斷、決策,從而 找出所研究的對象的規(guī)律性數(shù)理統(tǒng)計的分類描述統(tǒng)計學(xué)推斷統(tǒng)計學(xué)第2章 數(shù)理統(tǒng)

7、計的基本概念-29-參數(shù)估計 (第3章) 假設(shè)檢驗 (第4章) 推斷 統(tǒng)計學(xué)回歸分析 (第6章) 方差分析 (第5章) -30-總體 研究對象全體元素組成的集合 所研究的對象的某個(或某些)數(shù)量指標(biāo)的全體,它是一個隨機變量(或多維隨機變量).記為X . X 的分布函數(shù)和數(shù)字特征稱為總體的分布函數(shù)和數(shù)字特征.總體和樣本 2.1 基本概念-31-樣本 從總體中抽取的部分個體.稱 為總體 X 的一個容量為n的樣本觀測值,或稱樣本的一個實現(xiàn).用 表示, n 為樣本容量.樣本空間 樣本所有可能取值的集合. 個體 組成總體的每一個元素 即總體的每個數(shù)量指標(biāo),可看作隨機變量 X 的某個取值.用 表示.-32

8、-則稱 為簡單隨機樣本.若總體 X 的樣本 滿足:(1) 與X 有相同的分布(2) 相互獨立簡單隨機樣本它可以用與總體獨立同分布的n個相互獨立的隨機變量X1,X2,Xn表示。 若總體的分布函數(shù)為F(x)，則其簡單隨機樣本的聯(lián)合分布函數(shù)為F(x1) F(x2) F(xn) -33-設(shè) 是取自總體X 的一個樣本,為一實值連續(xù)函數(shù), 且不含有未知參數(shù),則稱隨機變量為統(tǒng)計量.若是一個樣本值,稱的一個樣本值為統(tǒng)計量定義統(tǒng)計量-34-例 是未知參數(shù), 若 , 已知,則為統(tǒng)計量是一樣本,是統(tǒng)計量, 其中則但不是統(tǒng)計量.-35-常用的統(tǒng)計量為樣本均值為修正樣本方差為修正樣本標(biāo)準(zhǔn)差設(shè)是來自總體 X 的容量為 n

9、 的樣本,稱統(tǒng)計量-36-為樣本的k 階原點矩為樣本的k 階中心矩例如-37-注 樣本方差 與樣本二階中心矩 的不同關(guān)系式1）-38-常見統(tǒng)計量的性質(zhì)：-39-2）-40-順序統(tǒng)計量與極差設(shè)為樣本,為樣本值,且當(dāng)取值為時,定義 r.v.則稱統(tǒng)計量為順序統(tǒng)計量.其中,稱為極差-41-1）樣本的經(jīng)驗分布函數(shù)樣本值 樣本值小于x的個數(shù)，作 樣本的經(jīng)驗分布函數(shù)非降，左連續(xù)；-42-若子樣為n維r.v，那么對于每一樣本值就可作一個經(jīng)驗分布函數(shù)，故是隨機變量-n次獨立重復(fù)試驗中，事件發(fā)生的頻率。由大數(shù)定律，-43-這就是我們可以由樣本推斷總體的基本理論依據(jù).格列汶科進(jìn)一步證明了：當(dāng)n時，F(xiàn)n(x)以概率1

10、關(guān)于x一致收斂于F(x)，即這就是著名的格列汶科定理. 定理告訴我們，當(dāng)樣本容量足夠大時，對所有的x, Fn(x)與F(x)之差的絕對值都很小，這件事發(fā)生的概率為1. -44-直方圖離散型表示在n次試驗中出現(xiàn)的次數(shù)，設(shè)為n次獨立重復(fù)樣本則-45-定義函數(shù)：當(dāng)稱為在區(qū)間a,b)的圖形為a,b)的頻率直方圖(1) 標(biāo)準(zhǔn)正態(tài)分布X的上（下） (0 1)分位點七數(shù)理統(tǒng)計中幾個常用的分布記為 設(shè)相互獨立,都服從正態(tài)分布N (0,1), 則稱隨機變量：所服從的分布為自由度為n的分布.分布的密度函數(shù)為其中伽瑪函數(shù)相互獨立, 都服從正態(tài)分布則且 X1，X2 相這個性質(zhì)叫 分布的可加性.(1) 設(shè)(2) 設(shè)互獨

11、立，則性質(zhì) 對于給定的正數(shù)稱滿足條件為分位點.分布的上的點 分布的分位點分位點.分布的下記為 Tt (n).服從自由度為 n 的 t 分布.(3) t 分布設(shè)XN(0,1) ,Y則稱變量, 且X與Y相互獨立，當(dāng) n 充分大時，其圖形類似于標(biāo)準(zhǔn)正態(tài)分布密度函數(shù)的圖形。 t 分布的密度函數(shù)關(guān)于x = 0 對稱性質(zhì)t 分布的分位點對于給定的正數(shù)稱滿足條件為分位點。分布的上的點(4)F 分布的F分布，n1稱為第一自由度，設(shè)X與Y相互獨立，則稱統(tǒng)計量服從自由度為稱為第二自由度，記作由定義可得性質(zhì)F 分布的分位點對于給定的正數(shù)稱滿足條件為分布的的點上 分位點分位點.分布的下對于給定的正數(shù)稱滿足條件分布的的點下 分位點為同理例 總體 為X的樣本，求 的分布。解-58-.抽樣分布定理：則為兩隨機向量，且-59-60-特別：若相互獨立且服從那么也是正態(tài)隨機變量若為正交矩陣，那么：隨機變量也是相互獨立且均值為的正態(tài)隨機變量-61-幾個重要的抽樣分布定理取自正態(tài)總體的樣本, 則有 定理 1 (樣本均值的分布)設(shè)X1 , X2 , , Xn 是-62-定理2. (樣本方差的分布)設(shè) X1 , X2 , , Xn 是取自正態(tài)總體樣本 ,分別為樣本均值和修正樣本方差則有