(論文)概率統(tǒng)計的課件第四章

1、第四章 參數(shù)估計與假設(shè)檢驗,第4.1節(jié) 數(shù)理統(tǒng)計基礎(chǔ)與抽樣分布,第4.2節(jié) 點估計,第4.3節(jié) 區(qū)間估計,第4.4節(jié) 假設(shè)檢驗,4.1 數(shù)理統(tǒng)計基礎(chǔ)與抽樣分布,一、總體、個體與樣本 在數(shù)理統(tǒng)計中，我們把被研究對象的全體稱為總體，總體中的每個元素叫做個體。例如：在 研究某燈泡廠生產(chǎn)的燈泡質(zhì)量時，該廠生產(chǎn)的燈泡全體構(gòu)成的一個總體，其中每只燈泡都是個體,在實際問題中，人們主要關(guān)心的往往是研究對象的某個（或某些）數(shù)量指標及其在總體中的分布情況. 如研究燈泡的質(zhì)量時，關(guān)注的是燈泡的使用壽命這一指標。由于每個個體都有一個（或多個）數(shù)量指標值，那么，所有個體的這些指標值就形成一個集合，該集合包含了研究指標在

2、總體中的所有可能取值 數(shù)理統(tǒng)計中，我們關(guān)心的并不是每個個體的具體指標特征，而關(guān)心的正是象某廠燈泡壽命、要研,究總體的指標，就要進行試驗或觀察 由于預(yù)先不知道觀察到的是哪個個體，因而觀察到的相應(yīng)指標值也就不能預(yù)先確定，完全是隨機的，這樣，總體的指標就是一個隨機變量，其分布完全描述了指標在總體中的分布狀況 于是，在數(shù)理統(tǒng)計中就把總體定義為服從某一分布的隨機變量X（數(shù)量指標），其概率分布稱為總體的分布，而每個個體對應(yīng)隨機變量X一個具體觀察值,定義1 設(shè) 為取自總體X容量為 n的樣本，如果 相互獨立，且每一個都是與總體X有相同分布的隨機變量，則稱 為取自總體X的簡單隨機樣本，簡稱樣本,二、統(tǒng)計量與樣本

3、矩,定義2 設(shè) 為取自總體X的樣本，若 的實值函數(shù) 中不含任何未知參數(shù)，則稱 為統(tǒng)計量。統(tǒng)計量的觀測值稱為統(tǒng)計值,例1 設(shè) 為取自總體X的一個樣本，則,都是統(tǒng)計量,不是統(tǒng)計量，因為它包含有未知參數(shù),定義3 設(shè) 是取自總體X的一個樣本， 稱統(tǒng)計量,為樣本的k階原點矩。顯見樣本的算術(shù)平均,便是樣本的一階矩U1，簡稱為樣本均值。稱,為樣本的k階中心矩。且記樣本的二階中心矩 為,樣本均值 反映了樣本的平均水平。 對于樣本 的一次觀測值 ， 則,是樣本均值的一次觀測值,我們稱下面的統(tǒng)計量為樣本方差,樣本方差反映了樣本與樣本均值的平均程度。 樣本方差的算術(shù)平方根稱為樣本標準差。 顯然,三、正態(tài)總體下的常用

4、統(tǒng)計量的 分布（抽樣分布,統(tǒng)計量是隨機變量，在研究數(shù)理統(tǒng)計問題時，往往需要討論所研究的統(tǒng)計量的分布，它對統(tǒng)計方法的應(yīng)用起著舉足輕重的作用，通常稱統(tǒng)計量的分布為抽樣分布。在實際問題中用正態(tài)隨機變量來刻劃的隨機現(xiàn)象比較普遍，因此，在下面的討論中，總是假定總體服從正態(tài)分布,定理1 若 是取自正態(tài)總體 的樣本，則有,例2 設(shè)總體 ，為使樣本均值大于70,的概率不小于90%，則樣本容量n至少應(yīng)取何值,解 由題設(shè)有 ： ，即,定理2 若樣本 和 分別,來自兩個相互獨立的正態(tài)總體 和 ， 分別是X、Y的樣本方差，則,4.2 點估計,隨機樣本,估計量作為樣本的函數(shù)是隨機變量其觀測值,如果隨機變量X的分布函數(shù),

5、中含有k個不同的未知參數(shù)，則要由樣本,建立k個統(tǒng)計量作為這k個未知參數(shù)的估計量,本節(jié)介紹兩種常用的構(gòu)造估計量的方法： 矩估計法和極大似然法,一、矩估計法,設(shè)總體X具有已知類型的分布函數(shù) 其中 為k個未知參數(shù)， 是取自總體X的樣本，總體X的r階原點矩（r=1,2,k）存在，并且 （r=1,2,k）是 的函數(shù)， 我們令,若上述方程組有一組解,則未知參數(shù) 的矩估計量為 矩估計的基本思想是“替換”，即用 本原點矩替換相應(yīng)的總體原點矩,例1 求總體X的數(shù)學期望 與方差 的矩估計量,解 設(shè)是 取自總體X的樣本，總體X具有 期望 和方差 ,令 從中解得EX、DX的矩估計量 分別為,例2 設(shè)總體X 分布密度為

6、,其中 ,又 是取自總體X的容 量為n的樣本,試用矩法估計未知參數(shù) 。 解 總體數(shù)學期望 為 由矩估計法，令,期望,從中解得 的矩估計量,例3 設(shè)總體X服從二項分布 ，其中m和p,都是未知參數(shù)， 為來自總體X的 樣本，試求p的矩估計量。 解： 由于 令 解得,二、極大似然估計,矩估計不涉及總體的分布類型，而實際問題中總體的分布類型常常是已知的，這正是估計總體參數(shù)的一個有用信息在估計參數(shù)時，我們應(yīng)充分利用這些信息，以下給出在總體分布類型已知時的極大似然估計。 1. 最大似然估計法的基本思想,極大似然估計法是由費歇（RAFisher,引進的，其直觀想法是：若一個隨機試驗有若干個可能的結(jié)果如果在某一

7、次試驗后出現(xiàn)了結(jié)果，則一般認為試驗條件對“結(jié)果出現(xiàn)”有利，即這個試驗中“出現(xiàn)”的概率應(yīng)最大。 例如假設(shè)一個罐中放著許多白球和黑球，已知兩種球的數(shù)目之比是1：3，但不知哪種顏色的球多。我們采用有放回抽樣方式從罐中任意抽取3個球，發(fā)現(xiàn)是2個黑球和1個白球。我們知道,從罐中取出3個球，黑球個數(shù)X的概率分布為,其中： 現(xiàn)在要估計p的值。由假設(shè)p僅可能取 ， 為此就 為參數(shù)值計算其概率列表如下,由于樣本來自總體，因而樣本應(yīng)很好地反映總體的概率分布特征,因此，在對總體的分布函數(shù)的特征數(shù)p作估計 時，應(yīng)該從樣本所得的觀察值考慮。顯然， 于是使得 的樣本是來自 的總體的可能性比 來自 的可能性更大，我們認為

8、是合理的。 這就是所謂極大似然估計的基本思想,2.最大似然估計的基本步驟,1）總體分布為離散的情形 若X為離散型總體，其樣本 取得觀測值 的概率 記為 ，則稱 為樣本觀測值 的似然函數(shù)。 在 的所有可能取值范圍內(nèi)挑選使似然,函數(shù) 達到最大值的一組參數(shù)值,即若有 使得下式成立： 則稱 為 的極大似然估計值 。 對似然函數(shù)取對數(shù)得,由于lnx是x的單調(diào)上升函數(shù)，因而lnL與,L有相同的極大值點，由似然方程 解得 ，則 為 的極大似 然估計值,2) 總體分布為連續(xù)的情形,若總體X的密度函數(shù)為 ，其中 是未知參數(shù)， 為取自總體X 的樣本， 是樣本一次觀測值，則稱 為樣本觀測值 的似然函數(shù)。若有 使得下

9、式成立,則稱 為 的極大似然估計值,兩端取對數(shù)，得 由似然方程 解得 ，則 為 的極大似然估計 值,例4 設(shè) 是取自服從0-1分布總體的,樣本，求未知參數(shù)p的極大似然估計值。 解： 設(shè) 是樣本 的一次觀測值，則 所以似然函數(shù)為,則,令 得 解之得 的極大似然估計值 為,例5 設(shè) 是正態(tài)總體 的一個樣本,求 的極大似然估計量。 解： 似然函數(shù)為,因而,令它們都等于零，并 用替代 解得： 則 分別為 的極大似然估計量,三、估計量的評選標準,對于同一個未知參數(shù)，可以有許多不同的估 計量。面對眾多的估計量，究竟選用哪一個為好 呢？衡量估計量好壞的標準是什么呢？為此，我們 引入衡量估計量優(yōu)劣的下列三條評

10、選標準,1無偏性,設(shè) 為未知參數(shù) 的估計量， 若： 則稱 為參數(shù) 的無偏估計量。 記 稱 為估計量 的偏差。若 ，則稱 為 的有偏估計量,無偏估計量的直觀含義是：估計量 的數(shù)學,期望與參數(shù) 的真值相同。 例6 設(shè)總體 的數(shù)學期望與方差分別為 和 ， 證明：樣本方差 總是總體方差 的無偏估計量。 證明：因為,所以,即,但是，若用樣本二階中心矩 作為 的估計,量，由于 所以樣本二階中心矩 是有偏估計量。因此，一般 總是取樣本方差 作為的估計量 。 當 時，不一定有 ，其中 為 的實值函數(shù)，也就是說，當 為 的無偏 估計量時， 不一定是 的無偏估計量,例7 設(shè) ，若 ，則,解 因為 所以,2有效性,

11、若 和 均是未知參數(shù) 的兩個不同的無偏估計量，那末這兩個估計量中取哪一個好呢？自然是方差較小的那個估計量較好，因為一個無偏估計量的方差越小，這個估計量就越接近于 的真值,設(shè) 與 是未知參數(shù) 的兩個無偏估計量,若 則稱 較 有效。 例8 設(shè)樣本為 ，又 是 常數(shù)，且 ，證明：在對總體均值 所有的無偏估計量 中，樣本均值,的方差最小,證明： 因為 于是問題歸結(jié)為,由條件極值原理知，當 時,取得最小值，從而方差 最小。 于是在所有的無偏估計量 中，樣本 均值 的方差最小，即 最有 效,3一致性,在無偏估計和有效估計中，我們是對固定的樣本容量n而言的，現(xiàn)在讓n取遍自然數(shù)，我們希望當 n越大時，對 的估

12、計越精確，因此引進衡量估計量好壞的第三個標準：一致性。 設(shè) 為未知參數(shù) 的估計量，若 依概率收斂于 ，即對任給的,總有,則稱 為 的一致估計量。 例9 設(shè)樣本 取自于具有有限數(shù)學期望 和方差 的總體，則有： 樣本均值 是 的一致估計量； 樣本方差 及樣本二階中心矩 都是 的一致估計量,解 (1) 對任給的 ，由大數(shù)定律知道,即當n無限增大時，樣本均值 是總體均值的一致估計量。 (2) 我們僅對正態(tài)總體給出證明。由,且,故由契貝曉夫不等式知，對任給的 ，有： 所以 再由 知,故 與 均是 的一致估計量,此結(jié)論對一般總體也成立,4.3 區(qū)間估計,一置信區(qū)間概念 對于未知參數(shù) ，除了得到它的點估計

13、外，我們還希望估計出一個范圍，并希望知道 這個范圍包含參數(shù)真值 的可信程度這樣的范圍通常以區(qū)間的形式給出，而可信程度由概率給出這種估計稱為區(qū)間估計或置信區(qū)間，以下先給出置信區(qū)間概念,定義4.1 設(shè) 為總體X的一個未知參數(shù)， 是預(yù)先給定一個數(shù)， ， 是 兩個估計量，如果 則稱隨機區(qū)間 為未知參數(shù) 的一個置信度為 的置信區(qū)間(Confidence Interval)置信度也常稱為置信水平(confidence level)或置信系數(shù)(confidence coefficient)通常 取0.05，0.01，0.10，視具體需要而定,二求區(qū)間估計的一般方法,首先根據(jù)樣本尋找一個隨機變量（樞軸變量）

14、，使其分布完全已知 對給定的置信度 ，由T的分布確定兩個常數(shù)C1，C2使 將事件 表示為 則 即 的置信度為 的置信區(qū)間為,三 正態(tài)總體均值的區(qū)間估計,鑒于實際問題中最常見的參數(shù)估計問題多數(shù)是要求估計總體的均值和方差，且正態(tài)總體又是實際問題中最常遇到的總體，因此，以下著重討論正態(tài)總體均值和方差的區(qū)間估計 總體XN ， 是未知參數(shù)，現(xiàn)在 我們分兩種情形討論的區(qū)間估計問題 從該總體X中抽取隨機樣本 ，并以作為=EX的點估計，服從正態(tài)分布,已知情形下的置信區(qū)間 若 是已知參數(shù)，這時可選取樞軸變量 N（0，1） 則對給定的置信度 ， 存在 ，使 這里 是標準正態(tài)分布的 -上側(cè)分位數(shù)，得,所以的置信度為

15、 的置信區(qū)間是 其長度為,2 為未知情形下，的置信區(qū)間,若 是未知參數(shù)，則以 的無偏估計 代替 ，這時由于樞軸變量 所以對給定的置信度 ，存在 使 這里 的是自由度為n-1的t分布的 -上側(cè)分位數(shù)，得,因此有 所以的置信度為 的置信區(qū)間是 其長度為 需要說明的是：置信區(qū)間公式中的 ， ，在實際問題中都是具體觀測值，計算時應(yīng)是,設(shè)總體X服從正態(tài)分布 ，其中 和 都是未知參數(shù)，從總體中抽取一個樣本 ，求總體方差 或標準差 的區(qū)間估計,四正態(tài)總體方差的區(qū)間估計,五兩個正態(tài)總體均值差 的置信區(qū)間 設(shè)總體 ，總體 ，兩總體相互獨立現(xiàn)從兩總體中各取一個容量分別為n1和n2 的樣本，并記兩個樣本的均值、方差

16、分別為 和,六.兩個正態(tài)總體方差比的置信區(qū)間,我們僅討論總體均值1，2為未知的情況 由前面結(jié)論知 F (n1-1，n2-1,并且分布 F (n1-1，n2-1)不依賴于任何未知參數(shù)，由此得 ， 即 于是得 的一個置信度為 的置信區(qū)間,4.4 假設(shè)檢驗,眾所周知,總體 的全部信息可以通過其分布函數(shù) 反映出來,但實際上,參數(shù) 往往未知,有時甚至 的表達式也未知.因此需要根據(jù)實際問題的需要,對總體參數(shù)或分布函數(shù)的表達式做出某種假設(shè)(稱為統(tǒng)計假設(shè)),再利用從總體中獲得的樣本信息來對所作假設(shè)的真?zhèn)巫龀雠袛嗷蜻M行檢驗,1. 問題的提法,統(tǒng)計檢驗(假設(shè)檢驗,這種利用樣本檢驗統(tǒng)計假設(shè)真?zhèn)蔚倪^程叫做,2. 假設(shè)

17、檢驗的基本思想,1)小概率原理(實際推斷原理)認為概率很小的事件在一次試驗中實際上不會出現(xiàn),并且小概率事件在一次試驗中出現(xiàn)了,就被認為是不合理的,2)基本思想:先對總體的參數(shù)或分布函數(shù)的表達式做出某種假設(shè),然后找出一個在假設(shè)成立條件下出現(xiàn)可能性甚小的(條件)小概率事件.如果試驗或抽樣的結(jié)果使該小概率事件出現(xiàn)了,這與小概率原理相違背,表明原來的假設(shè)有問題,應(yīng)予以否定,即拒絕這個假設(shè).若該小概率事件在一次試驗或抽樣中并未出現(xiàn),就沒有理由否定這個假設(shè),表明試驗或抽樣結(jié)果支持這個假設(shè),這時稱假設(shè)與實驗結(jié)果是相容的,或者說可以接受原來的假設(shè),另一方面,當原假設(shè)不成立時,卻作出接受原假設(shè)的結(jié) 論,造成犯“

18、取偽”的錯誤,稱為第二類錯誤,3. 假設(shè)檢驗的兩類錯誤,在假設(shè)檢驗中,否定原假設(shè)的理由是小概率事件在一次試驗中出現(xiàn)了,但小概率事件并不是不會出現(xiàn),只是出現(xiàn)的可能性較小,即出現(xiàn)的概率不超過很小的正數(shù),就是犯第一類錯誤的概率的最大允許值,一般用 表示犯第二類錯誤的概率,因此,根據(jù)小概率原理否定原假設(shè),有可能把本來客觀 上正確的假設(shè)否定了,造成犯“棄真”的錯誤,稱為第一 類錯誤,在進行假設(shè)檢驗時,我們采取的原則是: 控制犯第一類錯誤(即 事先給定且很小)的同時使犯第二類錯誤的概率達到最小,當樣本容量 一定時, 小, 就大,反之, 小, 就大,另外,一般,即使 碰巧出現(xiàn),也決不能把“犯第一類錯誤” 和“犯第二類錯誤”理解為相互對立的事件,3. 假設(shè)檢驗的兩類錯誤,棄真 充偽,小概率原理中,關(guān)于“小概率”的值通常根據(jù) 實際 問題的要求而定,如取=0.1,0.05,0.01等, 為檢驗的顯著性水平(檢驗水平,4. 顯著性水平與否定域,在假設(shè)檢驗過程中,使得小概率事件出現(xiàn)的統(tǒng)計量的取值范圍稱為該假設(shè)檢驗的否定域(拒絕域), 否定域的邊界稱為該假設(shè)檢驗的臨界值,5. 假設(shè)檢驗的一般步驟,第一步 提出待檢驗的原假設(shè) 和對立假設(shè),第二步 選擇檢驗統(tǒng)計量,并找出在假設(shè) 成立條件下,該統(tǒng)計量所服從的概率分布,第三步 根據(jù)所要求的