(論文)概率統(tǒng)計(jì)的課件第四章

1、第四章 參數(shù)估計(jì)與假設(shè)檢驗(yàn),第4.1節(jié) 數(shù)理統(tǒng)計(jì)基礎(chǔ)與抽樣分布,第4.2節(jié) 點(diǎn)估計(jì),第4.3節(jié) 區(qū)間估計(jì),第4.4節(jié) 假設(shè)檢驗(yàn),4.1 數(shù)理統(tǒng)計(jì)基礎(chǔ)與抽樣分布,一、總體、個(gè)體與樣本 在數(shù)理統(tǒng)計(jì)中，我們把被研究對(duì)象的全體稱(chēng)為總體，總體中的每個(gè)元素叫做個(gè)體。例如：在 研究某燈泡廠生產(chǎn)的燈泡質(zhì)量時(shí)，該廠生產(chǎn)的燈泡全體構(gòu)成的一個(gè)總體，其中每只燈泡都是個(gè)體,在實(shí)際問(wèn)題中，人們主要關(guān)心的往往是研究對(duì)象的某個(gè)（或某些）數(shù)量指標(biāo)及其在總體中的分布情況. 如研究燈泡的質(zhì)量時(shí)，關(guān)注的是燈泡的使用壽命這一指標(biāo)。由于每個(gè)個(gè)體都有一個(gè)（或多個(gè)）數(shù)量指標(biāo)值，那么，所有個(gè)體的這些指標(biāo)值就形成一個(gè)集合，該集合包含了研究指標(biāo)在

2、總體中的所有可能取值 數(shù)理統(tǒng)計(jì)中，我們關(guān)心的并不是每個(gè)個(gè)體的具體指標(biāo)特征，而關(guān)心的正是象某廠燈泡壽命、要研,究總體的指標(biāo)，就要進(jìn)行試驗(yàn)或觀察 由于預(yù)先不知道觀察到的是哪個(gè)個(gè)體，因而觀察到的相應(yīng)指標(biāo)值也就不能預(yù)先確定，完全是隨機(jī)的，這樣，總體的指標(biāo)就是一個(gè)隨機(jī)變量，其分布完全描述了指標(biāo)在總體中的分布狀況 于是，在數(shù)理統(tǒng)計(jì)中就把總體定義為服從某一分布的隨機(jī)變量X（數(shù)量指標(biāo)），其概率分布稱(chēng)為總體的分布，而每個(gè)個(gè)體對(duì)應(yīng)隨機(jī)變量X一個(gè)具體觀察值,定義1 設(shè) 為取自總體X容量為 n的樣本，如果 相互獨(dú)立，且每一個(gè)都是與總體X有相同分布的隨機(jī)變量，則稱(chēng) 為取自總體X的簡(jiǎn)單隨機(jī)樣本，簡(jiǎn)稱(chēng)樣本,二、統(tǒng)計(jì)量與樣本

3、矩,定義2 設(shè) 為取自總體X的樣本，若 的實(shí)值函數(shù) 中不含任何未知參數(shù)，則稱(chēng) 為統(tǒng)計(jì)量。統(tǒng)計(jì)量的觀測(cè)值稱(chēng)為統(tǒng)計(jì)值,例1 設(shè) 為取自總體X的一個(gè)樣本，則,都是統(tǒng)計(jì)量,不是統(tǒng)計(jì)量，因?yàn)樗形粗獏?shù),定義3 設(shè) 是取自總體X的一個(gè)樣本， 稱(chēng)統(tǒng)計(jì)量,為樣本的k階原點(diǎn)矩。顯見(jiàn)樣本的算術(shù)平均,便是樣本的一階矩U1，簡(jiǎn)稱(chēng)為樣本均值。稱(chēng),為樣本的k階中心矩。且記樣本的二階中心矩 為,樣本均值 反映了樣本的平均水平。 對(duì)于樣本 的一次觀測(cè)值 ， 則,是樣本均值的一次觀測(cè)值,我們稱(chēng)下面的統(tǒng)計(jì)量為樣本方差,樣本方差反映了樣本與樣本均值的平均程度。 樣本方差的算術(shù)平方根稱(chēng)為樣本標(biāo)準(zhǔn)差。 顯然,三、正態(tài)總體下的常用

4、統(tǒng)計(jì)量的 分布（抽樣分布,統(tǒng)計(jì)量是隨機(jī)變量，在研究數(shù)理統(tǒng)計(jì)問(wèn)題時(shí)，往往需要討論所研究的統(tǒng)計(jì)量的分布，它對(duì)統(tǒng)計(jì)方法的應(yīng)用起著舉足輕重的作用，通常稱(chēng)統(tǒng)計(jì)量的分布為抽樣分布。在實(shí)際問(wèn)題中用正態(tài)隨機(jī)變量來(lái)刻劃的隨機(jī)現(xiàn)象比較普遍，因此，在下面的討論中，總是假定總體服從正態(tài)分布,定理1 若 是取自正態(tài)總體 的樣本，則有,例2 設(shè)總體 ，為使樣本均值大于70,的概率不小于90%，則樣本容量n至少應(yīng)取何值,解 由題設(shè)有 ： ，即,定理2 若樣本 和 分別,來(lái)自兩個(gè)相互獨(dú)立的正態(tài)總體 和 ， 分別是X、Y的樣本方差，則,4.2 點(diǎn)估計(jì),隨機(jī)樣本,估計(jì)量作為樣本的函數(shù)是隨機(jī)變量其觀測(cè)值,如果隨機(jī)變量X的分布函數(shù),

5、中含有k個(gè)不同的未知參數(shù)，則要由樣本,建立k個(gè)統(tǒng)計(jì)量作為這k個(gè)未知參數(shù)的估計(jì)量,本節(jié)介紹兩種常用的構(gòu)造估計(jì)量的方法： 矩估計(jì)法和極大似然法,一、矩估計(jì)法,設(shè)總體X具有已知類(lèi)型的分布函數(shù) 其中 為k個(gè)未知參數(shù)， 是取自總體X的樣本，總體X的r階原點(diǎn)矩（r=1,2,k）存在，并且 （r=1,2,k）是 的函數(shù)， 我們令,若上述方程組有一組解,則未知參數(shù) 的矩估計(jì)量為 矩估計(jì)的基本思想是“替換”，即用 本原點(diǎn)矩替換相應(yīng)的總體原點(diǎn)矩,例1 求總體X的數(shù)學(xué)期望 與方差 的矩估計(jì)量,解 設(shè)是 取自總體X的樣本，總體X具有 期望 和方差 ,令 從中解得EX、DX的矩估計(jì)量 分別為,例2 設(shè)總體X 分布密度為

6、,其中 ,又 是取自總體X的容 量為n的樣本,試用矩法估計(jì)未知參數(shù) 。 解 總體數(shù)學(xué)期望 為 由矩估計(jì)法，令,期望,從中解得 的矩估計(jì)量,例3 設(shè)總體X服從二項(xiàng)分布 ，其中m和p,都是未知參數(shù)， 為來(lái)自總體X的 樣本，試求p的矩估計(jì)量。 解： 由于 令 解得,二、極大似然估計(jì),矩估計(jì)不涉及總體的分布類(lèi)型，而實(shí)際問(wèn)題中總體的分布類(lèi)型常常是已知的，這正是估計(jì)總體參數(shù)的一個(gè)有用信息在估計(jì)參數(shù)時(shí)，我們應(yīng)充分利用這些信息，以下給出在總體分布類(lèi)型已知時(shí)的極大似然估計(jì)。 1. 最大似然估計(jì)法的基本思想,極大似然估計(jì)法是由費(fèi)歇（RAFisher,引進(jìn)的，其直觀想法是：若一個(gè)隨機(jī)試驗(yàn)有若干個(gè)可能的結(jié)果如果在某一

7、次試驗(yàn)后出現(xiàn)了結(jié)果，則一般認(rèn)為試驗(yàn)條件對(duì)“結(jié)果出現(xiàn)”有利，即這個(gè)試驗(yàn)中“出現(xiàn)”的概率應(yīng)最大。 例如假設(shè)一個(gè)罐中放著許多白球和黑球，已知兩種球的數(shù)目之比是1：3，但不知哪種顏色的球多。我們采用有放回抽樣方式從罐中任意抽取3個(gè)球，發(fā)現(xiàn)是2個(gè)黑球和1個(gè)白球。我們知道,從罐中取出3個(gè)球，黑球個(gè)數(shù)X的概率分布為,其中： 現(xiàn)在要估計(jì)p的值。由假設(shè)p僅可能取 ， 為此就 為參數(shù)值計(jì)算其概率列表如下,由于樣本來(lái)自總體，因而樣本應(yīng)很好地反映總體的概率分布特征,因此，在對(duì)總體的分布函數(shù)的特征數(shù)p作估計(jì) 時(shí)，應(yīng)該從樣本所得的觀察值考慮。顯然， 于是使得 的樣本是來(lái)自 的總體的可能性比 來(lái)自 的可能性更大，我們認(rèn)為

8、是合理的。 這就是所謂極大似然估計(jì)的基本思想,2.最大似然估計(jì)的基本步驟,1）總體分布為離散的情形 若X為離散型總體，其樣本 取得觀測(cè)值 的概率 記為 ，則稱(chēng) 為樣本觀測(cè)值 的似然函數(shù)。 在 的所有可能取值范圍內(nèi)挑選使似然,函數(shù) 達(dá)到最大值的一組參數(shù)值,即若有 使得下式成立： 則稱(chēng) 為 的極大似然估計(jì)值 。 對(duì)似然函數(shù)取對(duì)數(shù)得,由于lnx是x的單調(diào)上升函數(shù)，因而lnL與,L有相同的極大值點(diǎn)，由似然方程 解得 ，則 為 的極大似 然估計(jì)值,2) 總體分布為連續(xù)的情形,若總體X的密度函數(shù)為 ，其中 是未知參數(shù)， 為取自總體X 的樣本， 是樣本一次觀測(cè)值，則稱(chēng) 為樣本觀測(cè)值 的似然函數(shù)。若有 使得下

9、式成立,則稱(chēng) 為 的極大似然估計(jì)值,兩端取對(duì)數(shù)，得 由似然方程 解得 ，則 為 的極大似然估計(jì) 值,例4 設(shè) 是取自服從0-1分布總體的,樣本，求未知參數(shù)p的極大似然估計(jì)值。 解： 設(shè) 是樣本 的一次觀測(cè)值，則 所以似然函數(shù)為,則,令 得 解之得 的極大似然估計(jì)值 為,例5 設(shè) 是正態(tài)總體 的一個(gè)樣本,求 的極大似然估計(jì)量。 解： 似然函數(shù)為,因而,令它們都等于零，并 用替代 解得： 則 分別為 的極大似然估計(jì)量,三、估計(jì)量的評(píng)選標(biāo)準(zhǔn),對(duì)于同一個(gè)未知參數(shù)，可以有許多不同的估 計(jì)量。面對(duì)眾多的估計(jì)量，究竟選用哪一個(gè)為好 呢？衡量估計(jì)量好壞的標(biāo)準(zhǔn)是什么呢？為此，我們 引入衡量估計(jì)量?jī)?yōu)劣的下列三條評(píng)

10、選標(biāo)準(zhǔn),1無(wú)偏性,設(shè) 為未知參數(shù) 的估計(jì)量， 若： 則稱(chēng) 為參數(shù) 的無(wú)偏估計(jì)量。 記 稱(chēng) 為估計(jì)量 的偏差。若 ，則稱(chēng) 為 的有偏估計(jì)量,無(wú)偏估計(jì)量的直觀含義是：估計(jì)量 的數(shù)學(xué),期望與參數(shù) 的真值相同。 例6 設(shè)總體 的數(shù)學(xué)期望與方差分別為 和 ， 證明：樣本方差 總是總體方差 的無(wú)偏估計(jì)量。 證明：因?yàn)?所以,即,但是，若用樣本二階中心矩 作為 的估計(jì),量，由于 所以樣本二階中心矩 是有偏估計(jì)量。因此，一般 總是取樣本方差 作為的估計(jì)量 。 當(dāng) 時(shí)，不一定有 ，其中 為 的實(shí)值函數(shù)，也就是說(shuō)，當(dāng) 為 的無(wú)偏 估計(jì)量時(shí)， 不一定是 的無(wú)偏估計(jì)量,例7 設(shè) ，若 ，則,解 因?yàn)?所以,2有效性,

11、若 和 均是未知參數(shù) 的兩個(gè)不同的無(wú)偏估計(jì)量，那末這兩個(gè)估計(jì)量中取哪一個(gè)好呢？自然是方差較小的那個(gè)估計(jì)量較好，因?yàn)橐粋€(gè)無(wú)偏估計(jì)量的方差越小，這個(gè)估計(jì)量就越接近于 的真值,設(shè) 與 是未知參數(shù) 的兩個(gè)無(wú)偏估計(jì)量,若 則稱(chēng) 較 有效。 例8 設(shè)樣本為 ，又 是 常數(shù)，且 ，證明：在對(duì)總體均值 所有的無(wú)偏估計(jì)量 中，樣本均值,的方差最小,證明： 因?yàn)?于是問(wèn)題歸結(jié)為,由條件極值原理知，當(dāng) 時(shí),取得最小值，從而方差 最小。 于是在所有的無(wú)偏估計(jì)量 中，樣本 均值 的方差最小，即 最有 效,3一致性,在無(wú)偏估計(jì)和有效估計(jì)中，我們是對(duì)固定的樣本容量n而言的，現(xiàn)在讓n取遍自然數(shù)，我們希望當(dāng) n越大時(shí)，對(duì) 的估

12、計(jì)越精確，因此引進(jìn)衡量估計(jì)量好壞的第三個(gè)標(biāo)準(zhǔn)：一致性。 設(shè) 為未知參數(shù) 的估計(jì)量，若 依概率收斂于 ，即對(duì)任給的,總有,則稱(chēng) 為 的一致估計(jì)量。 例9 設(shè)樣本 取自于具有有限數(shù)學(xué)期望 和方差 的總體，則有： 樣本均值 是 的一致估計(jì)量； 樣本方差 及樣本二階中心矩 都是 的一致估計(jì)量,解 (1) 對(duì)任給的 ，由大數(shù)定律知道,即當(dāng)n無(wú)限增大時(shí)，樣本均值 是總體均值的一致估計(jì)量。 (2) 我們僅對(duì)正態(tài)總體給出證明。由,且,故由契貝曉夫不等式知，對(duì)任給的 ，有： 所以 再由 知,故 與 均是 的一致估計(jì)量,此結(jié)論對(duì)一般總體也成立,4.3 區(qū)間估計(jì),一置信區(qū)間概念 對(duì)于未知參數(shù) ，除了得到它的點(diǎn)估計(jì)

13、外，我們還希望估計(jì)出一個(gè)范圍，并希望知道 這個(gè)范圍包含參數(shù)真值 的可信程度這樣的范圍通常以區(qū)間的形式給出，而可信程度由概率給出這種估計(jì)稱(chēng)為區(qū)間估計(jì)或置信區(qū)間，以下先給出置信區(qū)間概念,定義4.1 設(shè) 為總體X的一個(gè)未知參數(shù)， 是預(yù)先給定一個(gè)數(shù)， ， 是 兩個(gè)估計(jì)量，如果 則稱(chēng)隨機(jī)區(qū)間 為未知參數(shù) 的一個(gè)置信度為 的置信區(qū)間(Confidence Interval)置信度也常稱(chēng)為置信水平(confidence level)或置信系數(shù)(confidence coefficient)通常 取0.05，0.01，0.10，視具體需要而定,二求區(qū)間估計(jì)的一般方法,首先根據(jù)樣本尋找一個(gè)隨機(jī)變量（樞軸變量）

14、，使其分布完全已知 對(duì)給定的置信度 ，由T的分布確定兩個(gè)常數(shù)C1，C2使 將事件 表示為 則 即 的置信度為 的置信區(qū)間為,三 正態(tài)總體均值的區(qū)間估計(jì),鑒于實(shí)際問(wèn)題中最常見(jiàn)的參數(shù)估計(jì)問(wèn)題多數(shù)是要求估計(jì)總體的均值和方差，且正態(tài)總體又是實(shí)際問(wèn)題中最常遇到的總體，因此，以下著重討論正態(tài)總體均值和方差的區(qū)間估計(jì) 總體XN ， 是未知參數(shù)，現(xiàn)在 我們分兩種情形討論的區(qū)間估計(jì)問(wèn)題 從該總體X中抽取隨機(jī)樣本 ，并以作為=EX的點(diǎn)估計(jì)，服從正態(tài)分布,已知情形下的置信區(qū)間 若 是已知參數(shù)，這時(shí)可選取樞軸變量 N（0，1） 則對(duì)給定的置信度 ， 存在 ，使 這里 是標(biāo)準(zhǔn)正態(tài)分布的 -上側(cè)分位數(shù)，得,所以的置信度為

15、 的置信區(qū)間是 其長(zhǎng)度為,2 為未知情形下，的置信區(qū)間,若 是未知參數(shù)，則以 的無(wú)偏估計(jì) 代替 ，這時(shí)由于樞軸變量 所以對(duì)給定的置信度 ，存在 使 這里 的是自由度為n-1的t分布的 -上側(cè)分位數(shù)，得,因此有 所以的置信度為 的置信區(qū)間是 其長(zhǎng)度為 需要說(shuō)明的是：置信區(qū)間公式中的 ， ，在實(shí)際問(wèn)題中都是具體觀測(cè)值，計(jì)算時(shí)應(yīng)是,設(shè)總體X服從正態(tài)分布 ，其中 和 都是未知參數(shù)，從總體中抽取一個(gè)樣本 ，求總體方差 或標(biāo)準(zhǔn)差 的區(qū)間估計(jì),四正態(tài)總體方差的區(qū)間估計(jì),五兩個(gè)正態(tài)總體均值差 的置信區(qū)間 設(shè)總體 ，總體 ，兩總體相互獨(dú)立現(xiàn)從兩總體中各取一個(gè)容量分別為n1和n2 的樣本，并記兩個(gè)樣本的均值、方差

16、分別為 和,六.兩個(gè)正態(tài)總體方差比的置信區(qū)間,我們僅討論總體均值1，2為未知的情況 由前面結(jié)論知 F (n1-1，n2-1,并且分布 F (n1-1，n2-1)不依賴于任何未知參數(shù)，由此得 ， 即 于是得 的一個(gè)置信度為 的置信區(qū)間,4.4 假設(shè)檢驗(yàn),眾所周知,總體 的全部信息可以通過(guò)其分布函數(shù) 反映出來(lái),但實(shí)際上,參數(shù) 往往未知,有時(shí)甚至 的表達(dá)式也未知.因此需要根據(jù)實(shí)際問(wèn)題的需要,對(duì)總體參數(shù)或分布函數(shù)的表達(dá)式做出某種假設(shè)(稱(chēng)為統(tǒng)計(jì)假設(shè)),再利用從總體中獲得的樣本信息來(lái)對(duì)所作假設(shè)的真?zhèn)巫龀雠袛嗷蜻M(jìn)行檢驗(yàn),1. 問(wèn)題的提法,統(tǒng)計(jì)檢驗(yàn)(假設(shè)檢驗(yàn),這種利用樣本檢驗(yàn)統(tǒng)計(jì)假設(shè)真?zhèn)蔚倪^(guò)程叫做,2. 假設(shè)

17、檢驗(yàn)的基本思想,1)小概率原理(實(shí)際推斷原理)認(rèn)為概率很小的事件在一次試驗(yàn)中實(shí)際上不會(huì)出現(xiàn),并且小概率事件在一次試驗(yàn)中出現(xiàn)了,就被認(rèn)為是不合理的,2)基本思想:先對(duì)總體的參數(shù)或分布函數(shù)的表達(dá)式做出某種假設(shè),然后找出一個(gè)在假設(shè)成立條件下出現(xiàn)可能性甚小的(條件)小概率事件.如果試驗(yàn)或抽樣的結(jié)果使該小概率事件出現(xiàn)了,這與小概率原理相違背,表明原來(lái)的假設(shè)有問(wèn)題,應(yīng)予以否定,即拒絕這個(gè)假設(shè).若該小概率事件在一次試驗(yàn)或抽樣中并未出現(xiàn),就沒(méi)有理由否定這個(gè)假設(shè),表明試驗(yàn)或抽樣結(jié)果支持這個(gè)假設(shè),這時(shí)稱(chēng)假設(shè)與實(shí)驗(yàn)結(jié)果是相容的,或者說(shuō)可以接受原來(lái)的假設(shè),另一方面,當(dāng)原假設(shè)不成立時(shí),卻作出接受原假設(shè)的結(jié) 論,造成犯“

18、取偽”的錯(cuò)誤,稱(chēng)為第二類(lèi)錯(cuò)誤,3. 假設(shè)檢驗(yàn)的兩類(lèi)錯(cuò)誤,在假設(shè)檢驗(yàn)中,否定原假設(shè)的理由是小概率事件在一次試驗(yàn)中出現(xiàn)了,但小概率事件并不是不會(huì)出現(xiàn),只是出現(xiàn)的可能性較小,即出現(xiàn)的概率不超過(guò)很小的正數(shù),就是犯第一類(lèi)錯(cuò)誤的概率的最大允許值,一般用 表示犯第二類(lèi)錯(cuò)誤的概率,因此,根據(jù)小概率原理否定原假設(shè),有可能把本來(lái)客觀 上正確的假設(shè)否定了,造成犯“棄真”的錯(cuò)誤,稱(chēng)為第一 類(lèi)錯(cuò)誤,在進(jìn)行假設(shè)檢驗(yàn)時(shí),我們采取的原則是: 控制犯第一類(lèi)錯(cuò)誤(即 事先給定且很小)的同時(shí)使犯第二類(lèi)錯(cuò)誤的概率達(dá)到最小,當(dāng)樣本容量 一定時(shí), 小, 就大,反之, 小, 就大,另外,一般,即使 碰巧出現(xiàn),也決不能把“犯第一類(lèi)錯(cuò)誤” 和“犯第二類(lèi)錯(cuò)誤”理解為相互對(duì)立的事件,3. 假設(shè)檢驗(yàn)的兩類(lèi)錯(cuò)誤,棄真 充偽,小概率原理中,關(guān)于“小概率”的值通常根據(jù) 實(shí)際 問(wèn)題的要求而定,如取=0.1,0.05,0.01等, 為檢驗(yàn)的顯著性水平(檢驗(yàn)水平,4. 顯著性水平與否定域,在假設(shè)檢驗(yàn)過(guò)程中,使得小概率事件出現(xiàn)的統(tǒng)計(jì)量的取值范圍稱(chēng)為該假設(shè)檢驗(yàn)的否定域(拒絕域), 否定域的邊界稱(chēng)為該假設(shè)檢驗(yàn)的臨界值,5. 假設(shè)檢驗(yàn)的一般步驟,第一步 提出待檢驗(yàn)的原假設(shè) 和對(duì)立假設(shè),第二步 選擇檢驗(yàn)統(tǒng)計(jì)量,并找出在假設(shè) 成立條件下,該統(tǒng)計(jì)量所服從的概率分布,第三步 根據(jù)所要求的