中國(guó)礦業(yè)大學(xué)周圣武概率論與數(shù)理統(tǒng)計(jì)課件

周圣武概率論與數(shù)理統(tǒng)計(jì)中國(guó)礦業(yè)大學(xué)理學(xué)院第七章參數(shù)估計(jì)§7.1點(diǎn)估計(jì)§7.2估計(jì)量的評(píng)選標(biāo)準(zhǔn)§7.3區(qū)間估計(jì)§7.4單個(gè)正態(tài)總體參數(shù)的區(qū)間估計(jì)§7.4兩個(gè)正態(tài)總體參數(shù)的區(qū)間估計(jì)統(tǒng)計(jì)推斷參數(shù)估計(jì)假設(shè)檢驗(yàn)點(diǎn)估計(jì)區(qū)間估計(jì)矩估計(jì)最大似然估計(jì)參數(shù)假設(shè)檢驗(yàn)非參數(shù)假設(shè)檢驗(yàn)最小二乘估計(jì)點(diǎn)估計(jì)第七章第一節(jié)二、矩估計(jì)法一、點(diǎn)估計(jì)問(wèn)題的一般提法三、最大似然估計(jì)法點(diǎn)估計(jì)問(wèn)題的提出設(shè)總體X的分布函數(shù)為F(x;θ),θ為待估計(jì)參數(shù)，X1,X2,…,Xn是X的樣本，x1,x2,…,xn是相應(yīng)樣本值。Question：如何利用這些信息估計(jì)參數(shù)θ？Answer：構(gòu)造一個(gè)適當(dāng)?shù)慕y(tǒng)計(jì)量用它的觀察值作為θ的近似值。稱為θ的估計(jì)量，稱為θ的估計(jì)值。1.矩估計(jì)法理論依據(jù)：辛欽大數(shù)定律由英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜提出.且具有數(shù)學(xué)期望辛欽設(shè)隨機(jī)變量序列X1,X2,…獨(dú)立同分布，則對(duì)任意ε>0，有K.皮爾遜命題

若總體X的k階矩存在，證獨(dú)立、同分布辛欽大數(shù)定律獨(dú)立、同分布為X的樣本，則矩估計(jì)的基本思想：令⑴若X為連續(xù)型隨機(jī)變量，設(shè)概率密度為令其中為X的樣本，解出稱為θ的矩估計(jì)量。例1

設(shè)總體X的概率密度為解

是未知參數(shù),其中X1,X2,…,Xn是取自X的樣本,求參數(shù)α的矩估計(jì)量.令，則

α的矩估計(jì)量為例2

設(shè)總體一個(gè)樣本，求的矩估計(jì)量。為X的Answer:為X的一個(gè)樣本，求的矩估計(jì)量。例3

設(shè)總體例4

設(shè)

為X的一個(gè)樣本，求X的數(shù)的矩估計(jì)量。學(xué)期望⑵若X為離散型隨機(jī)變量，設(shè)其分布律為令其中為樣本，解出例5

設(shè)總體X的分布律為其中參數(shù)未知，現(xiàn)有一組樣本值解

θ的矩估計(jì)值為1,1,1,3,2,1,3,2,2,1,2,2,3,1,1,2試求θ的矩估計(jì)值。令Question:

設(shè)X的概率密度為設(shè)

X1,

X2,…,Xn為X的樣本，求參數(shù)θ的矩估計(jì)量。Answer:θ的矩估計(jì)量不存在。2.最大似然估計(jì)法◆1821年,德國(guó)數(shù)學(xué)家高斯提出最大似然估計(jì)法；

◆1922年,費(fèi)歇重新發(fā)現(xiàn)了這一方法，并研究了這種方法的統(tǒng)計(jì)性質(zhì)。GaussFisher例子:

有兩外形相同的箱子,各裝100個(gè)球甲箱99個(gè)白球1個(gè)紅球乙箱1個(gè)白球99個(gè)紅球現(xiàn)從兩箱中任取一箱,并從箱中任取一球,結(jié)果所取得的球是白球.答:甲箱.問(wèn):所取的球來(lái)自哪一箱？最大似然法的基本思想：?jiǎn)栴}：請(qǐng)推斷兔子

是誰(shuí)打中的？例6

袋中放有白球和黑球共4個(gè)，今進(jìn)行3次有放回抽樣，每次抽取1個(gè)，結(jié)果抽得2次白球1次黑球，試估計(jì)袋中白球個(gè)數(shù)。解設(shè)袋中白球個(gè)數(shù)為m，

X為3次抽樣中抽得的白球數(shù)，則當(dāng)袋中白球數(shù)m分別為1,2,3時(shí)，

p對(duì)應(yīng)的值分別為1/4,2/4,3/4，X對(duì)應(yīng)的分布律見下表袋中白球數(shù)m

p抽到白球數(shù)xx=0x=1x=2x=311/422/433/4袋中白球數(shù)m

p抽到白球數(shù)xx=0x=1x=2x=311/427/6422/433/4袋中白球數(shù)m

p抽到白球數(shù)xx=0x=1x=2x=311/427/6427/6422/433/4袋中白球數(shù)m

p抽到白球數(shù)xx=0x=1x=2x=311/427/6427/649/6422/433/4袋中白球數(shù)m

p抽到白球數(shù)xx=0x=1x=2x=311/427/6427/649/641/6422/433/4袋中白球數(shù)m

p抽到白球數(shù)xx=0x=1x=2x=311/427/6427/649/641/6422/48/6424/6424/648/6433/4袋中白球數(shù)m

p抽到白球數(shù)xx=0x=1x=2x=311/427/6427/649/641/6422/48/6424/6424/648/6433/41/649/6427/6427/64袋中白球數(shù)m

p抽到白球數(shù)xx=0x=1x=2x=311/427/6427/649/641/6422/48/6424/6424/648/6433/41/649/6427/6427/64當(dāng)p=3/4時(shí)，P{X=2}的概率最大，估計(jì)袋中白球個(gè)數(shù)為3比較合理。其分布律為，其中θ未知。為X的樣本，為X的樣本值，⑴X為離散型總體稱為似然函數(shù)。當(dāng)時(shí)，稱稱為θ的最大似然估計(jì)量；稱為θ的最大似然估計(jì)值。表示取到樣本值的概率具體算法：令兩邊取對(duì)數(shù)令設(shè)X1,X2,…Xn是取自總體

X~b(1,p)的一個(gè)例7樣本，求參數(shù)p的最大似然估計(jì)值。解例8設(shè)X1,X2,…,Xn

是取自總體

X

的一個(gè)樣本,，求參數(shù)λ的最大似然估計(jì)量。似然函數(shù)為:最大似然估計(jì)量為(2)X為連續(xù)型總體設(shè)X的概率密度為f(x,θ),θ未知，為X的樣本，為樣本值，則的聯(lián)合密度為稱為似然函數(shù)求使稱為θ的最大似然估計(jì)量；稱為θ的最大似然估計(jì)值。例9設(shè)X1,X2,…,Xn

是取自總體

X

的一個(gè)樣本,，求參數(shù)λ的最大似然估計(jì)值。解似然函數(shù)當(dāng)令所以時(shí)例10設(shè)X1,X2,…,Xn

是取自總體

X

的一個(gè)樣本,，求參數(shù)的最大似然估計(jì)值。解令所以的最大似然估計(jì)值為例11設(shè)X1,X2,…,Xn

是取自總體

X

的一個(gè)樣本,，求參數(shù)a,b的最大似然估計(jì)值。解似然函數(shù)所以所以則要使得取最大值注：特殊的似然函數(shù)通過(guò)求導(dǎo)得不到其最值點(diǎn)，

需要用似然估計(jì)的思想來(lái)求。例12設(shè)X1,X2,…,Xn

是取自總體

X

的一個(gè)樣本,求⑴參數(shù)θ和μ的矩估計(jì)量；⑵參數(shù)θ和μ的最大似然估計(jì)量。解⑴令所以解得參數(shù)θ和μ的矩估計(jì)量為⑵設(shè)x1,x2,…,xn是X1,X2,…,Xn的樣本值，則似然函數(shù)為其中當(dāng)時(shí)令第二個(gè)似然方程求不出θ的估計(jì)值，觀察，表明L是μ的嚴(yán)格遞增函數(shù)，又，故當(dāng)時(shí)L取到最大值從而參數(shù)θ和μ的最大似然估計(jì)值分別為所以參數(shù)θ和μ的最大似然估計(jì)量分別為例13

設(shè)總體X的分布律為其中參數(shù)未知，現(xiàn)有一組樣本值解試求θ的極大似然估計(jì)值。1,1,1,3,2,1,3,2,2,1,2,2,3,1,1,2極大似然估計(jì)的不變性練習(xí)1.設(shè)總體X在上服從均勻分布，和最大似然估計(jì).2.設(shè)X1,X2,…Xn是取自總體X的一個(gè)樣本求的極大似然估計(jì).其中

>0,的矩估計(jì)量的樣本，試求是來(lái)自qXXXXnL,,21課堂練習(xí)P156：5，6作業(yè)P178：1，2，5，6第七章第二節(jié)估計(jì)量的評(píng)選標(biāo)準(zhǔn)二、有效性一、無(wú)偏性三、一致性對(duì)同一個(gè)參數(shù)，用不同的估計(jì)方法求出的估計(jì)量可能不相同，采用哪一個(gè)估計(jì)量好呢?一、無(wú)偏性對(duì)于一組觀察值得到一個(gè)估計(jì)值，估計(jì)偏差為定義1設(shè)是未知參數(shù)θ的估計(jì)量存在，且對(duì)任意的θ，有則稱為θ的無(wú)偏估計(jì)。無(wú)偏性的實(shí)際意義是指沒(méi)有系統(tǒng)偏差例1設(shè)是取自總體X的一個(gè)樣本，X的k階矩存在，試證明不論總體服從什么分布，k階樣本矩Ak是μk的無(wú)偏估計(jì)。證明則所以k階樣本矩?zé)o偏估計(jì)。例2設(shè)總體

X

的則都存在，且的估計(jì)量都未知,是無(wú)偏的嗎?證明注意不是的無(wú)偏估計(jì)，而所以是的無(wú)偏估計(jì)（不論總體服從什么分布）所以一般都取是的估計(jì)量。所以不是的無(wú)偏估計(jì)量。一個(gè)未知數(shù)可以有不同的無(wú)偏估計(jì)量。解例3例4

設(shè)是總體的樣本.使為的無(wú)偏估計(jì)量。求故當(dāng)時(shí),解的大小來(lái)決定二者誰(shuí)更優(yōu)。和一個(gè)參數(shù)往往有不止一個(gè)無(wú)偏估計(jì),若和都是參數(shù)

的無(wú)偏估計(jì)量，我們通過(guò)可以比較由于二、有效性因此需要比較這兩個(gè)估計(jì)量的波動(dòng)性的大小。定義2設(shè)都是參數(shù)θ的無(wú)偏估計(jì)量，若有則稱有效。例：160頁(yè)，例7、例8定義3設(shè)若對(duì)于任意θ∈Θ,當(dāng)則稱的一致估計(jì)量。為參數(shù)θ的估計(jì)量，例：由大數(shù)定律知一致性說(shuō)明：對(duì)于大樣本，由一次抽樣得到的估

計(jì)量的值可作θ的近似值例5設(shè)X1,X2,…,Xn

是取自總體

X

的一個(gè)樣本,⑴驗(yàn)證都是的無(wú)偏估計(jì).⑵問(wèn)那個(gè)估計(jì)量最有效?解

⑴設(shè)由于都是總體均值的無(wú)偏估計(jì)量;故⑵因?yàn)樗愿行Ю?設(shè)總體X

的密度函數(shù)為為常數(shù)為X

的一個(gè)樣本證明與都是的無(wú)偏估計(jì)量證故是

的無(wú)偏估計(jì)量.令即故nZ是

的無(wú)偏估計(jì)量.課堂練習(xí)P162：2，3作業(yè)

178頁(yè)：8，9抽樣分布復(fù)習(xí)記為定義

設(shè)相互獨(dú)立,都服從正態(tài)分布N(0,1),則稱隨機(jī)變量所服從的分布為自由度為

n

的分布.分布1.記作T～t(n)。所服從的分布為自由度為n的t分布.設(shè)X～N(0,1),Y～則稱變量,且X與Y相互獨(dú)立，2.t分布設(shè)X與Y相互獨(dú)立，則稱服從自由度為3.F

分布n1及n2的F分布，記作F~F(n1,n2)。

定理1設(shè)X1,X2,…,Xn

是取自正態(tài)總體的樣本，分別為樣本均值和樣本方差，則有⑴⑵⑶相互獨(dú)立定理2

設(shè)總體X

服從正態(tài)分布是X的樣本，分別為樣本均值和樣本方差，則有⑴⑵

定理3設(shè)X1,X2,…,Xn1與Y1,Y2,…,Yn2分別是來(lái)自正態(tài)總體的樣本，并且這兩個(gè)樣本相互獨(dú)立，記則有⑴⑵當(dāng)時(shí)其中第七章第三節(jié)區(qū)間估計(jì)例如，在估計(jì)湖中魚數(shù)的問(wèn)題中，若我們根據(jù)一個(gè)實(shí)際樣本，得到魚數(shù)N的最大似然估計(jì)值為1000條。這個(gè)數(shù)是湖中魚數(shù)的真值嗎？湖中魚數(shù)的真值[]我們希望確定一個(gè)區(qū)間，使我們能以比較高的可靠程度相信它包含真參數(shù)值.這里所說(shuō)的“可靠程度”是用概率來(lái)度量的習(xí)慣上把置信水平記作，這里

是一個(gè)很小的正數(shù).的，稱為置信概率，置信度或置信水平。定義

設(shè)總體含一待估參數(shù)對(duì)于樣本找出統(tǒng)計(jì)量使得，稱區(qū)間為的置信區(qū)間，為置信水平。是一個(gè)隨機(jī)區(qū)間；給出該區(qū)間可能性。區(qū)間的分布函數(shù)為，其中含真值的可靠度。表示該區(qū)間不包含真值的通常,采用95%的置信度,有時(shí)也取99%或90%.即置信度為這時(shí)重復(fù)抽樣100次,則在得到的100個(gè)區(qū)間中包含真值的有95個(gè)左右,不包含真值的有5個(gè)左右。例如

若具體的計(jì)算方法，其中只含有一個(gè)未知參數(shù)θ⑵對(duì)于給定的置信水平，找a,b使得⑴由樣本尋找一個(gè)樣本函數(shù)⑶由解出等價(jià)的不等式是θ的置信水平為的置信區(qū)間。⑵對(duì)于給定的置信水平，找a,b使得第四節(jié)單個(gè)正態(tài)總體參數(shù)的區(qū)間估計(jì)設(shè)為總體的樣本在置信水平下，確定的置信區(qū)間設(shè)已知方差且是的一個(gè)無(wú)偏點(diǎn)估計(jì)；⑴已知方差，估計(jì)均值μ又對(duì)于給定的置信度查正態(tài)分布表，找出臨界值使得：由此可找出無(wú)窮多組通常我們?nèi)?duì)稱使：區(qū)間由上分位點(diǎn)的定義

對(duì)于給定的置信度查正態(tài)分布表，找出臨界值使得：對(duì)于給定的有可得所以μ的置信水平為1-α的置信區(qū)間為簡(jiǎn)記為例

若取查表得值算得樣本均值的觀察值則得到一個(gè)置信度為0.95的μ的置信區(qū)間，若由一個(gè)樣本注：

μ的置信水平1－α的置信區(qū)間不唯一。

上例中同樣給定,可以取標(biāo)準(zhǔn)正態(tài)分布上α分位點(diǎn)-Z0.04和Z0.01，則也有則μ的置信度為0.95的置信區(qū)間為但對(duì)稱時(shí)的區(qū)間長(zhǎng)度最短。像N(0,1)分布那樣概率密度的圖形是單峰且對(duì)稱的情況。當(dāng)n固定時(shí),以的區(qū)間長(zhǎng)度為最短，若L為區(qū)間長(zhǎng)度，則可見L隨n

的增大而減少（α給定）.已知幼兒身高服從正態(tài)分布，現(xiàn)從5~6歲的幼兒中隨機(jī)地抽查了9人，其高度分別為：115,120131,115,109,115,115,105,110cm;假設(shè)標(biāo)準(zhǔn)差置信度為95%;試求總體均值μ的置信區(qū)間解已知由樣本值算得：查正態(tài)分布表得，由此得置信區(qū)間例1設(shè)總體問(wèn)需要抽取容量為多大的樣本,才能使的置信水平為0.95的置信區(qū)間的長(zhǎng)度不大于0.49?解

設(shè)需要抽取容量為n的樣本,其樣本均值為查表得于是μ的置信水平為0.95的置信區(qū)間為該區(qū)間長(zhǎng)度例2解得?、品讲钗粗?，估計(jì)均值μ因?yàn)榈臒o(wú)偏估計(jì)。而選取樣本函數(shù)對(duì)于給定的查t分布表，得臨界值使我們?nèi)?duì)稱區(qū)間可用樣本方差：即由t分布表可以查出所以μ的置信區(qū)間為簡(jiǎn)記為用儀器測(cè)量溫度,重復(fù)測(cè)量7次,測(cè)得溫度分別為:115,120,131,115,109,115,115;設(shè)溫度在置信度為95%時(shí),試求溫度的真值所在范圍。例3查表得已知由樣本值算得：解設(shè)μ是溫度的真值，X是測(cè)量值得區(qū)間：對(duì)某種型號(hào)飛機(jī)的飛行速度進(jìn)行15次試驗(yàn),測(cè)得最大飛行速度(單位:米/秒)為420.3,425.8,423.1,418.7,438.3,434.0,412.3,431.5最大飛行速度服從正態(tài)分布.求飛機(jī)最大飛行速度422.2,417.2,425.6