第八章參數(shù)估計(jì)(教案)

第八章參數(shù)估計(jì)§8.1點(diǎn)估計(jì)1.點(diǎn)估計(jì)問(wèn)題概述設(shè)總體X的分布函數(shù)為F（x，θ），θ是未知參數(shù)，X1，X2，…，Xn是X的一樣本，樣本值為x1，x2，…，xn，構(gòu)造一個(gè)統(tǒng)計(jì)量（X1，X2，…，Xn），用它的觀察值作為θ的估計(jì)值，這種問(wèn)題稱為點(diǎn)估計(jì)問(wèn)題.習(xí)慣上稱隨機(jī)變量為θ的估計(jì)量,稱為的估計(jì)值.構(gòu)造估計(jì)量的方法很多，下面僅介紹矩法和極大似然估計(jì)法.2.矩估計(jì)矩估計(jì)的基本步驟：設(shè)總體X~F（X；θ1,θ2，…，θl）其中θ1,θ2,…,θl均未知.1°求出總體X的前k階矩E(Xk)=μk(θ1,θ2,…,θl)，(1≤k≤l).2°令其中Ak（1≤k≤l）為樣本k階矩.（3）解出上述方程組的解為我們稱為參數(shù)θk(1≤k≤l)的矩估計(jì)量,為參數(shù)θk的矩估計(jì)值.例8.1設(shè)總體X服從二項(xiàng)分布B（n，p），n已知，X1，X2，…，Xn為來(lái)自X的樣本，求參數(shù)p的矩法估計(jì).解因此np=所以p的矩估計(jì)量例8.2設(shè)總體X的二階矩存在且未知，X1，X2，…，Xn為來(lái)自總體的一個(gè)樣本.求μ=E(X)，σ2=D(X)的矩估計(jì)量.解由于E(X)=μ,E(X2)=D(X)+(E(X))2=σ2+μ2，令故μ，σ2的矩估計(jì)量分別為.特別地，如果X為正態(tài)總體，我們可以對(duì)其期望和方差得到類似的估計(jì).例8.3設(shè)總體X的密度函數(shù)f（x,θ）X1，X2，…，Xn為其樣本，試求參數(shù)θ的矩法估計(jì).解θ的矩估計(jì)量為矩估計(jì)法的優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單，且作矩法估計(jì)時(shí)無(wú)需知道總體的概率分布，只要知道總體矩即可.但矩法估計(jì)量存在結(jié)果不唯一的缺點(diǎn).原則上，矩估計(jì)既可以使用樣本的低階矩估計(jì)總體的低階矩，也可以使用樣本的高階矩估計(jì)總體的高階矩.如總體X服從參數(shù)為λ的泊松分布時(shí)，分別用一階矩和二階矩進(jìn)行估計(jì)，得到和B2都是參數(shù)λ的矩法估計(jì).本書進(jìn)行矩估計(jì)時(shí)采用就低不就高的原則.3.極大似然估計(jì)極大似然估計(jì)法(Maximumlikelihoodestimation)只能在已知總體分布的前提下進(jìn)行，為了對(duì)它的思想有所了解，我們先看一個(gè)例子.例8.4設(shè)有甲、乙兩個(gè)袋子，袋中各裝有4個(gè)同樣大小的球，已知甲袋裝有3個(gè)黑球和1個(gè)白球，乙袋裝有3個(gè)白球和1個(gè)黑球.現(xiàn)在任取一袋，有放回地從袋中取2個(gè)球，結(jié)果取出的兩球均為黑球，問(wèn)此球最象取自甲袋還是乙袋？解在上例中，p是分布的參數(shù)，它只能取兩個(gè)值和，需要通過(guò)抽樣來(lái)決定分布中的參數(shù)是還是.在給定樣本觀察值后去計(jì)算該樣本值出現(xiàn)的概率，這一概率依賴于p的值，在相對(duì)比較之下，哪個(gè)概率大，p就最象哪個(gè).極大似然估計(jì)的基本思想就是根據(jù)上述想法引申出來(lái)的.如果隨機(jī)抽樣得到的樣本觀測(cè)值為x1，x2，…，xn，則我們應(yīng)當(dāng)這樣來(lái)選取未知參數(shù)θ的值，使得出現(xiàn)該樣本值的可能性最大，我們把這樣的參數(shù)記為，并稱為未知參數(shù)θ的極大似然估計(jì).下面分總體X是離散型和連續(xù)型兩種情況加以討論.1°離散型總體設(shè)總體X為離散型，P{X=x}=p（x，），其中θ為待估計(jì)的未知參數(shù)，假定x1，x2，…，xn為樣本X1，X2，…，Xn的一組觀測(cè)值.P{X1=x1，X2=x2，…，Xn=xn}=P{X1=x1}P{X2=x2}…P{Xn=xn}==.將看作是參數(shù)的函數(shù)，記為，即=.（8.1）這一概率依賴于未知參數(shù)，對(duì)不同的，不一定一樣.越大，表明出現(xiàn)樣本值x1，x2，…，xn的機(jī)會(huì)越大，即要求對(duì)應(yīng)的概率的值達(dá)到最大，所以選取這樣的作為未知參數(shù)的估計(jì)，使得.2°連續(xù)型總體設(shè)總體X為連續(xù)型，已知其分布密度函數(shù)為f（x，），為待估計(jì)的未知參數(shù)，則樣本（X1，X2，…，Xn）的聯(lián)合密度為：f（x1，θ）f（x2，θ）…f（xn，θ）=.類似于離散型總體，將它也看作是關(guān)于參數(shù)θ的函數(shù)，記為L(zhǎng)（θ），即L（θ）=.（8.2）綜合上述兩種情況，我們給出如下定義：定義8.1設(shè)總體的分布形式已知，但含有未知參數(shù)θ（θ可以是向量），為來(lái)自總體的樣本，為樣本觀察值，稱由（8.1）或（8.2）定義的L（θ）為樣本的似然函數(shù).由此可見：不管是離散型總體，還是連續(xù)型總體，只要知道它的概率分布或密度函數(shù)，我們總可以得到一個(gè)關(guān)于參數(shù)θ的似然函數(shù)L（θ）.如果隨機(jī)抽樣得到的樣本觀測(cè)值為x1，x2，…，xn，則我們應(yīng)當(dāng)這樣來(lái)選取未知參數(shù)θ的值，使得出現(xiàn)該樣本值的可能性最大，即使得似然函數(shù)L(θ)取最大值，從而求參數(shù)θ的極大似然估計(jì)的問(wèn)題，就轉(zhuǎn)化為求似然函數(shù)L（θ）的極值點(diǎn)的問(wèn)題，一般來(lái)說(shuō)，這個(gè)問(wèn)題可以通過(guò)求解下面的方程來(lái)解決.（8.3）然而，L（θ）是n個(gè)函數(shù)的連乘積，求導(dǎo)數(shù)比較復(fù)雜，由于lnL（θ）是L（θ）的單調(diào)增函數(shù)，所以L（θ）與lnL（θ）在θ的同一點(diǎn)處取得極大值.于是求解（8.3）可轉(zhuǎn)化為求解.（8.4）稱lnL（θ）為對(duì)數(shù)似然函數(shù)，方程（7.4）為對(duì)數(shù)似然方程，求解此方程就可得到參數(shù)θ的估計(jì)值.例8.5在泊松總體中抽取樣本，其樣本值為：x1，x2，…，xn，試對(duì)泊松分布的未知參數(shù)λ作極大似然估計(jì).解例8.6設(shè)是取自雙參數(shù)指數(shù)分布總體的一組樣本，密度函數(shù)為其中是未知參數(shù)，是一組樣本值，求：（1）的矩法估計(jì)；（2）的極大似然估計(jì).解：例8.7設(shè)一批產(chǎn)品含有次品，今從中隨機(jī)抽出100件，發(fā)現(xiàn)其中有8件次品，試求次品率θ的極大似然估計(jì)值.解矩估計(jì)法和極大似然估計(jì)法是兩種不同的估計(jì)方法.對(duì)同一未知參數(shù)，有時(shí)候它們的估計(jì)相同，有時(shí)候估計(jì)不同.一般情況下，在已知總體的分布類型時(shí)，最好使用極大似然估計(jì)法.當(dāng)然，前提條件是通過(guò)解方程（組）或其它方法容易得到極大似然估計(jì).§8.2估計(jì)量的評(píng)選標(biāo)準(zhǔn)對(duì)同一個(gè)未知參數(shù)，可以有不同的點(diǎn)估計(jì)，矩估計(jì)和極大似然估計(jì)僅僅是提供兩種常用的估計(jì)而已.在眾多的估計(jì)中，我們總是希望挑選“最優(yōu)”的估計(jì).這就涉及到一個(gè)評(píng)選標(biāo)準(zhǔn)問(wèn)題.1.無(wú)偏性定義8.2若估計(jì)量（X1，X2，…，Xn）的數(shù)學(xué)期望等于未知參數(shù)θ，即：，（8.6）則稱為的無(wú)偏估計(jì)量。估計(jì)量的值不一定就是θ的真值，因?yàn)樗且粋€(gè)隨機(jī)變量，若是的無(wú)偏估計(jì)，則盡管的值隨樣本值的不同而變化，但平均來(lái)說(shuō)它會(huì)等于的真值.例8.8設(shè)X1，X2，…，Xn為總體X的一個(gè)樣本，E（X）=μ，則樣本平均數(shù)是μ的無(wú)偏估計(jì)量.證因?yàn)镋（X）=μ，所以E（Xi）=μ，i=1，2，…，n，于是=μ.所以是μ的無(wú)偏估計(jì)量.例8.9設(shè)有總體X，E（X）=μ，D（X）=σ2，（X1，X2，…，Xn）為從該總體中抽得的一個(gè)樣本，樣本方差S2及二階樣本中心矩B2=是否為總體方差σ2的無(wú)偏估計(jì)？解2.有效性對(duì)于未知參數(shù)，如果有兩個(gè)無(wú)偏估計(jì)量與，即E（）=E（）=，那么在，中誰(shuí)更好呢？此時(shí)我們自然希望對(duì)θ的平均偏差E（-）2越小越好，即一個(gè)好的估計(jì)量應(yīng)該有盡可能小的方差，這就是有效性.定義8.3設(shè)和都是未知參數(shù)的無(wú)偏估計(jì)，若對(duì)任意的參數(shù)，有D（）≤D（），（8.7）則稱比有效.如果比有效，則雖然還不是的真值，但在附近取值的密集程度較高，即用估計(jì)精度要高些.例如，對(duì)正態(tài)總體N（μ，σ2），，Xi和都是E（X）=μ的無(wú)偏估計(jì)量，但D（）=≤D（Xi）=σ2，故較個(gè)別觀測(cè)值Xi有效.實(shí)際當(dāng)中也是如此，比如要估計(jì)某個(gè)班學(xué)生的平均成績(jī)，可用兩種方法進(jìn)行估計(jì)，一種是在該班任意抽一個(gè)同學(xué)，就以該同學(xué)的成績(jī)作為全班的平均成績(jī)；另一種方法是在該班抽取n位同學(xué)，以這n個(gè)同學(xué)的平均成績(jī)作為全班的平均成績(jī)，顯然第二種方法比第一種方法好.3.一致性無(wú)偏性、有效性都是在樣本容量n一定的條件下進(jìn)行討論的，然而（X1，X2，…，Xn）不僅與樣本值有關(guān)，而且與樣本容量n有關(guān)，不妨記為，很自然，我們希望n越大時(shí)，對(duì)的估計(jì)應(yīng)該越精確.定義8.4如果依概率收斂于θ，即，有（8.8）則稱是的一致估計(jì)量（Uniformestimator）.由辛欽大數(shù)定律可以證明：樣本平均數(shù)是總體均值μ的一致估計(jì)量，樣本的方差及二階樣本中心矩B2都是總體方差σ2的一致估計(jì)量.§8.3區(qū)間估計(jì)1.區(qū)間估計(jì)與置信區(qū)間所謂區(qū)間估計(jì)就是依據(jù)樣本估計(jì)未知參數(shù)在某一范圍內(nèi)，在數(shù)軸上往往表現(xiàn)為一個(gè)區(qū)間.具體來(lái)說(shuō)，估計(jì)某個(gè)未知參數(shù)，要求的區(qū)間估計(jì)就是要設(shè)法根據(jù)樣本構(gòu)造兩個(gè)統(tǒng)計(jì)量（X1，X2,…,Xn）及(X1,X2,…,Xn)，在抽樣獲得樣本觀察值（x1，x2，…，xn）后，便用一個(gè)具體的區(qū)間[（X1，X2,…,Xn），(X1,X2,…,Xn)]來(lái)估計(jì)未知參數(shù)的取值范圍.定義8.5設(shè)（X1，X2,…,Xn）及(X1,X2,…,Xn)是兩個(gè)統(tǒng)計(jì)量，如果對(duì)于給定的概率1-α（0<α<1），有：P{＜＜}=1-α,（8.9）則稱隨機(jī)區(qū)間（，）為參數(shù)θ的置信區(qū)間，稱為置信下限，稱為置信上限，1-α叫置信概率或置信度。定義中的隨機(jī)區(qū)間（，）的大小依賴于隨機(jī)抽取的樣本觀測(cè)值，它可能包含，也可能不包含，（8.9）式的意義是指（，）以1-α的概率包含.。例8.10設(shè)X~N（μ，σ2），μ未知，σ2已知，樣本X1，X2，…，Xn來(lái)自總體X，求μ的置信區(qū)間，置信概率為1-α.解因?yàn)閄1，X2，…,Xn為來(lái)自X的樣本，而X~N(μ,σ2)，所以u(píng)=~N（0，1），對(duì)于給定的α，查附錄中表2可得上分位點(diǎn)，使得=1-α,即=1-α.所以μ的置信概率為1-α的置信區(qū)間為.（8.10）由（8.10）式可知置信區(qū)間的長(zhǎng)度為，若n越大，置信區(qū)間就越短；若置信概率1-α越大，α就越小，就越大，從而置信區(qū)間就越長(zhǎng).2.正態(tài)總體參數(shù)的區(qū)間估計(jì)由于在大多數(shù)情況下，我們所遇到的總體是服從正態(tài)分布的（有的是近似正態(tài)分布），故我們現(xiàn)在來(lái)重點(diǎn)討論正態(tài)總體參數(shù)的區(qū)間估計(jì)問(wèn)題.在下面的討論中，總假定X~N（μ，σ2），X1，X2，…，Xn為其樣本.（1）對(duì)μ的估計(jì)分兩種情況進(jìn)行討論.1°σ2已知置信概率為1-α?xí)r，μ的置信區(qū)間為，2°σ2未知當(dāng)σ2未知時(shí)，不能使用（8.10）式作為置信區(qū)間，因?yàn)椋?.10）式中區(qū)間的端點(diǎn)與σ有關(guān)，考慮到S2=是σ2的無(wú)偏估計(jì)，將中的σ換成S得T=~t（n-1）.對(duì)于給定的α，查附錄中t分布表4可得上分位點(diǎn)（n-1），使得=1-α.所以μ的置信概率為1-α的置信區(qū)間為.（8.11）由于，S0=，所以μ的置信區(qū)間也可寫成.（8.12）例8.11某車間生產(chǎn)滾珠,已知其直徑X~N(μ,σ2)，現(xiàn)從某一天生產(chǎn)的產(chǎn)品中隨機(jī)地抽出6個(gè)，測(cè)得直徑如下（單位：毫米）14.615.114.914.815.215.1試求滾珠直徑X的均值μ的置信概率為95%的置信區(qū)間.解（2）σ2的置信區(qū)間我們只考慮μ未知的情形.，此時(shí)由于S2=是σ2的無(wú)偏估計(jì)，由于，對(duì)于給定的α，=1－α.即