參數(shù)估計在建模中的應(yīng)用上課件

參數(shù)估計在建模中的應(yīng)用參數(shù)估計的一般問題一個總體參數(shù)的區(qū)間估計兩個總體參數(shù)的區(qū)間估計樣本容量的確定統(tǒng)計推斷的過程樣本總體樣本統(tǒng)計量如：樣本均值、比率、方差總體均值、比率、方差等參數(shù)估計的一般問題一、估計量與估計值二、點估計與區(qū)間估計三、評價估計量的標(biāo)準(zhǔn)點估計用樣本的估計量直接作為總體參數(shù)的估計值例如：用樣本均值直接作為總體均值的估計例如：用兩個樣本均值之差直接作為總體均值之差的估計沒有給出估計值接近總體參數(shù)程度的信息點估計的方法有矩估計法、順序統(tǒng)計量法、最大似然法、最小二乘法等點估計完全正確的概率通常為0。因此，我們更多的是考慮用樣本統(tǒng)計量去估計總體參數(shù)的范圍區(qū)間估計。含義：在點估計的基礎(chǔ)上，估計總體參數(shù)的區(qū)間范圍，并給出區(qū)間估計成立的概率值。其中：1-α(0<α<1)稱為置信水平α是區(qū)間估計的顯著性水平；常用的置信水平值有99%,95%,90%相應(yīng)的

為0.01，0.05，0.10注意對上式的理解：例如抽取了1000個樣本，根據(jù)每一個樣本均構(gòu)造了一個置信區(qū)間，，這樣，由1000個樣本構(gòu)造的總體參數(shù)的1000個置信區(qū)間中，有95%的區(qū)間包含了總體參數(shù)的真值，而5%的置信區(qū)間則沒有包含。這里，95%這個值被稱為置信水平（或置信度）。一般地，將構(gòu)造置區(qū)間的步驟重復(fù)很多次，置信區(qū)間包含總體參數(shù)真值的次數(shù)所占的比例稱為置信水平。區(qū)間估計樣本統(tǒng)計量

(點估計)置信區(qū)間置信下限置信上限由樣本統(tǒng)計量所構(gòu)造的總體參數(shù)的估計區(qū)間稱為置信區(qū)間統(tǒng)計學(xué)家在某種程度上確信這個區(qū)間會包含真正的總體參數(shù)，所以給它取名為置信區(qū)間用一個具體的樣本所構(gòu)造的區(qū)間是一個特定的區(qū)間，我們無法知道這個樣本所產(chǎn)生的區(qū)間是否包含總體參數(shù)的真值我們只能是希望這個區(qū)間是大量包含總體參數(shù)真值的區(qū)間中的一個，但它也可能是少數(shù)幾個不包含參數(shù)真值的區(qū)間中的一個置信區(qū)間與置信水平樣本均值的抽樣分布(1-)%區(qū)間包含了%的區(qū)間未包含1–aa/2a/2區(qū)間估計的圖示x95%的樣本-1.96x+1.96x99%的樣本-2.58x+2.58x90%的樣本-1.65x+1.65x無偏性：估計量抽樣分布的數(shù)學(xué)期望等于被估計的總體參數(shù)P(

)BA無偏有偏評價估計量的標(biāo)準(zhǔn)——無偏性評價估計量的標(biāo)準(zhǔn)——一致性一致性：隨著樣本容量的增大，估計量的值越來越接近被估計的總體參數(shù)AB較小的樣本容量較大的樣本容量P(

)一般常用

表示參數(shù)，參數(shù)

所有可能取值組成的集合稱為參數(shù)空間，常用表示。參數(shù)估計問題就是根據(jù)樣本對上述各個未知參數(shù)作出估計。參數(shù)估計的兩種形式：點估計與區(qū)間估計。設(shè)x1,x2,…,xn

是來自總體X的一個樣本，我們用一個統(tǒng)計量的取值作為的估計值，稱為的點估計（量），簡稱估計。在這里如何構(gòu)造統(tǒng)計量并沒有明確的規(guī)定，只要它滿足一定的合理性即可。這就涉及到兩個問題：

其一

是如何給出估計，即估計的方法問題；

其二

是如何對不同的估計進(jìn)行評價，即估計的好壞判斷標(biāo)準(zhǔn)。例

對某型號的20輛汽車記錄其每加侖汽油的行駛里程(km)，觀測數(shù)據(jù)如下：29.827.628.327.930.128.729.928.027.928.728.427.229.528.528.030.029.129.829.626.9經(jīng)計算有

由此給出總體均值、方差和中位數(shù)的估計分別為:28.695,0.9185和28.6。矩估計法的實質(zhì)是用經(jīng)驗分布函數(shù)去替換總體分布，其理論基礎(chǔ)是格里紋科定理。二、概率函數(shù)P(x,θ)已知時未知參數(shù)的矩估計法

設(shè)總體具有已知的概率函數(shù)P(x,1,

…,k)，

x1,x2

,

…,xn是樣本，假定總體的k階原點矩k存在，若1,

…,k能夠表示成1,

…,k的函數(shù)j=j(1,

…,k)，則可給出諸j的矩估計法為

其中例設(shè)總體服從指數(shù)分布，由于EX=1/，即

=1/EX，故的矩法估計為另外，由于Var(X)=1/2，其反函數(shù)為因此，從替換原理來看，的矩法估計也可取為

s為樣本標(biāo)準(zhǔn)差。這說明矩估計可能是不唯一的，這是矩估計法的一個缺點，此時通常應(yīng)該盡量采用低階矩給出未知參數(shù)的估計。極大似然估計

定義

設(shè)總體X屬離散型，其分布律為p(x;)，是參數(shù)可能取值的參數(shù)空間，x1,x2

,…,xn是樣本，將樣本的聯(lián)合分布律看成的函數(shù)，用L(;x1,x2,

…,xn)表示，簡記為L()，

稱為樣本的似然函數(shù)。極大似然估計（續(xù)）

定義設(shè)總體X為連續(xù)型，其概率密度為f(x;)，是參數(shù)可能取值的參數(shù)空間，x1,x2

,…,xn是樣本，將樣本的聯(lián)合密度函數(shù)看成的函數(shù)，用L(;x1,x2,

…,xn)表示，簡記為L()，

稱為樣本的似然函數(shù)。如果某統(tǒng)計量滿足

則稱是的最（極）大似然估計，簡記為MLE（MaximumLikelihoodEstimate）。

人們通常更習(xí)慣于由對數(shù)似然函數(shù)lnL()出發(fā)尋找的極大似然估計。當(dāng)L()是可微函數(shù)時，求導(dǎo)是求極大似然估計最常用的方法，對lnL()求導(dǎo)更加簡單些。將之關(guān)于求導(dǎo)，并令其為0得到似然方程解之，得由于所以是極大值點。例

對正態(tài)總體N(,2)，θ=(,2)是二維參數(shù)，設(shè)有樣本x1,x2

,

…,xn，則似然函數(shù)及其對數(shù)分別為

雖然求導(dǎo)函數(shù)是求極大似然估計最常用的方法，但并不是在所有場合求導(dǎo)都是有效的。

例

設(shè)x1,x2

,

…,xn是來自均勻總體

U(0,)的樣本，試求的極大似然估計。

解似然函數(shù)要使L()達(dá)到最大，首先一點是指示函數(shù)取值應(yīng)該為1，其次是1/n盡可能大。由于1/n是的單調(diào)減函數(shù)，所以的取值應(yīng)盡可能小，