實(shí)驗(yàn)數(shù)據(jù)處理方法

2023/10/131實(shí)驗(yàn)數(shù)據(jù)處理方法第六章參數(shù)估計(jì)(Parameterestimation)6.1參數(shù)估計(jì)的基本概念2023/10/1326.1參數(shù)估計(jì)的基本概念總體的概率密度函數(shù)(pdf)：f(x|)

：未知參數(shù)x：實(shí)驗(yàn)可測(cè)量量隨機(jī)樣本(容量為n)：xi：獨(dú)立的隨機(jī)變量2023/10/1336.1參數(shù)估計(jì)的基本概念一、基本定義1、似然函數(shù)(LikelihoodFunction,LF):由于xi是相互獨(dú)立的隨機(jī)變量，因而在給定的值下獲得測(cè)量量x1,x2,…,xn的聯(lián)合條件概率為(JointConditionalProbability)(1)似然值(Likelihood)：如果和xi都為固定值，則稱L為在特定的值下，觀測(cè)量x1,x2,…,xn的似然值；(2)似然函數(shù)(LF)：如果將L看成是的函數(shù)，而xi固定，則稱L為似然函數(shù)；(3)可測(cè)量量xi得pdf：

固定，L是xi的函數(shù)2023/10/1346.1參數(shù)估計(jì)的基本概念2、統(tǒng)計(jì)量(Statistic)：如果t=t(x1,x2,…,xn)是樣本變量xi的函數(shù)，且不依賴于任何的未知參數(shù)，則稱t為統(tǒng)計(jì)量例：樣本的平均值和方差：3、估計(jì)式(Estimator)：如果統(tǒng)計(jì)量t給出了未知參數(shù)的估計(jì)值，則稱t為的估計(jì)式，即例：樣本平均值和方差s2分別是總體平均值和方差2的估計(jì)式。參數(shù)估計(jì)的目標(biāo)之一就是求出未知參數(shù)的估計(jì)式2023/10/1356.1參數(shù)估計(jì)的基本概念二、估計(jì)式的特性

由估計(jì)式t得到的參數(shù)的估計(jì)值是隨機(jī)變量，將滿足某種分布，這種分布的特性將反映該估計(jì)式的好壞判斷估計(jì)式好壞的標(biāo)準(zhǔn)：(1)一致性(Consistency)：樣本容量為無(wú)限大時(shí)估計(jì)式的特性(2)無(wú)偏性(Unbiassedness)：樣本容量為有限時(shí)估計(jì)式的特性(3)最小方差(Minimumvariance)

有效性(Efficiency)估計(jì)式的分布特性(4)充分性(Sufficiency)：估計(jì)式是否包含了樣本中所包含的有關(guān)的所有信息2023/10/1366.1參數(shù)估計(jì)的基本概念1、一致性(Consistency):如果一個(gè)估計(jì)式的值當(dāng)樣本容量增加時(shí)收斂到待估參數(shù)的真值，則稱該估計(jì)式具有一致性概率語(yǔ)言的一致性描述：如果估計(jì)值

n是從容量為n的樣本得到的，則對(duì)于給定的正數(shù)和，存在著正整數(shù)N，使得對(duì)所有的n>N，|n-|>的概率小于P(|n-|>)<即，當(dāng)n

時(shí)，n

例:樣本平均值是總體平均值的一致性估計(jì)式根據(jù)大數(shù)定理：當(dāng)n

時(shí)，

2023/10/1376.1參數(shù)估計(jì)的基本概念2、無(wú)偏性(Unbiassedness):對(duì)于任意大的樣本，如果估計(jì)式t的期望值都等于參數(shù)的真值

則稱t是的無(wú)偏估計(jì)式無(wú)偏性保證了估計(jì)式的值不會(huì)系統(tǒng)地偏離參數(shù)的真值；一致性和無(wú)偏性是不相關(guān)的，具有一致性并不等于具有無(wú)偏性一致性和無(wú)偏性是對(duì)參數(shù)估計(jì)式的基本要求，因?yàn)閰?shù)估計(jì)的目的就是求的真值。注：2023/10/1386.1參數(shù)估計(jì)的基本概念3、最小方差和有效性估計(jì)值是隨機(jī)變量，服從一定的分布，好的估計(jì)式給出的估計(jì)值的方差應(yīng)盡可能地小。假定：(1)對(duì)所有的，L(x|)對(duì)的一、二階導(dǎo)數(shù)存在；(2)變量x的定義域與無(wú)關(guān)；則由估計(jì)式得到的估計(jì)值的方差存在著一個(gè)下限設(shè)t是

()的估計(jì)式，()為的函數(shù)，估計(jì)值的偏差為b()估計(jì)式t的方差V(t)滿足下列Cramer-Rao不等式：

最小方差限(MinimumVarianceBound,MVB)2023/10/1396.1參數(shù)估計(jì)的基本概念有效估計(jì)式：方差等于最小方差限的估計(jì)式t為有效估計(jì)式的充分必要條件：在實(shí)際應(yīng)用中，有效估計(jì)式只是在有限的幾類參數(shù)估計(jì)問(wèn)題中存在。例如：泊松分布樣本的樣本平均值是泊松總體平均值的有效估計(jì)式4、充分性(Sufficiency)設(shè)t是參數(shù)的估計(jì)式，如果測(cè)量量中所包含的有關(guān)的信息都包含在t內(nèi)，則稱t為的充分估計(jì)式2023/10/13106.1參數(shù)估計(jì)的基本概念充分估計(jì)式的存在有利于數(shù)據(jù)的濃縮(DataReduction)：t中所包含的有關(guān)的信息與原始數(shù)據(jù)中的一樣多；或者：任何其它的原始數(shù)據(jù)的函數(shù)都給不出更多的有關(guān)參數(shù)的信息R.A.Fisher的信息的定義：由觀測(cè)量x給出的有關(guān)未知參數(shù)的信息量的定義：如果是k維的根據(jù)此定義，若t為的充分估計(jì)式，則It()=Ix()2023/10/13116.1參數(shù)估計(jì)的基本概念t是參數(shù)的充分估計(jì)式的充分必要條件：似然函數(shù)L(x|)可分解為如下的形式：其中：H(x)與參數(shù)無(wú)關(guān)；G(t|)是估計(jì)式t的函數(shù)，表示在一定的條件下t得pdf可證：有效估計(jì)式總是具有充分性注：充分統(tǒng)計(jì)量只對(duì)某