求點估計量的方法

1、參數(shù)估計問題假設(shè)檢驗問題 點 估 計區(qū)間估計統(tǒng)計推斷 的基本問題注：統(tǒng)計學(xué)的模型僅僅是對現(xiàn)實的近似，沒有任何模型是“正確”的，也無法證明任何模型是正確的。只能夠說，在某些可能有爭議的準(zhǔn)則之下，某些模型比另外一些要更適合一些。 吳喜之統(tǒng)計學(xué)：從數(shù)據(jù)到結(jié)論求解步驟：問題是什么解決問題的基本思路理論支持及推導(dǎo)解決的具體步驟實例分析第三章 參數(shù)估計第一節(jié) 求點估計量的方法第二節(jié) 估計量的評選標(biāo)準(zhǔn)第三節(jié) 區(qū)間估計參數(shù)的類型：參數(shù)是刻畫總體某方面概率特性的數(shù)量.參數(shù)的類型有1、分布中所含的未知參數(shù)例如，X N ( , 2), 若 , 2 未知, 通過構(gòu)造統(tǒng)計量, 給出它們的估計值或取值范圍就是參數(shù)估計的內(nèi)

2、容.區(qū) 間 估 計點 估 計2、分布中所含的未知參數(shù)的函數(shù) g()例如：X N ( , 2), 其中 , 2 未知，假設(shè) X 是血液檢驗的結(jié)果，感興趣的是檢驗值不超過 a 的人數(shù)的比例，即要估計即為 , 的函數(shù)。3、分布的各種特征數(shù)例如：EX，VarX 等。 參數(shù)估計問題是利用從總體抽樣得到的樣本, 通過估計量來估計上述各種參數(shù)。估計量就是估計總體參數(shù)的統(tǒng)計量.第一節(jié) 求點估計量的方法一、矩法二、極大似然法一、矩法估計1、矩法估計（Moment Estimation)理論基礎(chǔ)：大數(shù)定律（頻率趨向于概率）相互獨立，設(shè)隨機變量序列它們服從相同的分布，且具有有限的數(shù)學(xué)期望：則 則 獨立同分布, 且有

3、期望：則由大數(shù)定律，設(shè)是來自總體 X 的容量為 n 的樣本, 矩估計法 指導(dǎo)思想用樣本 k 階矩作為總體 k 階矩的估計量, 建立含有待估參數(shù)的方程, 從而解出待估參數(shù)。設(shè)待估計的參數(shù)為總體的 r（rk） 階矩存在，記為樣本 X1, X2, Xn 的 r 階矩為令 含未知參數(shù) 1,2, ,k 的方程組具體步驟解方程組 , 得 k 個統(tǒng)計量： 未知參數(shù) 1, ,k 的矩估計量代入一組樣本觀測值得 k 個數(shù): 未知參數(shù) 1, ,k 的矩估計值例 設(shè)總體 X Exp(), X1, X2, Xn 為總體的樣本, 求 的矩法估計量.解注 能用低階矩處理的就不用高階矩。令故例 設(shè)總體 X U (a, b)

4、, a, b 未知, 求參數(shù) a, b 的矩法估計量.解 令 于是 a , b 的矩估計量為 解 例3 設(shè)總體 X 的均值 和方差 都存在 , 未知 . X1, X2, Xn 是來自 X 的樣本 , 試求 的矩估計量 .令注：該例表明無論總體 X 服從什么分布，只要總體的二階矩存在，則樣本均值就是總體均值的矩估計，樣本的二階中心矩就是總體方差的矩估計.矩估計三部曲求解總體矩（一般來說，有幾個參數(shù)就求幾階矩，得到的一定是參數(shù)的函數(shù)）用樣本矩代替總體矩建立方程（組）求解方程（組）優(yōu)點是簡單易行,并不需要事先知道總體的分布形式 .缺點（1）要求總體相應(yīng)原點矩必須存在，對于不存在原點矩的總體如Cauc

5、hy分布，則不能用矩估計。 （2）當(dāng)總體類型已知時，沒有充分利用分布提供的信息，可以作為其它方法的初始值 . 矩法的優(yōu)缺點：一只野兔從前方竄過。是誰打中的呢？引例：某位同學(xué)與一位獵人一起外出打獵。如果要你推測，你會如何想呢?只聽兩聲槍響，野兔應(yīng)聲倒下。 二. 極大似然估計（Maximum Likelihood Estimation) 在一次隨機試驗中某一事件已經(jīng)發(fā)生，則認(rèn)為試驗條件有利于該事件的發(fā)生，即在此條件下該事件發(fā)生的概率最大。 - 極大似然原理 常理來看，只發(fā)一槍便打中，獵人命中的概率要大于這位同學(xué)命中的概率?？磥磉@一槍是獵人射中的。這個例子所作的推斷體現(xiàn)了極大似然估計的基本思想： 下

6、例說明如何求極大似然估計：例. 設(shè) X1, X2, , Xn 是取自總體 Xb(1, p) 的一個樣本，利用極大似然原理求參數(shù) p(可以是產(chǎn)品的不合格率)的估計.似然函數(shù)解：抽取一個樣本 ，得到觀測值 x1, x2, xn，則其發(fā)生的概率為顯然 p 的不同取值，對應(yīng)的觀測值發(fā)生的概率不同，由極大似然原理，應(yīng)選擇使得P(X1=x1,Xn=xn)最大的 p 值，即為 p 的極大似然估計值.對數(shù)似然函數(shù)為： 要求似然函數(shù) L(p) 的最大值點，可以應(yīng)用微積分中的技巧。通過求解下面的方程求得.對 p 求導(dǎo)并令其為0，=0得即為 p 的極大似然估計值 .一般, 設(shè)總體 X 為離散型隨機變量, 其分布律為

7、則樣本 (X1, X2, Xn) 的概率分布為或稱 L( ) 為樣本的似然函數(shù)；似然函數(shù)反映了樣本取到觀察值 的概率設(shè) X 為連續(xù)型隨機變量, 其密度函數(shù)為 p(x ;)， 則樣本 (X1, X2, Xn) 的聯(lián)合密度為或稱 L( ) 為樣本的似然函數(shù).似然函數(shù)反映了樣本取到觀察值 的概率稱這樣得到的 為參數(shù) 的極大似然估計值；稱統(tǒng)計量為參數(shù) 的極大似然估計量.選擇適當(dāng)?shù)?= ,使 取最大值, 即L( )注1：求 MLE 時，只須在支撐上考慮. x : p(x ;)0 叫做支撐.注2 : 若是 k 維向量, 則構(gòu)造 k 個統(tǒng)計量分別為相應(yīng)參數(shù)分量的MLE.求MLE的方法：1、微分法若 lnL(

8、 )是 的一個可微函數(shù)，通過求解方程：可以得到 的MLE . 若 是向量，上述方程必須用方程組代替 .可得未知參數(shù)的極大似然估計值然后, 再求得極大似然估計量. L是 的可微函數(shù),解對數(shù)似然方程組若例. 設(shè)總體 X 具有分布律X123pk其中(01) 為未知參數(shù)。已知取得了樣本值x1=1，x2= 2，x31，試求的矩估計值和極大似然估計值。例 設(shè)總體 X N( ) , 未知 . 是來自 X 的樣本值 , 試求 的極大似然估計量 .似然函數(shù)為 解：X 的概率密度為 于是令注:對于正態(tài)總體,2 的矩估計與MLE是相同的.但對于其它很多分布,它們并不一樣. , 2 的極大似然估計量分別為2、用定義直

9、接求當(dāng)用上述求導(dǎo)方法求參數(shù)的 MLE 有時行不通(如似然函數(shù)不可微)，這時要用極大似然原理(即定義)來求.例 設(shè) X1,X2,Xn 是取自總體 XU(0,) 的一個樣本求的極大似然估計和矩估計.用求導(dǎo)方法無法最終確定用定義直接來求 .解: 當(dāng) x1, x2, xn 為樣本值時，似然函數(shù)為 故的極大似然估計值為另一方面, 由于EX =/2, 故矩估計為兩者不同!要使L()達到最大，應(yīng)最小，但它小不過x(n) ，例 設(shè)X U (,+1), X1, X2, Xn 是 X 的一個樣本值, 求 的極大似然估計.注:這里的極大似然估計不只唯一,可任取(x(n)-1,x(1)之間的任一個值.直接從函數(shù)形式出發(fā)極大似然估計的具體步驟：密度函數(shù)區(qū)間