《概率論與數(shù)理統(tǒng)計》課件 7.1 點估計

概率論

與數(shù)理統(tǒng)計理學院數(shù)學系“悟道詩---嚴加安”隨機非隨意，概率破玄機；無序隱有序，統(tǒng)計解迷離．第七章參數(shù)估計數(shù)理統(tǒng)計所研究的基本問題根據(jù)手中的數(shù)據(jù)，分析或推斷數(shù)據(jù)反映的本質(zhì)規(guī)律統(tǒng)計推斷根據(jù)樣本對總體的分布或數(shù)字特征等作出合理的推斷核心問題參數(shù)估計假設檢驗參數(shù)估計統(tǒng)計推斷的一種基本形式數(shù)理統(tǒng)計學的一個重要分支參數(shù)估計的兩種形式點估計區(qū)間估計第一節(jié)點估計二、最大似然估計法一、矩估計法三、小結(jié)如果總體的分布類型是已知的，但它的一個或多個參數(shù)是未知的，則需要對未知的參數(shù)作出估計，這就屬于參數(shù)估計的點估計問題．設是總體的分布函數(shù)，其中是未知參數(shù)，為總體的一個樣本設總體的分布中含有未知參數(shù)，從總體中抽取樣本，構(gòu)造某個統(tǒng)計量

作為參數(shù)的估計，則稱為參數(shù)的點估計量；若樣本的觀測值為，則稱為參數(shù)

的點估計值.

定義：由于估計量是樣本的函數(shù),是隨機變量,故對不同的樣本值,得到的參數(shù)值往往不同,如何求估計量是關鍵問題.估計量的求法常用構(gòu)造估計量的方法:(兩種)矩估計法和最大似然估計法.（1）矩估計基本思想一、矩估計法用樣本矩作為相應總體矩的估計，即用樣本矩去替換相應的總體矩.矩可以是原點矩，也可以是中心距.英國統(tǒng)計學家卡爾·皮爾遜（KarlPearson）在1900年提出.（2）矩估計的理論基礎設總體的階原點矩存在，則由大數(shù)定律可知，當時，樣本的階原點矩依概率收斂于.（3）矩估計的具體做法設總體的分布中含有個未知參數(shù)，

，為總體的一個樣本，假設總體的階原點矩都存在，則有用樣本的階原點矩作為總體的階原點矩的估計量，由此得到含有的方程組：求解方程組，得這就是未知參數(shù)的矩估計量．這就是未知參數(shù)的矩估計值．代入樣本觀測值得到個數(shù)，即例1：設總體，其中為未知參數(shù)，

是來自總體的一個樣本，求參數(shù)的矩估計量．由于解：所以參數(shù)的矩估計量為令即設總體服從區(qū)間上的均勻分布，其中

是未知參數(shù)，若取得樣本觀測值，試計算參數(shù)的矩估計值．例2：解：由于總體服從區(qū)間上的均勻分布，故其概率密度函數(shù)為故有而樣本的一階原點矩為由于只有一個未知參數(shù)，所以只需計算總體的一階原點矩所以的矩估計量為進而得到的矩估計值例3：解：由于總體的分布中有兩個未知參數(shù)，故應考慮一、二階原點矩，從而有設總體的均值及方差都存在，且有

，但均未知，又設是來自總體的樣本，試求的矩估計值．于是，由矩估計的方法得方程組解得及的矩估計量分別為進一步得到及的矩估計值為以上結(jié)果表明：無論總體服從何種分布，只要總體的均值和方差存在，總體均值的矩估計量就是樣本均值，總體方差的矩估計量就是樣本二階中心矩，即其矩估計值為用儀器測量某零件的長度（單位：mm），設測得的零件長度服從正態(tài)分布，現(xiàn)進行5次測量，其結(jié)果如下：9294103105106試計算參數(shù)及的矩估計值．例4：解：由例3可知的矩估計量分別為及，故

的矩估計值分別為與，即矩估計法的優(yōu)點是：簡便、直觀，不需要事先知道總體是什么分布．缺點是：一般情形下，矩估計量不具有唯一性，而且對于總體矩不存在的情形不適用．二、最大似然估計法一次試驗就出現(xiàn)的事件有較大的概率。它首先是由德國數(shù)學家高斯在1821年提出的,然而，這個方法常歸功于英國統(tǒng)計學家費舍爾(Fisher).費舍爾在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).高斯費舍爾最大似然估計又稱極大似然估計，是一種利用給定樣本觀測值來評估模型參數(shù)的方法.基本原理：利用已知的樣本結(jié)果信息，反推最具有可能（最大概率）導致這些樣本結(jié)果出現(xiàn)的模型參數(shù)值.（1）離散型總體設離散型總體的分布律為其中為未知參數(shù)，為的所有可能取值范圍（稱為參數(shù)空間），則對于給定的樣本觀測值，樣本的聯(lián)合分布律為令稱樣本為似然函數(shù)，它是未知參數(shù)的函數(shù)．（2）連續(xù)型總體設連續(xù)型總體的概率密度函數(shù)為其中為未知參數(shù)，為的所有可能取值范圍（稱為參數(shù)空間），則對于給定的樣本觀測值，樣本的概率密度為隨機變量落在點的鄰域（其半徑為）內(nèi)的概率可近似為當取定時，它是的函數(shù)，記為，我們稱為樣本似然函數(shù)．由于與無關，故似然函數(shù)常取為最大似然估計法得到樣本值時，選取使似然函數(shù)

取得最大值的作為未知參數(shù)的估計值，即其中與有關，記為參數(shù)的最大似然估計值參數(shù)的最大似然估計量計算最大似然估計步驟離散型總體（1）寫出似然函數(shù)連續(xù)型總體（2）似然函數(shù)兩側(cè)取自然對數(shù)，得到對數(shù)似然函數(shù)離散型總體連續(xù)型總體（3）求對數(shù)似然函數(shù)的最大值點（通常為極大值點）對數(shù)似然方程可得的最大似然估計當在端點處取得最大值時，的最大似然估計即為該端點值.當為單峰函數(shù)，并在極大值點處取得最大值時，由例5：解：總體的分布律為設總體，是來自總體的樣本，求的最大似然估計量．設是相應的樣本值，則似然函數(shù)為對上式兩邊取對數(shù)，得對數(shù)似然方程由可得因此參數(shù)的最大似然估計量為設是來自總體的樣本，總體的概率密度函數(shù)為例6：解：設是相應的樣本觀測值，則似然函數(shù)為其中是未知參數(shù)，求的最大似然估計量．在這里，最大似然估計只需考慮非零部分量最大就可以了，似然函數(shù)可改寫為對上式兩邊取對數(shù)，得由可得因此參數(shù)的最大似然估計量為當總體的分布中有多個未知參數(shù)時，似然函數(shù)就是多元函數(shù)，則相應地有方程組由此方程組解得的最大似然估計值．對數(shù)似然方程組例7：解：設總體的概率密度函數(shù)為設總體，其中和是未知參數(shù)，取樣本觀測值為，求參數(shù)和

的最大似然估計．則似然函數(shù)為取對數(shù)，得對數(shù)似然函數(shù)關于和分別求偏導，得似然方程組由此解得及的最大似然估計值分別為最大似然估計量分別為從本例可以看到，正態(tài)總體參數(shù)的最大似然估計與矩估計是相同的．

設總體服從均勻分布，其中和

是未知參數(shù)，取樣本觀測值為，求參數(shù)和的最大似然估計.例8：解：設總體的概率密度函數(shù)為則似然函數(shù)為令，則似然函數(shù)可以寫為由于當及時，似然函數(shù)的偏導數(shù)不為零，故按照最大似然原理來確定的最大值．對于滿足及

的任意，有即似然函數(shù)在，時取得最大值．故，的最大似然估計值分別為最大似然估計量分別為最大似然估計的不變性原理設是的最大似然估計，是的函數(shù)，且具有單值的反函數(shù)，則是的最大似然估計．正態(tài)分布總體中，的最大似然估計值為

是的函數(shù)，且具有單值的反函數(shù)，故的最大似然估計值為類似地，的最大似然估計值為注意：（1）當似然函數(shù)關于未知參數(shù)不可微時，只能按最大似然原理計算最大值點；（2）上述方法推廣至多個未知參數(shù)的情形；（3）對數(shù)似然方程對數(shù)似然方程組小結(jié)兩種求點估計的方法：矩估計