第7章 參數(shù)估計(jì)

若對(duì)參數(shù)一無所知用參數(shù)估計(jì)的方法處理若對(duì)參數(shù)有所了解但有懷疑猜測需要證實(shí)之時(shí)用假設(shè)檢驗(yàn)的方法來處理機(jī)動(dòng)目錄上頁下頁返回結(jié)束1第一節(jié)點(diǎn)估計(jì)第二節(jié)估計(jì)量優(yōu)劣的評(píng)價(jià)標(biāo)準(zhǔn)第三節(jié)區(qū)間估計(jì)第七章參數(shù)估計(jì)ParameterEstimation

機(jī)動(dòng)目錄上頁下頁返回結(jié)束2這類問題稱為參數(shù)估計(jì).參數(shù)估計(jì)問題的一般提法X1,X2,…,Xn要依據(jù)該樣本對(duì)參數(shù)作出估計(jì),或估計(jì)的某個(gè)已知函數(shù)

.現(xiàn)從該總體抽樣，得樣本設(shè)有一個(gè)統(tǒng)計(jì)總體,總體的分布函數(shù)為F(x,)，其中

為未知參數(shù)

(可以是向量).

機(jī)動(dòng)目錄上頁下頁返回結(jié)束3參數(shù)的估計(jì)點(diǎn)估計(jì)：估計(jì)未知參數(shù)的值區(qū)間估計(jì)：估計(jì)未知參數(shù)的取值范圍，使得這個(gè)范圍包含未知參數(shù)真值的概率為給定的值.機(jī)動(dòng)目錄上頁下頁返回結(jié)束4（假定身高服從正態(tài)分布）設(shè)這5個(gè)數(shù)是:1.651.671.681.781.69估計(jì)為1.68，這是點(diǎn)估計(jì).這是區(qū)間估計(jì).估計(jì)在區(qū)間[1.57,1.84]內(nèi)，例如我們要估計(jì)某隊(duì)男生的平均身高.現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個(gè)數(shù)）求出總體均值的估計(jì).而全部信息就由這5個(gè)數(shù)組成.機(jī)動(dòng)目錄上頁下頁返回結(jié)束5一點(diǎn)估計(jì)的概念二矩估計(jì)法三最大似然估計(jì)法第一節(jié)點(diǎn)估計(jì)PointEstimation

機(jī)動(dòng)目錄上頁下頁返回結(jié)束6定義1

總體X的未知參數(shù)θ的點(diǎn)估計(jì)指的是一個(gè)數(shù)，此數(shù)可以作為θ的真值的近似.Pointestimate

通常的做法是構(gòu)造適當(dāng)?shù)慕y(tǒng)計(jì)量用其測值作為θ的點(diǎn)估計(jì).所選用的統(tǒng)計(jì)量稱為θ的(點(diǎn))估計(jì)量相應(yīng)地，也稱為θ的(點(diǎn))估計(jì)值.有時(shí)，(點(diǎn))估計(jì)量、(點(diǎn))估計(jì)值統(tǒng)稱為(點(diǎn))估計(jì)，并簡記為一點(diǎn)估計(jì)的概念estimator

常用的點(diǎn)估計(jì)法：矩估計(jì)法，(最）極大似然估計(jì)法機(jī)動(dòng)目錄上頁下頁返回結(jié)束7二矩估計(jì)法用樣本矩代替相應(yīng)總體矩得到估計(jì)的方法稱為矩估計(jì)法，簡稱矩法Momentestimation

用矩法得到的估計(jì)稱為矩估計(jì)Momentestimate用“總體矩等于樣本矩”列出矩方程（組），做法：解之即得矩估計(jì)．機(jī)動(dòng)目錄上頁下頁返回結(jié)束8矩估計(jì)的步驟：

關(guān)鍵點(diǎn)：1、把待估參數(shù)與總體矩聯(lián)系起來

2、用樣本矩代替相應(yīng)的總體矩即可機(jī)動(dòng)目錄上頁下頁返回結(jié)束設(shè)總體的分布函數(shù)中含有k個(gè)未知參數(shù)

它的前k階矩,Step1

把待估參數(shù)和總體矩聯(lián)系起來9機(jī)動(dòng)目錄上頁下頁返回結(jié)束這是包含k個(gè)未知參數(shù)的聯(lián)立方程從而形式地解出所謂“形式地”解出是指：由于其中的具體值未知，仍未得到具體值點(diǎn)的估計(jì)。10機(jī)動(dòng)目錄上頁下頁返回結(jié)束Step2

將上式中的總體矩用樣本矩代替其中可通過采樣取得具體值，因而未知參數(shù)也可以有具體的估計(jì)結(jié)果。11例1

設(shè)總體X在區(qū)間(a,b)上服從均勻分布(a,b未知).X1,X2,

…,Xn是樣本，試求a,

b的矩估計(jì)量.解

因?yàn)閄~U(a,b)，所以機(jī)動(dòng)目錄上頁下頁返回結(jié)束解出a,b12令機(jī)動(dòng)目錄上頁下頁返回結(jié)束以代替13例2

設(shè)總體求(未知).的矩估計(jì)量.解

因?yàn)榻庵玫木毓烙?jì)量分別為

()存在，總有機(jī)動(dòng)目錄上頁下頁返回結(jié)束注無論總體分布如何，只要總體期望()、方差14機(jī)動(dòng)目錄上頁下頁返回結(jié)束

矩法的優(yōu)點(diǎn)是簡單易行,并不需要事先知道總體是什么分布.缺點(diǎn)是，當(dāng)總體類型已知時(shí)，沒有充分利用分布提供的信息.一般場合下,矩估計(jì)量不具有唯一性.其主要原因在于建立矩法方程時(shí)，選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性.如果是θ的矩估計(jì)，則是的矩估計(jì)15三最大似然估計(jì)法18211922FisherGauss引例袋中有10只黑白兩色球，比例為9﹕1，希望知道是黑球多還是白球多（即黑球所占比例p是

90%還是10%）．有放回地抽取兩球，結(jié)果發(fā)現(xiàn)兩次都是黑球,由此可推測黑球所占比例p為90%．思想方法：一次試驗(yàn)就出現(xiàn)的事件有較大的概率。機(jī)動(dòng)目錄上頁下頁返回結(jié)束16最大似然法的基本思想先看一個(gè)簡單例子：一只野兔從前方竄過.是誰打中的呢？某位同學(xué)與一位獵人一起外出打獵.如果要你推測，只聽一聲槍響，野兔應(yīng)聲倒下.你會(huì)如何想呢?機(jī)動(dòng)目錄上頁下頁返回結(jié)束17你就會(huì)想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來這一槍是獵人射中的.這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了最大似然法的基本思想.機(jī)動(dòng)目錄上頁下頁返回結(jié)束設(shè)總體中含有待估參數(shù)，它可以取得很多值，我們要在一切可能取值中，選出一個(gè)樣本觀察值出現(xiàn)的概率為最大的做為的估計(jì)并稱為的最大似然估計(jì)。18利用“最大似然原理”獲得的估計(jì)稱為最大似然估計(jì).MLE

最大似然法具體說來，設(shè)總體X的pdf

為——樣本，——樣本值Likelihoodfunction

——似然函數(shù)最大似然估計(jì)量最大似然估計(jì)值這種通過求似然函數(shù)的最大值點(diǎn)去求點(diǎn)估計(jì)的方法稱為最大似然估計(jì)法Maximumlikelihoodestimation概率函數(shù)機(jī)動(dòng)目錄上頁下頁返回結(jié)束19求MLE的一般思路

設(shè)總體X的pdf

為概率函數(shù)寫出似然函數(shù)（參數(shù)的函數(shù)）——對(duì)數(shù)似然函數(shù)Log-likelihoodfunction

取對(duì)數(shù)——似然方程令——最大似然估計(jì)量最大似然估計(jì)值相應(yīng)地，解似然方程并將改記為得機(jī)動(dòng)目錄上頁下頁返回結(jié)束20解最大似然估計(jì)量.例3

設(shè)總體(未知).求的似然函數(shù)令解得故最大似然估計(jì)量分別為機(jī)動(dòng)目錄上頁下頁返回結(jié)束21L(p)解似然函數(shù)為

例4

設(shè)總體X~b(1,p)，求p的最大似然估計(jì)量.令=0得

p的最大似然估計(jì)值故p的最大似然估計(jì)量為機(jī)動(dòng)目錄上頁下頁返回結(jié)束22解：機(jī)動(dòng)目錄上頁下頁返回結(jié)束例5

設(shè)某電子元件的壽命T服從參數(shù)為的指數(shù)分布今測得10個(gè)元件的失效時(shí)間為

求的最大似然估計(jì)量.23機(jī)動(dòng)目錄上頁下頁返回結(jié)束24分布形式已知這是因?yàn)?，滿足似然方程只是最大似然估計(jì)的一個(gè)必要條件．但這種驗(yàn)證在很多情況下是很難、甚至是不可能的．使用最大似然法的前提條件如果是θ的最大似然估計(jì)。則是的最大似然估計(jì)最大似然估計(jì)并不一定都通過求導(dǎo)數(shù)求得原則上還應(yīng)驗(yàn)證似然方程的解確實(shí)使似然函數(shù)達(dá)到最大機(jī)動(dòng)目錄上頁下頁返回結(jié)束25例6：設(shè)X1，…，Xn為取自

U(0,)

總體的樣本，>0未知，求參數(shù)

的矩估計(jì)量和極大似然估計(jì)量。解：矩估計(jì)法機(jī)動(dòng)目錄上頁下頁返回結(jié)束極大似然估計(jì)由似然估計(jì)可知，要使L最大，就要使盡可能地小，但又不能小于26一無偏性二有效性三相合性第二節(jié)估計(jì)量優(yōu)劣的評(píng)價(jià)標(biāo)準(zhǔn)機(jī)動(dòng)目錄上頁下頁返回結(jié)束27定義1

設(shè)是的估計(jì)量.一無偏性若對(duì)任意的，有則稱

是的無偏估計(jì)，否則稱為有偏估計(jì).Unbiased機(jī)動(dòng)目錄上頁下頁返回結(jié)束無偏性的直觀意義：一個(gè)較好的估計(jì)量應(yīng)在參數(shù)的真值周圍擺動(dòng)，所取的平均值要等于本身。28例1

樣本均值是總體均值的無偏估計(jì)，樣本方差是總體方差的無偏估計(jì)，有偏機(jī)動(dòng)目錄上頁下頁返回結(jié)束29例2

設(shè)總體X服從參數(shù)為θ的指數(shù)分布,θ>0未知，

證明nZ=

n[min(X1,X2,…,Xn)]是θ的無偏估計(jì)．

證明

X的pdf、cdf分別為=θFmin(z)=1[1

F(z)]n

機(jī)動(dòng)目錄上頁下頁返回結(jié)束30且至少有一個(gè)

使得上述不等號(hào)嚴(yán)格成立，則稱若對(duì)任意的,二有效性是θ的兩個(gè)無偏估計(jì),定義2

設(shè)Effective

比有效.機(jī)動(dòng)目錄上頁下頁返回結(jié)束引例

都是總體均值的無偏估計(jì).31三相合性

注

相合性是對(duì)估計(jì)量的一個(gè)最基本要求.

如果在樣本量不斷增大時(shí)，估計(jì)量都不能把被估參數(shù)估計(jì)到任意指定的精度,那么這個(gè)估計(jì)是不可取的.證明相合性除了利用依概率收斂的定義外，可利用大數(shù)定律.Consistent

對(duì)任意ε>0，有相合估計(jì)，若機(jī)動(dòng)目錄上頁下頁返回結(jié)束定義3

稱為未知參數(shù)的32矩法得出的估計(jì)一般都具有相合性.樣本均值是總體均值的相合估計(jì).

樣本方差和樣本二階中心矩是總體方差樣本標(biāo)準(zhǔn)差是總體標(biāo)準(zhǔn)差的相合估計(jì).

的相合估計(jì).機(jī)動(dòng)目錄上頁下頁返回結(jié)束33一置信水平與置信區(qū)間二置信區(qū)間的構(gòu)造三單個(gè)正態(tài)總體參數(shù)的區(qū)間估計(jì)四兩個(gè)正態(tài)總體參數(shù)的區(qū)間估計(jì)五大樣本區(qū)間估計(jì)六單側(cè)置信區(qū)間第三節(jié)區(qū)間估計(jì)機(jī)動(dòng)目錄上頁下頁返回結(jié)束34

引言

前面，我們討論了參數(shù)點(diǎn)估計(jì).它是用樣本算得的一個(gè)值去估計(jì)未知參數(shù).但是，點(diǎn)估計(jì)值僅僅是未知參數(shù)的一個(gè)近似值，它沒有反映出這個(gè)近似值的誤差范圍，使用起來把握不大.區(qū)間估計(jì)正好彌補(bǔ)了點(diǎn)估計(jì)的這個(gè)缺陷.機(jī)動(dòng)目錄上頁下頁返回結(jié)束35

譬如，在估計(jì)湖中魚數(shù)的問題中，若我們根據(jù)一個(gè)實(shí)際樣本，得到魚數(shù)N的極大似然估計(jì)為1000條.

實(shí)際上，N的真值可能大于1000條，也可能小于1000條.

若我們能給出一個(gè)區(qū)間，在此區(qū)間內(nèi)我們合理地相信N的真值位于其中.這樣對(duì)魚數(shù)的估計(jì)就有把握多了.機(jī)動(dòng)目錄上頁下頁返回結(jié)束36也就是說，我們希望確定一個(gè)區(qū)間，使我們能以比較高的可靠程度相信它包含真參數(shù)值.湖中魚數(shù)的真值[]這里所說的“可靠程度”是用概率來度量的，稱為置信度或置信水平.

習(xí)慣上把置信水平記作，這里是一個(gè)

很小的正數(shù).機(jī)動(dòng)目錄上頁下頁返回結(jié)束37置信水平的大小是根據(jù)實(shí)際需要選定的.置信區(qū)間.置信水平為的稱區(qū)間為的例如，通?？扇≈眯潘?0.95或0.9等.根據(jù)一個(gè)實(shí)際樣本，由給定的置信水平，我們求出一個(gè)盡可能小的區(qū)間，使機(jī)動(dòng)目錄上頁下頁返回結(jié)束38則稱（隨機(jī)）區(qū)間為θ的置信水平（或置信度）為1-

的置信區(qū)間.所謂區(qū)間估計(jì)就是找兩個(gè)統(tǒng)計(jì)量T1

、T2，以它們?yōu)槎它c(diǎn)構(gòu)造區(qū)間(T1,T2)，一旦有了樣本，就把θ的真值估計(jì)在此區(qū)間內(nèi)．定義1

設(shè)是總體參數(shù)，對(duì)于給定的(0<<1)，若有兩個(gè)統(tǒng)計(jì)量使得對(duì)任意的，

IntervalestimationConfidencelevelConfidenceinterval，CI

分別稱為（雙側(cè)）置信下限和置信上限一置信水平與置信區(qū)間機(jī)動(dòng)目錄上頁下頁返回結(jié)束39置信區(qū)間及置信水平的解釋機(jī)動(dòng)目錄上頁下頁返回結(jié)束

95％置信區(qū)間：從總體中作隨機(jī)抽樣，作100次抽樣，每個(gè)樣本可算得一個(gè)可信區(qū)間，得100個(gè)置信區(qū)間，平均有95個(gè)置信區(qū)間包括總體參數(shù)(估計(jì)正確)，只有5個(gè)置信區(qū)間不包括(估計(jì)錯(cuò)誤)?；?qū)τ谀骋粋€(gè)區(qū)間而言，它包含總體的可能性為95%，而不包含的可能性僅為5%。因此在實(shí)際應(yīng)用中，以這種方法估計(jì)總體參數(shù)犯錯(cuò)誤的概率僅為5%。40置信區(qū)間具有兩個(gè)要素

(1)準(zhǔn)確度（accuracy）（置信度），反映區(qū)間估計(jì)的可靠程度，即置信區(qū)間包含待估參數(shù)的概率的大小，一般而言概率越大越好。

(2)精密度（precision），反映區(qū)間的長度，區(qū)間的長度越短，估計(jì)的精密度越好，反之越差。當(dāng)n確定時(shí)，上述兩者互相矛盾。當(dāng)置信度增大時(shí)，區(qū)間長度也增大，精度減小；當(dāng)置信度減小時(shí)，區(qū)間長度縮短，精度增高。原則：先保證置信度，在此前提下盡量提高精度。機(jī)動(dòng)目錄上頁下頁返回結(jié)束41

引例

設(shè)X~N(,

2)（

2

已知）,求的1-CI.應(yīng)該以很高的概率1-被區(qū)間蓋?。悍治龆眯艆^(qū)間的構(gòu)造——樞軸變量法—的好的點(diǎn)估計(jì)，真實(shí)參數(shù)離之不遠(yuǎn).

而/2/21-故即這樣，μ的1-αCI為

機(jī)動(dòng)目錄上頁下頁返回結(jié)束42/2/21-為什么這樣?。恐眯艆^(qū)間不唯一，習(xí)慣上兩邊均分α（分布對(duì)稱時(shí)，區(qū)間的長度達(dá)到最短,精度最高；分布不對(duì)稱時(shí)，精度不算最高，但計(jì)算方便）．機(jī)動(dòng)目錄上頁下頁返回結(jié)束43機(jī)動(dòng)目錄上頁下頁返回結(jié)束取=0.05~N(0,1)44在概率密度為單峰且對(duì)稱的情形，當(dāng)a=-b時(shí)求得的置信區(qū)間的長度為最短.a=-b機(jī)動(dòng)目錄上頁下頁返回結(jié)束45

即使在概率密度不對(duì)稱的情形，如分布，F(xiàn)分布，習(xí)慣上仍取對(duì)稱的分位點(diǎn)來計(jì)算未知參數(shù)的置信區(qū)間.機(jī)動(dòng)目錄上頁下頁返回結(jié)束46Step1

選θ的一個(gè)“好”的點(diǎn)估計(jì)T

；構(gòu)造置信區(qū)間的方法——樞軸變量法Step2

找T

和θ

的函數(shù)W,其分布F已知且與θ無關(guān)；Step3

對(duì)于給定的置信水平1，取分布F的/2分位點(diǎn)wα/2和1-/2分位點(diǎn)w1-α/2，使得P{wα/2<W<w1-α/2}=1Step4

將不等式wα/2<W<w1-α/2改寫成即為θ

的1CI——樞軸變量W機(jī)動(dòng)目錄上頁下頁返回結(jié)束47參數(shù)條件樞軸變量及其分布置信區(qū)間（CI）

2

已知

2

未知

2

未知三單個(gè)正態(tài)總體參數(shù)的區(qū)間估計(jì)總體X~N(,

2),樣本，置信水平1機(jī)動(dòng)目錄上頁下頁返回結(jié)束48例1

用天平秤某物重量9次，得均值(克)，解該物體平均重量的1-αCI為求該物體平均重量的0.95CI.已知天平秤量結(jié)果為正態(tài)分布，其標(biāo)準(zhǔn)差為0.1克.注意到1-α=0.95，查表知z0.975=1.96.從而該物體平均重量的0.95CI為(15.3347，15.4653)或機(jī)動(dòng)目錄上頁下頁返回結(jié)束49例2

假設(shè)輪胎的壽命服從正態(tài)分布.為估計(jì)某種輪胎的平均壽命,現(xiàn)隨機(jī)地抽12只輪胎試用,測得它們的壽命（單位：萬公里）如下：

4.684.854.324.854.615.025.204.604.584.724.384.70求平均壽命的0.95CI.

平均壽命的0.95CI為機(jī)動(dòng)目錄上頁下頁返回結(jié)束50現(xiàn)從該廠生產(chǎn)的零件中抽取9個(gè)，測得其重量為代入數(shù)值得的0.95CI為(0.1218，0.3454).

45.345.445.145.345.545.745.445.345.6試求總體標(biāo)準(zhǔn)差的0.95CI.2的1-αCI為例3

某廠生產(chǎn)的零件重量服從正態(tài)分布N(,2)，

的1-αCI為機(jī)動(dòng)目錄上頁下頁返回結(jié)束51且兩樣本獨(dú)立是來自X的樣本是來自Y的樣本四兩個(gè)正態(tài)總體參數(shù)的區(qū)間估計(jì)置信水平1機(jī)動(dòng)目錄上頁下頁返回結(jié)束參數(shù)條件樞軸變量及其分布置信區(qū)間

已知

未知

2

2

未知52例4

甲、乙兩臺(tái)機(jī)床加工同種零件，從甲機(jī)床處隨機(jī)取9個(gè)，從乙處隨機(jī)取7個(gè)零件測得其樣本均值分別為=19.8mm，=23.5mm.又知甲機(jī)床的零件長度X～N(1,0.34),乙機(jī)床的零件長度Y～N(2,0.36)，求1-2的99%CI.(－4.47，－2.93)

機(jī)動(dòng)目錄上頁下頁返回結(jié)束53

例5

為提高某化學(xué)生產(chǎn)過程的得率，試圖采用一種新的催化劑.為慎重起見，在實(shí)驗(yàn)工廠先進(jìn)行試驗(yàn).采用原來的催化劑進(jìn)行了8次試驗(yàn)，得率均值為91.73，樣本方差為3.89；采用新的催化劑進(jìn)行了8次試驗(yàn)，得率均值為93.75，樣本方差為4.02.假設(shè)兩總體服從正態(tài)分布，且方差相等.求兩總體均值差1-2的0.95CI.機(jī)動(dòng)目錄上頁下頁返回結(jié)束54(0.222，3.601)

例6A、B兩位化驗(yàn)員獨(dú)立地對(duì)某種聚合物的含氯量用相同的方法各做了10次測定，其測定值的方差分別為設(shè)分別是A、B兩位化驗(yàn)員測量數(shù)據(jù)總體的的方差，且總體服從正態(tài)分布，求的0.95CI.機(jī)動(dòng)目錄上頁下頁返回結(jié)束55五大樣本區(qū)間估計(jì)對(duì)于離散型隨機(jī)變量來說，樞軸變量法不易使用，不僅由于樞軸變量大多不存在，即使存在，由于其分布為離散型，對(duì)于給定的置信水平,一般也不一定存在確切的分位