概率與統(tǒng)計62

1、4.3節(jié)節(jié) 第五點內(nèi)容（第五點內(nèi)容（P94）：矩的概念）：矩的概念定義定義 設(shè)設(shè)X和和Y為隨機變量，為隨機變量，lk,為正整為正整數(shù)，數(shù)，)(kXE為為k階原點矩階原點矩 (簡稱簡稱k階矩階矩);)(kXEXE 為為k階中心矩階中心矩)(kXE為為k階絕對原點矩階絕對原點矩；)(kXEXE 為為k階絕對中心矩階絕對中心矩；稱稱()klE X Y為為X和和Y的的lk 階混合矩階混合矩;() ( ) klEXE XYE Y為為X和和Y的的lk 混合中心矩混合中心矩.6.26.2點估計的常用方法點估計的常用方法一、矩估計法一、矩估計法矩估計法的矩估計法的基本思想基本思想 是用樣本矩估計總體矩是用樣本

2、矩估計總體矩. 由大數(shù)定理知，由大數(shù)定理知， 當總體的當總體的k階矩存在時，階矩存在時， 樣本的樣本的k階矩依概率收斂于總體的階矩依概率收斂于總體的k階矩階矩.例如，例如，量量, 一般地一般地,因為因為可用樣本均值可用樣本均值X作為總體均值作為總體均值)(XE的估計的估計記記總體總體k階矩階矩);(kkXE 樣本樣本k階矩階矩;11 nikikXnA總體總體k階中心矩階中心矩;)(kkXEXE 樣本樣本k階中心矩階中心矩.)(11 nikikXXnB用相應(yīng)的樣本矩估計總體矩的方法就稱為用相應(yīng)的樣本矩估計總體矩的方法就稱為矩估計法矩估計法,相應(yīng)的估計量稱為相應(yīng)的估計量稱為矩估計量矩估計量， 相應(yīng)

3、的估計值稱為相應(yīng)的估計值稱為矩矩估計值估計值， 矩估計量與距估計值稱為矩估計量與距估計值稱為矩估計矩估計. 求矩估計的方法求矩估計的方法參數(shù)參數(shù),1k 則則（1）一般都是這一般都是這k個未知參數(shù)的函數(shù)個未知參數(shù)的函數(shù),;, 2 , 1),(1kigkii （*）（2）;, 2 , 1),(1kjhkjj 設(shè)總體設(shè)總體X的分布函數(shù)的分布函數(shù)),;(1kxF 中含有中含有k個未知個未知X的前的前k階矩階矩,1k 求總體求總體記為記為從從(*)中解得中解得（3）), 2 , 1(kii 的估計量的估計量iA分別代替上式分別代替上式再用再用即可得即可得), 2 , 1(kjj 的矩估計量：的矩估計量：

4、., 2 , 1),(1kjAAhkjj 的的,i 中中求矩估計的方法求矩估計的方法注注： 求求,1kv 類似于上述步驟，類似于上述步驟， 最后用最后用kBB,1代替代替,1kv 求出矩估計求出矩估計)., 2 , 1(kij 例例1 設(shè)總體設(shè)總體X的概率密度為的概率密度為 , 010,)1()(其它其它xxxf 其中其中1 是未知參數(shù)是未知參數(shù), ,樣本樣本, , 求參數(shù)求參數(shù) 的矩估計的矩估計.解解 數(shù)學(xué)期望是一階原點矩數(shù)學(xué)期望是一階原點矩1101()()E Xxx dx nXXX,21是取自是取自X的的,21)1(101 dxx令令12,X 得得,112XX 即為即為 的矩的矩估計估計.

5、例例2 設(shè)總體設(shè)總體X的均值的均值 及方差及方差2 都存在都存在, ,但但2, 均為未知均為未知, , 又設(shè)又設(shè),21XXnX,是來自是來自X的樣的樣試求試求2, 的矩估計量的矩估計量.解解,)(1 XE,)()()(22222 XEXDXE以以21,AA代替代替,21 且有且有2 , 0 本本,1,AX 22222111niiAAXXn 222211niiAXn 解得：解得：,X 211() .niiXXn 注注: 本例表明本例表明, , 總體均值與方差的矩估計量的表達式總體均值與方差的矩估計量的表達式不因不同的總體公布而異不因不同的總體公布而異. . 如如, ,),(2 NX2, 的矩估計

6、量為的矩估計量為則則,X 未知未知, ,2, .)(1212XXnnii 例例3 設(shè)總體設(shè)總體X的概率分布為的概率分布為, 13 x求求 的矩估計值的矩估計值.解解 先求總體一階原點矩先求總體一階原點矩,23)1(3)1(221)(22 XE一階樣本矩一階樣本矩.34)121(31 x由由,)(xXE 得得,3423 推出推出,65 , 11 x現(xiàn)抽得一個樣本現(xiàn)抽得一個樣本, 22 x 為未知參數(shù)為未知參數(shù). .其中其中22)1()1(2321 ipX估計值估計值.65 所以所以 的矩的矩二、最大似然估計法二、最大似然估計法最大似然估計法的思想最大似然估計法的思想： 在已得到試驗結(jié)果的情況在已

7、得到試驗結(jié)果的情況引例引例某同學(xué)與一位獵人一起去打獵某同學(xué)與一位獵人一起去打獵,一只野兔從一只野兔從前方竄過，前方竄過，只聽一聲槍響，只聽一聲槍響， 野兔應(yīng)聲倒下，野兔應(yīng)聲倒下，試猜測試猜測是誰打中的？是誰打中的？由于只發(fā)一槍便打中由于只發(fā)一槍便打中,而獵人命中的概率一般大于而獵人命中的概率一般大于這位同學(xué)命中的概率，這位同學(xué)命中的概率， 故一般會猜測這一槍是獵人故一般會猜測這一槍是獵人射中的射中的.下，下，應(yīng)尋找使這個結(jié)果出現(xiàn)的可能性最大的那個應(yīng)尋找使這個結(jié)果出現(xiàn)的可能性最大的那個 值作為值作為 的估計的估計. 例例 設(shè)盒子里裝有許多白球和紅球，不知道哪種球多，只知道設(shè)盒子里裝有許多白球和紅

8、球，不知道哪種球多，只知道 兩種球的比例是兩種球的比例是 3:1 ，我們希望通過實驗去判別白球占的，我們希望通過實驗去判別白球占的 比例是比例是 1/4 還是還是 3/4。解：采用有放回抽樣方式從盒子里抽取解：采用有放回抽樣方式從盒子里抽取 3 個球，記白球數(shù)為個球，記白球數(shù)為 X。則則331,0,1,2,3.kkkP XkC ppk其中其中 是是 1/4 或或 3/4，是待定參數(shù)。，是待定參數(shù)。p就就 是是 1/4 或或 3/4 為參數(shù)值計算二項概率得下表：為參數(shù)值計算二項概率得下表：pX1/ 4p 3/ 4p 01231/ 641/ 649 / 649 / 6427 / 6427 / 64

9、27 / 6427 / 64顯然，當實驗結(jié)果是顯然，當實驗結(jié)果是X=0 或或 1 時，我們認為時，我們認為1/4.p 反之，當實驗結(jié)果是反之，當實驗結(jié)果是X=2 或或 3 時，我們認為時，我們認為3/4.p 就就 是是 1/4 或或 3/4 為參數(shù)值計算二項概率得下表：為參數(shù)值計算二項概率得下表：pX1/ 4p 3/ 4p 01231/ 641/ 649 / 649 / 6427 / 6427 / 6427 / 6427 / 64顯然，當實驗結(jié)果是顯然，當實驗結(jié)果是X=0 或或 1 時，我們認為時，我們認為1/4.p 反之，當實驗結(jié)果是反之，當實驗結(jié)果是X=2 或或 3 時，我們認為時，我們認

10、為3/4.p 因為樣本是來自總體的，它能很好地反映總體的概率分布因為樣本是來自總體的，它能很好地反映總體的概率分布特征，所以在作參數(shù)估計時，應(yīng)從樣本的觀察值出發(fā)，選取使特征，所以在作參數(shù)估計時，應(yīng)從樣本的觀察值出發(fā)，選取使得樣本落在觀察值的鄰近的概率達到最大的參數(shù)值作為總體參得樣本落在觀察值的鄰近的概率達到最大的參數(shù)值作為總體參數(shù)值的估計值。這就是最大似然法的原理。數(shù)值的估計值。這就是最大似然法的原理。最大似然估計法最大似然估計法定義定義 若對任意給定的樣本值若對任意給定的樣本值,21nxxx存在存在),(21nxxx 使使),(max)( LL 則稱則稱),(21nxxx 為為 最大似然估計

11、值最大似然估計值，稱相應(yīng)的統(tǒng)計量稱相應(yīng)的統(tǒng)計量),(21nxxx 為為 最大似然估計最大似然估計量量, 它們統(tǒng)稱為它們統(tǒng)稱為 的最大似然估計的最大似然估計(MLE).最大似然估計法最大似然估計法似然函數(shù)似然函數(shù))( L的值的大小意味著該樣本值出現(xiàn)的可的值的大小意味著該樣本值出現(xiàn)的可能性的大小，能性的大小，在已得到樣本值在已得到樣本值nxxx,21的情況下的情況下,計計, 這種求點估計的方法稱為這種求點估計的方法稱為最大似然估計法最大似然估計法.則應(yīng)選擇使則應(yīng)選擇使)( L達到最大值的那個達到最大值的那個 值作為值作為 的估的估注注：最大似然估計法首先由德國數(shù)學(xué)家高斯于最大似然估計法首先由德國數(shù)

12、學(xué)家高斯于1821年提出，年提出，英國統(tǒng)計學(xué)家費歇于英國統(tǒng)計學(xué)家費歇于1922年重新發(fā)現(xiàn)并作年重新發(fā)現(xiàn)并作了進一步的研究了進一步的研究.似然函數(shù)的概念似然函數(shù)的概念離散型總體離散型總體的情形：的情形：設(shè)總體設(shè)總體X的概率分布為的概率分布為),( xpxXP 其中其中 為未知參數(shù)為未知參數(shù).如果如果nXXX,21是取自總體是取自總體X的樣本的樣本 ,值為值為,21nxxx則樣本的聯(lián)合分布律則樣本的聯(lián)合分布律 niinnxpxXxXP111),(, 對確定的樣本觀察值對確定的樣本觀察值,21nxxx它是未知參數(shù)它是未知參數(shù)樣本的觀樣本的觀察察 的函數(shù)，的函數(shù)，記為記為 niinxpxxxLL121

13、),(),()( 并稱為并稱為似然函數(shù)似然函數(shù).似然函數(shù)的概念似然函數(shù)的概念連續(xù)型總體連續(xù)型總體的情形：的情形： 設(shè)總體設(shè)總體X的概率密度為的概率密度為),( xf其中其中 為未知參數(shù)，為未知參數(shù)， 此時定義此時定義似然函數(shù)似然函數(shù) niinxfxxxLL121).,(),()( 求未知參數(shù)求未知參數(shù) 的最大似然估計問題，的最大似然估計問題， 歸結(jié)為求似然歸結(jié)為求似然函數(shù)函數(shù))( L的最大值點的問題的最大值點的問題. 當似然函數(shù)關(guān)于未知當似然函數(shù)關(guān)于未知參數(shù)可微時，參數(shù)可微時， 可利用微分學(xué)中求最大值的方法求之可利用微分學(xué)中求最大值的方法求之. 其其主要步驟主要步驟：（1）（2）求出駐點；求出

14、駐點；);,()(21 nxxxLL 寫出似然函數(shù)寫出似然函數(shù)0)( ddL或或, 0)(ln dLd令令注注： 因函數(shù)因函數(shù)Lln是是L的單調(diào)增加函數(shù)，的單調(diào)增加函數(shù)，且函數(shù)且函數(shù))(ln L與函數(shù)與函數(shù))( L有相同的極值點，有相同的極值點，故常轉(zhuǎn)化為求函數(shù)故常轉(zhuǎn)化為求函數(shù))(ln L的最大值點較方便的最大值點較方便.(3)在最大值點的表達式中在最大值點的表達式中,用樣本值代入即得參數(shù)的最大估計值用樣本值代入即得參數(shù)的最大估計值. 注注： 當似然函數(shù)關(guān)于未知參數(shù)不可微時，當似然函數(shù)關(guān)于未知參數(shù)不可微時，只能只能按最大似然估計法的基本思想求出最大值點按最大似然估計法的基本思想求出最大值點.

15、上述方法易推廣至多個未知參數(shù)的情形上述方法易推廣至多個未知參數(shù)的情形.判斷并求出最大值點判斷并求出最大值點,例例個樣本個樣本, , 試求參數(shù)試求參數(shù)p的最大似然估計的最大似然估計. .解解 設(shè)設(shè)nxxx,21是是nXXX,21的一個樣本值的一個樣本值, ,X的分布律為的分布律為,)1(1 xxppxXP 故似然函數(shù)為故似然函數(shù)為1111( )()(),nniiiinxnxiiL pp xpp 設(shè)設(shè)), 1(pbXnXXX,21是取自總體是取自總體X的一的一, 1 , 0 x令令, 0)1()(ln11 pxnpxpLdpdniinii111ln ( )lnln()nniiiiL pxpnxp例

16、例個樣本個樣本, , 試求參數(shù)試求參數(shù)p的最大似然估計的最大似然估計. .解解設(shè)設(shè)), 1(pbXnXXX,21是取自總體是取自總體X的一的一令令, 0)1()(ln11 pxnpxpLdpdniinii.11xxnpnii 從而從而p的最大似然估計量的最大似然估計量.11XXnpnii 注注: : 這一估計量與矩估計量是相同的這一估計量與矩估計量是相同的.解得解得p的最大似然估計值的最大似然估計值例例設(shè)總體設(shè)總體X服從指數(shù)分布服從指數(shù)分布, , 其概率密度函數(shù)其概率密度函數(shù) ,0, 00,),(xxexfx 其中其中, 0 是未知參數(shù)是未知參數(shù). .nxxx,21是來自總體是來自總體X的樣本

17、觀察值的樣本觀察值, , 求參數(shù)求參數(shù) 的最大似然估計值的最大似然估計值. .解解 似然函數(shù)似然函數(shù)顯然顯然);,(21 nxxxL的最大值點一定是的最大值點一定是 niixnnexxxL1);,(211 其它其它, 00,);,(121ixnnxexxxLnii 的最大值點的最大值點, , 對其取對數(shù)對其取對數(shù) niinxnxxxL1211ln);,(ln 由由 niinxndxxxLd12110);,(ln .11xxnnii 可得參數(shù)可得參數(shù) 的最大似然估計值的最大似然估計值例例 設(shè)設(shè) 是一隨機變量，是一隨機變量， 是它的一個樣本。是它的一個樣本。 X 的分布密度如下，求參數(shù)的分布密度如

18、下，求參數(shù) 的最大似然估計。的最大似然估計。X12,.nx xx1,01, 0;0,xxp x 其它其它解：似然函數(shù)（當解：似然函數(shù)（當 時）：時）：01ix 11nniiLx 1lnln1lnniiLnx由似然方程：由似然方程： 1lnln0niidLnxd1lnniinx 參數(shù)參數(shù) 的最大似然估計為的最大似然估計為1lnniinx 關(guān)于有關(guān)于有k個未知參數(shù)的最大似然估計個未知參數(shù)的最大似然估計一般地，一般地，如果總體如果總體X的分布中含有的分布中含有k個未知參數(shù)個未知參數(shù)值，值，則似然函數(shù)則似然函數(shù)),;,(2121knxxxL 為為k ,21的的k元函數(shù)，元函數(shù)， 由方程組由方程組),

19、2 , 1( , 0),;,(ln2121kixxxLikn nkxxx,2121 為來自總體為來自總體X的的解得解得),;,(ln2121knxxxL 的最大值點的最大值點,21k 它們分別是參數(shù)它們分別是參數(shù)k ,21的最大似然估計值的最大似然估計值.樣本觀察樣本觀察例例設(shè)設(shè)nxxx,21是正態(tài)總體是正態(tài)總體),(2 N的樣本觀的樣本觀察值察值, , 其中其中2, 是未知參數(shù)是未知參數(shù), ,似然估計值似然估計值. .解解 記似然函數(shù)記似然函數(shù)),(),;,(2221 LxxxLn 則則 nixieL12)(22221),( 22221122/() ()exp()nnniix 試求試求 和和

20、2 的最大的最大222211222ln ( ,)lnln()niinLnx 例例設(shè)設(shè)nxxx,21是正態(tài)總體是正態(tài)總體),(2 N的樣本觀的樣本觀察值察值, , 其中其中2, 是未知參數(shù)是未知參數(shù), ,似然估計值似然估計值. .解解試求試求 和和2 的最大的最大 nixnnL121222)(21ln22ln),(ln 02)(21ln21242 nxLnii niixL12, 0)(1ln 由此可得參數(shù)由此可得參數(shù) 和和2 的最大似然估計值為的最大似然估計值為 niixxn1,1 niixxn122)(1 例例設(shè)設(shè)nxxx,21是正態(tài)總體是正態(tài)總體),(2 N的樣本觀的樣本觀察值察值, , 其中其中2, 是未知參數(shù)是未知參數(shù), ,似然估計值似然估計值. .解解試求試求 和和2 的最大的最大由此可得參數(shù)由此可得參數(shù) 和和2 的最大似然估計值為的最大似然估計值為 niixxn1,1 niixxn122)(1 最大似然估計量為最大似然估計量為,11XXnnii 與例與例3中的矩估計量相同中的矩估計量相同. niiXXn122)(1 例例6 設(shè)總體設(shè)總體X服從服從, 0 上的均勻分布上的均勻分布, ,1XnX,為為X的樣本的樣本, ,