第34節(jié)經(jīng)驗(yàn)貝葉斯估計(jì)

1、一、非參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)一、非參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)二、參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)二、參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)第第3.4節(jié)經(jīng)驗(yàn)貝葉斯估計(jì)節(jié)經(jīng)驗(yàn)貝葉斯估計(jì)0、背景與意義、背景與意義 貝葉斯估計(jì)存在的問(wèn)題：貝葉斯估計(jì)存在的問(wèn)題：先驗(yàn)分布的確定先驗(yàn)分布的確定如何客觀地確定先驗(yàn)分布？如何客觀地確定先驗(yàn)分布？ 根據(jù)歷史資料數(shù)據(jù)（即經(jīng)驗(yàn)）確定該問(wèn)題的先根據(jù)歷史資料數(shù)據(jù)（即經(jīng)驗(yàn)）確定該問(wèn)題的先驗(yàn)分布，其對(duì)應(yīng)的貝葉斯估計(jì)稱為驗(yàn)分布，其對(duì)應(yīng)的貝葉斯估計(jì)稱為經(jīng)驗(yàn)貝葉斯估計(jì)經(jīng)驗(yàn)貝葉斯估計(jì).該方法是由該方法是由Robbins在在1955年提出的年提出的.經(jīng)驗(yàn)貝葉斯估計(jì)分類（共兩類）經(jīng)驗(yàn)貝葉斯估計(jì)分類（共兩類） 非參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)非參

2、數(shù)經(jīng)驗(yàn)貝葉斯估計(jì) 參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)一、非參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)一、非參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)X 設(shè)設(shè)隨隨機(jī)機(jī)變變量量 服服從從泊泊松松分分布布，e 0 1 20(| ),(, , ,;!xxp xxx ）例例1（p109例例3.20)1 1、問(wèn)題引入、問(wèn)題引入( ),GX設(shè)設(shè)參參數(shù)數(shù) 的的先先驗(yàn)驗(yàn)分分布布為為則則 的的邊邊緣緣分分布布為為0e 0 1 2( )( ),(, , ,!）xxGmxdGxx ( ),G對(duì)對(duì)于于先先驗(yàn)驗(yàn)分分布布在在平平方方損損失失下下，可可求求得得 的的貝貝葉葉斯斯估估計(jì)計(jì)為為00 ( )( |)d ( )( |)( |)d ( )G xpxG xdExpx

3、G x10011 e d ( )!e d ( )!xxG xxG xx11 ()()( )GGxmxmx如果先驗(yàn)分布如果先驗(yàn)分布G(x)未知，該未知，該如何計(jì)算？如何計(jì)算？2 2、經(jīng)驗(yàn)貝葉斯決策函數(shù)、經(jīng)驗(yàn)貝葉斯決策函數(shù)當(dāng)先驗(yàn)分布未知時(shí)，如何利用歷史資料（經(jīng)驗(yàn)資當(dāng)先驗(yàn)分布未知時(shí)，如何利用歷史資料（經(jīng)驗(yàn)資料）料）定義定義3.113.1112(,)TnXXX任任何何同同時(shí)時(shí)依依賴賴于于歷歷史史樣樣本本1(|,)nnnXddX XX 和和當(dāng)當(dāng)前前樣樣本本 的的決決策策函函數(shù)數(shù)稱稱為為12(,)TnXXX的信息得到最優(yōu)貝葉斯估計(jì)？的信息得到最優(yōu)貝葉斯估計(jì)？經(jīng)經(jīng)驗(yàn)驗(yàn)貝貝葉葉斯斯決決策策函函數(shù)數(shù)1(|,)n

4、nnddXXX 如如何何計(jì)計(jì)算算經(jīng)經(jīng)驗(yàn)驗(yàn)貝貝葉葉斯斯估估計(jì)計(jì)11(|, ,)nnnddX XX （）根根據(jù)據(jù)貝貝葉葉斯斯估估計(jì)計(jì)風(fēng)風(fēng)險(xiǎn)險(xiǎn)函函數(shù)數(shù)的的定定義義可可知知的的風(fēng)風(fēng)險(xiǎn)險(xiǎn)為為dd112(|,)( ,(|,) (| )( )GnnnnRdXXLdx xxxp xxG 1(|,)nnnddXXX 經(jīng)經(jīng)驗(yàn)驗(yàn)貝貝葉葉斯斯估估計(jì)計(jì)的的計(jì)計(jì)算算方方法法：11,nnXXXX注注：此此結(jié)結(jié)果果包包含含了了而而為為隨隨機(jī)機(jī)變變量量，因因而而，該該風(fēng)風(fēng)險(xiǎn)險(xiǎn)仍仍包包含含有有隨隨機(jī)機(jī)性性，需需要要對(duì)對(duì)此此風(fēng)風(fēng)險(xiǎn)險(xiǎn)再再求求一一次次期期望望，即即2( )計(jì)計(jì)算算期期望望，可可得得e 21221()0,()( )0,

5、0,yy ， d dd*111212()(|,)(|,)(,)GnGnnGnnGnnRdE RdXXRdXXmxxxx xx定義定義12(,)TnXXX任任何何同同時(shí)時(shí)依依賴賴于于歷歷史史樣樣本本1(|,)nnnXddX XX 和和當(dāng)當(dāng)前前樣樣本本 的的決決策策函函數(shù)數(shù)稱稱為為經(jīng)經(jīng)驗(yàn)驗(yàn)貝貝葉葉斯斯決決策策函函數(shù)數(shù)則則 的后驗(yàn)分布為的后驗(yàn)分布為222(|)(|)()hxq x 2211112221() ()eniinx 顯然此分布仍為倒顯然此分布仍為倒 分布，即先驗(yàn)分布與后驗(yàn)分分布，即先驗(yàn)分布與后驗(yàn)分布都為倒布都為倒 分布，因而分布，因而倒倒 分布是分布是 的共軛先驗(yàn)分布的共軛先驗(yàn)分布族族.例例

6、3(p1253(p125例例4.9)4.9)12(,)TnXXX設(shè)設(shè)是是來(lái)來(lái)自自總總體體(, )B N的的一一個(gè)個(gè)樣樣本本，現(xiàn)現(xiàn)尋尋求求 的的共共軛軛先先驗(yàn)驗(yàn)分分布布，由由于于該該樣樣本本的的似似然然函函數(shù)數(shù)為為11(| )()iiinxxNxNiq xC 1110 1 (), , ,nniiiixnNxixN 哪一個(gè)分布具有上述核？結(jié)論是哪一個(gè)分布具有上述核？結(jié)論是 分布，這是因?yàn)榉植迹@是因?yàn)?分布的密度函數(shù)為分布的密度函數(shù)為111010()(), ,( ) ( )( ; ,), xxxf x 其其他他 設(shè)設(shè) 的先驗(yàn)分布為的先驗(yàn)分布為 分布，即分布，即 11()(1),01,( ) ( )

7、( )0, 其其他他 則則 的后驗(yàn)分布為的后驗(yàn)分布為( |)(| )( )hxq x 1111101 (), nniiiixnNx 顯然此分布是顯然此分布是 分布的核，因而分布的核，因而 分布是分布是 的共軛的共軛先驗(yàn)分布族先驗(yàn)分布族. 經(jīng)計(jì)算可知經(jīng)計(jì)算可知11( |)(,)nniiiihxxnNx 第二種方法第二種方法設(shè)總體設(shè)總體X的分布密度為的分布密度為p(x| ),統(tǒng)計(jì)量統(tǒng)計(jì)量12()(,)nT XT X XX 是是參參數(shù)數(shù) 的的充充分分統(tǒng)統(tǒng)計(jì)計(jì)量量，則則有有定理定理4.1( )f設(shè)設(shè)為為任任一一固固定定的的函函數(shù)數(shù)，滿滿足足條條件件10( )( ),f 20( )( | ) ( )dn

8、gtf 則則1 2( | ) ( ): , ,( | ) ( )dnfngtfDngtf 是共軛先驗(yàn)分布族，其中是共軛先驗(yàn)分布族，其中121(| )(| )( | ) (,)ninniq xp xgth x xx 例例4(p1264(p126例例4.10)4.10)12(,)TnXXX設(shè)設(shè)是是來(lái)來(lái)自自總總體體1 ( , )B的的一一個(gè)個(gè)樣樣本本，試試尋尋求求 的的共共軛軛先先驗(yàn)驗(yàn)分分布布？解解其似然函數(shù)為其似然函數(shù)為111111(| )()()nniiiiiiixnnxxxiq x 11 ()( | ) , nxn nxngt 11( | ) ()( )tn tngtf 其其中中, ,選選取取

9、，則則1011 20 1 21 (): , , , , ()dtn tftn tDnt 顯然此共軛分布族為顯然此共軛分布族為 分布的子族，因而，兩點(diǎn)分布的子族，因而，兩點(diǎn)分布的共軛先驗(yàn)分布族為分布的共軛先驗(yàn)分布族為 分布分布.常見(jiàn)共軛先驗(yàn)分布常見(jiàn)共軛先驗(yàn)分布倒倒 分布分布方差方差 正態(tài)分布（均正態(tài)分布（均值已知）值已知）正態(tài)分布正態(tài)分布N( , )均值均值 正態(tài)分布正態(tài)分布（方差已知）（方差已知） 分布分布 ()均值的倒數(shù)均值的倒數(shù) 指數(shù)分布指數(shù)分布 分布分布 ()均值均值 泊松分布泊松分布 分布分布 ( , )成功概率成功概率p二項(xiàng)分布二項(xiàng)分布共軛先驗(yàn)分布共軛先驗(yàn)分布參數(shù)參數(shù)總體分布總體分布

10、二、參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)二、參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)( , )( ( , ()( , ( ) (| )dRdELd XLd x q xx 由第一小節(jié)內(nèi)容可知，給定損失函數(shù)以后，風(fēng)由第一小節(jié)內(nèi)容可知，給定損失函數(shù)以后，風(fēng)險(xiǎn)函數(shù)定義為險(xiǎn)函數(shù)定義為此積分仍為此積分仍為 的函數(shù)，在給定的函數(shù)，在給定 的先驗(yàn)分布的先驗(yàn)分布 ( )時(shí)，定義時(shí)，定義( )( ( , )( , )( )dR dERdRd 為決策函數(shù)為決策函數(shù)d在給定先驗(yàn)分布在給定先驗(yàn)分布 ( )下的貝葉斯風(fēng)險(xiǎn)，簡(jiǎn)下的貝葉斯風(fēng)險(xiǎn)，簡(jiǎn)稱為稱為d的貝葉斯風(fēng)險(xiǎn)的貝葉斯風(fēng)險(xiǎn).1 1、貝葉斯風(fēng)險(xiǎn)的定義、貝葉斯風(fēng)險(xiǎn)的定義2 2、貝葉斯風(fēng)險(xiǎn)的計(jì)算、貝葉斯風(fēng)險(xiǎn)的計(jì)算

11、當(dāng)當(dāng)X與與 都是連續(xù)性隨機(jī)變量時(shí)，貝葉斯風(fēng)險(xiǎn)為都是連續(xù)性隨機(jī)變量時(shí)，貝葉斯風(fēng)險(xiǎn)為( )( ( , )( , )( )dR dE RdRd ( , ( ) (| )( )d dLd x q xx ( , ( ) ( |)g( )d dLd x hxxx g( )( , ( ) ( |)d dxLd x hxx 當(dāng)當(dāng)X與與 都是離散型隨機(jī)變量時(shí)，貝葉斯風(fēng)險(xiǎn)為都是離散型隨機(jī)變量時(shí)，貝葉斯風(fēng)險(xiǎn)為( )( ( , )R dE Rd g( )( , ( ) ( |)xxLd x hx 注注由上述計(jì)算可以看出，貝葉斯風(fēng)險(xiǎn)為計(jì)算兩次由上述計(jì)算可以看出，貝葉斯風(fēng)險(xiǎn)為計(jì)算兩次期望值得到期望值得到,即即( )( (

12、 , ()R dE ELd X 此風(fēng)險(xiǎn)大小只與決策函數(shù)此風(fēng)險(xiǎn)大小只與決策函數(shù)d有關(guān)，而不再依賴有關(guān)，而不再依賴參數(shù)參數(shù) . 因此以此來(lái)衡量決策函數(shù)優(yōu)良性更合理因此以此來(lái)衡量決策函數(shù)優(yōu)良性更合理*()dX則則稱稱為為參參數(shù)數(shù) 的的貝貝葉葉斯斯估估計(jì)計(jì)量量1 1、貝葉斯點(diǎn)估計(jì)、貝葉斯點(diǎn)估計(jì)定義定義4.6若總體若總體X的分布函數(shù)的分布函數(shù)F(x, )中參數(shù)中參數(shù) 為隨機(jī)為隨機(jī)變量，變量， ( )為為 的先驗(yàn)分布，若決策函數(shù)類的先驗(yàn)分布，若決策函數(shù)類D中存在中存在一個(gè)決策函數(shù)使得對(duì)決策函數(shù)類中的任一決策函數(shù)一個(gè)決策函數(shù)使得對(duì)決策函數(shù)類中的任一決策函數(shù)均有均有*()inf( ), d DR dR ddD

13、 注注1、貝葉斯估計(jì)是使貝葉斯風(fēng)險(xiǎn)達(dá)到最小的決策、貝葉斯估計(jì)是使貝葉斯風(fēng)險(xiǎn)達(dá)到最小的決策 函數(shù)函數(shù).2、不同的先驗(yàn)分布，對(duì)應(yīng)不同的貝葉斯估計(jì)、不同的先驗(yàn)分布，對(duì)應(yīng)不同的貝葉斯估計(jì)2 2、貝葉斯點(diǎn)估計(jì)的計(jì)算、貝葉斯點(diǎn)估計(jì)的計(jì)算平方損失下的貝葉斯估計(jì)平方損失下的貝葉斯估計(jì)定理定理4.2設(shè)設(shè) 的先驗(yàn)分布為的先驗(yàn)分布為 ( )和損失函數(shù)為和損失函數(shù)為2( , )()Ldd 則則 的貝葉斯估計(jì)為的貝葉斯估計(jì)為*( )( |)( |)ddxEXxhx ( |).hx其其中中為為參參數(shù)數(shù) 的的后后驗(yàn)驗(yàn)分分布布證證首先對(duì)貝葉斯風(fēng)險(xiǎn)做變換首先對(duì)貝葉斯風(fēng)險(xiǎn)做變換2min( )min( )( )( |)d dR d

14、m xd xhxx 2max .( )( |)da sd xhx 又因?yàn)橛忠驗(yàn)?2( )( |)d( |)( |)( )( |)dd xhxExExd xhx 222( |)( |)d ( |)( )( |)d( |) ( |)( ) ( |)dExhxExd xhxExExd x hx 又因?yàn)橛忠驗(yàn)? |) ( |)( ) ( |)dExExd x hx ( |)( )( |) ( |)dExd xEx hx ( |)( |)dExhx 則則0 ( |)( ) ( |)( |)Exd xExEx 因而因而222( )( |)d( |)( |)d( |)( )( |)dd xhxExhxExd

15、 xhx *( )( |) .( ).dxExa sR d 顯顯然然，當(dāng)當(dāng)時(shí)時(shí)，達(dá)達(dá)到到最最小小定理定理4.3 設(shè)設(shè) 的先驗(yàn)分布為的先驗(yàn)分布為 ( )和損失函數(shù)為加和損失函數(shù)為加權(quán)平方損失權(quán)平方損失2( , )( )()Ldd 則則 的貝葉斯估計(jì)為的貝葉斯估計(jì)為*( ( )|)( )( ( )|)ExdxEx 證明略，此證明定理證明略，此證明定理4.2的證明類似的證明類似.定理定理4.4 設(shè)參數(shù)設(shè)參數(shù) 為隨機(jī)向量，先驗(yàn)分布為為隨機(jī)向量，先驗(yàn)分布為 ( )和損失函數(shù)為二次損失函數(shù)和損失函數(shù)為二次損失函數(shù)( , )()()TLddQ d 1*(|)( )( |) (|)pExdxExEx 注注其中

16、其中Q為正定矩陣，則為正定矩陣，則 的貝葉斯估計(jì)為后驗(yàn)分布的貝葉斯估計(jì)為后驗(yàn)分布h( |x)的均值向量，即的均值向量，即12( ,).p 其其中中參參數(shù)數(shù)向向量量為為 定理表明，正定二次損失下，定理表明，正定二次損失下， 的貝葉斯估計(jì)的貝葉斯估計(jì)不受正定矩陣不受正定矩陣Q的選取干擾，表現(xiàn)出其穩(wěn)健性的選取干擾，表現(xiàn)出其穩(wěn)健性.證證在二次損失下，任一個(gè)決策函數(shù)向量在二次損失下，任一個(gè)決策函數(shù)向量d(x)=12( ),( ),( )Tnd x dxdx的的后后驗(yàn)驗(yàn)風(fēng)風(fēng)險(xiǎn)險(xiǎn)為為()()|TE dQ dx *()()()()|TEdddQ dddx *()()()()|TTddQ ddE dQ dx 0

17、*(|),E dx又又由由于于因因而而()()|TE dQ dx 其中第二項(xiàng)為常數(shù)，而第一項(xiàng)非負(fù)，因而只需當(dāng)其中第二項(xiàng)為常數(shù)，而第一項(xiàng)非負(fù)，因而只需當(dāng)*( )ddx 時(shí)時(shí)，風(fēng)風(fēng)險(xiǎn)險(xiǎn)達(dá)達(dá)到到最最小小. .定義定義4.7 設(shè)設(shè)d=d(x)為為決策函數(shù)類決策函數(shù)類D中任一決策函數(shù)，中任一決策函數(shù)，( |) ( , ( )R d xE Ld x 損失函數(shù)為損失函數(shù)為L(zhǎng)( ,d(x),則則L( ,d(x),對(duì)后驗(yàn)分布對(duì)后驗(yàn)分布h( |x)的的數(shù)學(xué)期望稱為后驗(yàn)風(fēng)險(xiǎn)數(shù)學(xué)期望稱為后驗(yàn)風(fēng)險(xiǎn)，記為，記為( , ( ) ( |)d , (, ( ) (|) iiiLd x hxxLd x hx 為為連連續(xù)續(xù)型型隨隨

18、機(jī)機(jī)變變量量，為為離離散散型型隨隨機(jī)機(jī)變變量量. .注注 如果存在一個(gè)決策函數(shù)，使得如果存在一個(gè)決策函數(shù)，使得*(|)inf( |), dR dxR d xdD 則稱此決策為后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù)，或稱則稱此決策為后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù)，或稱為貝葉斯（后驗(yàn)型）決策函數(shù)。為貝葉斯（后驗(yàn)型）決策函數(shù)。定理定理4.5 對(duì)給定的統(tǒng)計(jì)決策問(wèn)題對(duì)給定的統(tǒng)計(jì)決策問(wèn)題(包含先驗(yàn)分布給包含先驗(yàn)分布給定的情形）和決策函數(shù)類定的情形）和決策函數(shù)類D,當(dāng)貝葉斯風(fēng)險(xiǎn)滿足如下條當(dāng)貝葉斯風(fēng)險(xiǎn)滿足如下條件：件：inf( ), dR ddD *( )( )dxdx則則貝貝葉葉斯斯決決策策函函數(shù)數(shù)與與貝貝葉葉斯斯后后

19、驗(yàn)驗(yàn)型型決決策策函函數(shù)數(shù)是是等等價(jià)價(jià)的的. . 定理表明：如果決策函數(shù)使得貝葉斯風(fēng)險(xiǎn)最小，定理表明：如果決策函數(shù)使得貝葉斯風(fēng)險(xiǎn)最小，此決策函數(shù)也使得后驗(yàn)風(fēng)險(xiǎn)最小，反之，也成立此決策函數(shù)也使得后驗(yàn)風(fēng)險(xiǎn)最小，反之，也成立.證明從略證明從略定理定理4.6設(shè)設(shè) 的先驗(yàn)分布為的先驗(yàn)分布為 ( )和損失函數(shù)為和損失函數(shù)為( , ) |,Ldd*( )( |)dxhx 后后驗(yàn)驗(yàn)分分布布的的中中位位數(shù)數(shù)證證則則 的貝葉斯估計(jì)為的貝葉斯估計(jì)為設(shè)設(shè)m為為h( |x)的中位數(shù)，又設(shè)的中位數(shù)，又設(shè)d=d(x)為為 的另一的另一估計(jì)，為確定期間，先設(shè)估計(jì)，為確定期間，先設(shè)dm,由絕對(duì)損失函數(shù)的定由絕對(duì)損失函數(shù)的定義可得

20、義可得2, ,( ,)( , )(), , ,mdmLmLdmdmddmd 又由于又由于22()()mdmddmddm當(dāng)當(dāng)時(shí)時(shí)，則則, ,( ,)( , ), ,mdmLmLddmm 由于由于m是中位數(shù)，因而是中位數(shù)，因而1122|, |,Pm xPm x則有則有(|)( |)( ( ,)( , )|)R m xR d xE LmLdx() |() |md Pm xdm Pm x 11022()()mddm 于是，當(dāng)于是，當(dāng)dm時(shí)時(shí)(|)( |)R m xR d x 同理可證，當(dāng)同理可證，當(dāng)dm時(shí)時(shí)(|)( |)R m xR d x 因而因而*( )( |)dxmhx 后后驗(yàn)驗(yàn)分分布布的的中中

21、位位數(shù)數(shù)定理定理4.7設(shè)設(shè) 的先驗(yàn)分布為的先驗(yàn)分布為 ( )和損失函數(shù)為和損失函數(shù)為01() ,( , )(), ,kddLdk dd ，0*( )( |)dxhxk 1 11 1k k后后驗(yàn)驗(yàn)分分布布的的上上側(cè)側(cè)分分位位數(shù)數(shù)k k則則 的貝葉斯估計(jì)為的貝葉斯估計(jì)為證證首先計(jì)算任一決策函數(shù)首先計(jì)算任一決策函數(shù)d(x)的后驗(yàn)風(fēng)險(xiǎn)的后驗(yàn)風(fēng)險(xiǎn)( |) ( , ( )( , ( ) ( |)dR d xE Ld xLd x hxx 10() ( |)d() ( |)dddk dhxxkd hxx 100()() ( |)d( |)dkkdhxxkExd 為了得到為了得到R(d|x)的極小值，關(guān)于等式兩

22、邊求導(dǎo)：的極小值，關(guān)于等式兩邊求導(dǎo)：1000( |)()( |)d( )dR d xkkhxxkd d 即即011010( |)d( |)dddkkhxxhxxkkkk 0*( )( |)dxhxk 1 11 1k k后后驗(yàn)驗(yàn)分分布布的的上上側(cè)側(cè)分分位位數(shù)數(shù)k k則則例例5(p131 例例4.11) 設(shè)總體設(shè)總體X服從兩點(diǎn)分布服從兩點(diǎn)分布B(1,p),其中參數(shù)其中參數(shù)p未知，而未知，而p在在0,1上服從均勻分布，樣本上服從均勻分布，樣本12(,)nXXXX來(lái)來(lái)自自總總體體 ，損損失失函函數(shù)數(shù)為為平平方方損損失失，試求參數(shù)試求參數(shù)p的貝葉斯估計(jì)與貝葉斯風(fēng)險(xiǎn)的貝葉斯估計(jì)與貝葉斯風(fēng)險(xiǎn)?解解平方損失下

23、的貝葉斯估計(jì)為：平方損失下的貝葉斯估計(jì)為：*( )(|)(|)ddxE p Xxph p xp 而而10(|)( )(|)( )(|)( )(|)( )dq x ppq x pph p xm xq x ppp 11111111101111111()()(,)()dnnnniiiiiiiinniiiixnxxnxnnxnxiiiippppxnxppp 11101( ) ( ), )()d,()ababa bxxxab 其其中中（則則11111211()()(|)() ()nniiiixnxnniiiippnh p xxnx 111111()()!()!()!nniiiixnxnniiiippnx

24、nx *( )(|)ddxph p xp 111101111()!()d()!()!nniiiixnxnniiiinpppxnx 1111112()!()!()!()!()!()!nniiiinniiiixnxnnxnx 112niixn 其貝葉斯風(fēng)險(xiǎn)為其貝葉斯風(fēng)險(xiǎn)為( )( ( , ) ( , )|( )dR pERdE L p dppp 112210012() d() dniixE pppEppn 122011122() ) d()niiExnppn 2112() )niiExnp 22112 1212()() ) ()() )nniiiiExnp Exnp 又因?yàn)橛忠驗(yàn)?()( , )n

25、iixB n p 則則22111, ()()()nniiiiExnpExnppnp22112112() )()()niiExnpnppp 所以所以122011122( )()() d()R pnppppn 21441232()()nnn 162()n 11662,pXnn 而而 的的最最大大似似然然估估計(jì)計(jì)為為其其貝貝葉葉斯斯風(fēng)風(fēng)險(xiǎn)險(xiǎn)為為例例6(p133 例例4.12)設(shè)總體設(shè)總體X服從正態(tài)分布服從正態(tài)分布N( ,1),其中參數(shù)其中參數(shù) 未知，而未知，而 服從標(biāo)準(zhǔn)正態(tài)布在服從標(biāo)準(zhǔn)正態(tài)布在N(0,1)，樣本，樣本12(,)nXXXX來(lái)來(lái)自自總總體體 ，損損失失函函數(shù)數(shù)為為平平方方損損失失，試求參

26、數(shù)試求參數(shù) 的貝葉斯估計(jì)的貝葉斯估計(jì)?解解平方損失下的貝葉斯估計(jì)為：平方損失下的貝葉斯估計(jì)為：*( )(|)(|)ddxEXxhx 而而(|)( )(|)( )(|)( )(|)( )dq xq xhxm xq x 2212211111222211112222exp() exp()exp() expd()ninininixx 2211221111122211112222exp()()expexp()d()ninininixnnxxnnx 22112222111122211122112exp()()expexp( ) ()()()ninininixnnxnxxnn 12211221(|)() e

27、xp() nnnxhxn 化簡(jiǎn)化簡(jiǎn)得得*( )(|)ddxhx 12211221()exp() dnnnxn 1111niinxxxnn 111()( )D XR xnnn 其其貝貝葉葉斯斯風(fēng)風(fēng)險(xiǎn)險(xiǎn)為為例例7(p134 例例4.13)設(shè)總體設(shè)總體X服從均勻分布服從均勻分布U(0, ),其中參數(shù)其中參數(shù) 未知，而未知，而 服從服從pareto分布，其分布函數(shù)與分布，其分布函數(shù)與密度函數(shù)分別為密度函數(shù)分別為X總總體體 ，損損失失函函數(shù)數(shù)為為絕絕對(duì)對(duì)值值損損失失和和平平方方損損失失時(shí)時(shí)， 試求參數(shù)試求參數(shù) 的貝葉斯估計(jì)的貝葉斯估計(jì)?000011( )() , ( ),F 00010,( ,),Pa

28、其其中中和和為為已已知知，該該分分布布記記為為0121( ),(,)nEXXX 的的數(shù)數(shù)學(xué)學(xué)期期望望為為來(lái)來(lái)自自解解(| )( )(| )( )( |)( )(| )( )dq xq xhxm xq x 1100111110001111() (max,)1()ddnninnnixx 0111101(), ()()nnnnnn 1( |)(,).hxparetoPan 顯顯然然仍仍為為分分布布 根據(jù)定理根據(jù)定理4.6可知，絕對(duì)值損失對(duì)應(yīng)的貝葉斯估計(jì)為可知，絕對(duì)值損失對(duì)應(yīng)的貝葉斯估計(jì)為后驗(yàn)分布的中位數(shù)后驗(yàn)分布的中位數(shù),即即1112()()nBBF 則則112*( )Bndx 根據(jù)定理根據(jù)定理4.4

29、可知，平方損失對(duì)應(yīng)的貝葉斯估計(jì)為可知，平方損失對(duì)應(yīng)的貝葉斯估計(jì)為后驗(yàn)分布的均值后驗(yàn)分布的均值,即即11011*( )max,nnndxxxnn例例8(p135 例例4.14)設(shè)總體設(shè)總體X服從伽瑪分布服從伽瑪分布 (r, ),)nXX來(lái)來(lái)自自總總體體 ，損損失失函函數(shù)數(shù)取取平平方方損損失失和和損損失失函函數(shù)數(shù) 試求參數(shù)試求參數(shù) 的貝葉斯估計(jì)的貝葉斯估計(jì)?12,( ,),(,rXX 其其中中參參數(shù)數(shù) 已已知知 的的先先驗(yàn)驗(yàn)分分布布為為221( , )()Ldd 解解1(),rE X 由由于于因因此此，人人們們更更感感興興趣趣估估計(jì)計(jì)，的的后后驗(yàn)驗(yàn)分分布布為為0(| )( )(| )( )( |)

30、( )(| )( )dq xq xhxm xq x 1111101ee( )( )eed( )( )iirnxriirnxriixrxr 11110()()eedniiniixnrxnr 111()()e()niinnrixnrixnr 1則則在在平平方方損損失失下下的的貝貝葉葉斯斯估估計(jì)計(jì)為為11*( )(|)dxEx 11101()()ed()niinnrixnrixnr 111111()()()()nnnriiiinnriixxnrnrnrx 1221( , )()Ldd 由由定定理理4 4. .3 3可可知知，在在下下的的貝貝葉葉斯斯估估計(jì)計(jì)為為212*(|)( )(|)ExdxEx

31、- -1 1111102110()()()ed()()ed()niiniinnrixnrinnrixnrixnrxnr 11010()()ededniiniixnrxnr 21111121()()()()nnnriiiinnriixxnrnrnrx 11111.()niinrxnrnr 3 3、貝葉斯估計(jì)的誤差、貝葉斯估計(jì)的誤差 在計(jì)算在計(jì)算 的估計(jì)時(shí)，用到了的估計(jì)時(shí)，用到了 的后驗(yàn)分布，因此考的后驗(yàn)分布，因此考察估計(jì)值與真實(shí)值之間的誤差時(shí)，也應(yīng)考慮察估計(jì)值與真實(shí)值之間的誤差時(shí)，也應(yīng)考慮 的后驗(yàn)分的后驗(yàn)分布，誤差定義如下：布，誤差定義如下：定義定義4.8參數(shù)參數(shù) 的后驗(yàn)分布為的后驗(yàn)分布為h(

32、|x),其貝葉斯估計(jì)其貝葉斯估計(jì)2() 為為 ，則則的的后后驗(yàn)驗(yàn)期期望望為為22|( - )( - )xMSEE 12( |)MSEx稱稱其其為為 的的后后驗(yàn)驗(yàn)均均方方差差，而而其其平平方方根根|( |)xEhx稱稱為為后后驗(yàn)驗(yàn)標(biāo)標(biāo)準(zhǔn)準(zhǔn)誤誤差差，其其中中符符號(hào)號(hào)表表示示對(duì)對(duì)條條件件分分布布求求期期望望。( |)Ex 1 1、當(dāng)當(dāng)時(shí)時(shí)，則則均均方方誤誤差差為為2|(|)( |)- )var( |)xMSExEExx 后驗(yàn)均方差與后驗(yàn)方差的關(guān)系后驗(yàn)均方差與后驗(yàn)方差的關(guān)系( |)( |).ExEx 2 2、當(dāng)當(dāng)時(shí)時(shí)，則則均均方方誤誤差差達(dá)達(dá)到到最最小小，因因而而后后驗(yàn)驗(yàn)均均值值是是較較好好的的貝貝葉

33、葉斯斯估估計(jì)計(jì) 這這是是因因?yàn)闉?|(|)( |)-( |)xMSExEExEx 2|( |)var( |)xEExx2( |)var( |)var( |)Exxx后驗(yàn)均方差與后驗(yàn)方差的優(yōu)點(diǎn)后驗(yàn)均方差與后驗(yàn)方差的優(yōu)點(diǎn)1、二者只依賴與樣本，不依賴參數(shù)、二者只依賴與樣本，不依賴參數(shù) . 2、二者的計(jì)算不依賴與統(tǒng)計(jì)量的分布，即抽、二者的計(jì)算不依賴與統(tǒng)計(jì)量的分布，即抽樣分布樣分布 3、貝葉斯估計(jì)不考慮無(wú)偏性，因?yàn)樨惾~斯估計(jì)、貝葉斯估計(jì)不考慮無(wú)偏性，因?yàn)樨惾~斯估計(jì)只考慮出現(xiàn)的樣本，不考慮沒(méi)出現(xiàn)的樣本只考慮出現(xiàn)的樣本，不考慮沒(méi)出現(xiàn)的樣本. 4 4、貝葉斯區(qū)間估計(jì)、貝葉斯區(qū)間估計(jì)定義定義當(dāng)當(dāng) 為為連連續(xù)續(xù)型型隨隨機(jī)機(jī)變變量量時(shí)時(shí)，給給定定1- ,1- ,當(dāng)當(dāng)|P ab x 1 1- - , , , .a b則則稱稱區(qū)區(qū)間間為為參參數(shù)數(shù) 的的貝貝葉葉斯斯區(qū)區(qū)間間估估計(jì)計(jì)定義定義當(dāng)當(dāng) 為為離離散散型型隨隨機(jī)機(jī)變變量量時(shí)時(shí)，給給定定1- ,1- ,當(dāng)當(dāng)|P ab x 1 1- - , , , .a b則則稱稱區(qū)區(qū)間間為為參參數(shù)數(shù) 的的貝貝葉葉斯斯區(qū)區(qū)間間估估計(jì)計(jì)定義定義4.9設(shè)參數(shù)設(shè)參數(shù) 的后驗(yàn)分布為的后驗(yàn)分布為h( |x)，對(duì)給定的，對(duì)給定的1201(,)(),TnXXXX