演示文稿一非參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)

演示文稿一非參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)當(dāng)前第1頁\共有55頁\編于星期二\9點(diǎn)（優(yōu)選）一非參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)當(dāng)前第2頁\共有55頁\編于星期二\9點(diǎn)0、背景與意義

貝葉斯估計(jì)存在的問題：先驗(yàn)分布的確定如何客觀地確定先驗(yàn)分布？

根據(jù)歷史資料數(shù)據(jù)（即經(jīng)驗(yàn)）確定該問題的先驗(yàn)分布，其對(duì)應(yīng)的貝葉斯估計(jì)稱為經(jīng)驗(yàn)貝葉斯估計(jì).該方法是由Robbins在1955年提出的.經(jīng)驗(yàn)貝葉斯估計(jì)分類（共兩類）

非參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)

參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)當(dāng)前第3頁\共有55頁\編于星期二\9點(diǎn)一、非參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)例1（p109例3.20)1、問題引入當(dāng)前第4頁\共有55頁\編于星期二\9點(diǎn)如果先驗(yàn)分布G(x)未知，該如何計(jì)算？當(dāng)前第5頁\共有55頁\編于星期二\9點(diǎn)2、經(jīng)驗(yàn)貝葉斯決策函數(shù)當(dāng)先驗(yàn)分布未知時(shí)，如何利用歷史資料（經(jīng)驗(yàn)資料）定義3.11的信息得到最優(yōu)貝葉斯估計(jì)？當(dāng)前第6頁\共有55頁\編于星期二\9點(diǎn)當(dāng)前第7頁\共有55頁\編于星期二\9點(diǎn)使得上式達(dá)到最小的決策函數(shù)為經(jīng)驗(yàn)貝葉斯決策函數(shù)定義漸近最優(yōu)貝葉斯決策函數(shù)當(dāng)前第8頁\共有55頁\編于星期二\9點(diǎn)例2(續(xù)例p109例3.20)當(dāng)前第9頁\共有55頁\編于星期二\9點(diǎn)例3(p110例3.21)當(dāng)前第10頁\共有55頁\編于星期二\9點(diǎn)由這兩個(gè)例子可以看到，經(jīng)驗(yàn)貝葉斯估計(jì)一方面依賴貝葉斯估計(jì)理論，同時(shí)也依賴于非參數(shù)估計(jì)方法。當(dāng)前第11頁\共有55頁\編于星期二\9點(diǎn)定理4.1則是共軛先驗(yàn)分布族，其中二、參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)當(dāng)前第12頁\共有55頁\編于星期二\9點(diǎn)例4(p126例4.10)解其似然函數(shù)為當(dāng)前第13頁\共有55頁\編于星期二\9點(diǎn)

顯然此共軛分布族為分布的子族，因而，兩點(diǎn)分布的共軛先驗(yàn)分布族為分布.常見共軛先驗(yàn)分布倒分布方差2正態(tài)分布（均值已知）正態(tài)分布N(,2)均值正態(tài)分布（方差已知）分布()均值的倒數(shù)指數(shù)分布分布()均值泊松分布分布(,)成功概率p二項(xiàng)分布共軛先驗(yàn)分布參數(shù)總體分布當(dāng)前第14頁\共有55頁\編于星期二\9點(diǎn)二、參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)

由第一小節(jié)內(nèi)容可知，給定損失函數(shù)以后，風(fēng)險(xiǎn)函數(shù)定義為此積分仍為的函數(shù)，在給定的先驗(yàn)分布()時(shí)，定義為決策函數(shù)d在給定先驗(yàn)分布()下的貝葉斯風(fēng)險(xiǎn)，簡稱為d的貝葉斯風(fēng)險(xiǎn).1、貝葉斯風(fēng)險(xiǎn)的定義當(dāng)前第15頁\共有55頁\編于星期二\9點(diǎn)2、貝葉斯風(fēng)險(xiǎn)的計(jì)算當(dāng)X與都是連續(xù)性隨機(jī)變量時(shí)，貝葉斯風(fēng)險(xiǎn)為當(dāng)前第16頁\共有55頁\編于星期二\9點(diǎn)當(dāng)X與都是離散型隨機(jī)變量時(shí)，貝葉斯風(fēng)險(xiǎn)為注由上述計(jì)算可以看出，貝葉斯風(fēng)險(xiǎn)為計(jì)算兩次期望值得到,即此風(fēng)險(xiǎn)大小只與決策函數(shù)d有關(guān)，而不再依賴參數(shù).因此以此來衡量決策函數(shù)優(yōu)良性更合理當(dāng)前第17頁\共有55頁\編于星期二\9點(diǎn)1、貝葉斯點(diǎn)估計(jì)定義4.6若總體X的分布函數(shù)F(x,)中參數(shù)為隨機(jī)變量，()為的先驗(yàn)分布，若決策函數(shù)類D中存在一個(gè)決策函數(shù)使得對(duì)決策函數(shù)類中的任一決策函數(shù)均有當(dāng)前第18頁\共有55頁\編于星期二\9點(diǎn)注1、貝葉斯估計(jì)是使貝葉斯風(fēng)險(xiǎn)達(dá)到最小的決策函數(shù).2、不同的先驗(yàn)分布，對(duì)應(yīng)不同的貝葉斯估計(jì)2、貝葉斯點(diǎn)估計(jì)的計(jì)算平方損失下的貝葉斯估計(jì)定理4.2設(shè)的先驗(yàn)分布為()和損失函數(shù)為則的貝葉斯估計(jì)為當(dāng)前第19頁\共有55頁\編于星期二\9點(diǎn)證首先對(duì)貝葉斯風(fēng)險(xiǎn)做變換又因?yàn)楫?dāng)前第20頁\共有55頁\編于星期二\9點(diǎn)又因?yàn)閯t因而當(dāng)前第21頁\共有55頁\編于星期二\9點(diǎn)定理4.3

設(shè)的先驗(yàn)分布為()和損失函數(shù)為加權(quán)平方損失則的貝葉斯估計(jì)為證明略，此證明定理4.2的證明類似.當(dāng)前第22頁\共有55頁\編于星期二\9點(diǎn)定理4.4

設(shè)參數(shù)為隨機(jī)向量，先驗(yàn)分布為()和損失函數(shù)為二次損失函數(shù)注其中Q為正定矩陣，則的貝葉斯估計(jì)為后驗(yàn)分布h(|x)的均值向量，即

定理表明，正定二次損失下，的貝葉斯估計(jì)不受正定矩陣Q的選取干擾，表現(xiàn)出其穩(wěn)健性.當(dāng)前第23頁\共有55頁\編于星期二\9點(diǎn)證在二次損失下，任一個(gè)決策函數(shù)向量d(x)=其中第二項(xiàng)為常數(shù)，而第一項(xiàng)非負(fù)，因而只需當(dāng)當(dāng)前第24頁\共有55頁\編于星期二\9點(diǎn)定義4.7設(shè)d=d(x)為決策函數(shù)類D中任一決策函數(shù)，損失函數(shù)為L(,d(x)),則L(,d(x)),對(duì)后驗(yàn)分布h(|x)的數(shù)學(xué)期望稱為后驗(yàn)風(fēng)險(xiǎn)，記為注如果存在一個(gè)決策函數(shù)，使得則稱此決策為后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù)，或稱為貝葉斯（后驗(yàn)型）決策函數(shù)。當(dāng)前第25頁\共有55頁\編于星期二\9點(diǎn)定理4.5對(duì)給定的統(tǒng)計(jì)決策問題(包含先驗(yàn)分布給定的情形）和決策函數(shù)類D,當(dāng)貝葉斯風(fēng)險(xiǎn)滿足如下條件：

定理表明：如果決策函數(shù)使得貝葉斯風(fēng)險(xiǎn)最小，此決策函數(shù)也使得后驗(yàn)風(fēng)險(xiǎn)最小，反之，也成立.證明從略當(dāng)前第26頁\共有55頁\編于星期二\9點(diǎn)定理4.6設(shè)的先驗(yàn)分布為()和損失函數(shù)為證則的貝葉斯估計(jì)為設(shè)m為h(|x)的中位數(shù)，又設(shè)d=d(x)為的另一估計(jì)，為確定期間，先設(shè)d>m,由絕對(duì)損失函數(shù)的定義可得當(dāng)前第27頁\共有55頁\編于星期二\9點(diǎn)又由于則由于m是中位數(shù)，因而則有當(dāng)前第28頁\共有55頁\編于星期二\9點(diǎn)于是，當(dāng)d>m時(shí)同理可證，當(dāng)d<m時(shí)因而當(dāng)前第29頁\共有55頁\編于星期二\9點(diǎn)定理4.7設(shè)的先驗(yàn)分布為()和損失函數(shù)為則的貝葉斯估計(jì)為證首先計(jì)算任一決策函數(shù)d(x)的后驗(yàn)風(fēng)險(xiǎn)當(dāng)前第30頁\共有55頁\編于星期二\9點(diǎn)為了得到R(d|x)的極小值，關(guān)于等式兩邊求導(dǎo)：即則當(dāng)前第31頁\共有55頁\編于星期二\9點(diǎn)例5(p131例4.11)設(shè)總體X服從兩點(diǎn)分布B(1,p),其中參數(shù)p未知，而p在[0,1]上服從均勻分布，樣本試求參數(shù)p的貝葉斯估計(jì)與貝葉斯風(fēng)險(xiǎn)?解平方損失下的貝葉斯估計(jì)為：而當(dāng)前第32頁\共有55頁\編于星期二\9點(diǎn)當(dāng)前第33頁\共有55頁\編于星期二\9點(diǎn)當(dāng)前第34頁\共有55頁\編于星期二\9點(diǎn)其貝葉斯風(fēng)險(xiǎn)為當(dāng)前第35頁\共有55頁\編于星期二\9點(diǎn)又因?yàn)閯t所以當(dāng)前第36頁\共有55頁\編于星期二\9點(diǎn)例6(p133例4.12)設(shè)總體X服從正態(tài)分布N(,1),其中參數(shù)未知，而服從標(biāo)準(zhǔn)正態(tài)布在N(0,1)，樣本試求參數(shù)的貝葉斯估計(jì)?解平方損失下的貝葉斯估計(jì)為：而當(dāng)前第37頁\共有55頁\編于星期二\9點(diǎn)當(dāng)前第38頁\共有55頁\編于星期二\9點(diǎn)化簡得當(dāng)前第39頁\共有55頁\編于星期二\9點(diǎn)例7(p134例4.13)設(shè)總體X服從均勻分布U(0,),其中參數(shù)未知，而服從pareto分布，其分布函數(shù)與密度函數(shù)分別為

試求參數(shù)的貝葉斯估計(jì)?當(dāng)前第40頁\共有55頁\編于星期二\9點(diǎn)解當(dāng)前第41頁\共有55頁\編于星期二\9點(diǎn)

根據(jù)定理4.6可知，絕對(duì)值損失對(duì)應(yīng)的貝葉斯估計(jì)為后驗(yàn)分布的中位數(shù),即則

根據(jù)定理4.4可知，平方損失對(duì)應(yīng)的貝葉斯估計(jì)為后驗(yàn)分布的均值,即當(dāng)前第42頁\共有55頁\編于星期二\9點(diǎn)例8(p135例4.14)設(shè)總體X服從伽瑪分布(r,),

試求參數(shù)的貝葉斯估計(jì)?解當(dāng)前第43頁\共有55頁\編于星期二\9點(diǎn)當(dāng)前第44頁\共有55頁\編于星期二\9點(diǎn)當(dāng)前第45頁\共有55頁\編于星期二\9點(diǎn)當(dāng)前第46頁\共有55頁\編于星期二\9點(diǎn)當(dāng)前第47頁\共有55頁\編于星期二\9點(diǎn)3、貝葉斯估計(jì)的誤差

在計(jì)算的估計(jì)時(shí)，用到了的后驗(yàn)分布，因此考察估計(jì)值與真實(shí)值之間的誤差時(shí)，也應(yīng)考慮的后驗(yàn)分布，誤差定義如下：定義4.8參數(shù)的后驗(yàn)分布為h(|x),其貝葉斯估計(jì)當(dāng)前第48頁\共有55頁\編于星期二\9點(diǎn)后驗(yàn)均方差與后驗(yàn)方差的關(guān)系當(dāng)前第49頁\共有55頁\編于星期二\9點(diǎn)后驗(yàn)均方差與后驗(yàn)方差的優(yōu)點(diǎn)1、二者只依賴與樣本，不依賴參數(shù).2、二者的計(jì)算不依賴與統(tǒng)計(jì)量的分布，即抽樣分布3、貝葉斯估計(jì)不考慮無偏性，因?yàn)樨惾~斯估計(jì)只考慮出現(xiàn)的樣本，不考慮沒出現(xiàn)的樣本.當(dāng)前第50頁\共有55頁\編于星期二\9點(diǎn)4、貝葉斯區(qū)間估計(jì)定義定義當(dāng)前第51頁\共有55頁\編于星期二\9點(diǎn)定義4.9設(shè)參數(shù)