最小最大決策2

1、1Chp12：統(tǒng)計決策理論n用不同方法可能得到多個不同的估計，哪個估計更好一些？n統(tǒng)計決策理論：比較統(tǒng)計過程的形式化理論2損失函數(shù)n損失函數(shù)：度量真值 與估計 之間的差異n損失函數(shù)舉例平方誤差損失絕對誤差損失損失0-1損失Kullback - Leibler損失 2,L ,L ,pL 0 ,1 ifLif ;,log;fxLfxdxfx pL3風(fēng)險函數(shù)n注意：估計 是數(shù)據(jù)的函數(shù)，有時記為n風(fēng)險函數(shù)：平均損失n估計 的風(fēng)險定義為n對平方誤差損失，風(fēng)險為MSEn風(fēng)險是 的函數(shù)n比較不同的估計，轉(zhuǎn)化為比較不同估計的風(fēng)險n但并不能清楚地回答哪個估計更好,;RLLf xdx 22,RMSEbias X4

2、風(fēng)險比較n例12.3：令 ，n損失函數(shù)：平方誤差損失n估計1：極大斯然估計：n偏差bias=0，所以 1,nXXBernoulli p1 pX111,pppR p ppn5風(fēng)險比較n例12.3（續(xù)）:估計2：貝葉斯估計，先驗為 ，則估計為n風(fēng)險為n當 時，其中2Ypn,Beta 1niiYX2222222, 1 ppppR p ppbiaspYYpnnnppnppnn4n2224,4YnnpR p pnnnn6風(fēng)險比較沒有一個估計的風(fēng)險在所有的p值都超過另外一個7風(fēng)險比較n風(fēng)險函數(shù)的兩個單值概述n最大風(fēng)險n貝葉斯風(fēng)險n其中 為的先驗。 sup,RR ,r fRfd f8風(fēng)險比較n例12.5：n

3、最大風(fēng)險函數(shù)：n ，所以根據(jù)最小最大風(fēng)險， 更好一些11010111max,max4ppppR pR p pnn 22220101max,max44ppnnR pR p pnnnn 11,ppR p pn22,4nR p pnn21R pR p2 p9風(fēng)險比較n例12.5：n貝葉斯風(fēng)險：先驗為n當 時， n所以根據(jù)最小貝葉斯風(fēng)險， 更好一些問題：需要先驗，尤其對復(fù)雜問題的話，確定先驗可能很困難 1fp 1111,6ppr f pR p pdpdpnn2222,44nnr f pR p pdpdpnnnn20n 21,r f pr f p1 p11,ppR p pn22,4nR p pnn10決

4、策規(guī)則(Decision Rules)n決策規(guī)則是估計的別名n最小化貝葉斯風(fēng)險的決策規(guī)則稱為貝葉斯規(guī)則或貝葉斯估計，即 為對應(yīng)先驗 f 的貝葉斯估計n其中下界是對所有的估計 計算n最小化最大風(fēng)險的估計稱為最小最大規(guī)則n其中下界是對所有的估計 計算f,inf,fr fr f inf sup,RR 11貝葉斯估計n估計 的后驗風(fēng)險：n貝葉斯風(fēng)險與后驗風(fēng)險：n其中 為X的邊緣分布n 為最小化后驗風(fēng)險 的的值n則 為貝葉斯估計n給定一個模型（先驗和似然）和損失函數(shù)，就可以找到貝葉斯規(guī)則 x|,|rxLfx d,|fr frx m x dx,|m xfx df xfd x|rx,|f xf xffxf

5、xf xfd12,|, ,| ,| , ,| ,| |fffr frx m x dxr fRfdLxf xdx fdLxf xfdxdLxf xdxdLxfx m x dxdLxfx dm x dxrx m x dx證明：,|f xf xf,|m xf xfx f x13貝葉斯估計n一些簡單損失函數(shù)對應(yīng)的貝葉斯規(guī)則n若 ，則貝葉斯規(guī)則為后驗均值n若 ，則貝葉斯規(guī)則為后驗中值n若 為0-1損失，則貝葉斯規(guī)則為后驗眾數(shù)(MAP) 2,L ,L ,L |fxfx dXx14最小最大規(guī)則n找最小最大規(guī)則、或者證明一個估計是最小最大估計是一件很困難的事情。n本節(jié)主要講述一個簡單的方法：有些貝葉斯估計（風(fēng)

6、險為常數(shù)）是最小最大估計n令 對應(yīng)先驗 f 的貝葉斯估計：n假設(shè)n則 為最小最大估計，且f 稱為最小受歡迎先驗( least favorable prior)。n上述結(jié)論一個簡單的結(jié)論：如果一個貝葉斯規(guī)則的風(fēng)險為常數(shù) ，則它是最小最大估計。f,inf,fr fr f, ffRr f f,fR fc15正態(tài)分布的最小最大規(guī)則n定理12.14：令 ，n則 是關(guān)于任意損失函數(shù)的最小最大規(guī)則n且這是唯一有此性質(zhì)的估計1,1nXXNX16MLE為近似最小最大估計n對滿足弱正則條件的參數(shù)模型，極大似然估計近似為最小最大估計。對均方誤差損失，通常n根據(jù)Cramer-Rao 不等式，這是所有無偏估計的方差的下

7、界。 212,O nO nRbias 1nI17MLE為近似最小最大估計n因此對所有估計 ，有n對大數(shù)n， MLE為近似最小最大估計。n因此，對大多數(shù)參數(shù)模型，當有大量樣本時，MLE近似為最小最大估計和貝葉斯估計。nMany Normal Means 情況不成立（不是大樣本）,RR 18可接受性(Admissibility)n一個估計如果在所有值上都比其它估計的風(fēng)險大，則該估計不是我們所希望的。如果存在一個其它的規(guī)則 ，使得n則該估計 是不可接受的。n否則， 是可接受的。,RRRR 19貝葉斯規(guī)則是可接受性n可接受性是與其他表示估計好壞的方法有何關(guān)系？n在一些正則條件下，如果 為貝葉斯規(guī)則且有

8、有限風(fēng)險，則它是可接受的。n定理12.20：令 ，在均方誤差損失下， 是可接受的。n風(fēng)險為f1,1nXXNX21,RXnn 20可接受性n如果 的風(fēng)險為常數(shù)且是可接受的，則它是最小最大估計。n定理12.22：令 ，在均方誤差損失下， 是最小最大估計。n風(fēng)險為n雖然最小最大估計不能保證是可接受的，但它是“接近可接受的”。1,1nXXNX21,RXnn 21多正態(tài)均值(Many Normal Means)nMany Normal Means是一個原型問題，與一般的非參數(shù)估計問題等價。對這個問題，以前許多關(guān)于極大似然估計的正面的結(jié)論都不再滿足。n令 ， 表示數(shù)據(jù)， 表示未知參數(shù)，nc0，這里參數(shù)的數(shù)目與觀測數(shù)據(jù)的數(shù)目一樣多2,1,.,iiYNinn1,.,nYYY1,.,n2211,.,: nnniic 2 : ffxdx 1,niiir xw x Y22Many Normal MeansnMLE為 ，損失函數(shù)為 MLE的風(fēng)險為n最小最大估計的風(fēng)險近似為 ，且存在這樣一個估計 能達到該風(fēng)險。n 存在風(fēng)險比MLE更小的估計，因此MLE是不可接受的。n因此對高維問題或非參數(shù)問題，MLE并不是最優(yōu)估計。另外在非參數(shù)場合，MLE的魯棒性也不是很好。1,.,nYYY21,niiiL 221|niiiyfydy222c21,|niiiRLfydyfydy 2222