統(tǒng)計(jì)決策與貝葉斯估計(jì)

1、1、統(tǒng)計(jì)決策一、統(tǒng)計(jì)決策的三個(gè)要素 1 樣本空間和分布族設(shè)總體X的分布函數(shù)為 F (x; ) ,是未知參數(shù)，若設(shè)X1 , , Xn是來自總體X的一個(gè)樣本，則樣本所有可能值組成的集合稱為樣本空間，記為X 2 決策空間（判決空間） 對(duì)于任何參數(shù)估計(jì)，每一個(gè)具體的估計(jì)值，就是一個(gè)回答，稱為一個(gè)決策，一個(gè)統(tǒng)計(jì)問題中可能選取的全部決策組成的集合稱為決策空間，一個(gè)決策空間至少應(yīng)有兩個(gè)決策。 3 損失函數(shù) 統(tǒng)計(jì)決策的一個(gè)基本假定是，每采取一個(gè)決策，必然有一定的后果，統(tǒng)計(jì)決策是將不同決策以數(shù)量的形式表示出來常見的損失函數(shù)有以下幾種 （1）線性損失函數(shù) 絕對(duì)損失函數(shù) （2）平方損失函數(shù) （3）凸損失函數(shù) （4）

2、多元二次損失函數(shù)二、統(tǒng)計(jì)決策函數(shù)及風(fēng)險(xiǎn)函數(shù) 1 統(tǒng)計(jì)決策函數(shù) 定義3.1 ：定義在樣本空間上X，取值于決策空間A 內(nèi)的函數(shù)d(x)，稱為統(tǒng)計(jì)決策函數(shù)，簡(jiǎn)稱決策函數(shù) 決策函數(shù)就是一個(gè)行動(dòng)方案，如果用表達(dá)式處理， d(x)= d(x1,x2,xn)本質(zhì)上就是一個(gè)統(tǒng)計(jì)量 2 風(fēng)險(xiǎn)函數(shù) 決策函數(shù) d(X)，完全取決于樣本，損失函數(shù) L(, d) 也是樣本X 的函數(shù),當(dāng)樣本取不同的值x時(shí)，決策 d(X) 可能不同，所以損失函數(shù)值 L(, d) 也不同，不能判斷決策的好壞，一般從總體上來評(píng)價(jià)、比較決策函數(shù)，取平均損失，就是風(fēng)險(xiǎn)函數(shù) 定義3.2 設(shè)樣本空間，分布族分別為X，F(xiàn)*，決策空間為A，損失函數(shù)為 L

3、(, d), d(X)為決策函數(shù), 為決策函數(shù)d(X)的風(fēng)險(xiǎn)函數(shù)， R(, d),表示采取決策d(X)所蒙受的平均損失（ L(, d)的數(shù)學(xué)期望） 優(yōu)良性準(zhǔn)則 定義3.3 設(shè)d1, d2 是統(tǒng)計(jì)問題中的兩個(gè)決策函數(shù)，若其風(fēng)險(xiǎn)函數(shù)滿足不等式 則稱決策函數(shù)d1 優(yōu)于d2 定義3.4 設(shè)D=d(X)是一切定義在樣本空間X 上，取值于決策空間A 上的決策函數(shù)全體，若存在一個(gè)決策函數(shù)d*(X)，使對(duì)任意一個(gè)d(X)都有 則稱d*(X)為一致最小風(fēng)險(xiǎn)決策函數(shù)，或一致最優(yōu)決策函數(shù)問題總結(jié)1 風(fēng)險(xiǎn)函數(shù)是二元函數(shù)，極值往往不存在或不唯一2 在某個(gè)區(qū)間內(nèi)的逐點(diǎn)比較不現(xiàn)實(shí)（麻煩）3 對(duì)應(yīng)不同參數(shù)的，同一決策函數(shù)，風(fēng)

4、險(xiǎn)值不相等4 由統(tǒng)計(jì)規(guī)律的特性決定不能點(diǎn)點(diǎn)比較5 必須由一個(gè)整體指標(biāo)來代替點(diǎn)點(diǎn)比較2.貝葉斯估計(jì) 1)統(tǒng)計(jì)推斷的基礎(chǔ) 經(jīng)典學(xué)派的觀點(diǎn)：統(tǒng)計(jì)推斷是根據(jù)樣本信息對(duì)總體分布或總體的特征數(shù)進(jìn)行推斷，這里用到兩種信息：總體信息和樣本信息；貝葉斯學(xué)派的觀點(diǎn)：除了上述兩種信息以外，統(tǒng)計(jì)推斷還應(yīng)該使用第三種信息：先驗(yàn)信息。 （1）總體信息:總體分布提供的信息。（2）樣本信息:抽取樣本所得觀測(cè)值提供的信息。（3）先驗(yàn)信息:人們?cè)谠囼?yàn)之前對(duì)要做的問題在經(jīng) 驗(yàn)上和資料上總是有所了解的，這些信息對(duì) 統(tǒng)計(jì)推斷是有益的。先驗(yàn)信息即是抽樣（試 驗(yàn)）之前有關(guān)統(tǒng)計(jì)問題的一些信息。一般說 來，先驗(yàn)信息來源于經(jīng)驗(yàn)和歷史資料。先驗(yàn)

5、信息在日常生活和工作中是很重要的。 基于上述三種信息進(jìn)行統(tǒng)計(jì)推斷的統(tǒng)計(jì)學(xué)稱為貝葉斯統(tǒng)計(jì)學(xué)。它與經(jīng)典統(tǒng)計(jì)學(xué)的差別就在于是否利用先驗(yàn)信息。貝葉斯統(tǒng)計(jì)在重視使用總體信息和樣本信息的同時(shí)，還注意先驗(yàn)信息的收集、挖掘和加工，使它數(shù)量化，形成先驗(yàn)分布，參加到統(tǒng)計(jì)推斷中來，以提高統(tǒng)計(jì)推斷的質(zhì)量。忽視先驗(yàn)信息的利用，有時(shí)是一種浪費(fèi)，有時(shí)還會(huì)導(dǎo)出不合理的結(jié)論。 貝葉斯學(xué)派的基本觀點(diǎn)：任一未知量 都可看作隨機(jī)變量，可用一個(gè)概率分布去描述，這個(gè)分布稱為先驗(yàn)分布；在獲得樣本之后，總體分布、樣本與先驗(yàn)分布通過貝葉斯公式結(jié)合起來得到一個(gè)關(guān)于未知量 新的分布后驗(yàn)分布；任何關(guān)于 的統(tǒng)計(jì)推斷都應(yīng)該基于 的后驗(yàn)分布進(jìn)行。 2)先

6、驗(yàn)分布利用先驗(yàn)信息的前提 （1）參數(shù)是隨機(jī)的，但有一定的分布規(guī)律 （2）參數(shù)是某一常數(shù)，但無法知道目標(biāo)：充分利用參數(shù)的先驗(yàn)信息對(duì)未知參數(shù)作出更準(zhǔn)確的估計(jì)。貝葉斯方法就是把未知參數(shù)視為具有已知分布的隨機(jī)變量，將先驗(yàn)信息數(shù)字化并利用的一種方法，一般先驗(yàn)分布記為( )3)貝葉斯公式的密度函數(shù)形式(后驗(yàn)分布） 設(shè)總體X 的分布密度函數(shù)P (x ; )在貝葉斯統(tǒng)計(jì)中記為P (x | )，它表示在隨機(jī)變量取某個(gè)給定值時(shí)總體的條件概率密度函數(shù)； P (x ; )= P (x | ) 根據(jù)參數(shù) 的先驗(yàn)信息確定先驗(yàn)分布( )； 樣本 x1, x2 , , xn 的聯(lián)合條件分布密度函數(shù)為 這個(gè)分布綜合了總體信息和

7、樣本信息； 0 是未知的，它是按先驗(yàn)分布( )產(chǎn)生的。為把先驗(yàn)信息綜合進(jìn)去，不能只考慮0，對(duì)的其它值發(fā)生的可能性也要加以考慮，故要用( )進(jìn)行綜合。這樣一來，樣本x1 , , xn和參數(shù) 的聯(lián)合分布為: f (x1, x2 , , xn, ) = q(x1, x2 , , xn )( )， 簡(jiǎn)記為 f (x, ) = q(x )( ) 這個(gè)聯(lián)合分布把總體信息、樣本信息和先驗(yàn)信息三種可用信息都綜合進(jìn)去了；在有了樣本觀察值 x1, x2 , , xn 之后，則應(yīng)依據(jù) f (x, )對(duì) 作出推斷。由于 f (x, ) =h( x1,x2 ,xn )m(x1,x2 ,xn)， 其中m(x1,x2 ,x

8、n) 是x1, x2 , , xn 的邊際概率函數(shù)，它與 無關(guān)。因此能用來對(duì) 作出推斷的僅是條件分布h( x1, x2 , , xn)，它的計(jì)算公式是 這個(gè)條件分布稱為 的后驗(yàn)分布，它集中了總體、樣本和先驗(yàn)中有關(guān) 的一切信息。 后驗(yàn)分布h( x1, x2 , , xn )的計(jì)算公式就是用密度函數(shù)表示的貝葉斯公式。它是用總體和樣本對(duì)先驗(yàn)分布( )作調(diào)整的結(jié)果，貝葉斯統(tǒng)計(jì)的一切推斷都基于后驗(yàn)分布進(jìn)行。 4）共軛先驗(yàn)分布定義：設(shè)總體X 的分布密度為 p(x| ), F*為 的一個(gè)分布族， ( ) 為 的任意一個(gè)先驗(yàn)分布， ( ) F*,若對(duì)樣本的任意觀測(cè)值x, 的后驗(yàn)分布h( |x)仍在F*內(nèi)，稱F

9、*為關(guān)于分布密度 p(x| )的共軛先驗(yàn)分布族，簡(jiǎn)稱共軛族。計(jì)算共軛先驗(yàn)分布的方法 當(dāng)給定樣本的分布（似然函數(shù)）q (x | ) 和先驗(yàn)分布( )；由貝葉斯公式得 h(x| ) = ( ) q( x )/m(x)由于m(x)不依賴于, 改寫為 h(x| ) ( ) q( x ) 上式不是正常的密度函數(shù),是h(x| ) 的主要部分,稱為h(x| ) 的核例8 X1, X2 , , Xn來自正態(tài)分布N( ,2)的一個(gè)樣本，其中 已知，求方差2的共軛先驗(yàn)分布例9 X1, X2 , , Xn來自二項(xiàng)分布B(N , )的一個(gè)樣本，求的共軛先驗(yàn)分布計(jì)算共軛先驗(yàn)分布的方法 1. h( |x)= ( ) q(

10、x| ) /m(x), m(x)不依賴于 先求出q(x| ),再選取與q(x| )具有相同形式的分布作為先驗(yàn)分布，就是共軛分布 2. 當(dāng)參數(shù) 存在適當(dāng)?shù)慕y(tǒng)計(jì)量時(shí)，設(shè)X 的分布密度為 p(x| ), T(X)是 的充分統(tǒng)計(jì)量, 再由定理3.1，求得共軛先驗(yàn)分布族定理3.1設(shè)f( )為任一固定的函數(shù),滿足 若后驗(yàn)分布h( x)與( )屬于同一個(gè)分布族，則稱該分布族是 的共軛先驗(yàn)分布(族)。二項(xiàng)分布b(n, )中的成功概率 的共軛先驗(yàn)分布是貝塔分布Be(a,b)；泊松分布P( )中的均值 的共軛先驗(yàn)分布是伽瑪 分布(,)；指數(shù)分布中均值的倒數(shù)的共軛先驗(yàn)分布是伽瑪分布(,)；在方差已知時(shí)，正態(tài)均值 的

11、共軛先驗(yàn)分布是正態(tài)分布N(, 2);在均值已知時(shí)，正態(tài)方差 2的共軛先驗(yàn)分布是倒伽瑪分布I(,)。 5）貝葉斯風(fēng)險(xiǎn)定義： 稱為決策函數(shù)d(X)在給定先驗(yàn)分布( )下的貝葉斯風(fēng)險(xiǎn)，簡(jiǎn)稱d(X)的貝葉斯風(fēng)險(xiǎn)相當(dāng)于隨機(jī)損失函數(shù)求兩次期望，一次對(duì)后驗(yàn)分布，一次對(duì)X 的邊緣分布6) 貝葉斯點(diǎn)估計(jì)定義：設(shè)總體X 的分布函數(shù)F(x, )中參數(shù)為隨機(jī)變量， ( )為的先驗(yàn)分布，若在決策函數(shù)類D中存在一個(gè)決策函數(shù)d*(X)，使得對(duì)決策函數(shù)類D中的任一決策函數(shù)d(X )，均有 則稱為d*(X )參數(shù) 的貝葉斯估計(jì)量定理3.2 設(shè) 的先驗(yàn)分布為( ) ，損失函數(shù)為 L( ,d) =( -d)2 ,則 的貝葉斯估計(jì)是

12、 其中h( |x)為參數(shù) 的后驗(yàn)密度。定理3.33.7，給出了各種損失函數(shù)下的貝葉斯估計(jì)，不證定理3.3 設(shè) 的先驗(yàn)分布為( ) ，取損失函數(shù)為加權(quán)平方損失函數(shù) 則 的貝葉斯估計(jì)為定理3.4 設(shè)(1,2,p)T 的先驗(yàn)分布為( ) ，損失函數(shù)為則 的貝葉斯估計(jì)為定義：設(shè)d=d(x)為任一決策函數(shù)，損失函數(shù)為L( ,d)，則L( ,d)對(duì)后驗(yàn)分布h( |x)的數(shù)學(xué)期望稱為后驗(yàn)風(fēng)險(xiǎn)，記作 若存在一個(gè)決策函數(shù)d*(x)使得則d*(x)稱為在后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù)定理3.5 對(duì)給定的統(tǒng)計(jì)決策問題（包括先驗(yàn)分布）和決策函數(shù)類D當(dāng)滿足 則貝葉斯決策函數(shù)d*(x)與貝葉斯后驗(yàn)型決策函數(shù)d*(x)等價(jià)定

13、理3.6 設(shè)的先驗(yàn)分布為( ) ，損失函數(shù)為絕對(duì)值損失則 的貝葉斯估計(jì)d*(x)為后驗(yàn)分布h(|x)的中位數(shù)定理3.7 設(shè) 的先驗(yàn)分布為( ) ，在線性損失函數(shù) 下, 則 的貝葉斯估計(jì)d*(x)為后驗(yàn)分布h(|x)的k1/(k0+k1)上側(cè)分位數(shù) 常用貝葉斯估計(jì) 基于后驗(yàn)分布h( x ) 的貝葉斯估計(jì)，常用如下三種：用后驗(yàn)分布的密度函數(shù)最大值作為 的點(diǎn)估計(jì)，稱為最大后驗(yàn)估計(jì)；用后驗(yàn)分布的中位數(shù)作為 的點(diǎn)估計(jì)，稱為后驗(yàn)中位數(shù)估計(jì)；用后驗(yàn)分布的均值作為 的點(diǎn)估計(jì)，稱為后驗(yàn)期望估計(jì)。用得最多的是后驗(yàn)期望估計(jì)，簡(jiǎn)稱為貝葉斯估計(jì)，記為 。 求貝葉斯估計(jì)的一般步驟1. 根據(jù)總體X 的分布，求得條件概率q(

14、x| ) 2. 在已知 的先驗(yàn)分布( ) 下，求得x與 的聯(lián)合分布密度 f (x, )= ( ) q(x| ) 3. 求得X 的邊緣分布m(x)4. 計(jì)算h( |x)= ( ) q(x| ) /m(x)5. 求數(shù)學(xué)期望6. 求得貝葉斯風(fēng)險(xiǎn)（如果需要的話）例3.11 設(shè)總體XB(1, p)，其中參數(shù)p未知，且服從0,1上的均勻分布，損失函數(shù)取二次損失函數(shù)L( ,d) =( -d)2 ，求參數(shù)p的貝葉斯估計(jì)及貝葉斯風(fēng)險(xiǎn) 若在試驗(yàn)前對(duì)事件A沒有什么了解，對(duì)其發(fā)生的概率 也沒有任何信息。貝葉斯本人建議采用“同等無知”的原則使用區(qū)間（0,1）上的均勻分布U(0,1)作為 的先驗(yàn)分布，因?yàn)槿。?,1）上的

15、每一點(diǎn)的機(jī)會(huì)均等。貝葉斯的這個(gè)建議被后人稱為貝葉斯假設(shè)。 某些場(chǎng)合，貝葉斯估計(jì)要比極大似然估計(jì)更合理一點(diǎn)。比如: “抽檢3個(gè)全是合格品”與“抽檢10個(gè)全是合格品”，后者的質(zhì)量比前者更信得過。這種差別在不合格品率的極大似然估計(jì)中反映不出來（兩者都為0），而用貝葉斯估計(jì)兩者分別是 0.2 和 0.83。由此可以看到，在這些極端情況下，貝葉斯估計(jì)比極大似然估計(jì)更符合人們的理念。例設(shè)總體XN(,1) ，其中未知，假定N(0,1) ，對(duì)于給定的損失函數(shù)L(,d) =( -d)2 ，求 的貝葉斯估計(jì)量例3.15X1, X2 , , Xn來自正態(tài)分布N( ,02)的一個(gè)樣本，其中02已知， 未知，假設(shè) 的先

16、驗(yàn)分布為正態(tài)分布N( , 2)，其中先驗(yàn)均值 和先驗(yàn)方差 2均已知，試求 的貝葉斯估計(jì)。解：樣本x的聯(lián)合分布和 的先驗(yàn)分布分別為由此可以寫出x與 的聯(lián)合分布其中 ，若記則有 注意到A,B,C均與 無關(guān)，樣本的邊際密度函數(shù) 應(yīng)用貝葉斯公式即可得到后驗(yàn)分布 這說明在樣本給定后， 的后驗(yàn)分布為 N(B/A,1/A)，即 |x N(B/A,1/A) 后驗(yàn)均值即為其貝葉斯估計(jì)： 它是樣本均值 與先驗(yàn)均值的加權(quán)平均。貝葉斯估計(jì)的誤差貝葉斯區(qū)間估計(jì)兩種區(qū)間估計(jì)的區(qū)別 1）構(gòu)造一個(gè)統(tǒng)計(jì)量，并求得其概率分布 2）利用參數(shù)的后驗(yàn)分布區(qū)間估計(jì)求解步驟 前面同貝葉斯點(diǎn)估計(jì)； 求得后驗(yàn)分布后按置信度，分開單側(cè)、雙側(cè)查表

17、，得出置信上下界。注意：貝葉斯區(qū)間估計(jì)的置信區(qū)間較短； 貝葉斯點(diǎn)估計(jì)不再要求無偏性。例3.15x1, x2 , , xn來自正態(tài)分布N( ,02)的一個(gè)樣本，其中02已知， 未知，假設(shè) 的先驗(yàn)分布為正態(tài)分布N( , 2)，其中先驗(yàn)均值 和先驗(yàn)方差 2均已知，試求 的貝葉斯區(qū)間估計(jì)。 解：由貝葉斯點(diǎn)估計(jì)知例3.16 對(duì)某一兒童做智力測(cè)驗(yàn)x=115，設(shè)結(jié)果為XN(,100), 為智商，根據(jù)經(jīng)驗(yàn) N(100,225)，求該兒童智商的0.95貝葉斯置信區(qū)間解：由上題結(jié)論知， 的后驗(yàn)分布服從正態(tài)分布 最大最小估計(jì)（極大極小）minmax定義：設(shè)D是決策函數(shù)的集合，若有d*(x)= d*(x1,x2,xn

18、), d* D，使得對(duì)任意一個(gè)決策函數(shù)d(x1,x2,xn) ，總有 則稱d*為最大最小決策函數(shù)，當(dāng)上界能取到時(shí)可記為解題步驟（1）對(duì)D 中所有決策函數(shù)求最大風(fēng)險(xiǎn)（2）在所有最大風(fēng)險(xiǎn)值中選取最小值 此最小值所對(duì)應(yīng)的決策函數(shù)就是最大最小決策函數(shù)。例設(shè)總體 X 服從兩點(diǎn)分布，試求 p 的極大極小估計(jì)量，其中L(p,d)d=0.25d=0.5P1=0.2514P2=0.532解：決策空間為A=0.25,0.5，選取容量為1的子樣，x只能取0,1 a只能取0.25，0.5，則決策函數(shù)d(x)有四個(gè)： dx ad1(x)d2(x)d3(x)d4(x)00.250.50.250.510.250.50.50

19、.25風(fēng)險(xiǎn)函數(shù)R(p,d)min(maxR(pi,dj)=5/2則極大極小估計(jì)為R(p,d)計(jì)算舉例例：地質(zhì)學(xué)家把地層狀態(tài)分為0，1兩種，并把當(dāng)?shù)責(zé)o石油記為0 ，有石油記為1，分布規(guī)律如下表 x010 （無油）0.60.41 （有油）0.30.7決策空間為A=a1,a2,a3，其中a1為鉆探石油，a2為出賣土地，a3為開發(fā)旅游。損失函數(shù)L( , a)取下表 aa1a2a30（無油）12161（有油）0105 決策函數(shù)d(x)取下表(取n=1)（9個(gè)決策函數(shù)）x1d1d2d3d4d5d6d7d8d90a1a1a1a2a2a2a3a3a31a1a2a3a1a2a3a1a2a3風(fēng)險(xiǎn)函數(shù)R(i,dj)及最大值表di(x1)d1d2d3d4d5d6d7d8d9R(0,di)127.69.65.4138.446R(1,di)073.53106.51.58.55maxR(,di)127.69.65.41