第1章先驗(yàn)分布與后驗(yàn)分布

貝葉斯統(tǒng)計(jì) 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院 shangkejiaoxue 張愛(ài) BayesianStatistics 貝葉斯統(tǒng)計(jì) 預(yù)修要求 已修過(guò)概率論與數(shù)理統(tǒng)計(jì) 基本教材 茆詩(shī)松編 貝葉斯統(tǒng)計(jì)中國(guó)統(tǒng)計(jì)出版社 2005年 1 貝葉斯統(tǒng)計(jì)與決策 BergerJO 中國(guó)統(tǒng)計(jì)出版社 1998 2 現(xiàn)代貝葉斯統(tǒng)計(jì) KotzS 吳喜之 中國(guó)統(tǒng)計(jì)出版社 1999 3 貝葉斯統(tǒng)計(jì)推斷 張堯庭 陳漢峰 科學(xué)出版社 1991 課堂上講過(guò)的習(xí)題 練習(xí)題和作業(yè)的題目要會(huì) 伽瑪函數(shù) 函數(shù) 伽瑪函數(shù)的性質(zhì) 伽瑪分布 5 4 4伽瑪分布的兩個(gè)特例 1 當(dāng) 1時(shí) 伽瑪分布就是指數(shù)分布 則X的密度函數(shù)為 貝塔函數(shù) 函數(shù) 貝塔函數(shù)的性質(zhì) 證明 證明 貝塔分布 貝塔分布的數(shù)學(xué)期望和方差 Bayes Thomas 1702 1761 貝葉斯是英國(guó)數(shù)學(xué)家 1702年生于倫敦 1761年4月17日卒于坦布里奇韋爾斯 貝葉斯是一位自學(xué)成才的數(shù)學(xué)家 曾助理宗教事務(wù) 后來(lái)長(zhǎng)期擔(dān)任坦布里奇韋爾斯地方教堂的牧師 1742年 貝葉斯被選為英國(guó)皇家學(xué)會(huì)會(huì)員 如今在概率 數(shù)理統(tǒng)計(jì)學(xué)中以貝葉斯姓氏命名的有貝葉斯公式 貝葉斯風(fēng)險(xiǎn) 貝葉斯決策函數(shù) 貝葉斯決策規(guī)則 貝葉斯估計(jì)量 貝葉斯方法 貝葉斯統(tǒng)計(jì)等等 貝葉斯方法 Bayesianapproach 貝葉斯方法是基于貝葉斯定理而發(fā)展起來(lái)用于系統(tǒng)地闡述和解決統(tǒng)計(jì)問(wèn)題的方法 SamuelKotz和吳喜之 2000 貝葉斯推斷的基本方法是將關(guān)于未知參數(shù)的先驗(yàn)信息與樣本信息綜合 再根據(jù)貝葉斯定理 得出后驗(yàn)信息 然后根據(jù)后驗(yàn)信息去推斷未知參數(shù) 茆詩(shī)松和王靜龍等 1998年 貝葉斯提出了一種歸納推理的理論 貝葉斯定理 以后被一些統(tǒng)計(jì)學(xué)者發(fā)展為一種系統(tǒng)的統(tǒng)計(jì)推斷方法 稱(chēng)為貝葉斯方法 摘自 中國(guó)大百科全書(shū) 數(shù)學(xué)卷 英國(guó)學(xué)者T 貝葉斯1763年在 論有關(guān)機(jī)遇問(wèn)題的求解 中提出一種歸納推理的理論 后被一些統(tǒng)計(jì)學(xué)者發(fā)展為一種系統(tǒng)的統(tǒng)計(jì)推斷方法 稱(chēng)為貝葉斯方法 采用這種方法作統(tǒng)計(jì)推斷所得的全部結(jié)果 構(gòu)成貝葉斯統(tǒng)計(jì)的內(nèi)容 認(rèn)為貝葉斯方法是唯一合理的統(tǒng)計(jì)推斷方法的統(tǒng)計(jì)學(xué)者 組成數(shù)理統(tǒng)計(jì)學(xué)中的貝葉斯學(xué)派 其形成可追溯到20世紀(jì)30年代 到50 60年代 已發(fā)展為一個(gè)有影響的學(xué)派 時(shí)至今日 其影響日益擴(kuò)大 序言 本書(shū)共六章 可分二部分 前三章圍繞先驗(yàn)分布介紹貝葉斯推斷方法 后三章圍繞損失函數(shù)介紹貝葉斯決策方法 閱讀這些內(nèi)容僅需要概率統(tǒng)計(jì)基本知識(shí)就夠了 Byaes統(tǒng)計(jì)學(xué)派與經(jīng)典統(tǒng)計(jì)學(xué)派雖然有很大區(qū)別 但是它們各有優(yōu)缺點(diǎn) 各有其適用的范圍 作為研究者一定要博采眾長(zhǎng) 以獲得一種更適合解決實(shí)際問(wèn)題的方法 而且 在不少情況下 二者得出的結(jié)論在形式上是相同的 目錄 第一章先驗(yàn)分布與后驗(yàn)分布 第二章貝葉斯推斷 第三章先驗(yàn)分布的確定 第四章決策中的收益 損失與效用 第五章貝葉斯決策 第六章統(tǒng)計(jì)決策理論 第一章先驗(yàn)分布與后驗(yàn)分布 統(tǒng)計(jì)學(xué)中有兩個(gè)主要學(xué)派 頻率學(xué)派與貝葉斯學(xué)派 下面從統(tǒng)計(jì)推斷的三種信息來(lái)說(shuō)明他們之間的區(qū)別與聯(lián)系 經(jīng)典學(xué)派的觀點(diǎn) 統(tǒng)計(jì)推斷是根據(jù)樣本信息對(duì)總體分布或總體的特征數(shù)進(jìn)行推斷 這里用到兩種信息 總體信息和樣本信息 貝葉斯學(xué)派的觀點(diǎn) 除了上述兩種信息以外 統(tǒng)計(jì)推斷還應(yīng)該使用第三種信息 先驗(yàn)信息 1 1三種信息 一 總體信息 即總體分布或總體所屬分布給我們的信息 例如 總體是正態(tài)分布 說(shuō)明 總體信息是很重要的信息 為了獲取此種信息往往耗資巨大 二 樣本信息 即從總體抽取的樣本給我們的信息 愈多愈好 人們希望通過(guò)對(duì)樣本的加工和處理對(duì)總體的某些特征做出較為精確的統(tǒng)計(jì)推斷 例 有了樣本觀察值 我們可根據(jù)它大概知道總體的一些特征數(shù) 均值 方差等 在一個(gè)什么范圍內(nèi) 經(jīng)典統(tǒng)計(jì)學(xué) 基于以上兩種信息進(jìn)行的統(tǒng)計(jì)推斷被稱(chēng)為經(jīng)典統(tǒng)計(jì)學(xué) 說(shuō)明 它的基本觀點(diǎn)是把數(shù)據(jù) 樣本 看成是來(lái)自具有一定概率分布的總體 所研究對(duì)象是這個(gè)總體而不局限于數(shù)據(jù)本身 據(jù)現(xiàn)有資料看 這方面最早的工作是高斯和勒讓德德誤差分析 正態(tài)分布和最小二乘法 從十九世紀(jì)末期到二十世紀(jì)中葉 經(jīng)皮爾遜 費(fèi)歇和奈曼等人杰出的工作創(chuàng)立了經(jīng)典統(tǒng)計(jì)學(xué) 隨著經(jīng)典統(tǒng)計(jì)學(xué)的持續(xù)發(fā)展與廣泛應(yīng)用 它本身的缺陷也逐漸暴露出來(lái)了 1 總體信息 總體分布提供的信息 2 樣本信息 抽取樣本所得觀測(cè)值提供的信息 3 先驗(yàn)信息 人們?cè)谠囼?yàn)之前對(duì)要做的問(wèn)題在經(jīng)驗(yàn)上和資料上總是有所了解的 這些信息對(duì)統(tǒng)計(jì)推斷是有益的 先驗(yàn)信息即是抽樣 試驗(yàn) 之前有關(guān)統(tǒng)計(jì)問(wèn)題的一些信息 一般說(shuō)來(lái) 先驗(yàn)信息來(lái)源于經(jīng)驗(yàn)和歷史資料 先驗(yàn)信息在日常生活和工作中是很重要的 貝葉斯學(xué)派的觀點(diǎn) 除了上述兩種信息以外 統(tǒng)計(jì)推斷還應(yīng)該使用第三種信息 先驗(yàn)信息 三 先驗(yàn)信息 即是抽樣 試驗(yàn) 之前有關(guān)統(tǒng)計(jì)問(wèn)題的一些信息 一般說(shuō)來(lái) 先驗(yàn)信息來(lái)源于經(jīng)驗(yàn)和歷史資料 先驗(yàn)信息在日常生活和工作中是很重要的 人們?cè)谠囼?yàn)之前對(duì)要做的問(wèn)題在經(jīng)驗(yàn)上和資料上總是有所了解的 這些信息對(duì)統(tǒng)計(jì)推斷是有益的 例1 1英國(guó)統(tǒng)計(jì)學(xué)家Savage曾考察如下2個(gè)統(tǒng)計(jì)實(shí)驗(yàn) A 一位常飲牛奶加茶的婦女聲稱(chēng) 她能辨別先倒進(jìn)杯子里的是茶還是牛奶 對(duì)此做了10次試驗(yàn) 她都正確地說(shuō)出了 B 一位音樂(lè)家聲稱(chēng) 他能從一頁(yè)樂(lè)譜辨別出是海頓還是莫扎特的作品 在10次這樣的試驗(yàn)中 他都能正確辨別 在這兩個(gè)統(tǒng)計(jì)試驗(yàn)中 假如認(rèn)為被試驗(yàn)者是在猜測(cè) 每次成功的概率為0 5 那么10次都猜中的概率為2 10 0 0009766 這是一個(gè)很小的概率 是幾乎不可能發(fā)生的 所以 每次成功概率為0 5 的假設(shè)應(yīng)該被拒絕 被試驗(yàn)者每次成功的概率要比0 5大得多 這不是猜測(cè) 而是他們的經(jīng)驗(yàn)在幫了他們的忙 例1 2 免檢產(chǎn)品 是怎樣決定的 某廠的產(chǎn)品每天都有抽驗(yàn)幾件 獲得不合格品率 的估計(jì) 在經(jīng)過(guò)一段時(shí)間后就積累大量的資料 根據(jù)這些歷史資料 先驗(yàn)信息的一種 對(duì)過(guò)去產(chǎn)品的不合格品率可構(gòu)造一個(gè)分布 這個(gè)對(duì)先驗(yàn)信息進(jìn)行加工獲得的分布今后稱(chēng)為先驗(yàn)分布 這個(gè)先驗(yàn)分布是綜合了該廠過(guò)去產(chǎn)品的質(zhì)量情況 如果這個(gè)分布的概率大部分集中在 0附近 那么該產(chǎn)品可認(rèn)為是 信得過(guò)產(chǎn)品 假如以后的多次抽檢結(jié)果與歷史資料提供的先驗(yàn)分布是一致的 使用單位就可以對(duì)它做出 免檢產(chǎn)品 的決定 或者每月抽檢一 二次就足夠了 這就省去了大量的人力和物力 可見(jiàn)歷史資料在統(tǒng)計(jì)推斷中應(yīng)加以利用 基于上述三種信息進(jìn)行統(tǒng)計(jì)推斷的統(tǒng)計(jì)學(xué)稱(chēng)為貝葉斯統(tǒng)計(jì)學(xué) 它與經(jīng)典統(tǒng)計(jì)學(xué)的差別就在于是否利用先驗(yàn)信息 貝葉斯統(tǒng)計(jì)在重視使用總體信息和樣本信息的同時(shí) 還注意先驗(yàn)信息的收集 挖掘和加工 使它數(shù)量化 形成先驗(yàn)分布 參加到統(tǒng)計(jì)推斷中來(lái) 以提高統(tǒng)計(jì)推斷的質(zhì)量 忽視先驗(yàn)信息的利用 有時(shí)是一種浪費(fèi) 有時(shí)還會(huì)導(dǎo)出不合理的結(jié)論 在使用樣本信息上也是有差異的 貝葉斯學(xué)派重視已出現(xiàn)的樣本觀察值 而對(duì)尚未發(fā)生的樣本觀察值不予考慮 貝葉斯學(xué)派的基本觀點(diǎn) 任一未知量 都可看作隨機(jī)變量 可用一個(gè)概率分布去描述 這個(gè)分布稱(chēng)為先驗(yàn)分布 在獲得樣本之后 總體分布 樣本與先驗(yàn)分布通過(guò)貝葉斯公式結(jié)合起來(lái)得到一個(gè)關(guān)于未知量 新的分布 后驗(yàn)分布 任何關(guān)于 的統(tǒng)計(jì)推斷都應(yīng)該基于 的后驗(yàn)分布進(jìn)行 因?yàn)槿我晃粗慷加胁淮_定性 而在表述不確定性程度時(shí) 概率與概率分布是最好的語(yǔ)言 例1 2中產(chǎn)品的不合格品率 是未知量 但每天都有一些變化 把它看做一個(gè)隨機(jī)變量是合適的 用一個(gè)概率分布去描述它也是很恰當(dāng)?shù)?例1 3學(xué)生估計(jì)一新教師的年齡 依據(jù)學(xué)生們的生活經(jīng)歷 在看了新教師的照片后會(huì)立即有反應(yīng) 新教師的年齡在30歲到50歲之間 極有可能在40歲左右 一位統(tǒng)計(jì)學(xué)家與學(xué)生們交談 明確這句話中 左右 為 3歲 極有可能 可理解為90 的把握 于是學(xué)生們對(duì)新教師的年齡 未知量 的認(rèn)識(shí) 先驗(yàn)信息 可綜合為圖1 1所示的概率分布 這也是學(xué)生們對(duì)未知量 新教師的年齡 的概率表述 這里有兩個(gè)問(wèn)題需要進(jìn)一步討論 第一 按圖1 1所示的概率分布我們可談?wù)撐粗?位于某個(gè)區(qū)間的概率 例 位于37到43歲間的概率為0 9 可這個(gè)陳述在經(jīng)典統(tǒng)計(jì)中是不允許的 在實(shí)際中類(lèi)似的說(shuō)法經(jīng)常聽(tīng)到 第二 按圖1 1中的概率不是在大量重復(fù)試驗(yàn)中獲得的 而是學(xué)生們根據(jù)自己的生活經(jīng)歷的積累對(duì)該事件發(fā)生可能性所給出的信念 這樣給出的概率在貝葉斯統(tǒng)計(jì)中是允許的 并稱(chēng)為主觀概率 它也符合概率的三條公理 這一點(diǎn)頻率學(xué)派是頻率學(xué)派難以接受的 他們認(rèn)為經(jīng)典統(tǒng)計(jì)學(xué)使用大量重復(fù)試驗(yàn)的頻率來(lái)確定概率 是 客觀的 因此符合科學(xué)的要求 而認(rèn)為貝葉斯統(tǒng)計(jì)是 主觀的 因而 至多 只對(duì)個(gè)人決策有用 這是當(dāng)前對(duì)貝葉斯統(tǒng)計(jì)的主要批評(píng) 兩學(xué)派在一些問(wèn)題上的爭(zhēng)論將在后面逐步介紹 Byaes統(tǒng)計(jì)學(xué)派與經(jīng)典統(tǒng)計(jì)學(xué)派在很多問(wèn)題上都有分歧但是它們最根本的分歧是 第一 是否利用先驗(yàn)信息 由于產(chǎn)品的設(shè)計(jì) 生產(chǎn)都有一定的繼承性 這樣就存在許多相關(guān)產(chǎn)品的信息以及先驗(yàn)信息可以利用 Byaes統(tǒng)計(jì)學(xué)派認(rèn)為利用這些先驗(yàn)信息不僅可以減少樣本容量 而且在很多情況還可以提高統(tǒng)計(jì)精度 而經(jīng)典統(tǒng)計(jì)學(xué)派忽略了這些信息 第二 是否將參數(shù) 看成隨機(jī)變量 Byaes統(tǒng)計(jì)學(xué)派的最基本的觀點(diǎn)是 任一未知量 都可以看成隨機(jī)變量 可以用一個(gè)概率分布去描述 這個(gè)分布就是先驗(yàn)分布 因?yàn)槿我晃粗慷季哂胁淮_定性 而在表述不確定性時(shí) 概率與概率分布是最好的語(yǔ)言 相反 經(jīng)典統(tǒng)計(jì)學(xué)派卻把未知量 就簡(jiǎn)單看成一個(gè)未知參數(shù) 來(lái)對(duì)它進(jìn)行統(tǒng)計(jì)推斷 總結(jié) 理解貝葉斯統(tǒng)計(jì)學(xué)與經(jīng)典統(tǒng)計(jì)學(xué)的主要差別 貝葉斯統(tǒng)計(jì)學(xué)派的最基本的觀點(diǎn) 1 2貝葉斯公式 一 貝葉斯公式的密度函數(shù)形式 1 總體依賴(lài)于參數(shù) 的概率函數(shù)在貝葉斯統(tǒng)計(jì)中記為P x 它表示在隨機(jī)變量 取某個(gè)給定值時(shí)總體的條件概率函數(shù) 2 根據(jù)參數(shù) 的先驗(yàn)信息可確定先驗(yàn)分布 3 從貝葉斯觀點(diǎn)看 樣本x x1 x2 xn 的產(chǎn)生分兩步進(jìn)行 首先從先驗(yàn)分布 產(chǎn)生一個(gè)樣本 0 然后從P x 0 中產(chǎn)生一組樣本 這時(shí)樣本的聯(lián)合條件概率函數(shù)為 這個(gè)分布綜合了總體信息和樣本信息 常稱(chēng)為似然函數(shù) 4 0是未知的 它是按先驗(yàn)分布 產(chǎn)生的 為把先驗(yàn)信息綜合進(jìn)去 不能只考慮 0 對(duì) 的其它值發(fā)生的可能性也要加以考慮 故要用 進(jìn)行綜合 這樣一來(lái) 樣本x x1 xn 和參數(shù) 的聯(lián)合分布為 h x p x 這個(gè)聯(lián)合分布把總體信息 樣本信息和先驗(yàn)信息三種可用信息都綜合進(jìn)去了 5 我們的任務(wù)是對(duì)未知數(shù) 作出推斷 在沒(méi)有樣本信息時(shí) 人們只能依據(jù)先驗(yàn)分布對(duì) 作出推斷 在有了樣本觀察值x x1 x2 xn 之后 則應(yīng)依據(jù)h x 對(duì) 作出推斷 由于h x x m x 其中是x x1 x2 xn 的邊際概率函數(shù) 它與 無(wú)關(guān) 不含 的任何信息 因此能用來(lái)對(duì) 作出推斷的僅是條件分布 x 它的計(jì)算公式是 這就是貝葉斯公式的密度函數(shù)形式 這個(gè)條件分布稱(chēng)為 的后驗(yàn)分布 它集中了總體 樣本和先驗(yàn)中有關(guān) 的一切信息 而又是排除一切與 無(wú)關(guān)的信息之后得到的結(jié)果 后驗(yàn)分布 x 的計(jì)算公式就是用密度函數(shù)表示的貝葉斯公式 它是用總體和樣本對(duì)先驗(yàn)分布 作調(diào)整的結(jié)果 貝葉斯統(tǒng)計(jì)的一切推斷都基于后驗(yàn)分布進(jìn)行 6 在 是離散型隨機(jī)變量時(shí) 先驗(yàn)分布可用先驗(yàn)分布列 i i 1 2 表示 這時(shí)后驗(yàn)分布也是離散形式 假如總體X也是離散的 只要把 1 1 或 1 2 中的密度函數(shù)p x 作為概率函數(shù)p X x 即可 二 后驗(yàn)分布式三種信息的綜合 一般說(shuō)來(lái) 先驗(yàn)分布 是反映人們抽樣前對(duì)的 的認(rèn)識(shí) 后驗(yàn)分布 x 是反映人們?cè)诔闃雍髮?duì) 的認(rèn)識(shí) 它們之間的差異是由于樣本x出現(xiàn)后人們對(duì) 認(rèn)識(shí)的一種調(diào)整 所以后驗(yàn)分布 x 可以看做是人們用總體信息和樣本信息 綜合稱(chēng)為抽樣信息 對(duì) 作調(diào)整的結(jié)果 例1 4 設(shè)某事件A在一次試驗(yàn)中發(fā)生的概率為 為估計(jì) 對(duì)試驗(yàn)進(jìn)行了n次獨(dú)立觀測(cè) 其中事件A發(fā)生了X次 顯然X b n 即這是似然函數(shù) 假若我們?cè)谠囼?yàn)前對(duì)事件A沒(méi)有什么了解 從而對(duì)其發(fā)生的概率 也沒(méi)有任何信息 在這種場(chǎng)合 貝葉斯本人建議采用 同等無(wú)知 的原則使用區(qū)間 0 1 上的均勻分布U 0 1 作為 的先驗(yàn)分布 因?yàn)樗?0 1 上的每一點(diǎn)的機(jī)會(huì)均等 貝葉斯的這個(gè)建議被后人稱(chēng)為貝葉斯假設(shè) 的先驗(yàn)分布為 由此即可利用貝葉斯公式求出 的后驗(yàn)分布 具體如下 先寫(xiě)出X和 的聯(lián)合分布然后求X的邊際分布最后求出 的后驗(yàn)分布最后的結(jié)果說(shuō)明 的后驗(yàn)分布為Be x 1 n x 1 例1 5 為了提高某產(chǎn)品的質(zhì)量 公司經(jīng)理考慮增加投資來(lái)改進(jìn)生產(chǎn)設(shè)備 預(yù)計(jì)需投資90萬(wàn)元 但從投資效果看 下屬部門(mén)有2種意見(jiàn) 1 改進(jìn)設(shè)備后 高質(zhì)量產(chǎn)品可占90 2 改進(jìn)設(shè)備后 高質(zhì)量產(chǎn)品可占70 經(jīng)理當(dāng)然希望 1發(fā)生 公司效益可得很大提高 投資改進(jìn)設(shè)備是合算的 但根據(jù)下屬兩個(gè)部門(mén)過(guò)去建議被采納的情況 經(jīng)理認(rèn)為 1的可信程度只有40 2的可信程度是60 即 這個(gè)都是經(jīng)理的主觀概率 經(jīng)理不想僅用過(guò)去的經(jīng)驗(yàn)來(lái)決策 想慎重一些 通過(guò)小規(guī)模試驗(yàn)后觀其結(jié)果再定 為此做了一項(xiàng)試驗(yàn) 實(shí)驗(yàn)結(jié)果 記為A 如下 A 試制5個(gè)產(chǎn)品 全是高質(zhì)量產(chǎn)品 經(jīng)理對(duì)此試驗(yàn)結(jié)果很高興 希望用此試驗(yàn)結(jié)果來(lái)修改他原來(lái)對(duì) 1和 2的看法 即要求后驗(yàn)概率 1 x 和 2 x 所以 經(jīng)理根據(jù)試驗(yàn)A的信息調(diào)整自己的看法 把對(duì) 1和 2的可信程度由0 4和0 6調(diào)整到0 7和0 3 后者是綜合了經(jīng)理的主觀概率和試驗(yàn)結(jié)果而獲得的 要比主觀概率更貼近當(dāng)今的實(shí)際 這就是貝葉斯公式的應(yīng)用 經(jīng)過(guò)試驗(yàn)A后 經(jīng)理對(duì)增加投資改進(jìn)質(zhì)量的興趣增大 但因投資額大 還想再做一次小規(guī)模試驗(yàn) 觀此結(jié)果在最決策 為此又做了一批試驗(yàn) 試驗(yàn)結(jié)果 記為B 如下 所以 經(jīng)理看到經(jīng)過(guò)兩次試驗(yàn) 1 高質(zhì)量產(chǎn)品可占90 的可信程度由0 4調(diào)整到0 883 他能以88 3 的把握保證此項(xiàng)投資能取得較大經(jīng)濟(jì)效益 B 試制10個(gè)產(chǎn)品 有9個(gè)是高質(zhì)量產(chǎn)品 總結(jié) 利用貝葉斯公式會(huì)由先驗(yàn)分布求后驗(yàn)分布 練習(xí)1 2作業(yè) 1 1 1 7 概率統(tǒng)計(jì)中的6 4的課后題 1 3共軛先驗(yàn)分布 一 共軛先驗(yàn)分布 例1 4中X b n 先驗(yàn)分布為U 0 1 即Be 1 1 后驗(yàn)分布Be x 1 n x 1 其中x為n次獨(dú)立試驗(yàn)中成功出現(xiàn)的次數(shù) Be Be x n x 定義1 1設(shè) 是總體分布中的參數(shù) 或參數(shù)向量 是 的先驗(yàn)密度函數(shù) 假如由抽樣信息算得的后驗(yàn)密度函數(shù)與 有相同的函數(shù)形式 則稱(chēng) 是 的共軛先驗(yàn)分布 注意 共軛先驗(yàn)分布是對(duì)某一分布中的參數(shù)而言的 離開(kāi)指定參數(shù)及其所在的分布去談?wù)摴曹椣闰?yàn)分布是沒(méi)有意義的 例1 6正態(tài)均值 方差已知 的共軛先驗(yàn)分布是正態(tài)分布 設(shè)x1 x2 xn是來(lái)自正態(tài)分布N 2 的一個(gè)樣本觀察值 其中 2已知 樣本的似然函數(shù)為 取另一正態(tài)分布N 2 作為正態(tài)均值 的先驗(yàn)分布 即 其中 2為已知 設(shè)x x1 x2 xn 與參數(shù) 的聯(lián)合密度函數(shù)為 樣本x的邊際密度函數(shù)為 參數(shù) 的后驗(yàn)分布為 其中 這是參數(shù)為 1 和 12的正態(tài)分布 二 后驗(yàn)分布的計(jì)算 參數(shù) 的后驗(yàn)分布為 由于m x 不依賴(lài)于 在計(jì)算的 后驗(yàn)分布中僅起到一個(gè)正則化因子的作用 假如把m x 省略 把貝葉斯公式改寫(xiě)為如下等價(jià)形式 其中 表示兩邊僅差一個(gè)常數(shù)因子 一個(gè)不依賴(lài)于 的常數(shù)因子 1 9 式右端雖不是正常的密度函數(shù) 但他是后驗(yàn)分布 x 的核 在需要時(shí)可以利用適當(dāng)?shù)姆绞接?jì)算出后驗(yàn)密度 特別當(dāng)看出 x 的核就是某常用分布的核時(shí) 不用計(jì)算m x 就可很快恢復(fù)所缺常數(shù)因子 注意 這在共軛先驗(yàn)分布和非共軛先驗(yàn)分布場(chǎng)合都可使用 例1 6正態(tài)均值 方差已知 的共軛先驗(yàn)分布是正態(tài)分布 其中 這是參數(shù)為 1 和 2的正態(tài)分布的核 例1 7二項(xiàng)分布中的成功概率 的共軛先驗(yàn)分布是貝塔分布 設(shè)總體中X b n 先驗(yàn)分布Be 的后驗(yàn)分布 這是貝塔分布Be x n x 的核 的后驗(yàn)分布 常用分布的核 1 二項(xiàng)分布b n 的核 2 泊松分布P 的核 3 貝塔分布Be 的核 4 伽瑪分布Ga 的核 5 倒伽瑪分布IGa 的核 6 正態(tài)分布N 2 的核 熟悉后驗(yàn)分布的核可以簡(jiǎn)化后驗(yàn)分布的計(jì)算 三 共軛先驗(yàn)分布的優(yōu)缺點(diǎn) 共軛先驗(yàn)分布的有兩個(gè)優(yōu)點(diǎn)1 計(jì)算方便 2 共軛先驗(yàn)分布的一些參數(shù)可以得到很好的解釋 例1 8 正態(tài)均值 方差已知 的共軛先驗(yàn)分布是正態(tài)分布 的例子中 其后驗(yàn)均值為 后驗(yàn)均值是樣本均值和先驗(yàn)均值的加權(quán)平均 在處理正態(tài)分布是 方差的倒數(shù)發(fā)揮著重要的作用 并稱(chēng)其為精度 這表明后驗(yàn)均值是在先驗(yàn)均值與樣本均值間采取折衷方案 例1 9在 二項(xiàng)分布中的成功概率 的共軛先驗(yàn)分布是貝塔分布 的例1 7中 后驗(yàn)分布Be x n x 的均值與方差為 當(dāng)n與x都較大 且x n接近某個(gè)常數(shù)時(shí) 有 注意 1 在貝葉斯統(tǒng)計(jì)中 先驗(yàn)分布的選擇應(yīng)以合理性作為首要原則 計(jì)算上的方便與先驗(yàn)的合理性相比還是第二位的 2 在考慮到先驗(yàn)的合理性之后 充分發(fā)揮共軛先驗(yàn)分布是常采用的策略 四 常用的共軛先驗(yàn)分布 共軛先驗(yàn)分布的選取是由似然函數(shù)L p x 中所含的 因式所決定的 即選與似然函數(shù) 的函數(shù) 具有相同的核的分布作為先驗(yàn)分布 例1 10設(shè)x1 x2 xn是來(lái)自正態(tài)分布N 2 的一個(gè)樣本觀察值 其中 已知 求方差 2的共軛先驗(yàn)分布 樣本的似然函數(shù)為 設(shè)X服從伽瑪分布Ga 其中 0為形狀參數(shù) 0為尺度參數(shù) 其密度函數(shù)為 Y 1 X的密度函數(shù)為 這個(gè)分布稱(chēng)為倒伽瑪分布 記為IGa 假如取倒伽瑪分布為 2的先驗(yàn)分布 其中參數(shù) 為已知 則其密度函數(shù)為 2的后驗(yàn)分布為 這個(gè)分布為倒伽瑪分布 若后驗(yàn)分布 x 與 屬于同一個(gè)分布族 則稱(chēng)該分布族是 的共軛先驗(yàn)分布 族 二項(xiàng)分布b n 中的成功概率 的共軛先驗(yàn)分布是貝塔分布Be a b 泊松分布P 中的均值 的共軛先驗(yàn)分布是伽瑪分布Ga 指數(shù)分布中均值的倒數(shù) 的共軛先驗(yàn)分布是伽瑪分布Ga 在方差已知時(shí) 正態(tài)均值 的共軛先驗(yàn)分布是正態(tài)分布N 2 在均值已知時(shí) 正態(tài)方差 2的共軛先驗(yàn)分布是倒伽瑪分布IGa 總結(jié) 1 利用貝葉斯公式會(huì)由先驗(yàn)分布求后驗(yàn)分布2 記住常見(jiàn)的共軛先驗(yàn)分布 練習(xí)1 8 1 10作業(yè) 1 9 1 12 1 4超參數(shù)及其確定 定義 先驗(yàn)分布中所含的未知參數(shù)稱(chēng)為超參數(shù) 例成功概率的共軛先驗(yàn)分布為Be 它含有兩個(gè)超參數(shù) 注意 一般來(lái)說(shuō) 共軛先驗(yàn)分布含有超參數(shù) 而無(wú)信息先驗(yàn)分布一般不含超參數(shù) 共軛先驗(yàn)分布是一種有信息的先驗(yàn)分布 故其中所含的超參數(shù)應(yīng)充分利用各種先驗(yàn)信息來(lái)確定 下面結(jié)合具體的例子介紹一些確定超參數(shù)的方法 例1 11在二項(xiàng)分布中的成功概率 的共軛先驗(yàn)分布是貝塔分布Be 是其兩個(gè)超參數(shù) 一 利用先驗(yàn)矩 利用先驗(yàn)信息能獲得成功概率 的若干個(gè)估計(jì)值 記為 1 2 k 一般它們是從歷史數(shù)據(jù)整理加工獲得的 由此可算得先驗(yàn)均值 和先驗(yàn)方差S 2 其中 然后令其分別等于貝塔分布Be 的期望與方差 解之 可得參數(shù) 與 的估計(jì)值 二 利用先驗(yàn)分位數(shù) 假如根據(jù)先驗(yàn)信息可以確定貝塔分布的兩個(gè)分位數(shù) 則可利用這兩個(gè)分位數(shù)來(lái)確定 與 的估計(jì)值 例如用兩個(gè)上下四分位數(shù) U和 L來(lái)確定 與 從這兩個(gè)方程解出 與 三 利用先驗(yàn)矩和先驗(yàn)分位數(shù) 假如根據(jù)先驗(yàn)信息可獲得先驗(yàn)均值 和p分位數(shù) p 則可列出下列方程的 解之 可得參數(shù) 與 的估計(jì)值 四 其它方法 假如根據(jù)先驗(yàn)信息可獲得先驗(yàn)均值 令 再利用其它先驗(yàn)信息求出 與 的估計(jì)值 總結(jié)