第1章先驗分布與后驗分布66599

1、編輯編輯ppt貝葉斯統(tǒng)計貝葉斯統(tǒng)計基本教材：基本教材：茆詩松編，貝葉斯統(tǒng)計茆詩松編，貝葉斯統(tǒng)計 中國統(tǒng)計出版社，中國統(tǒng)計出版社，2012年年.編輯編輯ppt 總評成績總評成績： 平時成績40%：作業(yè)+小測試 期末成績60% 已修課程：概率論與數理統(tǒng)計已修課程：概率論與數理統(tǒng)計編輯編輯ppt參考教材：1. 貝葉斯統(tǒng)計. 韋來生. 高等教育出版社1998 2. 現代貝葉斯統(tǒng)計Kotz S,吳喜之中國統(tǒng)計出版社19993. 貝葉斯統(tǒng)計推斷張堯庭、陳漢峰科學出版社1991編輯編輯ppt一一 編輯編輯ppt 本書共本書共七七章，可分三部分。前三章圍繞先驗分章，可分三部分。前三章圍繞先驗分布介紹貝葉斯推斷

2、方法。后三章圍繞損失函數介紹布介紹貝葉斯推斷方法。后三章圍繞損失函數介紹貝葉斯決策方法。第七章為貝葉斯計算閱讀這些內貝葉斯決策方法。第七章為貝葉斯計算閱讀這些內容僅需要概率統(tǒng)計基本知識就夠了。容僅需要概率統(tǒng)計基本知識就夠了。 Byaes統(tǒng)計學派與經典統(tǒng)計學派雖然有很大區(qū)統(tǒng)計學派與經典統(tǒng)計學派雖然有很大區(qū)別，但是它們各有優(yōu)缺點，各有其適用的范圍，作別，但是它們各有優(yōu)缺點，各有其適用的范圍，作為研究者一定要博采眾長，以獲得一種更適合解決為研究者一定要博采眾長，以獲得一種更適合解決實際問題的方法。而且，在不少情況下，二者得出實際問題的方法。而且，在不少情況下，二者得出的結論在形式上是相同的。的結論在

3、形式上是相同的。 編輯編輯ppt課程考核：閉卷考試成績評定平時(20分)=作業(yè)+考勤+課堂表現期末(80分)=卷面(100分) 80%總評(100分)=平時+期末比例20%80%100%學分數2課堂上講過的習題、練習題和作業(yè)的題目都要會課堂上講過的習題、練習題和作業(yè)的題目都要會.編輯編輯ppt編輯編輯ppt（Bayes，Thomas）(17021761) 貝葉斯是英國數學家貝葉斯是英國數學家.1702年生于倫敦；年生于倫敦；1761年年4月月17日日卒于坦布里奇韋爾斯卒于坦布里奇韋爾斯. 貝葉斯是一位自學成才的數學家貝葉斯是一位自學成才的數學家.曾助理宗教事務，后來曾助理宗教事務，后來長期擔任

4、坦布里奇韋爾斯地方教堂的牧師長期擔任坦布里奇韋爾斯地方教堂的牧師.1742年，貝葉斯被年，貝葉斯被選為英國皇家學會會員選為英國皇家學會會員. 如今在概率、數理統(tǒng)計學中以貝葉斯姓氏命名的有貝葉斯如今在概率、數理統(tǒng)計學中以貝葉斯姓氏命名的有貝葉斯公式、貝葉斯風險、貝葉斯決策函數、貝葉斯決策規(guī)則、貝葉公式、貝葉斯風險、貝葉斯決策函數、貝葉斯決策規(guī)則、貝葉斯估計量、貝葉斯方法、貝葉斯統(tǒng)計等等斯估計量、貝葉斯方法、貝葉斯統(tǒng)計等等. 編輯編輯ppt9貝葉斯公式：貝葉斯公式：編輯編輯ppt 統(tǒng)計學有兩個主要學派統(tǒng)計學有兩個主要學派:頻率學派與貝葉斯學派頻率學派與貝葉斯學派.它們之間有異同它們之間有異同,貝葉

5、斯統(tǒng)計是在與經典統(tǒng)計的爭貝葉斯統(tǒng)計是在與經典統(tǒng)計的爭論中發(fā)展起來論中發(fā)展起來,主要的爭論有主要的爭論有:1.未知參數可否作為隨機變量未知參數可否作為隨機變量?2.事件的概率是否一定的頻率解釋事件的概率是否一定的頻率解釋?3.概率是否可用經驗來確定概率是否可用經驗來確定?.編輯編輯ppt發(fā)展歷史 1763年 ，論文“機遇理論中一個問題的解”發(fā)表，首次提出貝葉斯公式。 隨后，Laplace等人重新闡述了貝葉斯公式，并導出些有意義的結果。 二戰(zhàn)后，wald 提出統(tǒng)計決策函數論引起人們對貝葉斯方法的興趣。 如今，貝葉斯學派已發(fā)展成一個有影響力的統(tǒng)計學派。編輯編輯ppt 貝葉斯方法是基于貝葉斯定理而發(fā)展

6、起來用于系統(tǒng)地闡述和解決統(tǒng)計問題的方法(Samuel Kotz和吳喜之,2000)。 貝葉斯推斷的基本方法是將關于未知參數的先驗信息與樣本信息綜合，再根據貝葉斯定理，得出后驗信息，然后根據后驗信息去推斷未知參數(茆詩松和王靜龍等,1998年)。 “貝葉斯提出了一種歸納推理的理論(貝葉斯定理)，以后被一些統(tǒng)計學者發(fā)展為一種系統(tǒng)的統(tǒng)計推斷方法，稱為貝葉斯方法.”摘自中國大百科全書（數學卷）編輯編輯ppt13一、統(tǒng)計推斷中可用的三種信息一、統(tǒng)計推斷中可用的三種信息 二、貝葉斯公式二、貝葉斯公式三、共軛先驗分布三、共軛先驗分布四、超參數及其確定四、超參數及其確定五、多參數模型五、多參數模型六、充分統(tǒng)計

7、量六、充分統(tǒng)計量第一章第一章 先驗分布與后驗分布先驗分布與后驗分布編輯編輯ppt第一章第一章 先驗分布與后驗分布先驗分布與后驗分布 統(tǒng)計學中有兩個主要學派：頻率學派與貝統(tǒng)計學中有兩個主要學派：頻率學派與貝葉斯學派。下面從統(tǒng)計推斷的三種信息來說明他葉斯學派。下面從統(tǒng)計推斷的三種信息來說明他們之間的區(qū)別與聯系。們之間的區(qū)別與聯系。 編輯編輯ppt經典學派經典學派的觀點：的觀點：統(tǒng)計推斷是根據樣本信息統(tǒng)計推斷是根據樣本信息對總體分布或總體的特征數進行推斷，這里對總體分布或總體的特征數進行推斷，這里用到兩種信息：用到兩種信息：總體信息總體信息和和樣本信息樣本信息；貝葉斯學派貝葉斯學派的觀點：除了上述兩

8、種信息以外，的觀點：除了上述兩種信息以外，統(tǒng)計推斷還應該使用第三種信息：統(tǒng)計推斷還應該使用第三種信息：先驗信息。先驗信息。 編輯編輯ppt1.1 三種信息三種信息 一、總體信息一、總體信息，即總體分布或總體所屬分布給我，即總體分布或總體所屬分布給我們的信息。們的信息。例如例如，“總體是正態(tài)分布總體是正態(tài)分布”就給我們帶來很多信息：就給我們帶來很多信息：它的密度函數是一條鐘形曲線；它的一切一階矩它的密度函數是一條鐘形曲線；它的一切一階矩都存在；有關正態(tài)變量（服從正態(tài)分布隨機變量）都存在；有關正態(tài)變量（服從正態(tài)分布隨機變量）的一些事件的概率可以計算；由正態(tài)分布可以導的一些事件的概率可以計算；由正態(tài)

9、分布可以導出卡方分布，出卡方分布，t t分布和分布和F F分布等重要分布，還有許分布等重要分布，還有許多成熟的點估計、區(qū)間估計和假設檢驗方法可供多成熟的點估計、區(qū)間估計和假設檢驗方法可供我們選用。我們選用。說明說明：總體信息是很重要的信息，為了獲取此種信：總體信息是很重要的信息，為了獲取此種信息往往息往往耗資巨大耗資巨大。編輯編輯ppt 二、樣本信息，二、樣本信息，即從總體抽取的樣本給我們的信即從總體抽取的樣本給我們的信息息 這是最這是最“新鮮新鮮”的信息，并且愈多愈好。的信息，并且愈多愈好。 人們希望通過對樣本的加工和處理對總體的某些人們希望通過對樣本的加工和處理對總體的某些特征做出較為精確

10、的統(tǒng)計推斷。特征做出較為精確的統(tǒng)計推斷。 例：。均值、方差等例：。均值、方差等 沒有樣本就沒有統(tǒng)計學可言。沒有樣本就沒有統(tǒng)計學可言。編輯編輯ppt經典統(tǒng)計學經典統(tǒng)計學：基于以上兩種信息進行的統(tǒng)計推斷被：基于以上兩種信息進行的統(tǒng)計推斷被稱為稱為經典統(tǒng)計學經典統(tǒng)計學。說明：說明：它的基本觀點是把數據（樣本）看成是來自它的基本觀點是把數據（樣本）看成是來自具有一定概率分布的總體，所研究對象是這個總體而具有一定概率分布的總體，所研究對象是這個總體而不局限于數據本身。不局限于數據本身。這方面最早的工作是高斯這方面最早的工作是高斯(Gauss,C.F.17771855(Gauss,C.F.17771855

11、）和勒讓德（和勒讓德（Legendre,A.M.17521833Legendre,A.M.17521833）的誤差分析，）的誤差分析，正態(tài)分布和最小二乘法。從十九世紀末到二十世紀上正態(tài)分布和最小二乘法。從十九世紀末到二十世紀上半葉，經皮爾遜（半葉，經皮爾遜（Pearson,K.18571936Pearson,K.18571936）、費歇）、費歇（Fisher,R.A.18901962Fisher,R.A.18901962）奈曼（）奈曼（Neyman.J.Neyman.J.）等人）等人的杰出工作創(chuàng)立了經典統(tǒng)計學。的杰出工作創(chuàng)立了經典統(tǒng)計學。隨著經典統(tǒng)計學的持續(xù)發(fā)展與廣泛應用，它本身的隨著經典統(tǒng)計

12、學的持續(xù)發(fā)展與廣泛應用，它本身的缺陷也逐漸暴露出來了。缺陷也逐漸暴露出來了。編輯編輯ppt貝葉斯學派貝葉斯學派的觀點：除了上述兩種信息以外，統(tǒng)的觀點：除了上述兩種信息以外，統(tǒng)計推斷還應該使用第三種信息：計推斷還應該使用第三種信息：先驗信息先驗信息。 三、先驗信息，三、先驗信息，即是抽樣（試驗）之前有關統(tǒng)計即是抽樣（試驗）之前有關統(tǒng)計問題的一些信息。問題的一些信息。一般說來，先驗信息來源于一般說來，先驗信息來源于經驗和歷史資料經驗和歷史資料。先。先驗驗 信息在日常生活和工作中是很重要的。信息在日常生活和工作中是很重要的。編輯編輯ppt例例1.11.1 英國統(tǒng)計學家英國統(tǒng)計學家SavageSava

13、ge曾考察如下曾考察如下2 2個統(tǒng)計實驗：個統(tǒng)計實驗：A A。（。（品茶試驗品茶試驗）一位常飲牛奶加茶的婦女聲稱，她）一位常飲牛奶加茶的婦女聲稱，她能辨別先倒進杯子里的是茶還是牛奶。對此做了能辨別先倒進杯子里的是茶還是牛奶。對此做了1010次次試驗，她都正確地說出了。試驗，她都正確地說出了。B B。一位音樂家聲稱，他能從一頁樂譜辨別出是海頓。一位音樂家聲稱，他能從一頁樂譜辨別出是海頓還是莫扎特的作品。在還是莫扎特的作品。在1010次這樣的試驗中，他都能正次這樣的試驗中，他都能正確辨別。確辨別。 在這兩個統(tǒng)計試驗中，假如認為被試驗者是在猜在這兩個統(tǒng)計試驗中，假如認為被試驗者是在猜測，每次成功的概

14、率為測，每次成功的概率為0.50.5，那么，那么1010次都猜中的概率次都猜中的概率為為2 2-10-10=0.0009766=0.0009766，這是一個很小的概率，是幾乎不，這是一個很小的概率，是幾乎不可能發(fā)生的，所以可能發(fā)生的，所以 “每次成功概率為每次成功概率為0.50.5”的假設應的假設應該被拒絕。該被拒絕。 被試驗者每次成功的概率要比被試驗者每次成功的概率要比0.50.5大得多。這不大得多。這不是猜測，而是他們的經驗在幫了他們的忙。是猜測，而是他們的經驗在幫了他們的忙。編輯編輯ppt例例1.21.2“免檢產品免檢產品”是怎樣決定的？某廠的產品每天都是怎樣決定的？某廠的產品每天都要抽

15、驗幾件，獲得不合格品率要抽驗幾件，獲得不合格品率的估計。在經過一段時的估計。在經過一段時間后就積累大量的資料，根據這些歷史資料（先驗信息間后就積累大量的資料，根據這些歷史資料（先驗信息的一種）對過去產品的不合格品率可構造一個分布：的一種）對過去產品的不合格品率可構造一個分布：niniPi,.,1 , 0,)( 這個對先驗信息進行加工獲得的分布今后稱為這個對先驗信息進行加工獲得的分布今后稱為先驗分布先驗分布。 這個先驗分布是綜合了該廠過去產品的質量情況。這個先驗分布是綜合了該廠過去產品的質量情況。如果這個分布的概率大部分集中在如果這個分布的概率大部分集中在=0=0附近，那么該產附近，那么該產品可

16、認為是品可認為是“信得過產品信得過產品”。假如以后的多次抽檢結果。假如以后的多次抽檢結果與歷史資料提供的先驗分布是一致的。使用單位就可以與歷史資料提供的先驗分布是一致的。使用單位就可以對它做出對它做出“免檢產品免檢產品”的決定，或者每月抽檢一、二次的決定，或者每月抽檢一、二次就足夠了，這就省去了大量的人力和物力。就足夠了，這就省去了大量的人力和物力?？梢姎v史資料在統(tǒng)計推斷中應加以利用可見歷史資料在統(tǒng)計推斷中應加以利用編輯編輯ppt 貝葉斯統(tǒng)計與經典統(tǒng)計學的貝葉斯統(tǒng)計與經典統(tǒng)計學的差別：是否利用先驗信息差別：是否利用先驗信息。 貝葉斯統(tǒng)計在重視使用總體信息和樣本信息的同時，貝葉斯統(tǒng)計在重視使用總

17、體信息和樣本信息的同時，還注意先驗信息的收集、挖掘和加工，使它數量化，形還注意先驗信息的收集、挖掘和加工，使它數量化，形成先驗分布，參加到統(tǒng)計推斷中來，以提高統(tǒng)計推斷的成先驗分布，參加到統(tǒng)計推斷中來，以提高統(tǒng)計推斷的質量。質量。 在使用樣本信息上也是有差異的在使用樣本信息上也是有差異的. .貝葉斯學派重視已出貝葉斯學派重視已出現的樣本觀察值現的樣本觀察值, ,而對尚未發(fā)生的樣本觀察值不予考慮而對尚未發(fā)生的樣本觀察值不予考慮. .編輯編輯ppt 貝葉斯學派的基本觀點貝葉斯學派的基本觀點：任一未知量任一未知量都可看作一個隨都可看作一個隨機變量機變量，應該用一個概率分布去描述，這個分布稱為應該用一個

18、概率分布去描述，這個分布稱為先先驗分布驗分布；在獲得樣本之后，總體分布、樣本與先驗分布；在獲得樣本之后，總體分布、樣本與先驗分布通過貝葉斯公式結合起來得到一個關于未知量通過貝葉斯公式結合起來得到一個關于未知量新的分新的分布布后驗分布后驗分布；任何關于；任何關于的統(tǒng)計推斷都應該基于的統(tǒng)計推斷都應該基于的的后驗分布進行。后驗分布進行。 因為任一未知量都有不確定性，而在表述不確因為任一未知量都有不確定性，而在表述不確定性程度時，概率與概率分布是最好的語言。定性程度時，概率與概率分布是最好的語言。例例1.21.2中產品的不合格品率中產品的不合格品率是未知量，但每天都是未知量，但每天都有一些變化，把它看

19、做一個隨機變量是合適的，有一些變化，把它看做一個隨機變量是合適的，用一個概率分布去描述它也是很恰當的。用一個概率分布去描述它也是很恰當的。編輯編輯ppt例例1.3 1.3 學生估計一新教師的年齡。學生估計一新教師的年齡。依據學生們的生活經歷，在看了新教師的照片后會立依據學生們的生活經歷，在看了新教師的照片后會立即有反應：即有反應：“新教師的年齡在新教師的年齡在3030歲到歲到5050歲之間，極有歲之間，極有可能在可能在4040歲左右。歲左右。”一位統(tǒng)計學家把學生們對新教師一位統(tǒng)計學家把學生們對新教師的年齡（未知量）的認識（先驗信息）可綜合為圖的年齡（未知量）的認識（先驗信息）可綜合為圖1.11

20、.1所示的概率分布，這也是學生們對未知量（新教師的所示的概率分布，這也是學生們對未知量（新教師的年齡）的概率表述。年齡）的概率表述。編輯編輯ppt 第一，按圖第一，按圖1.11.1所示的概率分布我們可談論未知量所示的概率分布我們可談論未知量位于某個區(qū)間的概率。位于某個區(qū)間的概率。 例例位于位于3737到到4343歲間的概率為歲間的概率為0.90.9。 可這個陳述在經典統(tǒng)計中是不允許的?？蛇@個陳述在經典統(tǒng)計中是不允許的。 在實際中類似的說法經常聽到。在實際中類似的說法經常聽到。編輯編輯ppt 第二，按圖第二，按圖1.11.1中的概率不是在大量重復試驗中獲中的概率不是在大量重復試驗中獲得的，而是學

21、生們根據自己的生活經歷的積累對該事件得的，而是學生們根據自己的生活經歷的積累對該事件發(fā)生可能性所給出的信念，這樣給出的概率在貝葉斯統(tǒng)發(fā)生可能性所給出的信念，這樣給出的概率在貝葉斯統(tǒng)計中是允許的，并稱為計中是允許的，并稱為主觀概率主觀概率。（它也符合概率的三。（它也符合概率的三條公理）。條公理）。這一點頻率學派是頻率學派難以接受的，他們認為經典這一點頻率學派是頻率學派難以接受的，他們認為經典統(tǒng)計學使用大量重復試驗的頻率來確定概率，是統(tǒng)計學使用大量重復試驗的頻率來確定概率，是“客觀客觀的的”，因此符合科學的要求，而認為貝葉斯統(tǒng)計是，因此符合科學的要求，而認為貝葉斯統(tǒng)計是“主主觀的觀的”，因而（至多

22、）只對個人決策有用。這是當前對，因而（至多）只對個人決策有用。這是當前對貝葉斯統(tǒng)計的主要批評。貝葉斯統(tǒng)計的主要批評。 兩學派在一些問題上的爭論將在后面逐步介紹。兩學派在一些問題上的爭論將在后面逐步介紹。編輯編輯ppt 總結：總結：ByaesByaes學派與經典統(tǒng)計學派學派與經典統(tǒng)計學派最根本的分歧最根本的分歧是是: : 第一，是否利用先驗信息第一，是否利用先驗信息。 由于產品的設計、生產都有一定的繼承性，這樣就由于產品的設計、生產都有一定的繼承性，這樣就存在許多相關產品的信息以及先驗信息可以利用，存在許多相關產品的信息以及先驗信息可以利用，ByaesByaes統(tǒng)計學派認為利用這些先驗信息不僅可

23、以減少樣統(tǒng)計學派認為利用這些先驗信息不僅可以減少樣本容量，而且在很多情況還可以提高統(tǒng)計精度；而經典本容量，而且在很多情況還可以提高統(tǒng)計精度；而經典統(tǒng)計學派忽略了這些信息。統(tǒng)計學派忽略了這些信息。 第二，是否將參數第二，是否將參數 看成隨機變量?？闯呻S機變量。 ByaesByaes統(tǒng)計學派的最基本的觀點是統(tǒng)計學派的最基本的觀點是: :任一未知量任一未知量 都都可以看成隨機變量，可以用一個概率分布去描述，這個可以看成隨機變量，可以用一個概率分布去描述，這個分布就是先驗分布。因為任一未知量都具有不確定性，分布就是先驗分布。因為任一未知量都具有不確定性，而在表述不確定性時，概率與概率分布是最好的語言；

24、而在表述不確定性時，概率與概率分布是最好的語言；相反，經典統(tǒng)計學派卻把未知量相反，經典統(tǒng)計學派卻把未知量 就簡單看成一個未知就簡單看成一個未知參數，來對它進行統(tǒng)計推斷。參數，來對它進行統(tǒng)計推斷。編輯編輯ppt經典統(tǒng)計學派對貝葉斯統(tǒng)計的批評貝葉斯方法受到了經典統(tǒng)計學派中一些人的批評,批評的理由主要集中在以下三點： (1) 貝葉斯方法具有很強的主觀性而研究的問題需要更客觀的工具。經典統(tǒng)計學是“客觀的”, 因此符合科學的要求。而貝葉斯統(tǒng)計學是“主觀的”，因而(至多)只對個人決策有用。 (2)應用的局限性,特別是貝葉斯方法有許多封閉型的分析解法,不能廣泛地使用。 (3)先驗分布的誤用。 編輯編輯ppt

25、總結總結 理解貝葉斯統(tǒng)計學與經典統(tǒng)計學的主要差理解貝葉斯統(tǒng)計學與經典統(tǒng)計學的主要差別。別。 貝葉斯統(tǒng)計學派的最基本的觀點貝葉斯統(tǒng)計學派的最基本的觀點 。編輯編輯ppt伽瑪函數伽瑪函數函數函數dxexx10)(伽瑪函數的性質伽瑪函數的性質:)21(; 1) 1 () 1 ()() 1()2(1()( )!nnnnn 當當 為為自自然然數數 時時，有有編輯編輯ppt伽瑪分布伽瑪分布0, 00,)()(1xxexxpx編輯編輯ppt0011()()()( )( )xxE Xx edxxedx 1)() 1(2()E X 2(1) 222()() ()Var XE XE X 編輯編輯ppt伽瑪分布的兩

26、個特例伽瑪分布的兩個特例1. 當當=1時時,伽瑪分布就是指數分布伽瑪分布就是指數分布:)(), 1 (ExpGa)()21,2(2nnGa0, 00,)()(1xxexxpx0( )00 xexp xx ( , )Ga 倒倒伽瑪分布伽瑪分布編輯編輯ppt12221,0( )2( )20,0 xnnexxnp xx ),(2nX若則則X的密度函數為的密度函數為(),()2E XnVar Xn1000,( )( ), xxexp xx 2( ), ( )E XVar X ( , )XGa )()21,2(2nnGa編輯編輯ppt貝塔函數貝塔函數函數函數dxxxbaBba1110)1 (),(貝塔函

27、數的性質貝塔函數的性質:),(),() 1 (abBbaB)()()(),()2(bababaB編輯編輯ppt11()(1), 01( ) ( )( ) 0, ababxxxabp x其它 貝塔分布貝塔分布編輯編輯ppt貝塔分布的數學期望和方差貝塔分布的數學期望和方差1101()()()( ) ( )ababE Xxxdxab 11()() ( )( ) ( )()abababab aab ( , )XBe a b若若2()E X11()()()a aab ab 2()() (1)abVar Xabab 編輯編輯ppt38 初等概率論中的貝葉斯公式是用事件的初等概率論中的貝葉斯公式是用事件的概

28、率形式給出的。可在貝葉斯統(tǒng)計學中應用概率形式給出的?？稍谪惾~斯統(tǒng)計學中應用更多的是貝葉斯公式的密度函數形式。更多的是貝葉斯公式的密度函數形式。1.貝葉斯公式的事件形式：貝葉斯公式的事件形式： 假定假定 是互不相容的事件，它是互不相容的事件，它們之和們之和 包含事件包含事件B，即，即 ，則有：，則有： kAA,1kiiA1kiiAB1kiiiiiiABPAPABPAPBAP1)/()()/()()/(編輯編輯ppt1.2 貝葉斯公式貝葉斯公式一、貝葉斯公式的密度函數形式一、貝葉斯公式的密度函數形式1.1.總體指標總體指標X X依賴于參數依賴于參數的概率函數記為的概率函數記為P (x | )，它表

29、示在隨機變量它表示在隨機變量給定某個值時總體指標給定某個值時總體指標X X的的條件分布；條件分布； 2.2.根據參數根據參數的先驗信息可確定的先驗信息可確定先驗分布先驗分布 ()； 3.3.從貝葉斯觀點看，樣本從貝葉斯觀點看，樣本 x=（x1, x2 , , xn ）的產的產生分兩步進行生分兩步進行: :首先從先驗分布首先從先驗分布 ()產生一個樣產生一個樣本本0，然后從，然后從P (x | 0)中中產生一個樣本產生一個樣本x=（x1, x2 , , xn ） 。這時樣本的。這時樣本的聯合條件密度函數聯合條件密度函數為為0(|)01(|)niip xp x 這個分布綜合了總體信息和樣本信息，常

30、稱為似然函數。這個分布綜合了總體信息和樣本信息，常稱為似然函數。編輯編輯ppt0 是未知的，它是按先驗分布是未知的，它是按先驗分布 ( )產生的。為把先產生的。為把先驗信息綜合進去，不能只考慮驗信息綜合進去，不能只考慮0，對，對 的其它值發(fā)生的其它值發(fā)生的可能性也要加以考慮，故要用的可能性也要加以考慮，故要用 ()進行綜合。這進行綜合。這樣一來，樣本樣一來，樣本x=（x1 , , xn）和參數和參數的的聯合分布為聯合分布為: :h(x, ) = p(x ) ( )， 這個聯合分布把總體信息、樣本信息和先驗信息三這個聯合分布把總體信息、樣本信息和先驗信息三種可用信息都綜合進去了。種可用信息都綜合

31、進去了。編輯編輯ppt5.5.參數參數 的后的后驗分布（貝葉斯公式的密度函數形式）驗分布（貝葉斯公式的密度函數形式） 是是x= =(x1, x2 , , xn )的邊際概率函數，它與的邊際概率函數，它與 無關，不無關，不含含 的任何信息。的任何信息。 11( ,)( ,| ) ( )nnm xxp xxd 其其中中( , )(|) ( )(|)(1.1)( )(|) ( )h xp xxm xp xd 編輯編輯ppt6.6.二、貝葉斯公式的離散形式：二、貝葉斯公式的離散形式：在在 是離散型隨機變量時，先驗分布可用先驗分布列是離散型隨機變量時，先驗分布可用先驗分布列 ( i)，i=1,2,，表示

32、。這時后驗分布也是離散形表示。這時后驗分布也是離散形式式(|) ()(|)1,2,.(1.2)(|) ()iiijjjp xxip x 假如總體假如總體X X也是離散的，只要把（也是離散的，只要把（1.11.1）或（）或（1.21.2）中的密度函數中的密度函數p(p(x) )作為概率函數作為概率函數p p( (X=x ) )即可。即可。編輯編輯ppt二、后驗分布是三種信息的綜合二、后驗分布是三種信息的綜合 一般說來，先驗分布一般說來，先驗分布 ( ( ) )是反映人們抽樣前對的是反映人們抽樣前對的 認識，后驗分布認識，后驗分布 ( x )是反映人們在抽樣后對是反映人們在抽樣后對 的的認識。它們

33、之間的差異是由于樣本認識。它們之間的差異是由于樣本x出現后人們對出現后人們對 認認識的一種調整。所以后驗分布識的一種調整。所以后驗分布 ( x )可以看做是人們可以看做是人們用總體信息和樣本信息（綜合稱為抽樣信息）對用總體信息和樣本信息（綜合稱為抽樣信息）對 ( )作調整的結果。作調整的結果。編輯編輯ppt例例1.2.1 設某事件設某事件A A在一次試驗中發(fā)生的概率為在一次試驗中發(fā)生的概率為 ，為，為估計估計 ，對試驗進行了，對試驗進行了n次獨立觀測，其中事件次獨立觀測，其中事件A發(fā)生發(fā)生了了X次，顯然次，顯然 X b(n, )，假若我們在試驗前對事件假若我們在試驗前對事件A沒有什么了解，使用

34、區(qū)間沒有什么了解，使用區(qū)間（0,1）上的均勻分布上的均勻分布U(0,1)作為作為 的先驗分布，的先驗分布，求參數求參數 的后驗分布。的后驗分布。編輯編輯ppt11001 01( )0X| b(n, )( , )( | ) ( )(1),0,1,. ,011( )( , )(1)1( , )(2)( | )(1)( )(1) (1)(1,1xn xxn xxn xnh xp xxnxnm xh xxnh xnxm xxnxBe xnx 先驗分布：其他總體分布：后驗分布這是貝塔分布)編輯編輯ppt例 Laplace在1786年研究了巴黎的男嬰出生的比率,他希望檢驗男嬰出生的概率 是否大于0.5.為

35、此,他收集到17451770年在巴黎出生的嬰兒數據.其中,男嬰251527個,女嬰241945個,他選用U(0,1)作為 的先驗分布,則 的后驗分布服從 分布:493472241945251527,251527,)241946,251528() 1, 1(nxBexnxBe其中010145. 1)1 () 1() 1()2(5 . 0425 . 00函數SASxnxdxnxnxp推斷推斷:男嬰出生的概率大于男嬰出生的概率大于0.55097. 0493472251527nx編輯編輯ppt編輯編輯ppt例1.2.2. 為了提高某產品的質量，公司經理考慮增加投資來改進生產設備，預計需投資90萬元，但

36、從投資效果看，下屬部門有2種意見： 1：改進設備后，高質量產品可占90 2：改進設備后，高質量產品可占70但根據下屬兩個部門過去建議被采納的情況，經理認為，1的可信程度只有40， 2的可信程度是60。即12(=0.9)0.4, (=0.7)0.6 這都是經理的主觀概率。經理不想僅用過去的經驗來決策，想慎重一些，通過小規(guī)模試驗后觀其結果再定。為此做了一項試驗，實驗結果（記為A）如下：A A：試制：試制5 5個產品，全是高質量產品個產品，全是高質量產品經理希望用此試驗結果來修改他原來對經理希望用此試驗結果來修改他原來對 1 1和和 2 2的看法，即的看法，即要求后驗概率要求后驗概率 ( 1 A )

37、 和和 ( 2A ) 。編輯編輯ppt,590.09 .0)(51 AP52()0.70.168,P A 1122( )() ( )() ( )0.337P AP AP A 111()() ( )( )0.700AP AP A 222()() ( )( )0.3AP AP A 所以所以21() 1()AA 或或經理根據試驗A的信息把對1和2的可信程度由0.4和0.6調整到0.7和0.3.后者是綜合了經理的主觀概率和試驗結果而獲得的，要比主觀概率更貼近當今的實際，這就是貝葉斯公式的應用編輯編輯ppt91()100.90.10.387,P B 92() 10 0.70.30.121,P B 112

38、2( )() ( )() ( )0.307P BP BP B 111()() ( )( )0.883BP bP B 2() 0.117B 所以所以經理看到經過兩次試驗，經理看到經過兩次試驗， 1 1（高質量產品可占高質量產品可占9090 ）的可信程度由的可信程度由0.40.4調整到調整到0.8830.883，他能以，他能以88.388.3的把握保的把握保證此項投資能取得較大經濟效益。證此項投資能取得較大經濟效益。試驗試驗B B：試制：試制1010個產品，有個產品，有9 9個是高質量產品個是高質量產品12()0.7, ()0.3 編輯編輯ppt總結總結 利用貝葉斯公式會由先驗分布求后驗分布。利用

39、貝葉斯公式會由先驗分布求后驗分布。編輯編輯ppt1.3 共軛先驗分布共軛先驗分布一、共軛先驗分布一、共軛先驗分布例例1.41.4中中X X b b( (n n, , ) ) ，先驗分布為，先驗分布為U(0,1),U(0,1),即即Be(1,1)Be(1,1)后驗分布后驗分布Be(Be(x+1,+1,n- -x+1) ,+1) ,其中其中x為為n次獨立試驗中成功出次獨立試驗中成功出現的次數現的次數. .Be(Be(, ,) )Be(Be(+ +x, ,+ +n- -x) )定義定義1.11.1 設設 是總體分布中的參數（或參數向量），是總體分布中的參數（或參數向量）， ( ( ) )是是 的先驗

40、密度函數，假如由抽樣信息算得的后驗的先驗密度函數，假如由抽樣信息算得的后驗密度函數與密度函數與 ( ( ) )有相同的函數形式，則稱有相同的函數形式，則稱 ( ( ) )是是 的的共共軛先驗分布軛先驗分布。注意注意：共軛先驗分布是對某一分布中的參數而言的共軛先驗分布是對某一分布中的參數而言的。如正態(tài)均值、正態(tài)方差、泊松均值等如正態(tài)均值、正態(tài)方差、泊松均值等。離開指定參數及其所在的分布去談論共軛先驗分布是沒有意義的離開指定參數及其所在的分布去談論共軛先驗分布是沒有意義的. .編輯編輯ppt例例1.6 1.6 正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分布正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分布

41、. .設設x1 1, , x2 2, , ,xn是來自正態(tài)分布是來自正態(tài)分布N( , 2) 的一個樣本觀察的一個樣本觀察值。其中值。其中2已知。已知。取另一正態(tài)分布取另一正態(tài)分布N(N(, ,2 2) )作為正態(tài)均值作為正態(tài)均值 的先驗分布，即的先驗分布，即221()( )exp,22 其中其中, ,2 2為已知。為已知。參數參數 的后驗分布為的后驗分布為 222201022222010111,xBAn 211(,)N 編輯編輯ppt正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分布正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分布 編輯編輯ppt編輯編輯ppt222201022222010111,xBA

42、n 編輯編輯ppt二、后驗分布的計算二、后驗分布的計算(|)(|) ( )/( )xp xm x 參數參數 的后驗分布為的后驗分布為由于由于m( (x) )不依賴于不依賴于 ，在計算的，在計算的 后驗分布中僅起到一后驗分布中僅起到一個正則化因子的作用。個正則化因子的作用。(|)(|) ( )(1.9)xp x 其中其中“”表示兩邊僅差一個不依賴于表示兩邊僅差一個不依賴于 的常數因子。的常數因子。（1.91.9）式右端雖不是正常的密度函數，但它是后驗分布）式右端雖不是正常的密度函數，但它是后驗分布 ( ( x）的核，特別當看出的核，特別當看出 ( ( x)x)的核就是某常用分布的的核就是某常用分

43、布的核時，不用計算核時，不用計算m( (x) )就可很快恢復所缺常數因子。就可很快恢復所缺常數因子。注意注意：這在共軛先驗分布和非共軛先驗分布場合都可使用。：這在共軛先驗分布和非共軛先驗分布場合都可使用。.)()().()(),()(的核稱為則記若xfxgxgxfxkgxf編輯編輯ppt例例1.6 1.6 正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分布正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分布. .=(|)(|) ( )/( )xp xm x 222201022222010111,xBAn 這是參數為這是參數為1, 和和2 2的正態(tài)分布的核的正態(tài)分布的核(|) ( ) p x 2221exp(

44、2)21exp(2)2(/)exp2/ABCABB AA 編輯編輯ppt三、共軛先驗分布的優(yōu)缺點三、共軛先驗分布的優(yōu)缺點共軛先驗分布的有兩個優(yōu)點共軛先驗分布的有兩個優(yōu)點1.1.計算方便。計算方便。2.2.共軛先驗分布的一些參數可以得到很好的解釋。共軛先驗分布的一些參數可以得到很好的解釋。例例1.8 1.8 “正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分布布”的例子中，其后驗均值為的例子中，其后驗均值為2222010222200(1) ,xxn 這表明后驗均值是在先驗均值與樣本均值間采取折衷方案。這表明后驗均值是在先驗均值與樣本均值間采取折衷方案。編輯編輯

45、ppt在處理正態(tài)分布是，方差的倒數發(fā)揮著重要的作用，并在處理正態(tài)分布是，方差的倒數發(fā)揮著重要的作用，并稱其為稱其為精度精度。22222101111,n 編輯編輯ppt注意注意：1.1.在貝葉斯統(tǒng)計中，先驗分布的選擇應以合在貝葉斯統(tǒng)計中，先驗分布的選擇應以合理性作為首要原則，計算上的方便與先驗的合理性理性作為首要原則，計算上的方便與先驗的合理性相比還是第二位的。相比還是第二位的。2.2.在考慮到先驗的合理性之后，充分發(fā)揮共軛先驗在考慮到先驗的合理性之后，充分發(fā)揮共軛先驗分布是常采用的策略。分布是常采用的策略。編輯編輯ppt例例1.7 1.7 二項分布中的成功概率二項分布中的成功概率 的共軛先驗分

46、布是貝的共軛先驗分布是貝塔分布。塔分布。設總體中設總體中X b b( (n, , ) )，先驗分布先驗分布Be(Be(, ,) )， 的的后驗分布后驗分布=(|)(|) ( )/( )xp xm x 11(1)(1)xnx 11(1),01xnx 這是貝塔分布這是貝塔分布Be(Be(+ +x, ,+ +n- -x) ) 的核的核. . 的的后驗分布后驗分布11()( | )(1),01() ()xn xnxxnx 編輯編輯ppt例例1.91.9在在“ 二項分布中的成功概率二項分布中的成功概率 的共軛先驗分布的共軛先驗分布是貝塔分布是貝塔分布”的例的例1.71.7中，后驗分布中，后驗分布Be(B

47、e(+ +x x, ,+ +n n- -x x) ) 的均值與方差為的均值與方差為( | )(1)xExnnxxn nnn 2( | ) 1( | )()()( | )() (1)1ExExxn xVarxnnn 當當n與與x都較大，且都較大，且x/ /n接近某個常數時，有接近某個常數時，有( | )xExn 1( | )1xxVarxn nn 編輯編輯pptP=x/n固定，隨著樣本量增大時，后驗分布越來越向p集中，先驗信息對后驗分布的影響變小。編輯編輯ppt常用分布的核常用分布的核（1 1）二項分布）二項分布b b( (n n, , ）的核）的核 (2)(2)泊松分布泊松分布P P（）的核）

48、的核（3 3）貝塔分布）貝塔分布Be(Be(, ,) )的核的核（4 4）伽瑪分布）伽瑪分布Ga(Ga(, , ) )的核的核（5 5）倒伽瑪分布）倒伽瑪分布I IGa(Ga(, , ) )的核的核（6 6）正態(tài)分布正態(tài)分布N(N( , , 2 2) )的核的核(1)xnx xe 11(1)xx 1xxe 11xex 22()exp2x 熟悉后驗分布的核可以簡化后驗分布的計算。熟悉后驗分布的核可以簡化后驗分布的計算。編輯編輯ppt四、常用的共軛先驗分布四、常用的共軛先驗分布共軛先驗分布的選取共軛先驗分布的選取是由似然函數是由似然函數L(L( ) )= =p( (x| | ) )中中所含的所含的

49、 因式所決定的，即選與似然函數（因式所決定的，即選與似然函數（ 的函數的函數) )具有相同的核的分布作為先驗分布。具有相同的核的分布作為先驗分布。例例1.10 1.10 設設x1 1, , x2 2, , ,xn是來自正態(tài)分布是來自正態(tài)分布N( , 2) 的一個的一個樣本觀察值。其中樣本觀察值。其中 已知已知,求方差求方差2的共軛先驗分布的共軛先驗分布 。樣本的似然函數為：樣本的似然函數為：222111( |)exp()22nniip xx /2222111exp()2nniix 編輯編輯ppt1(, ),0( )xp xxex 設設X服從伽瑪分布服從伽瑪分布GaGa( ( , , ) )，其

50、中，其中 00為形狀參數為形狀參數, , 0 0為尺度參數，其密度函數為為尺度參數，其密度函數為Y=1/XY=1/X的密度函數為的密度函數為11(, ),0( )yp yeyy 這個分布稱為這個分布稱為倒伽瑪分布倒伽瑪分布，記為，記為IGaIGa( ( , , ) )。假如取倒伽瑪分布為假如取倒伽瑪分布為2的先驗分布，其中參數的先驗分布，其中參數 , , 為已知，則其密度函數為為已知，則其密度函數為212221(),0( )e 編輯編輯ppt/2222111()exp()2nniip xx 212221(),0( )e 2的后驗分布的后驗分布 為為2/21222221111()exp(),2n

51、niixxe 1/22221111exp()2nniix 這個分布為倒伽瑪分布這個分布為倒伽瑪分布211(,() )22niinIGax 編輯編輯ppt 若后驗分布若后驗分布 ( x)與與 ( )屬于同一個分布族，屬于同一個分布族，則稱該分布族是則稱該分布族是 的的共軛先驗分布共軛先驗分布( (族族) )。二項分布二項分布b(n, )中的成功概率中的成功概率 的共軛先驗分的共軛先驗分布是貝塔分布布是貝塔分布Be(a,b)；泊松分布泊松分布P( )中的均值中的均值 的共軛先驗分布是伽的共軛先驗分布是伽瑪分布瑪分布Ga( , )；指數分布中均值的倒數指數分布中均值的倒數 的共軛先驗分布是伽瑪的共軛

52、先驗分布是伽瑪分布分布Ga( , )；在方差已知時，正態(tài)均值在方差已知時，正態(tài)均值 的共軛先驗分布是正的共軛先驗分布是正態(tài)分布態(tài)分布N( , 2); ;在均值已知時，正態(tài)方差在均值已知時，正態(tài)方差 2的共軛先驗分布是的共軛先驗分布是倒伽瑪分布倒伽瑪分布IGa( , )。 編輯編輯ppt編輯編輯ppt總結總結 1.利用貝葉斯公式會由先驗分布求后驗分布利用貝葉斯公式會由先驗分布求后驗分布 2.記住常見的共軛先驗分布記住常見的共軛先驗分布編輯編輯ppt分位數分位數) 1 , 0(),(),(:pxpxFX對任意密度函數為的分布函數為設隨機變量定義pdxxpxFpxp)()() 1 (若.,分位數又稱

53、為下側分位數的為則稱ppXxp編輯編輯ppt1.4 1.4 超參數及其確定超參數及其確定定義定義：先驗分布中所含的未知參數稱為：先驗分布中所含的未知參數稱為超參數超參數。例例 成功概率的共軛先驗分布為成功概率的共軛先驗分布為Be(Be(, ,) )，它含有，它含有兩個超參數兩個超參數. .注意：注意：一般來說，共軛先驗分布含有超參數，而無一般來說，共軛先驗分布含有超參數，而無信息先驗分布一般不含超參數。信息先驗分布一般不含超參數。 共軛先驗分布是一種有信息的先驗分布，故其共軛先驗分布是一種有信息的先驗分布，故其中所含的超參數應充分利用各種先驗信息來確定，中所含的超參數應充分利用各種先驗信息來確

54、定，下面結合具體的例子介紹一些確定超參數的方法。下面結合具體的例子介紹一些確定超參數的方法。這些方法又稱為經驗方法。這些方法又稱為經驗方法。編輯編輯ppt例例1.111.11在在 二項分布中的成功概率二項分布中的成功概率 的共軛先驗分布的共軛先驗分布是貝塔分布是貝塔分布Be(Be(, ,) ) ， , ,是其兩個超參數是其兩個超參數一、利用先驗矩一、利用先驗矩利用先驗信息能獲得成功概率利用先驗信息能獲得成功概率 的若干個估計值，記為的若干個估計值，記為 1 1, , 2 2, , , k, ,一般它們是從歷史數據整理加工獲得的，一般它們是從歷史數據整理加工獲得的，由此可算得先驗均值由此可算得先

55、驗均值 和先驗方差和先驗方差S S 2 2，其中，其中 kiik11 2211()1kiiSk 然后令其分別等于貝塔分布然后令其分別等于貝塔分布Be(Be(, ,) ) 的期望與方差的期望與方差 22)1( S編輯編輯ppt解之，可得參數解之，可得參數與與的估計值的估計值22(1)1(1)(1)1SS 二、利用先驗分位數二、利用先驗分位數假如根據先驗信息可以確定貝塔分布的兩個分位數，假如根據先驗信息可以確定貝塔分布的兩個分位數，則可利用這兩個分位數來確定則可利用這兩個分位數來確定與與的估計值。的估計值。例如用兩個上下四分位數例如用兩個上下四分位數 U U和和 L L來確定來確定與與110111

56、()(1)0.25( ) ()()(1)0.25( ) ()LUdd 從這兩個方程從這兩個方程解出解出與與編輯編輯ppt三、利用先驗矩和先驗分位數三、利用先驗矩和先驗分位數假如根據先驗信息可獲得先驗均值假如根據先驗信息可獲得先驗均值 和和p分位數分位數 p，則，則可列出下列方程的可列出下列方程的110()(1)( ) ()pdp 解之，可得參數解之，可得參數與與的估計值的估計值四、其它方法四、其它方法假如根據先驗信息可獲得先驗均值假如根據先驗信息可獲得先驗均值 ，令，令 再利用其它先驗信息求出再利用其它先驗信息求出與與的估計值。的估計值。編輯編輯ppt總結總結 1.1.了解超參數的確定方法了解

57、超參數的確定方法 2.2.掌握利用先驗矩的方法掌握利用先驗矩的方法練習練習1.131.13作業(yè)：作業(yè)：1.151.15編輯編輯ppt1.5 1.5 多參數模型多參數模型處理多參數的方法與處理單參數方法相似，先根據處理多參數的方法與處理單參數方法相似，先根據先驗信息給出參數的先驗分布，然后按貝葉斯公式先驗信息給出參數的先驗分布，然后按貝葉斯公式算得后驗分布。算得后驗分布。 設總體只含設總體只含2 2個參數個參數 = =( ( 1 1, , 2 2) )，總體的密度函數為，總體的密度函數為p( (x| | 1 1, , 2 2),),若從該總體抽取一個樣本若從該總體抽取一個樣本 并給出先驗密度并給

58、出先驗密度 ，則，則 的后驗密度為的后驗密度為),.,(21nxxxx ),(21 12(,) 121122(,)(,) (,)xp x 在多參數問題中，人們關心的常常是其中一個或少數幾在多參數問題中，人們關心的常常是其中一個或少數幾個參數，這時其余參數常被稱為個參數，這時其余參數常被稱為討厭參數或多余參數。討厭參數或多余參數。在處理討厭參數上，貝葉斯方法要比經典方法方便得多。在處理討厭參數上，貝葉斯方法要比經典方法方便得多。1122()(,)xx d 例如討厭參數例如討厭參數 2 2，編輯編輯ppt79例例1.12 1.12 試求正態(tài)均值與正態(tài)方差的（聯合）試求正態(tài)均值與正態(tài)方差的（聯合）

59、共軛先驗分布及后驗分布。（共軛先驗分布及后驗分布。（P24P24）1. 1.取先驗分布為取先驗分布為 的情形的情形2. 2.關于指數分布族的若干結論關于指數分布族的若干結論3. 3.取先驗分布為共軛先驗分布的情形取先驗分布為共軛先驗分布的情形221),( 編輯編輯ppt801. 1.取先驗分布為取先驗分布為 的情形的情形221),( 編輯編輯ppt81(2)方差2 的后驗邊際分布： 2122222122122221212222exp)(21exp22exp)(21exp)|,()|( SdxnnSdxnSdxx 編輯編輯ppt82(3)均值 在給定2 之后的后驗條件密度 由 ),|()|()|

60、,(222xxx 及 2212122)(21exp)()|,( xnSx 212222exp)|( Sx 所以 222122)(2exp),|(xn x 即 )/,(,|22nxN x backback編輯編輯ppt833. 3.取先驗分布為共軛先驗分布的情形取先驗分布為共軛先驗分布的情形(1)求 的共軛先驗密度(2)求 的后驗邊際密度(3)求給定 后 的條件后驗密度函數 例題),(22 ),|(2x編輯編輯ppt84 例 有一實驗站關于生長小麥的經驗為每塊樣地的均值和標準差分別為100及10的正態(tài)分布，現在他們研究施加激素的影響。在12塊地施加激素后所得產量如下(單位：千克)：141,102