貝葉斯估計(jì)課件

1、1第三章 貝葉斯估計(jì)3.1貝葉斯推斷方法一 、統(tǒng)計(jì)推斷中可用的三種信息 美籍波蘭統(tǒng)計(jì)學(xué)家耐(E.L.Lehmann18941981)高度概括了在統(tǒng)計(jì)推斷中可用的三種信息： 1總體信息，即總體分布或所屬分布族給我們的信息。譬如“總體是指數(shù)分布”或“總體是正態(tài)分布”在統(tǒng)計(jì)推斷中都發(fā)揮重要作用，只要有總體信息，就要想方設(shè)法在統(tǒng)計(jì)推斷中使用。2樣本信息，即樣本提供我們的信息，這是任一種統(tǒng)計(jì)推斷中都需要。1第三章 貝葉斯估計(jì)3.1貝葉斯推斷方法美籍波蘭統(tǒng)計(jì)學(xué)23先驗(yàn)信息，即在抽樣之前有關(guān)統(tǒng)計(jì)推斷的一些信息。譬如，在估計(jì)某產(chǎn)品的不合格率時(shí)，假如工廠保存了過(guò)去抽檢這種產(chǎn)品質(zhì)量的資料，這些資料（包括歷史數(shù)據(jù)）

2、有時(shí)估計(jì)該產(chǎn)品的不合格率是有好處的。這些資料所提供的信息就是一種先驗(yàn)信息。又如某工程師根據(jù)自己多年積累的經(jīng)驗(yàn)對(duì)正在設(shè)計(jì)的某種彩電的平均壽命所提供的估計(jì)也是一種先驗(yàn)信息。由于這種信息是在“試驗(yàn)之前”就已有的，故稱為先驗(yàn)信息。以前所討論的點(diǎn)估計(jì)只使用前兩種信息，沒(méi)有使用先驗(yàn)信息。假如能把收集到的先驗(yàn)信息也利用起來(lái)，那對(duì)我們進(jìn)行統(tǒng)計(jì)推斷是有好處的。只用前兩種信息的統(tǒng)計(jì)學(xué)稱為經(jīng)典統(tǒng)計(jì)學(xué)，三種信息都用的統(tǒng)計(jì)學(xué)稱為貝葉斯統(tǒng)計(jì)學(xué)。本節(jié)將簡(jiǎn)要介紹貝葉斯統(tǒng)計(jì)學(xué)中的點(diǎn)估計(jì)方法。23先驗(yàn)信息，即在抽樣之前有關(guān)統(tǒng)計(jì)推斷的一些信息。譬如，在3四、貝葉斯推斷（估計(jì)）條件方法由于未知參數(shù)的后驗(yàn)分布是集三種信息（總體、樣本和

3、先驗(yàn)）于一身，它包含了所有可供利用的信息。故有關(guān)的參數(shù)估計(jì)和假設(shè)檢驗(yàn)等統(tǒng)計(jì)推斷都按一定方式從后驗(yàn)分布提取信息，其提取方法與經(jīng)典統(tǒng)計(jì)推斷相比要簡(jiǎn)單明確得多?；诤篁?yàn)分布的統(tǒng)計(jì)推斷就意味著只考慮已出現(xiàn)的數(shù)據(jù)（樣本觀察值）而認(rèn)為未出現(xiàn)的數(shù)據(jù)與推斷無(wú)關(guān)，這一重要的觀點(diǎn)被稱為“條件觀點(diǎn)”，基于這種觀點(diǎn)提出的統(tǒng)計(jì)方法被稱為條件方法。3四、貝葉斯推斷（估計(jì)）條件方法由于未知參數(shù)的后驗(yàn)分布4例如經(jīng)典統(tǒng)計(jì)學(xué)認(rèn)為參數(shù)的無(wú)偏估計(jì)應(yīng)滿足：其中平均是對(duì)樣本空間中所有可能出現(xiàn)的樣本而求的，可實(shí)際中樣本空間中絕大多數(shù)樣本尚未出現(xiàn)過(guò)，而多數(shù)從未出現(xiàn)的樣本也要參與平均是實(shí)際工作者難以理解的。故在貝葉斯推斷中不用無(wú)偏性，而條件方

4、法是容易被實(shí)際工作者理解和接受的。4例如經(jīng)典統(tǒng)計(jì)學(xué)認(rèn)為參數(shù)的無(wú)偏估計(jì)應(yīng)滿足：5估計(jì)1.貝葉斯估計(jì) 定義3.2 使后驗(yàn)密度 達(dá)到最大的值 稱為最大后驗(yàn)估計(jì)；后驗(yàn)分布的中位數(shù) 稱為后驗(yàn)中位數(shù)估計(jì)；后驗(yàn)分布的期望值 稱為 的后驗(yàn)期望值估計(jì)，這三個(gè)估計(jì)都稱為貝葉斯估計(jì)，記為 。例1 為估計(jì)不合格率 ，今從一批產(chǎn)品中隨機(jī)抽取n件，其中不合格品數(shù)X服從 ，一般選取 為 的先驗(yàn)分布，設(shè) 已知，由共軛先驗(yàn)分布可知， 的后驗(yàn)分布為可計(jì)算得： 5估計(jì)1.貝葉斯估計(jì) 定義3.2 使后驗(yàn)密度 6選用貝葉斯假設(shè) ，則 第一、在二項(xiàng)分布時(shí)， 的最大后驗(yàn)估計(jì)就是經(jīng)典統(tǒng)計(jì)中的極大似然估計(jì)，即 的極大似然估計(jì)就是取特定的先驗(yàn)分

5、布下的貝葉斯估計(jì)。第二、 的后驗(yàn)期望值估計(jì) 要比最大后驗(yàn)估計(jì) 更合適一些。 第三、 的后驗(yàn)期望值估計(jì)要比最大后驗(yàn)估計(jì)更合適一些。 表2.1列出四個(gè)實(shí)驗(yàn)結(jié)果,在試驗(yàn)1與試驗(yàn)2中,“抽檢3個(gè)產(chǎn)品沒(méi)有一件不合格”與抽檢10個(gè)產(chǎn)品沒(méi)有一件是不合格”這兩件事在人們心目中留下的印象是不同的。后者的質(zhì)量要比前者的質(zhì)量更信得過(guò)。6選用貝葉斯假設(shè) ，則 第一、在二項(xiàng)7試驗(yàn)號(hào)樣本量n不合格數(shù)x13000.200210000.08333310.8004101010.917表3.1 不合格率 的二種貝葉斯估計(jì)的比較7試驗(yàn)號(hào)樣本量n不合格數(shù)x13000.200210000.08在試驗(yàn)3和試驗(yàn)4中，“抽檢3個(gè)產(chǎn)品全部不合

6、格”與抽檢“10個(gè)產(chǎn)品全部不合格”也是有差別的。在實(shí)際中，人們經(jīng)常選用后驗(yàn)期望估計(jì)作為貝葉斯估計(jì)。2.貝葉斯估計(jì)的誤差 設(shè) 是 的一個(gè)貝葉斯估計(jì)，在樣本給定后， 是一個(gè)數(shù)，在綜合各種信息后， 是按 取值，所以評(píng)價(jià)一個(gè)貝葉斯估計(jì)的誤差的最好而又簡(jiǎn)單的方式是用對(duì) 的后驗(yàn)均方差或平方根來(lái)度量，定義如下：稱為 的后驗(yàn)均方差,而其平方根稱為后驗(yàn)標(biāo)準(zhǔn)差.定義3.2 設(shè)參數(shù)的后驗(yàn)分布為 ,貝葉斯估計(jì)為 ,則 的后驗(yàn)期望 8在試驗(yàn)3和試驗(yàn)4中，“抽檢3個(gè)產(chǎn)品全部不合格”與抽檢“109當(dāng) 時(shí),則,稱為后驗(yàn)均方差.后驗(yàn)均方差與后驗(yàn)方差有如下關(guān)系: 這表明,當(dāng) 時(shí),可使后驗(yàn)均方差達(dá)到最小,實(shí)際中常取后驗(yàn)均值作為 的

7、貝葉斯估計(jì)值.9當(dāng) 時(shí),則這10例2 設(shè)一批產(chǎn)品的不合格率為 ,檢查是一個(gè)一個(gè)進(jìn)行,直到發(fā)現(xiàn)第一個(gè)不合格品為止,若X為發(fā)現(xiàn)第一個(gè)不合格品時(shí)已檢查的產(chǎn)品數(shù),則X服從幾何分布,其分布列為設(shè) 的先驗(yàn)分布為 , 如今只獲得一個(gè)樣本觀察值x=3,求 的最大后驗(yàn)估計(jì),后驗(yàn)期望估計(jì),并計(jì)算它的誤差.故聯(lián)合分布為 X=3的無(wú)條件概率為(利用全概率公式)10例2 設(shè)一批產(chǎn)品的不合格率為 ,檢查是一個(gè)一個(gè)進(jìn)11故或 可看出, 的最大后驗(yàn)估計(jì) 的后驗(yàn)方差為11故或 可看出, 的最大后驗(yàn)估計(jì) 的后驗(yàn)方差為123.區(qū)間估計(jì)(可信區(qū)間) 對(duì)于區(qū)間估計(jì)問(wèn)題,貝葉斯方法具有處理方便和含義清晰的優(yōu)點(diǎn),而經(jīng)典方法求置信區(qū)間常受到

8、批評(píng).定義3.3 參數(shù) 的后驗(yàn)分布為 ,對(duì)給定的樣本 和概率 ,若存在這樣的二個(gè)統(tǒng)計(jì)量 與 ,使得則稱區(qū)間 為參數(shù)的可信水平為 貝葉斯可信區(qū)間,或簡(jiǎn)稱為 的 可信區(qū)間.而滿足123.區(qū)間估計(jì)(可信區(qū)間) 對(duì)于區(qū)間估計(jì)問(wèn)題,貝葉斯方法具13的 稱為 的 (單側(cè))可信下限. 滿足 的 稱 為 的 (單側(cè))可信上限.這里的可信水平和可信區(qū)間與經(jīng)典統(tǒng)計(jì)中的置信水平與置信區(qū)間雖是同類的概念,但兩者還是有本質(zhì)的差別,主要表現(xiàn)在下面二點(diǎn):1.在條件方法下,對(duì)給定的樣本 和可信水平 ,通過(guò)后驗(yàn)分布可求得具體的可信區(qū)間,譬如, 的可信水平為0.9的可信區(qū)間是 ,這時(shí)我們可以寫(xiě)出13的 稱為 的 (單側(cè))可信下限

9、. 滿足14 2.在經(jīng)典統(tǒng)計(jì)中尋求置信區(qū)間有時(shí)是困難的,因?yàn)樗O(shè)法構(gòu)造一個(gè)樞軸量,使它的分布不含未知參數(shù),這是一項(xiàng)技術(shù)性很強(qiáng)的工作.相比之下可信區(qū)間只要利用后驗(yàn)分布,不需要再去尋求另外的分布, 可信區(qū)間的尋求要簡(jiǎn)單得多.例3 設(shè) 是來(lái)自正態(tài)總體 的一個(gè)樣本觀察值,其中 已知,若正態(tài)均值的先驗(yàn)分布取為 ,其中 與 已知,則可求得 的后驗(yàn)分布為 ,由此獲得 的 可信區(qū)間14 2.在經(jīng)典統(tǒng)計(jì)中尋求置信區(qū)間有時(shí)是困難的,因?yàn)樗O(shè)法15EX1 設(shè)隨機(jī)變量X的密度函數(shù)為(1)假如的先驗(yàn)分布為U(0,1),求的后驗(yàn)分布.(2)假如的先驗(yàn)分布為求的后驗(yàn)分布及后驗(yàn)期望估計(jì)15EX1 設(shè)隨機(jī)變量X的密度函數(shù)為

10、163、2貝葉斯決策方法決策就是對(duì)一件事作決定。它與推斷的差別在于是否涉及后果。統(tǒng)計(jì)學(xué)家在作推斷時(shí)是按統(tǒng)計(jì)理論進(jìn)行的，但很少考慮結(jié)論在使用后的損失?？蓻Q策者在使用推斷時(shí)必需與得失聯(lián)系在一起，能帶來(lái)利潤(rùn)的就會(huì)使用，使他遭受損失的就不會(huì)采用，度量得失的尺度就是損失函數(shù)。它是著名的統(tǒng)計(jì)學(xué)家A.Wald（19021950）在40年代引入的一個(gè)概念。從實(shí)際歸納出損失函數(shù)是決策的關(guān)鍵。貝葉斯決策：把損失函數(shù)加入貝葉斯推斷就形成貝葉斯決策論，損失函數(shù)被稱為貝葉斯統(tǒng)計(jì)中的第四種信息。163、2貝葉斯決策方法決策就是對(duì)一件事作決定。它與推斷的差17一、決策的基本概念 32 0 1 4341 2例1 設(shè)甲乙二人進(jìn)

11、行一種游戲，甲手中有三張牌，分別標(biāo)以 。乙手中也有三張牌，分別標(biāo)以 。游戲的規(guī)則是雙方各自獨(dú)立的出牌，按下表計(jì)算甲的得分與乙的得分。17一、決策的基本概念 32 0 1 43418這是一個(gè)典型的雙人博弈（賭博）問(wèn)題。不少實(shí)際問(wèn)題可歸納為雙人博弈問(wèn)題。把上例中的乙方改為自然或社會(huì)，就形成人與自然（或社會(huì)）的博弈問(wèn)題。例2 農(nóng)作物有兩個(gè)品種：產(chǎn)量高但抗旱能力弱的品種 和抗旱能力強(qiáng)但產(chǎn)量低的品種 。在明年雨量不知的情況下，農(nóng)民應(yīng)該選播哪個(gè)品種可使每畝平均收益最大？這是人與自然界的博弈。以明年60mm雨量為界來(lái)區(qū)分雨量充足 和雨量不充足 。寫(xiě)出收益矩陣（單位：元）100020010040018這是一個(gè)

12、典型的雙人博弈（賭博）問(wèn)題。不少實(shí)際問(wèn)題可歸納為19例3 一位投資者有一筆資金要投資，有以下幾個(gè)投資供他選擇：購(gòu)買(mǎi)股票，根據(jù)市場(chǎng)情況，可凈賺5000元，但可 能使他虧損10000元存入銀行，不管市場(chǎng)情況如何總可凈賺1000元這位投資者在金融市場(chǎng)博弈。未來(lái)的金融市場(chǎng)也有兩種情況：看漲 與看跌 可寫(xiě)出投資者的收益矩陣50001000-100001000投資者將依據(jù)收益矩陣決定他的資金投向何方這種人與自然（或社會(huì)）的博弈問(wèn)題稱為決策問(wèn)題19例3 一位投資者有一筆資金要投資，有以下幾個(gè)投資供他20二、決策的三要素1 狀態(tài)集 ，其中每個(gè)元素 表示自然界（或社會(huì)）可能出現(xiàn)的一種狀態(tài)，所有可能狀態(tài)的全體組成

13、狀態(tài)集。2 行動(dòng)集 ，其中a表示人對(duì)自然界可能采取的一個(gè)行動(dòng)一般行動(dòng)集有兩個(gè)以上的行動(dòng)可供選擇。若有兩個(gè)行動(dòng)無(wú)論對(duì)自然界的哪一個(gè)狀態(tài)出現(xiàn)， 總比 收益高，則 就沒(méi)有存在的必要，可把它從行動(dòng)集中去掉，使留在行動(dòng)集中的行動(dòng)總有可取之處。20二、決策的三要素1 狀態(tài)集 213 收益函數(shù) ，函數(shù)值 表示當(dāng)自然界處于狀態(tài) ，而人們選取行動(dòng) 時(shí)所得到的收益大小。收益函數(shù)的值可正可負(fù)，若正表示盈利，負(fù)表示虧損，單位常用貨幣單位，收益函數(shù)的建立不是件容易的事，要對(duì)所研究的問(wèn)題有全面的了解才能建立起來(lái)。收益矩陣213 收益函數(shù) ，函數(shù)值22三、損失函數(shù)1、從收益到損失為了統(tǒng)一處理，在決策中常用一個(gè)更為有效的概念

14、：損失函數(shù)。在狀態(tài)集和行動(dòng)集都為有限時(shí)用損失矩陣。這里的損失函數(shù)不是負(fù)的收益，也不是虧損。例如，某商店一個(gè)月的經(jīng)營(yíng)收益為1000元，即虧1000元。這是對(duì)成本而言。我們不能稱為損失，而稱其為虧損。我們講的損失是指“該賺而沒(méi)有賺到的錢(qián)”，例如該店本可以賺2000元，當(dāng)由于某種原因虧了1000元，那我們說(shuō)該店損失了3000元。用這種觀點(diǎn)認(rèn)識(shí)損失對(duì)提高決策意識(shí)是有好處的。按上述觀點(diǎn)從收益函數(shù)可以很容易獲得損失函數(shù)。22三、損失函數(shù)1、從收益到損失為了統(tǒng)一處理，在決策中常用一23例4 某公司購(gòu)進(jìn)某種貨物可分大批、中批和小批三種行動(dòng)，記為 ，未來(lái)市場(chǎng)需求量可分為高、中、低三種狀態(tài)，記為 ，三個(gè)行動(dòng)在不同

15、的市場(chǎng)的利潤(rùn)如下這是一個(gè)收益矩陣，我們把它改寫(xiě)為損失矩陣如下：23例4 某公司購(gòu)進(jìn)某種貨物可分大批、中批和小批三種行動(dòng)，242、損失函數(shù)構(gòu)成決策問(wèn)題的三要素：由收益函數(shù)容易獲得損失函數(shù)例5 某公司購(gòu)進(jìn)一批貨物投放市場(chǎng)，若購(gòu)進(jìn)數(shù)量a低于市場(chǎng)需求量 ，每噸可賺15萬(wàn)元。若購(gòu)進(jìn)數(shù)量超過(guò)市場(chǎng)需求量 ，超過(guò)部分每噸反要虧損35萬(wàn)元。由此可寫(xiě)出收益函數(shù)242、損失函數(shù)構(gòu)成決策問(wèn)題的三要素：由收益函數(shù)容易獲得損失25顯然，當(dāng)購(gòu)進(jìn)數(shù)量a等于市場(chǎng)需求量 時(shí)，收益達(dá)到最大25顯然，當(dāng)購(gòu)進(jìn)數(shù)量a等于市場(chǎng)需求量 時(shí)，收益達(dá)到最263、損失函數(shù)下的悲觀準(zhǔn)則第一步，對(duì)每個(gè)行動(dòng)a選出最大損失值，記為第二步，在所有選出的最大

16、損失中再選出最小者 ，則 滿足則稱 為悲觀準(zhǔn)則下的最優(yōu)行動(dòng)，這是一種保守策略，不求零損失，但愿少損失例4幻燈片 41在悲觀準(zhǔn)則下，第一步的最大損失值依次為3.7，4，8第二步，在上面三個(gè)最大損失值中最小值為3.7，對(duì)應(yīng)的行動(dòng)為263、損失函數(shù)下的悲觀準(zhǔn)則第一步，對(duì)每個(gè)行動(dòng)a選出最大損失274、常用損失函數(shù)（1）平方損失函數(shù)這是在統(tǒng)計(jì)決策中用得最多的損失函數(shù)（2）線性損失函數(shù)（3）01損失函數(shù)（4）多元二次損失函數(shù)274、常用損失函數(shù)（1）平方損失函數(shù)這是在統(tǒng)計(jì)決策中用得最28四、貝葉斯決策問(wèn)題先驗(yàn)信息和抽樣信息都用的決策問(wèn)題稱為貝葉斯決策問(wèn)題。若以下條件已知，則我們認(rèn)為一個(gè)貝葉斯決策問(wèn)題給定了。（4）定義在 的二元函數(shù) 稱為損失函數(shù)28四、貝葉斯決策問(wèn)題先驗(yàn)信息和抽樣信息都用的決策問(wèn)題稱為貝291、后驗(yàn)風(fēng)險(xiǎn)函數(shù)我們把損失函數(shù) 對(duì)后驗(yàn)分布 的期望稱為后驗(yàn)風(fēng)險(xiǎn)，記為 ，即后驗(yàn)風(fēng)險(xiǎn)就是用后驗(yàn)分布計(jì)算的平均損失 291、后驗(yàn)風(fēng)險(xiǎn)函數(shù)我們把損失函數(shù) 302、決策函數(shù)定義 在給定的貝葉斯決策問(wèn)題中，從樣本空間 到行動(dòng)集A上的一個(gè)映照 稱為該決策問(wèn)題的一個(gè)決策函數(shù)， 表示所有樣本空間從到A上的決策函數(shù)組成的類稱為決策函數(shù)類。在貝葉斯決策中我們面臨的是決策函數(shù)類D，要在D中選擇決策函數(shù) ，