Bayes(貝葉斯)估計教學課件

貝葉斯估計

BayesEstimationBayes(貝葉斯)估計例子：某人打靶，打了5槍，槍槍中靶，問：此人槍法如何？某人打靶，打了500槍，槍槍中靶，問：此人槍法如何？經(jīng)典方法：極大似然估計：100%但是:……Bayes(貝葉斯)估計幾個學派（1）經(jīng)典學派：頻率學派，抽樣學派帶頭人：Pearson、Fisher、Neyman觀點：概率就是頻率參數(shù)就是參數(shù)聯(lián)合分布密度：p(x1,x2,..xn;)Bayes(貝葉斯)估計幾個學派（2）Bayesian學派：帶頭人：Bayes,Laplace,Jeffreys,Robbins觀點：頻率不只是概率存在主觀概率，和實體概率可轉(zhuǎn)化

參數(shù)作為隨機變量條件分布：p(x1,x2,..xn|)Bayes(貝葉斯)估計幾個學派（3）信念學派：帶頭人：Fisher觀點：概率是頻率主觀不是概率，而是信念度

參數(shù)不是隨機變量，僅是普通變量似然函數(shù)：L(

|x1,x2,..xn)Bayes(貝葉斯)估計批評1：置信區(qū)間置信區(qū)間：解釋：區(qū)間[u1,u2]覆蓋u的概率不是u位于區(qū)間的概率缺點：u不是變量Bayes(貝葉斯)估計批評2：評價方法假設(shè)檢驗、參數(shù)估計等都是多次重復(fù)的結(jié)果；想知道：一次實驗發(fā)生的可能性Bayes(貝葉斯)估計Bayesian方法Bayes(貝葉斯)估計Bayesian公式先驗分布密度：q(y)條件分布密度：p(x|y)似然度后驗分布密度：h(y|x)后驗綜合先驗與樣本信息Bayes(貝葉斯)估計思路：1、未知參數(shù)視為隨機變量：

數(shù)據(jù)的不可設(shè)計性與經(jīng)驗的不能窮盡性？2、取樣本x1…xn，求聯(lián)合分布密度p(x1,x2,..xn;)，是參數(shù)3、聯(lián)合分布密度－>條件分布密度p(x1,x2,..xn|)，是隨機變量4、確定的先驗分布()5、利用Bayesian公式求后驗分布密度6、使用后驗分布做推斷（參數(shù)估計、假設(shè)檢驗）Bayes(貝葉斯)估計例1：兩點分布b(1,p)的1.聯(lián)合分布：2.先驗分布：3.后驗分布：4.后驗期望估計：

Bayes(貝葉斯)估計2、先驗分布的共軛分布選取法后驗分布和先驗分布是同一個類型優(yōu)點：易于解釋、繼續(xù)試驗已知：，選使得與先驗分布同類型若p(x|)服從正態(tài)分布，選正態(tài)分布若p(x|)服從兩點分布，選Beta分布若p(x|)服從指數(shù)分布，選逆Gamma分布Bayes(貝葉斯)估計Bayes統(tǒng)計推斷問題參數(shù)估計：點估計區(qū)間估計Bayes(貝葉斯)估計估計的損失損失函數(shù)：風險：平均損失一致最小風險：對于任意產(chǎn)生的樣本x1…xn,

都是最小分析估計。Bayesian平均風險：Bayes(貝葉斯)估計后驗風險：Bayesian風險與后驗風險后驗分析最?。?gt;Bayesian風險最小Bayes(貝葉斯)估計兩種常用損失函數(shù)：平方損失：最小Bayesian風險估計：后驗期望點損失：最大后驗密度估計Bayes(貝葉斯)估計例子：正態(tài)分布X1…Xn服從正態(tài)分布N(

，2)

，

2已知，

的先驗分布是N(

，

2

)求

的Bayes估計.求得后驗分布還是正態(tài)分布求得例：某圓形產(chǎn)品內(nèi)徑X（單位：mm）服從正態(tài)分布N(

，0.4),

有先驗分布N(2，0.22),現(xiàn)在測量X=1.8,n=5

MLE=1.8

bayes=(1.8*5/0.4+2*0.2^(-2))/(5/0.4+0.2^(-2))=1.93Bayes(貝葉斯)估計置信區(qū)間估計：方法:

是隨機變量，可求其后驗分布步驟:1.積分求后驗分布

2.根據(jù)后驗分布求置信區(qū)間Bayes(貝葉斯)估計例子：兩點分布X1…Xn服從兩點分布，概率，則服從二項分布求的估計設(shè)先驗分布是beta(a,b)求得后驗分布：求得E(|r)=(a+r)/(a+b+n)2.Neyman-Pearson范式不用貝葉斯方法規(guī)避了先驗概率的決定對兩個假設(shè)區(qū)別對待，一個成為原假設(shè)H0(nullhypotheses)，另一個成為備擇假設(shè)H1(alternativehypotheses)由此導(dǎo)致在有些場合下選擇原假設(shè)的困難Neyman-Pearson引理(lemma)方差已知的正態(tài)置信區(qū)間和假設(shè)檢驗的對偶關(guān)系：引理置信區(qū)間和假設(shè)檢驗的對偶關(guān)系：引理B廣義似然比檢驗：

方差未知正態(tài)總體的均值檢驗多項分布的廣義似然比檢驗Pearson卡方統(tǒng)計量和似然比Handy-Weinberg均衡在參數(shù)估計的例子中引入了Handy-Weinberg均衡BacterialClump泊松散布度檢驗(dispersiontest)泊松散布度檢驗(dispersiontest)泊松散布度檢驗：數(shù)方法：Mann-Whitney檢驗00.