第八章之貝葉斯估計第四次課課件

第五節(jié)貝葉斯估計一、全概率公式和貝葉斯公式

全概率公式和貝葉斯公式主要用于計算比較復(fù)雜事件的概率,它們實質(zhì)上是加法公式和乘法公式的綜合運用。

綜合運用加法公式P(A+B)=P(A)+P(B)A、B互斥乘法公式P(AB)=P(A)P(B|A)P(A)>0

例1：有三個箱子，分別編號為1,2,3，1號箱裝有1個紅球4個白球，2號箱裝有2紅3白球，3號箱裝有3紅球。某人從三箱中任取一箱，從中任意摸出一球，求取得紅球的概率。解：記Ai={球取自i號箱},

i=1,2,3;

B={取得紅球}即

B=A1B+A2B+A3B，

且

A1B、A2B、A3B兩兩互斥B發(fā)生總是伴隨著A1，A2，A3

之一同時發(fā)生，P(B)=P(A1B)+P(A2B)+P(A3B)運用加法公式得123

將此例中所用的方法推廣到一般的情形，就得到在概率計算中常用的全概率公式。對求和中的每一項運用乘法公式得P(B)=P(A1B)+P(A2B)+P(A3B)代入數(shù)據(jù)計算得：P(B)=8/15

P(A1)=

P(A2)=P(A3)=1/3，P(B｜A1)=1/5，P(B｜A2)=2/5，P(B｜A3)=1

設(shè)S為隨機試驗的樣本空間，A1,A2,…,An是兩兩互斥的事件，且有P(Ai)>0，i=1,2,…,n,

全概率公式:稱滿足上述條件的A1,A2,…,An為完備事件組。則對任一事件B，有在一些教科書中，常將全概率公式敘述為：在較復(fù)雜情況下直接計算P(B)不易,但B總是伴隨著某個Ai出現(xiàn)，適當?shù)厝?gòu)造這一組Ai往往可以簡化計算。全概率公式的來由,不難由上式看出:“全”部概率P(B)被分解成了許多部分之和。它的理論和實用意義在于:

某一事件B的發(fā)生有各種可能的原因(i=1,2,…,n)，如果B是由原因Ai所引起，則B發(fā)生的概率是

每一原因都可能導(dǎo)致B發(fā)生，故B發(fā)生的概率是各原因引起B(yǎng)發(fā)生概率的總和，即全概率公式。P(BAi)=P(Ai)P(B|Ai)全概率公式。我們還可以從另一個角度去理解

由此可以形象地把全概率公式看成為“由原因推結(jié)果”，每個原因?qū)Y(jié)果的發(fā)生有一定的“作用”，即結(jié)果發(fā)生的可能性與各種原因的“作用”大小有關(guān)。全概率公式表達了它們之間的關(guān)系。諸Ai是原因B是結(jié)果即：或者問：該球取自哪號箱的可能性最大?★實際中還有下面一類問題，是：

“已知結(jié)果求原因”

這一類問題在實際中更為常見，它所求的是條件概率，是已知某結(jié)果發(fā)生條件下，求各原因發(fā)生可能性大小。

某人從任一箱中任意摸出一球，發(fā)現(xiàn)是紅球,求該球是取自1號箱的概率。1231紅4白

該公式于1763年由貝葉斯(Bayes)給出。它是在觀察到事件B已發(fā)生的條件下，尋找導(dǎo)致B發(fā)生的每個原因的概率。（二）貝葉斯公式：

設(shè)A1,A2,…,An是兩兩互斥的事件，且P(Ai)>0，i=1,2,…,n,

另有一事件B，它總是與A1,A2,…,An

之一同時發(fā)生，則

貝葉斯公式的簡單證明1、由乘法公式可得：2、由全概率公式可得：3、由可得：

直觀地將Ai看成是導(dǎo)致隨機事件B發(fā)生的各種可能的原因，則P(Ai)可以理解為隨機事件Ai發(fā)生的先驗概率(aprioriprobability)。如果我們知道隨機事件B發(fā)生這個新信息，則它可以用于對事件Ai發(fā)生的概率進行重新的估計。事件P(Ai|B)就是知道了新信息“A發(fā)生”后對于概率的重新認識，稱為隨機事件Ai的后驗概率(aposterioriprobability)。（三）貝葉斯公式的進一步理解

例1：

一個有5個選擇的考題，其中只有一個選擇正確的.假定應(yīng)考人知道正確答案的概率為p。如果他最后選對了，問他確實知道答案的概率是多少?求解如下:設(shè)A={知道答案}，B={選擇正確}，由題意可知：由全概率公式:得到:例如，若則

這說明老師們依據(jù)試卷成績來衡量學生平時的學習狀況還是有科學依據(jù)的。對上例的簡單解讀：

在上例中，我們可以將事件“A={知道答案}”和事件“={不知道答案}”發(fā)生的概率P(A)=p和P()=（1-p）視為隨機事件“知道答案”和“不知道答案”發(fā)生的先驗概率。

現(xiàn)在我們知道隨機事件“B={選擇正確}”

發(fā)生這個新信息，則隨機事件B可以用于對事件Ai發(fā)生的概率進行重新的估計。事件P(Ai|B)就是知道了新信息“B發(fā)生”后對于Ai發(fā)生的概率的重新認識，稱為隨機事件Ai的后驗概率(aposterioriprobability)。

在上例中，Ai(如i=1,2)可表示為事件“A=知道答案”和事件“A=不知道答案”。在事件B沒有發(fā)生的條件下，事件“A={知道答案}”的發(fā)生概率為P(A)=p。這就是事件A的先驗概率

現(xiàn)在我們知道隨機事件“B={選擇正確}”發(fā)生了。在這種情況下，我們就需要調(diào)整我們對于事件“A=知道答案”發(fā)生概率的認識：即隨機事件“B={選擇正確}”發(fā)生后事件A的發(fā)生概率。這就表示為在事件“B={選擇正確}”

已發(fā)生的條件下，事件“A=知道答案”

的發(fā)生概率，即條件概率P(A|B)

。此處的P(A|B)

就是隨機事件A的后驗概率。二、先驗分布

不同的是在概率分布得到的途徑上。

即根據(jù)先驗信息所給出的隨機變量的分布，這里的先驗信息是指在抽樣之前有關(guān)統(tǒng)計問題的一些信息。

先驗分布與經(jīng)典統(tǒng)計學里面的其他分布并沒有什么區(qū)別，同樣有先驗離散分布和先驗連續(xù)分布。

1、經(jīng)典統(tǒng)計學里要得到概率分布必須大量重復(fù)實驗，由大數(shù)定律、中心極限定理這些基本定理來保證在大量重復(fù)實驗中頻率與概率具有一致性，從而得到隨機變量的概率分布。

經(jīng)典統(tǒng)計學的概率分布包含所有樣本點，即所有可能的實驗結(jié)果都要被考慮進去。

2、貝葉斯統(tǒng)計學的先驗概率分布，考慮的只是已出現(xiàn)的樣本，即來自于過去的經(jīng)驗。

也就是說貝葉斯統(tǒng)計學的先驗概率分布，考慮的只是已出現(xiàn)的樣本，來自于過去的經(jīng)驗。

三、后驗分布

設(shè)總體X的分布所含有的參數(shù)θ未知，抽取樣本之前，假定θ的先驗分布函數(shù)或先驗分布密度函數(shù)為，然后從該總體中抽取樣本X1，X2，…，Xn，當給定了樣本的觀察值x1,…xn時，θ的條件分布稱為后驗分布，用表示θ的后驗概率函數(shù)或后驗密度函數(shù)。1、后驗分布的概念首先可以明白后驗分布是一個條件分布，怎樣的條件分布呢，是在樣本給定的條件下的條件分布，看來仍然是需要樣本，在貝葉斯統(tǒng)計中的樣本又是什么樣子的呢？

我們來分析一下這個定義里面的的抽樣過程。也就是說樣本如何產(chǎn)生的呢？

從貝葉斯統(tǒng)計的觀點看，樣本的產(chǎn)生主要分兩步：首先設(shè)想從先驗分布產(chǎn)生一個樣本

。這一步是“老天爺”做的，人們是看不見的，故用“設(shè)想”二字，并以此設(shè)想的樣本分布來推斷總體分布。第二步是從總體分布產(chǎn)生一個樣本。這個樣本是具體的，人們能看得到的。

2、樣本的產(chǎn)生（1）此時樣本發(fā)生的概率與如下聯(lián)合密度函數(shù)成正比：

這個聯(lián)合密度函數(shù)綜合了總體信息與樣本信息，常被稱為似然函數(shù)。

注：這里是指當為給定的常數(shù)值時發(fā)生的概率。（2）由于是設(shè)想出來的，它仍然是未知的，隨機的它是按先驗分布而產(chǎn)生的，要把先驗分布進行綜合，不能只考慮，而應(yīng)對的所有可能加以考慮。這樣一來就有人就想到了樣本與參數(shù)的聯(lián)合分布。h(x,θ)

把先驗信息，總體信息，樣本信息都綜合進去了。

（3）如何求得θ的后驗分布呢？

我們在初等概率中已經(jīng)學過貝葉斯公式的事件形式：根據(jù)貝葉斯公式我們也可把h(x,θ)做如下分解：

這里m(x)是x的邊緣分布函數(shù)。

(1)當θ是離散型隨機變量時：

(2)當θ

是連續(xù)型隨機變量時：

(3)這樣我們就可以得到條件分布：

π(θi/x）就是給定樣本x下θ

的條件分布，也即θ的后驗分布。

可以說后驗分布是對先驗分布的調(diào)整，它是集中了總體，樣本和先驗等三種信息中有關(guān)的一切信息后的結(jié)果。為了更好的理解后驗分布我們來看一個例子。

例1:為了提高某產(chǎn)品質(zhì)量,公司經(jīng)理考慮投資100萬改進設(shè)備,下屬部門提出兩種實施意見:

意見1（1）:改進生產(chǎn)設(shè)備后,高質(zhì)量產(chǎn)品會提高到90%意見2（2）:改進生產(chǎn)設(shè)備后,高質(zhì)量產(chǎn)品只會提高到70%經(jīng)理當然希望1發(fā)生，公司效益可得到很大提高，投資改進設(shè)備是合算的。但根據(jù)下屬兩個部門過去建議被采納的情況，經(jīng)理認為，1的可信程度只有40﹪，2的可信程度是60﹪。

即這個經(jīng)理對的1、2主觀概率（先驗概率）或者說1、2的先驗分布為：

(1)=0.4

(2)=0.6

于是，在意見1、2的狀態(tài)下，設(shè)產(chǎn)品為高質(zhì)量產(chǎn)品這個隨機事件以隨機變量X來表示。因此，在1的狀態(tài)下，產(chǎn)品為高質(zhì)量產(chǎn)品這個隨機變量的總體分布為P(X|1)；同樣，在2的狀態(tài)下，產(chǎn)品為高質(zhì)量產(chǎn)品這個隨機變量的總體分布為P(X|2)。但現(xiàn)在，P(X|1)、P(X|2)是不可知的。

經(jīng)理不想僅用過去的經(jīng)驗來決策，想慎重一些，通過小規(guī)模試驗后觀其結(jié)果再定。為此做了一項試驗，試驗結(jié)果（記為A）如下：

A：試制5個產(chǎn)品，全是高質(zhì)量產(chǎn)品這就是從總體P(X|)中產(chǎn)生的一組樣本A（A1,…,A5）。這個樣本發(fā)生的概率為：這個聯(lián)合密度函數(shù)是綜合了總體信息和樣本信息，常稱為似然函數(shù)，記為L(Ai,θ)經(jīng)理對此試驗結(jié)果很高興，希望用此試驗結(jié)果來修改他原來對1和2的看法。換句話說，該經(jīng)理在發(fā)現(xiàn)樣本的概率分布之后，他現(xiàn)在對1和2的看法已經(jīng)發(fā)生了改變，但這種改變現(xiàn)在是未知的，即現(xiàn)在的1和2的概率分布是未知的。我們現(xiàn)在所知道的1和2的概率分布是按先驗分布(

)產(chǎn)生的。因為在樣本出現(xiàn)之后，該經(jīng)理對1和2的看法發(fā)生了改變，也就是說，在樣本出現(xiàn)之后，該經(jīng)理認為1和2的概率分布發(fā)生了變化。

但不應(yīng)該否定的是，這種變化仍然是以該經(jīng)理對1和2的先驗判斷為基礎(chǔ)的。因此，在考慮該經(jīng)理對1和2的看法發(fā)生的改變時，仍然要考慮先驗概率分布。從本質(zhì)上說，該經(jīng)理現(xiàn)在之所以對1和2的看法發(fā)生改變，是因為樣本的出現(xiàn)。因此，樣本與先驗分布一起共同決定了該經(jīng)理現(xiàn)在對1和2的看法。

也就是說，為了體現(xiàn)該經(jīng)理現(xiàn)在對1和2的看法,不能只考慮原有的1和2，對的其它值發(fā)生的可能性也要加以考慮。

因此需要把先驗信息(i)與樣本信息p(A/i)進行綜合。而樣本A=（A1,

…,An）和參數(shù)i

的聯(lián)合分布能夠把總體信息、樣本信息和先驗信息三種可用信息都綜合進去。

這個聯(lián)合分布為:h(A,i)=p(Ai)(i)根據(jù)概率論中已經(jīng)學過的貝葉斯公式的事件形式，有：

因此可得：

上式中的

通常用m(A)來表示，若樣本A是連續(xù)型隨機變量，則m(A)可表示為：被稱為樣本A的邊緣密度函數(shù)。它與i的后驗分布無關(guān)，或者說，其中不含該經(jīng)理在樣本出現(xiàn)后對意見1和意見2的信任度進行調(diào)整的任何信息。換句話就是，m(A)只是與i的先驗分布相關(guān)?；蛐枰⒁獾氖牵阂呀?jīng)不再是該經(jīng)理先前對意見1和2的主觀概率分布了，而是在樣本出現(xiàn)后對1和2進行調(diào)整的后驗概率了。也就是說，上式分子和分母中的i與中的i是不同的。根據(jù)上述分析，我們現(xiàn)在可以求在樣本出現(xiàn)后該經(jīng)理對意見1和意見2的信任度的調(diào)整程度了，即1和2后驗概率分布，也就是

(1

x)和(2

x)。

由全概率公式可得m(A)即本例中的p(A)：

經(jīng)理根據(jù)試驗A的信息調(diào)整自己的看法，把對1和2的可信程度由0.4和0.6調(diào)整到0.7和0.3。后者是綜合了經(jīng)理的主觀概率和試驗結(jié)果而獲得的，要比主觀概率更貼近當今的實際，這就是貝葉斯公式的應(yīng)用。經(jīng)理看到經(jīng)過兩次試驗，1（高質(zhì)量產(chǎn)品可占90﹪）的可信程度由0.4調(diào)整到0.883，他能以88.3﹪的把握保證此項投資能取得較大經(jīng)濟效益。

從上面這個例子中我們初步體驗到了離散型隨機變量后驗分布的求法。例2：設(shè)總體X服從伯努利分布B(1,p)

，其中參數(shù)p

未知，且設(shè)p

在區(qū)間(0,1)

服從均勻分布，X1,…Xn

是來自總體X

的樣本，試求p

的后驗分布.解：由于X

的條件概率密度函數(shù)為于是，

X=(X1,…Xn)

的聯(lián)合條件概率函數(shù)為:由于p的先驗概率密度函數(shù)為:所以X和p的聯(lián)合分布函數(shù)為:

而因此p的后驗分布為其中上式是含有參數(shù)、

的貝塔分布的概率密度函數(shù)。因此的后驗分布為貝塔分布。例3：設(shè)某事件A在一次試驗中發(fā)生的概率為

，為估計

，對試驗進行了n次獨立觀測，其中事件A發(fā)生了X次，求出的后驗分布。解：（1）確定似然函數(shù)：顯然X

b(n,)，即：這是似然函數(shù)。（2）作貝葉斯假設(shè)（設(shè)定先驗分布）

假若我們在試驗前對事件A沒有什么了解，從而對其發(fā)生的概率

也沒有任何信息。在這種場合，貝葉斯本人建議采用“同等無知”的原則使用區(qū)間（0,1）上的均勻分布U(0,1)作為的先驗分布，因為它?。?,1）上的每一點的機會均等。貝葉斯的這個建議被后人稱為貝葉斯假設(shè)。也就是：

的先驗分布為：（3）計算樣本X與參數(shù)的聯(lián)合分布：此式在定義域上與二項分布有區(qū)別。（4）計算X的邊際密度為:（5）利用貝葉斯公式可得的后驗分布：即：（6）具體算例

拉普拉斯計算過這個概率，研究男嬰的誕生比例是否大于0.5？如抽了251527個男嬰，女嬰241945個。他選用U(0，1)作為θ的先驗分布，于是可得θ的后驗分布為Be(x+1,n-x+1)，

其中n=251527+241945=493472，x=251527。由此拉普拉斯計算了“θ≤0.5”的后驗概率：故他斷言男嬰誕生的概率大于0.5。

例4：設(shè)是一批產(chǎn)品的不合格率，已知它不是0.1就是0.2，且其先驗分布為(0.1)

=0.7,(0.2)

=0.3。假如從這批產(chǎn)品中隨機取8個進行檢查，發(fā)現(xiàn)有2個不合格，求的后驗分布。解：因此可得：（1）（2）簡單總結(jié)一、前面的分析簡單總結(jié)如下：

1、人們根據(jù)先驗信息對參數(shù)θ已有一個認識，這個認識就是先驗分布()。2、通過試驗，獲得樣本。從而對θ的先驗分布進行調(diào)整，調(diào)整的方法就是使用上面的貝葉斯公式，調(diào)整的結(jié)果就是后驗分布(/x1,…,xn)。3、后驗分布是三種信息的綜合。獲得后驗分布使人們對θ的認識又前進一步，可看出，獲得樣本的的效果是把我們對θ的認識由()調(diào)整到(/x1,…,xn)。所以對θ的統(tǒng)計推斷就應(yīng)建立在后驗分布的基礎(chǔ)上。

貝葉斯統(tǒng)計學首先要想方設(shè)法先去尋求θ的先驗分布。先驗分布的確定大致可分以下幾步：

第一步，選一個適應(yīng)面較廣的分布族作先驗分布族，使它在數(shù)學處理上方便一些，這里我們選用β分布族作為θ的先驗分布族是恰當?shù)?，從以下幾方面考慮：二、先驗分布的確定注：

1、若參數(shù)θ類似廢品率，則它僅在（0，1）上取值。因此，必需用區(qū)間（0，1）上的一個分布去擬合先驗信息。β分布正是這樣一個分布。

2、β分布含有兩個參數(shù)a與b，不同的a與b就對應(yīng)不同的先驗分布，因此這種分布的適應(yīng)面較大。

3、樣本X的分布為二項分布b（n，θ）時，假如θ的先驗分布為β分布，則用貝葉斯估計算得的后驗分布仍然是β分布，只是其中的參數(shù)不同。這樣的先驗分布（β分布）稱為參數(shù)θ的共軛先驗分布。選擇共軛先驗分布在處理數(shù)學問題上帶來不少方便。4、國內(nèi)外不少人使用β分布獲得成功。

第二步，根據(jù)先驗信息在先驗分布族中選一個分布作為先驗分布，使它與先驗信息符合較好。利用θ的先驗信息去確定β分布中的兩個參數(shù)a與b。從文獻來看，確定a與b的方法很多。例如，如果能從先驗信息中較為準確地算得θ先驗平均和先驗方差，則可令其分別等于β分布的期望與方差最后解出a與b。

如果從先驗信息獲得則可解得a=3，b=12這意味著θ的先驗分布是參數(shù)a=3，b=12的β分布。假如我們能從先驗信息中較為準確地把握θ的兩個分位數(shù)，如確定θ確定的10％分位數(shù)θ0.1和50％的中位數(shù)θ0.5，那可以通過如下兩個方程來確定a與b。

假如信息較為豐富，譬如對此產(chǎn)品經(jīng)常進行抽樣檢查，每次都對廢品率作出一個估計，把這些估計值看作的一些觀察值，再經(jīng)過整理，可用一個分布去擬合它。

假如關(guān)于的信息較少，甚至沒有什么有用的先驗信息，那可以用區(qū)間（0，1）上的均勻分布（a=b=1情況）。用均勻分布意味著我們對的各種取值是“同等對待的”，是“機會均等的”。

貝葉斯本人認為，當你對參數(shù)θ的認識除了在有限區(qū)間（c，d）之外，其它毫無所知時，就可用區(qū)間（c，d）上的均勻分布作為θ的先驗分布。這個看法被后人稱之為“貝葉斯假設(shè)”。

第三步，確定了先驗分布后，就可計算出后驗分布，過程如下：（x=0，1，…，n，0<θ<1）最后，在給出X=x的條件下，θ的后驗密度為：

第四，于是X的邊際分布為：

顯然這個后驗分布仍然是β分布，它的兩個參數(shù)分別是a+x和b+n-x。我們選后驗期望作為貝葉斯估計，則θ的貝葉斯估計為

這與極大似然估計是不同的。

如果用（0，1）上的均勻作為θ的先驗分布，則θ的貝葉斯估計為：計算如下：

因此，后驗分布為：

三、貝塔函數(shù)1、函數(shù)2、貝塔函數(shù)的性質(zhì):證明證明四、貝塔分布（一）如果隨機變量X具有概率密度函數(shù)那么稱服從貝塔分布,記作X～Be(a,b)，其中參數(shù)a>0，b>0。特別，如果a=b=1，那么服從[0,1]上的均勻分布。（二）貝塔分布的數(shù)學期望和方差證明參見關(guān)于Γ分布的數(shù)學期望的證明五、共軛先驗分布

在Bayes統(tǒng)計中，選取先驗分布是一個相當重要的問題。因為在Bayes統(tǒng)計中，后驗分布是統(tǒng)計推斷的基礎(chǔ)，而只有正確選擇的先驗分布，才有正確的后驗分布。在Bayes統(tǒng)計中，有多種選取先驗分布的方法，主要的選取先驗分布的方法有以下幾種。

1、客觀法：以前的資料積累較多，對θ的先驗分布能作出較準確的統(tǒng)計或估計。在這種情況下，分布的確定沒有摻雜多少人的主觀因素，因此稱之為客觀法。

2、主觀法：按Bayes學派的說法，這是一種通過“自我反省”去確定先驗分布的方法。主觀先驗分布反映了個人以往對θ的了解，包括經(jīng)驗知識和理論知識。這樣提出的先驗分布，在主觀上是正確的，但不能保證先驗分布會合乎某種客觀標準。

3、同等無知原則。這一原則被稱為Bayes假定。以產(chǎn)品的廢品率為例，當我們對p一無所知時，只好先驗地認為，p以同等機會?。?,1）內(nèi)的各種值，因而以（0，1）均勻分布U（0,1）作為p的先驗分布。

(4)共軛分布方法。這是我們重點需要講述的，在此不做陳述。

(5)Jeffreys原則。在Basyes方法中,在沒有先驗信息可利用的情況下,一般會通過Fisher信息陣確定無信息先驗分布,即Jeffreys先驗分布。這已完全超出了我們的學習范圍，在此不做說明。五、共軛先驗分布（一）定義設(shè)是總體分布中的參數(shù)（或參數(shù)向量），()是的先驗密度函數(shù)，假如由抽樣信息算得的后驗密度函數(shù)與(/x)有相同的函數(shù)形式，則稱()是的共軛先驗分布。注意：共軛先驗分布是對某一分布中的參數(shù)而言的,如正態(tài)均值、正態(tài)方差、泊松均值等。離開指定參數(shù)及其所在的分布去談?wù)摴曹椣闰灧植际菦]有意義的。(二)對共軛先驗分布的理解

1、簡單列舉上述求解后驗分布的步驟：

假設(shè)我們有這樣幾類概率：

(）（先驗分布）,(/x)

（后驗分布），

p(X)（樣本的邊緣分布函數(shù)），p(X|)

（似然函數(shù)）。它們之間的關(guān)系可以通過貝葉斯公式進行連接：

后驗分布=似然函數(shù)×先驗分布/P(X)

2、由前面的分析可知，樣本的邊緣分布與后驗分布無關(guān)，因此要使得先驗分布和后驗分布的形式相同，就是要使得先驗分布即(）和似然函數(shù)即p(X|)的乘積使得先驗分布（(））和后驗分布（(/x)）有相同的形式。3、如果P(x|θ)乘以()，然后歸一化，要使得其結(jié)果的形式后驗分布(/x)與先驗分布()的形式一樣，那么，在數(shù)學上說，就必須使得()共軛于P(x|θ)。4、因此，從數(shù)學上說，所謂共軛指的是先驗分布和似然函數(shù)的共軛。（簡單地想象：共軛與對稱有關(guān)）5、為了使得先驗分布和后驗分布的形式相同，定義：

如果先驗分布和似然函數(shù)可以使得先驗分布和后驗分布有相同的形式，那么就稱先驗分布與似然函數(shù)是共軛的。

很容易造成誤解是會以為后驗分布和先驗分布共軛或者后驗分布和似然函數(shù)共軛。

共軛是指的先驗分布和似然函數(shù)的共軛。

注：所謂歸一化，簡單地說，即一種簡化計算的方式，即將有量綱的表達式，經(jīng)過變換，化為無量綱的表達式，成為純量。有量綱量：一個量，若其數(shù)值依賴于所采用的尺度，即依賴于度量單位制，則此量成為有量綱量或名數(shù)；

無量綱量：一個量，若其數(shù)值與所采用的量度單位制無關(guān)，則此量稱為無量綱量或不名數(shù)。例如，長度、時間、力、能量、力矩等等是有量綱量；兩個長度之比、長度的平方與面積之比、能量與力矩之比等等是無量綱量。(三)共軛先驗分布的作用1、在貝葉斯估計方法中，當你每次觀測到新的X即樣本數(shù)據(jù)時，你就會更新預(yù)先給出的參數(shù)，即根據(jù)樣本修正參數(shù)

的先驗概率分布()

，也就是估算參數(shù)

的后驗概率分布(/x)。新概率分布(/x)

可以使用貝葉斯法則來計算：

2、P(x|θ)表示以預(yù)估（即先驗分布）的

為參數(shù)的x概率分布，可以直接求得。

()是已有原始的

概率分布。所以分子部分可以直接計算求得。

分母部分的計算很棘手。對于任意分布形式，積分計算可能會有很多困難。我們每次觀測一個新數(shù)據(jù)的時候，就要計算一次上面等式。這樣在觀察數(shù)據(jù)的過程中，就要乘上許多不同的概率分布。如果()分布沒有選擇好，那么分母的計算就會變得非常麻煩。

由于每觀察一次樣本x后就要更新關(guān)于參數(shù)θ的置信度，也就是要計算一次后驗分布函數(shù)的分母，如上所述，這是非常棘手的事情。如果選取()

作為P(x|θ)

分布的共軛先驗，使得P(x|θ)

乘以()，使得后驗分布(/x)函數(shù)的分母是一個歸一化的常數(shù)，那么我們在計算后驗分布(/x)

的時候可以忽略分母的計算，只要計算完后再歸一化即可。這樣就可以簡化計算。

這正是尋找共軛先驗分布主要原因。

當然，共軛先驗分布也可以使得的后驗分布中的一些參數(shù)能夠得到很好的解釋。因為如果你已經(jīng)觀察了很多數(shù)據(jù)，那么再觀察另外一個數(shù)據(jù)對于你對模型的認識并不會改變多少。如果，你僅僅一開始觀測了少量數(shù)據(jù)，那么觀察另外的單一數(shù)據(jù)對于你的模型參數(shù)置信度影響就會很大。你可以通過共軛先驗的形式獲得這個直覺上的判斷。

考慮一個離散情況的例子：投擲一個非均勻硬幣（正反面概率不相等），可以使用參數(shù)為θ的伯努利模型，那么結(jié)果x的分布形式為：

其共軛先驗為beta分布，具有兩個參數(shù)α和β，我們稱之為超參數(shù)。簡單解釋就是，這兩個參數(shù)決定了我們的θ參數(shù)。

Beta分布形式為：

同樣θ為硬幣為正面的概率。取值范圍為0到1。所以這個方程是歸一化的方程。假如你觀察一次投硬幣x事件然后要更新關(guān)于參數(shù)θ的置信度，由于Beta函數(shù)的分母是一個歸一化的常數(shù)，因此計算P(θ|x)的時候可以忽略它，只要計算完后再歸一化即可。因此，計算可簡化為：這是貝塔分布Be(α+x,β+n-x)的核.因此，歸一后，的后驗分布為：

在給定樣本分布P(x|θ)

和先驗分布()后可用貝葉斯公式計算θ的后驗分布：(/x)=P(x|θ)×()/m(x)

而m(x)不依賴于θ

，在計算θ的后驗分布中僅起到一個正則化因子的作用。假如把m(x)省略，把貝葉斯公式改寫成如下等價形式：

(/x)∝P(x|θ)×()

其中符號“∝”表示兩邊僅差一個常數(shù)因子，一個不依賴于θ的常數(shù)因子。上式右端稱為后驗分布的核。

正則化是為了使用正則表達式用以在海量數(shù)據(jù)中迅速查找匹配的數(shù)據(jù)方法。正則表達式是對字符串操作的一種邏輯公式，就是用事先定義好的一些特定字符、及這些特定字符的組合，組成一個“規(guī)則字符串”，這個“規(guī)則字符串”用來表達對字符串的一種過濾邏輯。(來源于計算機科學的一種術(shù)語)

證：設(shè)x1,x2,…,xn是來自正態(tài)分布N(,σ2)的一個樣本觀察值。其中σ2已知。(1)因此樣本的似然函數(shù)為：例：證明：正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分布。因此有：

(2)確定先驗分布：

取另一正態(tài)分布N(μ,τ2)作為正態(tài)均值的先驗分布，即：其中μ,τ2為已知。（3）計算樣本x=（x1,x2,…,xn）與參數(shù)

的聯(lián)合密度函數(shù)：由該式可得：其中：若記：，，，，進一步簡化可得：其中：因此可求得樣本x的邊緣分布為（利用普哇松積分）：（4）由h(x,θ)與m(x)兩者相除可得θ的后驗分布為：這是均值為μ1、方差為τ12的正態(tài)分布其中：這就說明了正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分布。

90不加證明，給出常用的一些共軛先驗分布總體分布參數(shù)共軛先驗分布后驗分布的期望正態(tài)分布均值（方差已知）正態(tài)分布正態(tài)分布方差（均值已知）倒Γ分布IGa(a,b)二項分布

成功概率β分布Poisson分布

均值Γ分布Ga(a,b)指數(shù)分布均值的倒數(shù)Γ分布Ga(a,b)六、貝葉斯推斷

未知參數(shù)

的后驗分布(/x)

是集中三種信息（總體，樣本和先驗）于一身，它包含了所有可供利用的信息，所以有關(guān)的點估計，區(qū)間估計和假設(shè)檢驗等統(tǒng)計推斷都按一定方式取信息，其提取方法與經(jīng)典統(tǒng)計推斷相比要簡明明確得多。（一）條件方法后驗分布(/x)是在樣本x給定下的條件分布。

條件方法：基于后驗分布的統(tǒng)計推斷就意味著只考慮已出現(xiàn)的數(shù)據(jù)（樣本觀察值），而認為未出現(xiàn)的數(shù)據(jù)與推斷無關(guān)，這一重要的觀點被稱為“條件觀點”，基于這種觀點提出的統(tǒng)計推斷方法稱為條件方法。

例：作為一個數(shù)值例子，我們考慮對一個兒童做智力測驗，設(shè)測驗結(jié)果X~N（，100），其中在心理學中定義為兒童的智商，根據(jù)過去多次測驗，可設(shè)~N(100,225)。求該兒童智商的貝葉斯估計。

解：應(yīng)用前面的方法，在n=1時，可得在給定X=x條件下，該兒童智商的后驗分布是正態(tài)分布N(μ1,σ12)。其中：

假設(shè)該兒童這次測驗得分為115分，則他的智商的貝葉斯估計為在實際中，人們經(jīng)常選用后驗期望估計作為貝葉斯估計。（二）貝葉斯估計的含義

定義：使后驗密度(/x)達到最大的值MD稱為最大后驗估計；后驗分布的中位數(shù)稱為的后驗中位數(shù)估計；后驗分布的期望值稱為

的后驗期望估計，這三個估計都稱為的貝葉斯估計，記為，在不引起混亂時也記為。

在一般場合下，這三種貝葉斯估計是不同的，當后驗密度函數(shù)為對稱時，這三種貝葉斯估計重合，使用時可根據(jù)實際情況選用其中一種估計，或者說，這三種估計是適合不同的實際需要而沿用至今，注意到貝葉斯推斷不用無偏性。

（三）Bayes點估計例其貝葉斯估計為：例：

例：為估計不合格率θ，今從一批產(chǎn)品中隨機抽取n件，其中不合格品數(shù)X服從B(n,p)，求θ的最大后驗分布和后驗分布的期望值。

解：一般選取Be(α,β)為的θ先驗分布，設(shè)α,β已知，由共軛先驗分布可知，θ的后驗分布為：可計算得：如果選用貝葉斯假設(shè)則

下表列出四個實驗結(jié)果,在試驗1與試驗2中,“抽檢3個產(chǎn)品沒有一件不合格”與抽檢10個產(chǎn)品“沒有一件是不合格”這兩件事在人們心目中留下的印象是不同的。后者的質(zhì)量要比前者的質(zhì)量更信得過。表1：不合格率θ的兩種貝葉斯估計的比較試驗號樣本量n不合格數(shù)x13000.200210000.08333310.8004101010.917由上述分析可知：

第一，在先驗分布是二項分布、普哇松分布時，θ的最大后驗估計就是經(jīng)典統(tǒng)計中的極大似然估計，即θ的最大后驗估計就是極大似然估計就是取特定先驗分布下的最大后驗貝葉斯估計。

第二，θ的后驗期望值估計要比最大后驗估計MD更合適一些。第三、表1列出了四個實驗結(jié)果,在試驗1與試驗2中,抽檢3個產(chǎn)品“沒有一件不合格”與抽檢10個產(chǎn)品“沒有一件是不合格”這兩件事在人們心目中留下的印象是不同的。后者的質(zhì)量要比前者的質(zhì)量更信得過。（四）Bayes區(qū)間估計1、先驗可信區(qū)間（2）貝葉斯可信水平和可信區(qū)間與經(jīng)典統(tǒng)計中的置信水平和置信區(qū)間的區(qū)別

②在經(jīng)典統(tǒng)計中尋求置信區(qū)間有時是困難的，因為他要構(gòu)造一個軸變量（含有被估參數(shù)的隨機變量），使它的分布不含有未知參數(shù)，這是一項技術(shù)性很強的工作，不熟悉“抽樣分布”是很難完成的，可尋求可信區(qū)間只要利用后驗分布，不需要再去尋求另外的分布，二種方法相比較，可信區(qū)間的尋求要簡單的多。2、可信區(qū)間的一般求解（五）貝葉斯統(tǒng)計和經(jīng)典統(tǒng)計的比較1、是否利用先驗信息2、對概率的不同解釋頻率學派堅持概率的頻率解釋，并在這個基礎(chǔ)上去理解一切統(tǒng)計推斷的結(jié)論；與此相反，貝葉斯學派贊成主觀概率，概率是認識主體對事件出現(xiàn)可能性大小的相信程度它不依賴事件能否重復(fù)。3、具體統(tǒng)計理念的差異統(tǒng)計學奠基人費歇爾把統(tǒng)計學的任務(wù)概括為三個問題：選定模型,、確定統(tǒng)計量和決定統(tǒng)計量的分布。貝葉斯學派認為：先驗分布反映了試驗前對總體參數(shù)分布的認識，在獲得樣本信息后，對這個認識有了改變，其結(jié)果就反映在后驗分布中，即后驗分布綜合了先驗分布和樣本的信息。

（六）貝葉斯估計的一般步驟七、損失函數(shù)（一）從收益到損失

為了統(tǒng)一處理，在決策中常用一個更為有效的概念