貝葉斯統(tǒng)計(jì)讀書筆記

1、第5章 貝葉斯統(tǒng)計(jì) 葛鵬飛1、貝葉斯統(tǒng)計(jì)學(xué)回顧定理1：貝葉斯定理的形式如下：它讓我們能夠通過后驗(yàn)概率，在觀測到D之后估計(jì)w的不確定性。 貝葉斯定理右側(cè)的量由觀測數(shù)據(jù)集D來估計(jì)，可以被看成參數(shù)向量w的函數(shù)，被稱為似然函數(shù)（likelihood function）。它表達(dá)了在不同的參數(shù)向量w下，觀測數(shù)據(jù)出現(xiàn)的可能性的大小。在觀察到數(shù)據(jù)之前，我們對參數(shù)的一些假設(shè)，通過先驗(yàn)分布體現(xiàn)。 給定似然函數(shù)的定義，貝葉斯定理按照自然語言如下：2、 幾個(gè)問題的引入 觀察貝葉斯定理，在將貝葉斯方法用到統(tǒng)計(jì)問題以及更進(jìn)一步的機(jī)器學(xué)習(xí)問題中，很直觀的我們有以下問題需要考慮：（1）似然函數(shù)的選擇；（2）先驗(yàn)分布的選擇；（

2、3）在確定似然函數(shù)和先驗(yàn)分布之后，得到后驗(yàn)分布，如何根據(jù)后驗(yàn)分布做出統(tǒng)計(jì)推斷以及決策；（4）如何評價(jià)我們的前三步的選擇。之后我們將逐步解決以上四個(gè)問題。3、 似然函數(shù)的選擇前面的章節(jié)中，已經(jīng)介紹過過擬合和欠擬合的概念：復(fù)雜的模型會(huì)導(dǎo)致過擬合，而簡單的模型又會(huì)有欠擬合的憂慮。在貝葉斯方法中同樣如此，似然函數(shù)包含著我們對數(shù)據(jù)D所了解的全部信息，合理的選擇似然函數(shù)的形式，將直接影響模型的好壞，將這個(gè)問題稱作貝葉斯模型選擇。假設(shè)我們想比較L個(gè)模型，其中i=1，.，L。給定一訓(xùn)數(shù)據(jù)集D，由貝葉斯定理，我們有模型的后驗(yàn)分布： 先驗(yàn)分布讓我們能夠表達(dá)不同模型之間的優(yōu)先級，假設(shè)我們對任意一個(gè)模型都沒有偏愛,我

3、們發(fā)現(xiàn)關(guān)于模型分布正比于模型的似然函數(shù)，因此最大化后驗(yàn)分布等價(jià)于最大化似然函數(shù)。由此，我們引入模型證據(jù)的概念，或者稱作邊緣似然函數(shù)。下面給出相應(yīng)定義： 定義2：（模型證據(jù)的定義） 使用模型證據(jù)的概念，我們就可以進(jìn)行貝葉斯模型選擇，其中的合理性，有以下的近似結(jié)論：最大化模型證據(jù)的結(jié)果將使得我們選擇一個(gè)復(fù)雜度適中的模型。關(guān)于這點(diǎn)將給出近似的證明，為便于理解，我們使用到如下兩圖：證明： 在w為m維的情況下，上式可寫作：取對數(shù)可得：當(dāng)m逐漸變大時(shí)，第一項(xiàng)似然函數(shù)會(huì)逐漸變小，但是第二項(xiàng)會(huì)逐漸變大，以此最大化模型證據(jù)涉及到第一項(xiàng)與第二項(xiàng)的權(quán)衡。最大化模型證據(jù)的結(jié)果將使得我們選擇一個(gè)復(fù)雜度適中的模型。 基于

4、最小化模型證據(jù)，我們能選取到復(fù)雜度合適的模型，避免了交叉驗(yàn)證使得數(shù)據(jù)未被全部利用以及重復(fù)運(yùn)算所帶來的計(jì)算消耗。 4、 先驗(yàn)分布的選擇先驗(yàn)分布代表我們主觀對參數(shù)的知識(shí)以及偏好，先驗(yàn)分布的選取方法主要分為以下幾種：（1） 主觀的概率：主要依靠歷史數(shù)據(jù)、專家意見得到先驗(yàn)分布；（2） 無信息先驗(yàn)分布：假設(shè)我們對任意一個(gè)參數(shù)都沒有偏愛，使先驗(yàn)分布對后驗(yàn)分布的影響盡可能的小；（3） 共軛先驗(yàn)分布：使得參數(shù)的先驗(yàn)分布與后驗(yàn)分布有相同的內(nèi)核；（4） 多層先驗(yàn)：尋找影響參數(shù)先驗(yàn)分布的參數(shù)。我們對后三種先驗(yàn)分布做簡單的介紹：4.1無信息先驗(yàn)分布在某些概率推斷的應(yīng)用中，我們可能有一些先驗(yàn)知識(shí)，可以方便地通過先驗(yàn)概率

5、分布表達(dá)出來。例如，如果先驗(yàn)分布令變量的某些值的概率為零，那么后驗(yàn)分布也將會(huì)使那些值的概率為零，與后續(xù)的數(shù)據(jù)觀測無關(guān)。但是，在許多情形下，我們可能對分布應(yīng)該具有的形式幾乎完全不知道。這時(shí)，我們可以尋找一種形式的先驗(yàn)分布，被稱為無信息先驗(yàn)（noninformative prior）。這種先驗(yàn)分布的目的是盡量對后驗(yàn)分布產(chǎn)生盡可能小的影響（Jeffreys, 1946; Box and Tiao, 1973; Bernardo and Smith, 1994）。這有時(shí)被稱為“讓數(shù)據(jù)自己說話”。無信息先驗(yàn)主要有以下幾種組成：（1） 位置參數(shù)的無信息先驗(yàn)為1；（2） 尺度參數(shù)的無信息先驗(yàn)為參數(shù)的倒數(shù)；（

6、3） Jeffreys先驗(yàn)分布：利用參數(shù)中的信息量確定無信息先驗(yàn)。 4.2共軛先驗(yàn)分布在第三章的介紹中，我們已經(jīng)接觸到了共軛先驗(yàn)分布，故此處不展開。4.3 多層先驗(yàn)分布 當(dāng)我們給先驗(yàn)分布一個(gè)先驗(yàn)分布時(shí)，就得到我們的多層先驗(yàn)分布，相應(yīng)的貝葉斯模型稱作多層貝葉斯模型：假設(shè)我們的多層貝葉斯有如上結(jié)構(gòu)，由貝葉斯定理得如下公式：由這兩個(gè)分布我們可以計(jì)算出任意的邊緣分布與條件分布。 5、 貝葉斯推斷與貝葉斯決策5.1貝葉斯推斷 在之前的章節(jié)中，我們遇到了很多種不同的點(diǎn)估計(jì)，現(xiàn)在總結(jié)如下：5.2貝葉斯決策在一個(gè)統(tǒng)計(jì)問題中，我們不僅要對其中的不確定性進(jìn)行度量，還需要對相應(yīng)的問題做出決策。我們假設(shè)一個(gè)問題中，有

7、一個(gè)輸入向量x和其輸出y，y可以是回歸問題中的目標(biāo)也可以是分類問題中的標(biāo)簽。通過模型我們做出的決策為a，在決策論中，我們定義度量a與y距離的損失函數(shù)，通過最小化期望損失函數(shù)做出相應(yīng)的決策，常用的度量函數(shù)有0-1損失、L1損失和L2損失。具體流程如下：（1） 首先定義損失函數(shù)L（y，a）； （2）最小化期望損失： 在貝葉斯決策中，我們需要考慮的是后驗(yàn)期望損失，定義如下： 進(jìn)一步以0-1損失、L1損失和L2損失，有以下結(jié)論：（1） 后驗(yàn)眾數(shù)最小化0-1損失；（2） 后驗(yàn)期望最小化L2損失；（3） 后驗(yàn)中位數(shù)最小化L1損失。 最后，稍微提及拒絕選擇的思想，在每個(gè)類別的后驗(yàn)概率相差不多的時(shí)候，我們允許

8、模型不做選擇，在給定拒絕選擇的損失時(shí)，我們可以確定拒絕選擇的邊界（課后題5.3）。6、 ROC曲線 如何評價(jià)一個(gè)模型的好壞？我們建立模型之后，接下來就要去評估模型，確定這個(gè)模型是否有用。度量一個(gè)模型好壞的標(biāo)準(zhǔn)有很多，而度量的選擇，取決于模型的類型和模型要解決的問題。這里，我們先介紹ROC曲線與AUC值。ROC曲線廣泛使用于2分類問題的模型評價(jià)，是很多不平衡數(shù)據(jù)的模型最重要的評判標(biāo)準(zhǔn)，使用但不限于貝葉斯統(tǒng)計(jì)中:ROC曲線是根據(jù)一系列不同的二分類方式（分界值或決定閾），以真陽性率（靈敏度）為縱坐標(biāo)，假陽性率（1-特異度）為橫坐標(biāo)繪制的曲線。在二分類問題中，分類結(jié)果有如下四種結(jié)果：預(yù)測10合計(jì)實(shí)際1

9、True Positive（TP）False Negative（FN）Actual Positive(TP+FN)0False Positive（FP)True Negative(TN)Actual Negative(FP+TN)合計(jì)Predicted Positive(TP+FP)Predicted Negative(FN+TN)TP+FP+FN+TN記TP為真陽、FN為假負(fù)、FP為假陽、TN為真負(fù)。有以下的概念：精確度（Precision）：P = TP/(TP+FP)反映了被分類器判定的正例中真正的正例樣本的比重。 準(zhǔn)確率（Accuracy）：A = (TP + TN)/(P+N) =

10、(TP + TN)/(TP + FN + FP + TN)，反映了分類器統(tǒng)對整個(gè)樣本的判定能力能將正的判定為正，負(fù)的判定為負(fù)。   召回率(Recall)，也稱為 True Positive Rate:R = TP/(TP+FN) = 1 - FN/T，反映了被正確判定的正例占總的正例的比重。  ROC關(guān)注兩個(gè)指標(biāo)：True Positive Rate ( TPR )=TP/ TP + FN，TPR代表將正例分對的概率；False Positive Rate( FPR )=FP/ FP + TN，F(xiàn)PR代表將負(fù)例分錯(cuò)的概率。在ROC 空間中，每個(gè)點(diǎn)的橫坐標(biāo)是FPR，縱坐標(biāo)是T