貝葉斯統(tǒng)計(jì)學(xué)習(xí)報(bào)告

1、貝葉斯統(tǒng)計(jì)學(xué)習(xí)報(bào)告在教員的安排下，這段時間我學(xué)習(xí)了貝葉斯統(tǒng)計(jì)方法，現(xiàn)將這段時間的學(xué)習(xí)情況匯報(bào)如下：貝葉斯統(tǒng)計(jì)與經(jīng)典統(tǒng)計(jì)理論的聯(lián)系與區(qū)別統(tǒng)計(jì)學(xué)中有兩個主要學(xué)派：頻率學(xué)派與貝葉斯學(xué)派，他們之間有共同點(diǎn)，又有不同點(diǎn)，為了說清楚他們之間的異同點(diǎn)，我從統(tǒng)計(jì)推斷所使用的三種信息說起。部 體信息總體信息即總體分布或總體所屬分布族給我們的信息，譬如： “總體是正態(tài)分布”這一句話就給我們帶來很多信息：它的密度函數(shù)是一條鐘形曲線；它的一切階矩都存在；有關(guān)正態(tài)分布可以導(dǎo)出2分布、t 分布和 F 分布等重要分布；還有許多成熟的點(diǎn)估計(jì)、區(qū)間估計(jì)和假設(shè)檢驗(yàn)方法可供我們選用。樣 本信息樣本信息即從總體抽取的樣本給我們提供的

2、信息。這是“新鮮”的信息，并且愈多愈好。人們希望通過對樣本的加工和處理對總體的某些特征作出較為精確的統(tǒng)計(jì)推斷。沒有樣本就沒有統(tǒng)計(jì)學(xué)可言?；谏鲜鰞煞N信息進(jìn)行的統(tǒng)計(jì)推斷被稱為經(jīng)典統(tǒng)計(jì)學(xué)，它的基本觀點(diǎn)是把數(shù)據(jù)（樣本）看成是來自具有一定概率分布的總體，所研究的對象是這個總體而不局限于數(shù)據(jù)本身?，F(xiàn)在回到我們討論的問題上來，除上述兩種信息外，在我們周圍還存在第三種信息先驗(yàn)信息，它也可用于統(tǒng)計(jì)推斷先 驗(yàn)信息先驗(yàn)信息即在抽樣之前有關(guān)統(tǒng)計(jì)問題的一些信息，一般說來，先驗(yàn)信息主要來源于經(jīng)驗(yàn)和歷史資料。先驗(yàn)信息在日常生活和工作中也經(jīng)?？梢姡簧偃嗽谧杂X地或不自覺地使用它。下面舉幾個例子：例 1： 一位常飲牛奶茶的婦

3、女聲稱，他能辨別先倒進(jìn)杯子里的是茶還是牛奶。對此做了十次試驗(yàn)，她都能正確地說出了。例 2：一位音樂家聲稱，他能從一頁樂譜辨別出是海頓還是莫扎特的作品。在十次這樣的試驗(yàn)中，他都能正確辨別。在這兩個統(tǒng)計(jì)試驗(yàn)中，假如認(rèn)為實(shí)驗(yàn)者是在猜測，每次成功的概率為0.5，那么十次都猜中的概率為2-10 =0.0009766,這是一個很小的概率，是幾乎不可能發(fā)生的，所以“每次成功概率為0.5”的假設(shè)應(yīng)被拒絕。被實(shí)驗(yàn)者每次成功概率要比 0.5大得多。這就不是猜測，而是他們的經(jīng)驗(yàn)在幫了他們的忙?？梢娊?jīng)驗(yàn)在推斷中不可忽視，應(yīng)加以利用?；谏鲜鋈N信息進(jìn)行的統(tǒng)計(jì)推斷被稱為貝葉斯統(tǒng)計(jì)學(xué)。它與經(jīng)典統(tǒng)計(jì)學(xué)的主要差別在于是否利用

4、先難信息。其基本觀點(diǎn)是：任一個未知量0都可看作一個隨機(jī)變量，應(yīng)用于一個概率分布去描述對0的未知狀況。這個概率分布是在抽樣前就有的關(guān)于0的先驗(yàn)信息的概率陳述。這個概率分布被稱為先驗(yàn)分布。貝葉斯公式（一） 貝 葉斯公式的密度函數(shù)形式貝葉斯公式的事件形式在初等概率中都有敘述，這里用隨機(jī)變量的密度函數(shù)再一次敘述貝葉斯公式，從中介紹貝葉斯學(xué)派的一些具體想法。依賴于參數(shù)。的密度函數(shù)在經(jīng)典統(tǒng)計(jì)中記為p（x； 8）或Pe（x）,它表示在參數(shù)空間6）= 0 中不同的0對應(yīng)不同的分布?？稍谪惾~斯統(tǒng)計(jì)中記為p(x| 0),它表示在隨機(jī)變量0給定某個值時，總體指標(biāo)X的條件分布。根據(jù)參數(shù)0的先驗(yàn)信息確定先驗(yàn)分布 兀(0

5、 )。這是貝葉斯學(xué)派最近幾十年里重點(diǎn)研究的問題，從貝葉斯觀點(diǎn)看，樣本 x=(xi，Xn)的產(chǎn)生要分兩步進(jìn)行。首先設(shè)想從先驗(yàn)分布兀(0)產(chǎn)生一個樣本0 ,這一步是“老天爺”做到的，人們是看 不到的，故用“設(shè)想”二字。第二步是從總體分布p(x| 0 )產(chǎn)生一個樣本x=( Xi， xn),這個樣本是具體的，人們能看到的，此樣本 x發(fā)生的概率是與如下聯(lián)合密 度函數(shù)成正比。 p(x| e) = np(Xii e )這個聯(lián)合密度函數(shù)綜合了總體信息和樣本信息，常稱為似然函數(shù)，記為L(0 )。頻率學(xué)派和貝葉斯學(xué)派都承認(rèn)似然函數(shù)，兩派認(rèn)為：在有了樣本觀察值x=(x1，,一一，, 一,、，, 一一人 xn)后，總

6、體和樣本中所含0的信息都被包含在似然函數(shù)L(0 )之中，可在使用似然函數(shù)作統(tǒng)計(jì)推斷時，兩派之間還是有差異的。4、由于0是設(shè)想出來的，它仍然是未知的，它是按先驗(yàn)分布 兀(0)而廣生 的，要把先驗(yàn)信息進(jìn)行綜合，不能只考慮0,而應(yīng)對0的一切可能加以考慮。故要用% (9)參與進(jìn)一步綜合。這樣一來，樣本 x和參數(shù)0的聯(lián)合分布h(x, 0 尸p(x| 0 )兀(8 )把三種可用的信息都綜合進(jìn)去了。5、我們的任務(wù)是要對未知數(shù)0作出統(tǒng)計(jì)推斷。在沒有樣本信息時，人們只能據(jù)先驗(yàn)分布對。作出推斷。在有樣本觀察值x=(x1, xn)之后，我們應(yīng)該依據(jù)h(x, 0)對0作出推斷。為此我們需把 h(x, 0)作如下分解：

7、h(x, 0 )= x( 0 I x)m(x) 其中m(x)是x的邊緣密度函數(shù)。m(x)=A h(x, 0 ) d 8=4 h(x, 0 )兀(。)它與0無關(guān)，或者說，m (x)中不含0的任何信息。因此能用來對0作出推斷的公是條件分布兀(0 | x)o它的計(jì)算公式是兀(0 | x)h(x) p(x| e )忒 8 )m(x) /e h(x, e) d e(1.1)這就是貝葉斯公式的密度函數(shù)形式。這個在樣本x給定下，0的條件分布被稱為0的后驗(yàn)分布。它是集中了總體、樣本和先驗(yàn)等三種信息中有關(guān)0的一切信 息，而又是排除一切與0無關(guān)的信息之后所得到的結(jié)果。 故基于后驗(yàn)分布兀(0 1x)對0進(jìn)行統(tǒng)計(jì)推斷

8、是更為有效，也是最合理的。6、在0是離散隨機(jī)變量時，先驗(yàn)分布可用先驗(yàn)分布列表示。這時后驗(yàn)分布也是離散形式。兀(9i I x)_ p(x| e i) Mei)Ej p(x| e j)n(e j)(1.2)假如總體X也是離散的，那只要把(1.1)或(1.2)中的密度p(x| 0 )看作為概率函數(shù)P(X=x| 0 )即可。三、用后驗(yàn)期望？估計(jì)0設(shè)0的后驗(yàn)密度為h(O|X), 0的后驗(yàn)期望為:E ( 0 | X) = / 0 h( 0 | X) d 0四、1、E ( 0 | X)去估計(jì)0是個很自然的想法。最大后驗(yàn)估計(jì)定義：設(shè)0的后驗(yàn)密度為h( 0 | X),我們尋求？使其滿足條件：h( 9 | X)=

9、 max,并稱？為最大后驗(yàn)估計(jì)量。2、或In /?i計(jì)算：(1 )當(dāng)h( 0網(wǎng)上)=0| X)容易計(jì)算時，解方程加A ） =!=（2） 一般情況：由于4（x）Ju/中）+11加8）二。：最大值與h（0 |X）的最大值等價(jià)，可解方程 69de來求最大后驗(yàn)估計(jì)量。與經(jīng)典估計(jì)不同，貝葉斯估計(jì)假設(shè)所估計(jì)的參數(shù)。是一個隨機(jī)變量，我們估計(jì)的是它的一次實(shí)現(xiàn)。e - p工力p（x,&）= p（e） p（.v |。）=p崔）-p（H）與經(jīng)典估計(jì)不同，在那里最小約束一般得不到可實(shí)現(xiàn)的估計(jì)器，因?yàn)?是確定量時，它不參與概率空間的運(yùn)算，即nisei 0） =-行* p（xff）dx解如上方程，一般得到：二即*，估計(jì)器

10、中包含待確定量，所以是不可 實(shí)現(xiàn)?，F(xiàn)在討論貝葉斯估計(jì)問題，現(xiàn)在，0是隨機(jī)變量，它是概率空間的一個分縣Smsel研=行尸工9曲而=。工 Ja求對？求導(dǎo)且令為0,得到？ =g(x),具體計(jì)算如下:= | * (fl)2 *plxr0)dx-iiff J=4了加伊I工以即* px)-dx最小，即因?yàn)閜(x)0對所有x,故欲使歷陽辦最小,令JC一j(e。)2 P(H|x)ddcO= -2(0-0)p(0 x)dO得到：0 = x)(iG=EiGx).這是最小MSE貝葉斯估計(jì)器，在計(jì)算時，經(jīng)常利用關(guān)系式：aU嚴(yán)防幽1小8)必6)護(hù)(3)高斯情況：如果x和y是聯(lián)合高斯，x是k*1 , y是f*1矢量，均值

11、矢量為分塊協(xié)方差矩陣?yán)?=-j-esp(LT)MdgGp1 x-E x)2 y-E(y)-Cx-tr)J-E引 j則條件PDF: p（y|x）也是高斯的，且有：ir xl = ti-C T=1-5工J*s* , n hJ 二二 C,_Q 匚 J上這里若y是待估計(jì)參數(shù)0, x是數(shù)據(jù)矢量，（3）式就是貝葉斯估計(jì)，（4）式 就是估計(jì)方差的表達(dá)式。五、貝葉斯統(tǒng)計(jì)的應(yīng)用與發(fā)展貝葉斯方法在可靠性分析中有著重要的慶用。數(shù)據(jù)少是可靠性分析的特點(diǎn)， 由于可靠性分析的對象大多是精密、貴重的儀器設(shè)備，試驗(yàn)費(fèi)用大，樣本量小 到甚至只有一、二次的試驗(yàn)結(jié)果，在這種情況下去分析設(shè)備的可靠性指標(biāo)，須 盡可能地搜集、綜合各種驗(yàn)

12、前經(jīng)驗(yàn)，整理、推導(dǎo)出參數(shù)的先驗(yàn)分布。由前述看 到，先驗(yàn)分布的確定不是憑空捏遷的，而是通過正常的邏輯思維獲得的。先驗(yàn) 分布的使用，成為驗(yàn)后樣本量不足的合理的補(bǔ)充。在決策分析中，考慮一種新產(chǎn)品的銷路，分暢銷、一般及滯銷三種情形， 不同的人因數(shù)為各自經(jīng)驗(yàn)等方面的原因，對此會作出不同的估計(jì)，形成新產(chǎn)品 銷路三種情形的主觀概率?？梢娫谌藗儸F(xiàn)有知識、經(jīng)驗(yàn)條件下，主觀概率是人 們帶有主觀成分的對事物盡可能的客觀性判斷，實(shí)驗(yàn)它不等同唯心論。量子力學(xué)里最根本的概念就是用波函數(shù)少描述的概率幅，最基本的規(guī)律就 是概率幅疊加的規(guī)則，所謂微觀粒子的波粒二象性，就是，由大量測量事件顯 示出來的一種按|少|(zhì)2的概率分布。在對物質(zhì)世界的微觀領(lǐng)域的探索