貝葉斯參數(shù)估計(jì)

1、Bayesian ParameterEstimation（貝葉斯參數(shù)估計(jì)）09009128 曹祥 09009131 嚴(yán)富函貝葉斯估計(jì)的基本原理假設(shè)將待估計(jì)的參數(shù)看作符合某種先驗(yàn)概率分布的隨 機(jī)變量估計(jì)方式通過觀察樣本，將先驗(yàn)概率密度通過貝葉斯規(guī)則 轉(zhuǎn)化為后驗(yàn)概率密度1引言:.概率密度估計(jì)的兩種基本方法：os參數(shù)估計(jì)(parametric methods):根據(jù)對問題的一般性的認(rèn)識，假設(shè)隨機(jī)變量服從 某種分布，分布函數(shù)的參數(shù)通過訓(xùn)練數(shù)據(jù)來估計(jì)。 如：ML估計(jì)，Bayesian估計(jì)。何非參數(shù)估計(jì)(nonparametric methods)： 不用模型，而只利用訓(xùn)練數(shù)據(jù)本身對概率密度做 估計(jì)。如：

2、Parzen窗方法，匕近鄰估計(jì)。(Bayes, Thomas) (17021761)貝葉斯是英國數(shù)學(xué)家702年生于倫敦；1761年4月17日卒于坦布里奇韋爾斯.貝葉斯是一僅自學(xué)成才的數(shù)學(xué)家曾助理宗教事務(wù)，后來長期擔(dān)任坦布里奇韋爾斯地方教堂的牧師1742年，貝葉斯被逐為英宙皇家學(xué)會會員.I、貝葉如今在概率、數(shù)理統(tǒng)計(jì)學(xué)中以貝葉斯姓氏命名的有貝葉斯 公式、貝啊、刪»臓3.3貝葉斯估計(jì) ML估計(jì):> p X 0 = 0根據(jù)每一類的訓(xùn)練樣本估計(jì)每一類的類條件概率密 度。 Bayesian 估計(jì)：同樣根據(jù)每一類的訓(xùn)練樣本估計(jì)每一類的類條件 概率密度。但不再把參數(shù)8看成是一個(gè)未知的確 定變量

3、，而是看成未知的隨機(jī)變量。通過對第d類 樣本乙的觀察，使概率密度分布轉(zhuǎn)化為 后驗(yàn)概卩但氏）再求貝葉斯估計(jì)。先驗(yàn)分布的選取:有信息的：鳳已知分布類型、參數(shù)等:無信息的：m最大爛、共軌分布、Bayes假設(shè):基于經(jīng)驗(yàn)的：何利用樣本確定先驗(yàn)分布共軌分布法例：設(shè)XNg), &N(10,32)。若從正態(tài)總體X抽 得容量為5的樣本，算得兀= 12.1, 于是可算得心1.93和詳韻2。這時(shí)正態(tài)均值&6 ?的后驗(yàn)分布為正態(tài)分布"(11.93,與)2”例 設(shè)X也凡 iidp（兀（幾） r（M“）,試確定龍（牛）解：先驗(yàn)密度為：龍（兄）= exp（-/2） 有龍（元）oc 久"一

4、1 exp（“久）.其擬然函數(shù)為：nJ =工乞i=l2 Xn/（x|） = nBexp（-2） = ）（ 一必） 冒“！小!兀則其先驗(yàn)密度的核為：OC % (& ) / (%| ) OC 2a + tl exp -(n + / )2 n （0 x）兀（0卜）-r（a +工X+ ）即r（a?2）是P（2）的共轆分布故常用共軌先驗(yàn)分布總體分布參數(shù)共輒先驗(yàn)分布二項(xiàng)分布成功概率貝塔分布betda,p）泊松分布均值伽瑪分布指數(shù)分布均值的倒數(shù)伽瑪分布Gb（a,/l）正態(tài)分布（方差已知）均值正態(tài)分布n（a*）正態(tài)分布（均值已知）方差、倒伽瑪分布心。,刃共軌先驗(yàn)分布的優(yōu)點(diǎn)它有兩個(gè)優(yōu)點(diǎn)1. 計(jì)算方便2.

5、 后驗(yàn)分布中的一些參數(shù)可以得到很好的解釋在“正態(tài)均值&的共軌先驗(yàn)分布為正態(tài)分布”的例題中, 其后驗(yàn)均值可改寫為“1 =x +-2 -25) +/其中丫二代/（bj +廠彳）是用方差倒數(shù)組成的權(quán)，于是后驗(yàn) 均值耳是樣本均值匚和先驗(yàn)均值“的加權(quán)平均。這表明后驗(yàn) 均值是在先驗(yàn)均值與樣本均值間采取折衷方案。期望損失人(創(chuàng)x)= L最小、|條件風(fēng)險(xiǎn)|:貝葉斯估計(jì)的思路與貝葉斯決策類似，只是 離散的決策狀態(tài)變成了連續(xù)的估計(jì)。貝葉斯決策問題： 樣本X決策日i真實(shí)狀態(tài)叫狀態(tài)空間A是離散空間 先驗(yàn)概率P(VUj)貝葉斯參數(shù)估計(jì)問題 樣本集力估計(jì)量e真實(shí)參數(shù)9參數(shù)空間矽是連續(xù)空參數(shù)的先驗(yàn)分布P(0)貝葉斯

6、估計(jì)損失函數(shù)麗0)為:把&估計(jì)為所造成的損失離散情況下：損失函數(shù)表連續(xù)情況下：損失函數(shù)常用損失函數(shù)：兄 0) = (0 $)2平方誤差損失函數(shù)貝葉斯估計(jì)可以證明，如果采用平方誤差損失函數(shù)，則0的貝葉 斯估計(jì)量4是在給定X時(shí)e的條件期望，即：eEexOpexdd也就是說， GE0x&ep(Ox)dG 時(shí)，釆用平方誤差損 失函數(shù)的最小風(fēng)險(xiǎn)貝葉斯估計(jì)達(dá)到期望風(fēng)險(xiǎn)的最小值!同理可得到，在給定樣本集X下，&的貝葉斯估計(jì)是：e=Eexy=epoxde貝葉斯估計(jì):求貝葉斯估計(jì)的方法：（平方誤差損失下）（1）確定&的先驗(yàn)分布P®N（2）求樣本集的聯(lián)合分布 p（X|&a

7、mp;）二匸“（兀|0）?=i（3）求&的后驗(yàn)概率分布PWIX）二加（4）求&的貝葉斯估計(jì)量3=（ Op（e I X）deJO貝葉斯估計(jì) Gaussian情況：僅參數(shù)。二卩未知給定樣本集2 ,已知隨機(jī)變量均值未知而方差已知。均值變量的先驗(yàn)分布求的后驗(yàn)概率卩（川力）p(|z) =P(力 |“)卩(“) (力 |“)卩廠廢刖=%（力 |“）卩（“）p（“l(fā) 力）=%（力 l“）p（“）N ocr.exp 甘厲T F 21 （兀-“）八2 cr2丿V1V2eXPH1 （“-( 、N 1 %丿2、(!1expI 21 (“幻)“22、' N、撲哦丿丿1二exp 2兀辦2丿由兩式

8、指數(shù)項(xiàng)中對應(yīng)的系數(shù)相等得:1 N 12 _ 2 + 2J b 久 如=蘭 +如22 “N '21 N其中：“N二萬£兀° n ”b()求解方程組得：P (“ |力 N(“N)求解方程組得：P (“ |力 N(“N)Ng 2 "” + 血+，"o“NNaa21 N其中：Av =帀耳兀求“的貝葉斯估計(jì)值=“P(心)“訂“ 一/ expy/27iaN1 (“_“J2元N云Wo +CT2M N盼嚴(yán)因此，的貝葉斯估計(jì)值:1 N其中：禺=亦£兀V f=l一般情況下:當(dāng)N = 0時(shí)，& = “° 當(dāng)Nt8時(shí)，“冋 特例：當(dāng)（7； =

9、 0時(shí)，“ =“0 （先驗(yàn)知識可靠，樣本不起作用） 岀小2小2 ” 、介 （先驗(yàn)知識十分不確定，完全依勻5） Ab , “N T“N靠樣本信息）貝葉斯估計(jì)的誤差設(shè)$是&的一個(gè)貝葉斯估計(jì)，在樣本給定后，0是 一個(gè)數(shù)，在綜合各種信息后，&是按龍取值，所以 評定一個(gè)貝葉斯估計(jì)的誤差的最好而又簡單的方式是 用&對&的后驗(yàn)均方差或平方根來度量，具體定義 如下：設(shè)參數(shù)&的后驗(yàn)分布| X),貝葉斯估計(jì)為3,則 吊 的后驗(yàn)期望MSE(0x) = E0-0稱為0后驗(yàn)均方差，而其平方根 MSE(e IX) 2稱為的后 驗(yàn)標(biāo)準(zhǔn)誤，其中符號E即表示用條件分布;求期望 當(dāng)0為&a

10、mp;的后驗(yàn)期望力=£(。|勸 時(shí)，貝IJMSE | x) = E業(yè)(&-0E)2 = Var(O x)稱為后驗(yàn)方差，其平方根%廠(&|對手爾為后驗(yàn)標(biāo)準(zhǔn)差。經(jīng)典統(tǒng)計(jì)學(xué)派對貝葉斯統(tǒng)計(jì)的批評貝葉斯方法受到了經(jīng)典統(tǒng)計(jì)學(xué)派中一些人的批評，批 評的理由主要集中在以下三點(diǎn)： (1)貝葉斯方法具有很強(qiáng)的主觀性而研究的問題需 要更客觀的工具。經(jīng)典統(tǒng)計(jì)學(xué)是“客觀的”，因此符 合科學(xué)的要求。而貝葉斯統(tǒng)計(jì)學(xué)是“主觀的”，因 而(至多)只對個(gè)人決策有用。 (2)應(yīng)用的局限性，特別是貝葉斯方法有許多封閉型 的分析解法，不能廣泛地使用。(3)先驗(yàn)分布的誤用。對以上這些批評，貝葉斯學(xué)派的回答如下：

11、幾乎沒有什么統(tǒng)計(jì)分析哪怕只是近似是“客觀的”。因?yàn)橹挥性诰哂醒芯繂栴}的全部覆 蓋數(shù)據(jù)時(shí),才會得到明顯的“客觀性”，此時(shí)，貝葉斯分析也可得出同樣的結(jié)論。但大多數(shù)統(tǒng)計(jì) 研究都不會如此幸運(yùn)，以模型作為特性的選擇對結(jié)論會產(chǎn)生嚴(yán)重的影響。實(shí)際上，在許多研究 問題中，模型的選擇對答案所產(chǎn)生的影響比參數(shù)的先驗(yàn)選擇所產(chǎn)生的影響要大得多。Box(1980)說：“不把純屬假設(shè)的東西看作先驗(yàn)我相信，在邏輯上不可能把模型的假設(shè) 與參數(shù)的先驗(yàn)分布區(qū)別開來?！盙ood(1973)說的更直截了當(dāng)：“主觀主義者直述他的判斷，而客觀主義者以假設(shè)來掩蓋其 判斷，并以此享受著客觀性的榮耀。”杰岀的當(dāng)代貝葉斯統(tǒng)計(jì)學(xué)家AOHagan(

12、1977)的觀點(diǎn)是最合適的：勸說某人不加思考地 利用貝葉斯方法并不符合貝葉斯統(tǒng)計(jì)的初衷。進(jìn)行貝葉斯分析要花更多的努力。如果存在只 有貝葉斯計(jì)算方法才能處理的很強(qiáng)的先驗(yàn)信息或者更復(fù)雜的數(shù)據(jù)結(jié)構(gòu)。這時(shí)收獲很容易超過 付出，由此能熱情地推薦貝葉斯方法。另一方面，如果有大量的數(shù)據(jù)和相對較弱的先驗(yàn)信息, 而且一目了然的數(shù)據(jù)結(jié)構(gòu)能導(dǎo)致已知合適的經(jīng)典方法(即近似于弱先驗(yàn)信息時(shí)的貝葉斯分 析)，則沒有理由去過分極度地敲貝葉斯的鼓(過分強(qiáng)調(diào)貝葉斯方法)。貝葉斯估計(jì)的一般步驟 選擇先驗(yàn)分布，設(shè)為奴0)；龍(0)的確定方法多樣，可以用主觀概率、先驗(yàn)信息、邊緣分布等來確定先驗(yàn)分布, 亦可采用無信息先驗(yàn)分布。此處可采用

13、先驗(yàn)信息來進(jìn)行貝葉斯估計(jì)，即以前的蔬菜產(chǎn)品 抽樣的歷史數(shù)據(jù)來確定先驗(yàn)分布。 確定似然函數(shù)np(xO) = L(x,x2< -xtl;0)=| <9)驗(yàn)前信息處理 確定參數(shù)0的后驗(yàn)分布樣本兀和參數(shù)0的聯(lián)合分布為：h(x,3) = p(x3)7r(3)(2)兀的邊緣密度函數(shù)為：m(x) = jh(x,0)d0 = jp(x &)龍(&)d&(3)oo又有 h(x, 3)=龍(& | x)m(x)(4)則參數(shù)0的后驗(yàn)分布為："(01對=如邑=r皿期")“(")(5)m(x)丄 p(x | 0)7r(3)d3 選擇損失函數(shù)AA引

14、入一個(gè)非負(fù)函數(shù)，記作Loss(0,0) 刻畫參數(shù)的真實(shí)值。與估計(jì)值&之間差距的 嚴(yán)重程度，這個(gè)函數(shù)稱為損失函數(shù)。 估計(jì)參數(shù)根據(jù)所選擇的損失函數(shù)和參數(shù)的后驗(yàn)分布，通過求損失函數(shù)的期望值的最小值的解 來作為參數(shù)&的貝葉斯估計(jì)值。翥闇隸驚薩題時(shí)用最大似然估計(jì)與貝葉斯估計(jì)在 跚樹臓冊鵬利用的建9的函數(shù)的每一個(gè)可能的取值！Q2:Bayesian估計(jì)有什么特點(diǎn)?ML估計(jì)1 參數(shù)為未知確定變量2 沒有利用參數(shù)先驗(yàn)信息3 估計(jì)的概率模型與假設(shè) 模型一致4. 可理解性好5. 計(jì)算簡單Bayesian 估計(jì)1 參數(shù)為未知隨機(jī)變量2 利用參數(shù)的先驗(yàn)信息3 估計(jì)的概率模型相比于 假設(shè)模型會發(fā)生變化4

15、可理解性差5 計(jì)算復(fù)雜ML估計(jì)與貝葉斯估計(jì)有什么關(guān)系? ML估計(jì)通常比貝葉斯估計(jì)簡單ML估計(jì)給出參數(shù)的值，而貝葉斯估計(jì)給出所 有可能的參數(shù)值的分布當(dāng)可用數(shù)據(jù)很多以至于減輕了先驗(yàn)知識 的作用時(shí)，貝葉斯估計(jì)可以退化為ML估計(jì)財(cái)務(wù)困境概率貝葉斯估計(jì)財(cái)務(wù)貴翻 ii礬驚翻翹鰲廳泌投資風(fēng)險(xiǎn)以及防范金融危機(jī)的重要意義?？梢暂瀴坌璁?dāng)棗霸籟霞鷲隸貳蟹' 和準(zhǔn)確性。貝葉斯分析方法貝葉斯分析方法在決策分析中得到了廣 泛的應(yīng)用，其基本原理為：由于許多決策問題的先驗(yàn)信息不夠充分， 因此只能主觀設(shè)定狀態(tài)（記為0 ）的先驗(yàn)分布;而先驗(yàn)分布又往往只能憑決策人所獲得 的先驗(yàn)信息對狀態(tài)9發(fā)生的概率做出主觀估 計(jì)，很難準(zhǔn)確

16、反映客觀真實(shí)情況,因此需要收集 新的信息去改進(jìn)主觀設(shè)定的先驗(yàn)分布；但是狀態(tài)6在風(fēng)險(xiǎn)情況下往往不能直接貝葉斯分析方法由于觀察的結(jié)果,X還受到其他隨機(jī)因素的影響，因此對于給定的0為一隨機(jī)變量，用P(X| 0 )表 示X在給定的6下的條件密度函數(shù)，稱為似然函 數(shù);最后，根據(jù)貝葉斯定理,即可求出狀態(tài)9由觀察鱒腔驕蠶駱烈綸高黑劇廳決策魏舒黯嚨謬 鶴暮息等先驗(yàn)信息對0給出一個(gè)主觀估計(jì)概率分布!=1(0 )，再利用與e緊密相關(guān)的預(yù)測模型在公司財(cái)務(wù) 狀況基礎(chǔ)上“觀察"的后驗(yàn)信息對皿(9 )進(jìn)行修正， 得到0的后驗(yàn)分布Ji (9 |X)，進(jìn)而得到適合具體公 司的財(cái)務(wù)困境概率估計(jì)值。由于這個(gè)估計(jì)既利用了

17、決策者的個(gè)人智慧和定 性分析，又包含了預(yù)測模型的信息，提高了模型預(yù)測的 準(zhǔn)確率。Questionl:在什么情況下，適用貝葉斯估計(jì)?先驗(yàn)概率的確定騎麟鶴譽(yù)）的信息基礎(chǔ)上有一來發(fā)魄錮I戯驕懇饑t 一個(gè)隨機(jī)變量，公司決策者或投資者對公司級作為先驗(yàn)概率估計(jì)的基礎(chǔ)，然后決策者確定主觀概率估計(jì)最簡單的方法就是根 據(jù)不同等級債券違約可能性（即發(fā)生財(cái)務(wù)困 境的概率）的歷史數(shù)據(jù)以及公司債券的相應(yīng) 等級作為先驗(yàn)概率估計(jì)的基礎(chǔ)，然后決策者 結(jié)合個(gè)人對公司狀況的信息優(yōu)勢、宏觀經(jīng) 濟(jì)形勢的判斷、個(gè)人經(jīng)驗(yàn)以及風(fēng)險(xiǎn)偏好，進(jìn) 行調(diào)整后得出一個(gè)先驗(yàn)概率。先驗(yàn)概率的確定不同的人可能做出不同的先驗(yàn)估述 但由于 假定公司決策者或投資

18、者是理性的，而且需要對 決策結(jié)果負(fù)責(zé)，因此，可以認(rèn)為其主觀估計(jì)是“理 性"的,結(jié)果必然落在一個(gè)合理的范圍內(nèi)。因此，可以以一個(gè)先驗(yàn)分布去描述。在金融 學(xué)領(lǐng)域，對經(jīng)濟(jì)、財(cái)務(wù)變量的正態(tài)假設(shè)已成為慣 例，顯然，認(rèn)為財(cái)務(wù)困境先驗(yàn)概率分布服從正態(tài)分 布是合理的,即先驗(yàn)分布為Ji ( 0 )N ( » , o 2)(2)先驗(yàn)概率的確定確定該分布的均值U和方差0 2的方法 有幾種，例如?可以根據(jù)債券發(fā)生違約的歷史 藪據(jù)竝行同由分析得至（I，Damodaran糧據(jù) Altman和Kishore研究成臬總結(jié)了禾同 僮券類別10年以上的違約概基 如表1所 不° 表1不同債務(wù)等級的違約率

19、等級違約概率/ %等級違約概率/ %AAA0.0B B B2. 30AA().28:A +0. 40CCC5 0. 0()A().53:A-1.41D100. 00公司發(fā)行的債券可以根據(jù)相應(yīng)的債務(wù)等級 從表1中找到對應(yīng)的違約概率，決策者個(gè)人對該 概率調(diào)整后的數(shù)據(jù)就是公司財(cái)務(wù)困境先驗(yàn)概率 分布的均值U，同樣可以求得方差。2 O為簡單起見，甚至可以直接假定決策者是在 上述回歸概率的基礎(chǔ)上，結(jié)合自己的判斷進(jìn)行修 正后給出的先驗(yàn)概率為常數(shù)P(0 ) = » ,即皿 (0 )是一個(gè)均值為方差為0的正態(tài)分布。構(gòu)建似然函數(shù)和后驗(yàn)概率如上所述，該先驗(yàn)概率分布兀（e ） 星圭決鑒耋先驗(yàn)窗怒購情進(jìn);F、

20、給電 的主觀概率，難免有偏差，為了降低這種一 影響，必須收集新的信息，對先驗(yàn)分布進(jìn)行 改進(jìn)。根據(jù)概率論中貝葉斯公式，有p(x l 85 81 (° IX )=護(hù)(x|e)me)de(3)式中：Ji ( 9 |X )為公司的后驗(yàn)財(cái)務(wù)困境概率；ji (0 )為先驗(yàn)概率;P ( X | 0 )知以然鹵藪。根據(jù)決策理論，由于狀態(tài)不能直接觀察，只能觀察 另外一個(gè)與e有聯(lián)系的隨機(jī)變量x來獲得后驗(yàn)信息。機(jī)因素的影響，因此對于給定的9是一隨機(jī)變量，似 瞬詡締翻隣壽對公司對于計(jì)算后驗(yàn)概率/以然函數(shù)是最為關(guān)鍵 的，因?yàn)槟軌蚪o出公司廢生財(cái)務(wù)困境的預(yù)測性 的財(cái)務(wù)樣本。為此,首先需要確定X的函數(shù)形 式,可以利

21、用任何已知的與公司發(fā)生財(cái)務(wù)困境 有關(guān)的預(yù)測因素來構(gòu)建X的表達(dá)式，函數(shù)的預(yù) 測能力將決定后驗(yàn)概率估計(jì)的準(zhǔn)確性。為了使X能夠觀察,最合適的模型是多元 線性模型。當(dāng)然，預(yù)測函數(shù)并不是惟一的，根 據(jù)公司的具體情況，可以有不同的選擇，簡單起 見?這里采用Altman的ZSCORE模型，其預(yù) 測雅確性已得到大量實(shí)證研究的證實(shí)。因此， 財(cái)務(wù)困境預(yù)測函數(shù)X的表達(dá)式為X = 1,2X1 +1 4X 2 + 3 3X 3 + 0 6X 4 + 10X5將X視為復(fù)雜而又惟一的二級預(yù)測因素，在 預(yù)測函數(shù)X的基礎(chǔ)上，構(gòu)建似然函數(shù)或者說確定 其概率分布，并利用它來計(jì)算后驗(yàn)的財(cái)務(wù)困境概率(0 |X) O當(dāng)然，可以利用過去陷

22、入財(cái)務(wù)困境公司的歷 史財(cái)務(wù)數(shù)據(jù),用線性回歸或核估計(jì)的方法估計(jì)出X 的概率分布函數(shù)，并構(gòu)建似然函數(shù)P (X|9 )o因 為根據(jù)MDA模型的假設(shè):X1、X2、X3、X4、 X 5服從正態(tài)分布且相互相對獨(dú)也為簡單起見， 可假定似然函數(shù)P (X|9 )服從正在分布，即關(guān)系。因?yàn)閄的值不滿足概率的形式旦其大小與 財(cái)務(wù)困境概率具有內(nèi)在聯(lián)系,X值超小，發(fā)生財(cái) 務(wù)困境的概率越大,兩者之間可以證明滿足線性 關(guān)系。因此，似然函數(shù)均值為f (0 ),f(0 ) = a 0 + k5 a值可以經(jīng)過向由得到。66nrAl:alE;刃可樣X1N0 /( 兀6上式中，二T + aCTP(f =T(rT + aCT7T/(J2 兀 一 kT + a CT a(7)(8)財(cái)務(wù)困境概率貝葉斯估計(jì)后驗(yàn)分布Ji (9 |X )綜合了總體P (X|0 )、 樣本X和先驗(yàn)分布Ji (0 )中有