BVAR模型簡介

1、貝葉斯向量自回歸模型(BVAR)簡介一、貝葉斯方法原理簡介§1貝葉斯方法起源英國學(xué)者T.貝葉斯1763年在論有關(guān)機(jī)遇問題的求解中提出一種歸納推理的理論，后 被一些統(tǒng)計學(xué)者發(fā)展為一種系統(tǒng)的統(tǒng)計推斷方法，稱為貝葉斯方法。采用這種方法作統(tǒng)計推斷所得的全部結(jié)果，構(gòu)成貝葉斯統(tǒng)計的內(nèi)容。認(rèn)為貝葉斯方法是唯一合理的統(tǒng)計推斷方法的 統(tǒng)計學(xué)者，組成數(shù)理統(tǒng)計學(xué)中的貝葉斯學(xué)派，其形成可追溯到20世紀(jì)30年代。到5060年代，已發(fā)展為一個有影響的學(xué)派。時至今日，其影響日益擴(kuò)大。§2貝葉斯定理及其特點記p(y, 8)為一個隨機(jī)觀察向量 y的聯(lián)合概率密度函數(shù)，。為一個參數(shù)向量，它也看成是(1.2.1)

2、隨機(jī)的。根據(jù)通常對概率密度的運算有：p(y, 0) p(y|8)p(。) p(8|y)p(y)因而(1.2.2)其中p(y) 0。將上式表達(dá)如下:p( 9|y)p(9)p(y| 9)先驗概率密度似然函數(shù)(1.2.3)其中 表示成比例，p( 8|y)是在給定樣本信息y后，參數(shù)向量。的后驗概率密度，p(8)是參數(shù)向量。的先驗概率密度，p(y| 8)看作。的函數(shù)，就是熟知的似然函數(shù)。式(1.2.3)將所有的先驗的、樣本的信息融入其中，先驗信息通過先驗密度進(jìn)入后驗密度，而所有的樣本信息通過似然函數(shù)進(jìn)入。貝葉斯推斷的一般模式：先驗信息樣本信息后驗信息(見圖1)圖1貝葉斯推斷的基本模式貝葉斯學(xué)派認(rèn)為，先驗

3、分布反映了實驗前對總體分布的認(rèn)識，在獲得樣本信息后， 人們對這個認(rèn)識有了改變，其結(jié)果就反映在后驗分布中，即后驗分布綜合了參數(shù)先驗分布和樣本信 息。由此可以看出，頻率學(xué)派統(tǒng)計推斷是“從無到有”的過程：在實驗前，關(guān)于未知參數(shù)的情況是一無所知，而試驗后則有些了解，但對了解多少并無普遍的表述方法，在實踐中有賴于所使用的統(tǒng)計量的針對性。貝葉斯推斷則不然，它是一個“從有到有”的過程，且結(jié)果清 楚自然，符合人們的思維習(xí)慣。根據(jù)所獲得的信息修正以前的看法，不一定從零開始。從本質(zhì)上說，貝葉斯推斷方法概括了一般人的學(xué)習(xí)過程。貝葉斯方法只能基于參數(shù)的后驗分布來分析問題。也就是說，在獲得后驗分布后，如果把樣本、原來的

4、統(tǒng)計模型(包括總體分布和先驗分布)都丟掉，一點也不會影響將來的統(tǒng)計推斷問題，凡是符合這個準(zhǔn)則的推斷就是貝葉斯推斷。據(jù)此，頻率學(xué)派中的矩估計、顯著性統(tǒng)計檢驗和置信區(qū)間估計都不屬于貝葉斯推斷的范疇，但MLE估計則可視為均勻先驗分布下的貝葉斯估計。因此，作為頻率學(xué)派中一個很重要的極大似然估計，不過是在一種很特殊的先驗分布下的貝葉斯估計而已。 陵先驗分布理論式(1.2.3)中p( 8)表示的先驗概率密度代表了我們對于一個模型中參數(shù)的先驗信息，是一個事前的自覺的認(rèn)識(分“基于數(shù)據(jù)”的先驗和“非基于數(shù)據(jù)”的先驗)，即在貝葉斯方法中，關(guān)于模型參數(shù)的先驗信息。 先驗分布是貝葉斯推斷理論的基礎(chǔ)和出發(fā)點，它大體上

5、可以分為擴(kuò)散先驗分布和共軻先驗分布兩大類。§3.1 擴(kuò)散先驗分布3.1.1 位置參數(shù)的擴(kuò)散先驗分布如果隨機(jī)變量Y的分布密度函數(shù)為 f(y ), ，則稱為位置參數(shù)。假設(shè)沒有信息可以被利用，現(xiàn)在要確定的先驗分布。如果將隨機(jī)變量Y做平移變換，Z Y a,同時對位置參數(shù)也做同樣的平移變換a,則Z的分布密度函數(shù)為 f(z ), ，顯然(Y,)與億，)有相同的統(tǒng)計結(jié)構(gòu)，從而 和 有相同的先驗分布 p(g)和概率空間。由 Radom-Nikodym定理有p( ) p( a),(1.3.1)取 a ,可以得到p( ) const,從而位置參數(shù)的擴(kuò)散先驗分布為P( ) 1,(1.3.2)對于正態(tài)分布

6、N( , o) ,0已知，此時是位置參數(shù)，利用上述結(jié)論，參數(shù)的擴(kuò)散先驗分布為p( ) 1, R(1.3.3)3.1.2 尺度參數(shù)的擴(kuò)散先驗分布如果隨機(jī)變量Y的密度函數(shù)的形式為 -f -y ,0 ,則稱 為尺度參數(shù)。如果改變尺1 z度單位，令Z aY, a ,0,易知Z的分布密度函數(shù)為 1 f -；同樣地，(Y,)與(Z,)有相同的統(tǒng)計結(jié)構(gòu),有相同的先驗分布p(g),由Radom-Nikodym 定理，對于尺度參數(shù) ，在無先驗信息可利用時，尺度參數(shù)的先驗密度函數(shù)，p()可取做，、1Cp( ) 一,0(1.3.4)對于正態(tài)分布 N( 0, 2) ,0已知， 0|未知，此時標(biāo)準(zhǔn)差|是尺度參數(shù)，利用上

7、述結(jié)論，參數(shù)| |的擴(kuò)散先驗分布為，、1Cp( )，0(1.3.5)§3.2共軻先驗分布共軻分布是貝葉斯分析中常見的另一類參數(shù)先驗分布，其思想基礎(chǔ)是先驗的規(guī)律和后驗的規(guī)律具有一致性，這一要求的具體化就是先驗分布和后驗分布要屬于同一類分布族。對于每個具體的分布來說，都有其共軻分布，下面利用似然函數(shù)的因子分解式和充分統(tǒng)計量等分析 方法來構(gòu)造所需的共輾先驗分布。定理3.2.1假設(shè)Y1,M,L ,Yn是來自分布密度函數(shù)為f(y| )的總體的一個樣本,tn t(Y1,Y2,L ,Yn)是參數(shù) 的充分統(tǒng)計量，即似然函數(shù)可做下面分解:nL( ) f( |Y) gn(tn, )h(Y,L ,Yn)(

8、1.3.6)i 1其中h(Y,Y2,L ,Yn)與參數(shù) 無關(guān)。如果存在函數(shù) p(),它滿足如下兩個條件:(1) p( ) 0,；(2) gn(tn, )P( )d 有限，則 r、4三龍(8)|蟲。)=75-x1t必力)I g式。)L* ®j為參數(shù)的共軻分布族。這里只介紹共軻先驗分布的具體定義，有關(guān)它的相關(guān)結(jié)論見參考文獻(xiàn)2。§4貝葉斯方法的優(yōu)點貝葉斯理論的哲理有很大的吸引力，并且方法簡單，它在統(tǒng)計推斷模式上與頻率學(xué)派的不同之處在于：頻率學(xué)派認(rèn)為，似然函數(shù)概括了有關(guān)參數(shù)的全部信息，因此關(guān)于參數(shù)8的統(tǒng)計推斷只要利用似然函數(shù)就夠了；而貝葉斯方法既利用了似然函數(shù)，又利用了參數(shù)先驗信息

9、。如果先驗信息很少或者沒有先驗信息，這時貝葉斯推斷方法所得到的結(jié)論與頻率方法基本相同。與頻率方法比較，貝葉斯方法有以下幾方面優(yōu)點：貝葉斯方法充分利用了樣本信息和參數(shù)的先驗信息，在進(jìn)行參數(shù)估計時， 通常貝葉斯估計量具有更小的方差或平方誤差，能得到更精確的預(yù)測結(jié)果；貝葉斯HPD置信區(qū)間(最高后驗概率密度區(qū)間)比不考慮參數(shù)先驗信息的頻率置信區(qū)間短；能對假設(shè)檢驗或估計問題所做出的判斷結(jié)果進(jìn)行量化評價，而不是頻率統(tǒng)計理論中的接受、拒絕的簡單判斷。二、貝葉斯向量自回歸模型(BVAR)在變量較多，滯后階數(shù)較高時，即所要估計的參數(shù)較多的情況下，Bayesian估計方法提供了一個較好的方法，擬合效果要比傳統(tǒng)的極

10、大似然估計方法好。§1貝葉斯非限制性 VAR模型如果令yt A(yit,y2t,L , ymt)T表示|m個變量在t點處的取值，則向量序列y 的滯后階數(shù)為p的非限制性VAR( p)模型可以表示為yt c Aiyt 1 A2yt 2 L A pyt p Ut,t 1,2L ,n(2.1.1)此處c是一個m維向量，Aj, j 1,2L ,m均為m m的系數(shù)矩陣，向量 Ut是一個m維白噪聲向量，即ut i.i.d.Nm(0r),t 1,2L ,n而、是一個m m正定陣向量。易知非限制性 VAR( p)模型中的每個方程的解釋變量是相同的?？梢詫?2.1.1)化成多方程模型系統(tǒng)形式y(tǒng)t BTZ

11、t Ut,t 1,2L ,n(2.1.2)其中AT1ATyt1zyt 2MAcytnp (mp 1) m1ytp(mp 1) 1進(jìn)一步，若將向量yt,BTzt和Ut,t 1,2,L ,n的轉(zhuǎn)置分別按行依次排列，各自形成一個n m矩陣，則上述n個方程可以簡化為一個更為緊湊的矩陣表達(dá)形式Y(jié) ZB U,U-Nnm(0,、 In)(2.1.3)其中特別地，對于擴(kuò)散先驗分布，非限制性VAR( p)模型參數(shù)的后驗分布有如下結(jié)論:定理1.1在擴(kuò)散先3分布(B,方|耳(m1)/2下，非限制性VAR( p)模型參數(shù)的后驗分布為(B|Y,Z)Mtkm(?,ZTZ,S,n k),( 2|Y,Z)IWm(S,n m)

12、,k mp 1(2.1.4)其中B (ZTZ) 1ZTY,S YTIm (ZTZ) 1ZTY立貝葉斯限制性VAR模型在VAR( P)模型中，模型系數(shù)B可能受到某些條件的限制，如各方程中解釋變量并不完全相同，某些變量可能在部分方程中出現(xiàn)，但并不出現(xiàn)在其他方程中；或者，部分方程中有線性趨勢項或季節(jié)變量，而其他方程不包含這些變量。根據(jù)Zeller的觀點，在一般排斥性限制條件下，(2.1.1)式中的VAR( p)模型模型能夠?qū)懗扇缦滤撇幌嚓P(guān)模型：Y 咎 i i,i 1,2,L ,m(2.2.1)此處Y是由第i個變量n個觀測值構(gòu)成的n維向量，Z%是第i個變量單方程模型的n ki設(shè)計矩陣，它由變量 y1,

13、y2,L ,ym的部分滯后項組成；i是第i個變量單方程模型的 ki維系數(shù)向量，i是門維正態(tài)隨機(jī)誤差向量。若將這個方程寫成一個矩陣形式，則有Y 矛。,Nmn(0,、In)(2.2.2)其中Y1於0L01丫2Y,2 ,必0的L0,2MMMMMMYmm00LZmm由于這一情形不作為我們研究的重點，所以這一部分的相關(guān)結(jié)論暫時省去，詳見參考文獻(xiàn)3。迷共軻先驗分布下VAR模型的貝葉斯分析對于一般共軻分布而言，由于超參數(shù)太多，VAR( p)模型的貝葉斯推斷只具有理論上的意義，而不能應(yīng)用于實際預(yù)測分析中，本節(jié)研究一類特殊的參數(shù)共軻先驗分布：Minnesota共軻先驗分布下VAR( p)模型的貝葉斯分析理論。M

14、innesota 先驗分布是Litterman 于1986年提出來的，它主要用于解決共軻先驗分布下 貝葉斯VAR( p)模型中超參數(shù)過多問題，提高模型的預(yù)測精度。迷.1 Minnesota先驗分布如果(2.1.1)式的VAR( p)模型不含常數(shù)項，則模型中的具體方程如下：m pyit(2.3.1)ajryjt r Uit,i 1,2,L ,m;t 1,2,L ,n.顯然ajr表示第i個方程中變量yj的r階滯后項yj r的系數(shù)，如果隨機(jī)參數(shù)aijr服從均值為ijr、方差為Sij；的正態(tài)分布，此時模型(2.3.1)中參數(shù)先驗分布中需要確定的超參數(shù)至少有2m2p個：m2 p個先驗均值ijr和m2 p

15、個先驗方差S；。如果不考慮先驗信息的可取性，在一般情況下要合理地給定這2m2p個超參數(shù)的取值是相當(dāng)復(fù)雜和困難的，因此，必須想辦法減少需要賦值的超參數(shù)的數(shù)量，確定超參數(shù)的合理取值，提高模型的預(yù)測能力。Minnesota先驗分布就是解決這一問題的有效方法，它的基本假定包括以下幾個方面：(1)正態(tài)性”(Ui,U2,L Um) Nm(0,力；(2)協(xié)方差陣、和系數(shù)ajr,i 1,2,L ,m,r 1,2,L , p相互獨立；(3)協(xié)方差陣、的模型先驗分布取為擴(kuò)散先驗分布，即(m 1)/23 |斗 ,2 0(2.3.2)(4) ajr相互獨立服從正態(tài)分布N( ijr ,Sr ) ,ijr表示參數(shù)ajr的

16、最佳猜測值，而S2反 映了對這個猜測的信心，其取值越小表示對此猜測的信心越大;(5)均值ijr按照下述公式確定：(2.3.3)1,i j,r 1,ijr0,其他情況,即方程左邊的變量只由其系數(shù)為1的滯后一階變量表示；(6)標(biāo)準(zhǔn)差Sjr可以分解為4個因子的乘積，即SiSjrg(r) f (i, J) (2.3.4)Sj此處 是總體緊度，它的取值大小反映了分析人員對先驗信息的信心大小程度，較小的 值代表了對先驗信息的較大把握；g(r)是r階滯后變量相對一階變量的緊度，它表示過去信息比當(dāng)前信息有用程度的減少；函數(shù)f (i, j)是第i個方程中第j個變量相對于第i個變量的緊度，s是變量v的單變量自回歸

17、模型的標(biāo)準(zhǔn)差。洽.2滯后延遲函數(shù)在Minnesota先驗分布中，滯后延遲函數(shù)g(r)的選擇必須能反映這樣一個基本信念：隨著滯后長度的增加，滯后變量的系數(shù)趨向于零；據(jù)此這里使用Doan推薦的調(diào)和滯后延遲函數(shù)，形式如下：,、 d , 八g(r) r ,d 0(2.3.5)§3.3相對緊度函數(shù).、 一 .一 .2,.2_2 .一、在確定r和g(r)后，先驗分布中超參數(shù)數(shù)量已經(jīng)從m p減少到m 2： m個相對緊度函數(shù)f (i, j),以及r和g(r)；若進(jìn)一步選擇合適的f (i, j),則先驗分布中參數(shù)個數(shù)可大為減少。顯然，f(i,j)可以看做一個 m m矩陣F A(f(i,j)mm的(i,

18、 j)處的元素，如果f(i, j)取如下形式的函數(shù)：(2.3.6)1,i j f(i, j) . Wij ,ij其中Wj是一個介于0 1的常數(shù)，它的取值大小反映了第i個方程中其他變量(不包括 x及其滯后變量)的相對緊度。如果對所有的i j,均有wj，一2，w成立，則m個參數(shù)f (i, j)的選取問題轉(zhuǎn)化為確定一個超參數(shù) W的大小。迷.4標(biāo)準(zhǔn)差之比S / Sj的涵義在Minnesota先驗分布的基本假設(shè)(6)中，Si / Sj是第i個序列 yit的自回歸殘差標(biāo)準(zhǔn)差與第j個序列yjt自回歸殘差標(biāo)準(zhǔn)差之比,Si由 yit對常數(shù)項和其p階滯后項的 OLS回歸的殘差標(biāo)準(zhǔn)差得到。比例 s/q主要用于反應(yīng)：

19、先驗分布的設(shè)定必須考慮實際的樣本數(shù) 據(jù)信息。以上是Minnesota先驗分布的基本含義及其參數(shù)設(shè)定問題的研究，為使上述描述更直觀，這里以一個滯后長度為2階的雙變量VAR( 2)模型加以說明，該模型系數(shù)的 Minnesota先驗分布為% =+ "UJ /JT + 口心 y-2 + «1i的降¥3碧)Hr -/十力4 yij-2 + /NJ* 口工工2 >2j-2 + u2tfo f 與、I" JUM(2.3.7)括號內(nèi)的第一項為先驗分布的均值，第二項為先驗分布的方差。§3.5模型參數(shù)的后驗估計如果將限制性VAR(p)模型轉(zhuǎn)化成如卜形式不相關(guān)

20、模型:匕=2坦+與.i = 1,2.用然后再寫成（2.2.2）的形式Y(jié) Z% , Nmn（0, In）井將模型參數(shù)的Minnesota先驗分布筒記為此處局的分量為?；騆而協(xié)方差陣是由門塊對的降構(gòu)成的.其中的每一個時角陣的元素由S組成,非對角塊元素均為零的矩陣.根據(jù)貝葉斯定理，在上述Minnesota先驗分布下.參數(shù)（良£）的聯(lián)合后臉分 布密度函數(shù)為河區(qū)工廳,辦7r:卬卜夕。2#）t®,4均）丁川（。一川“0cGP卜會力-瓦 V 皿-瓦）一片節(jié)”瓦1其中南=yT2，E®-外 知顯然，村干給定的協(xié)方差陣E.系數(shù)矩陣A的條件后鼎分布是均值為08,協(xié)方 差陣為吠的多元正態(tài)

21、分布，即（0£,.2人“優(yōu),V）在實際應(yīng)用中,先求出工的ML估計£ = s/ntS-/Zm -右 2z2%揩其替代06中的怖方差陣E進(jìn)行頸測分析.§3.6 模型預(yù)測結(jié)果及其精度預(yù)測在獲得模型參數(shù)的估計用，叫以利用與葉斯VAR(p)模型對其進(jìn)行預(yù)潮分 析，具體預(yù)薄步黑AR模型和VAR模型的演測蚱驟基本一致，可以是一步超前 (one step ahead)也測、兩步超前fftSHlwo steps曲ead)或多步超前(卻cral steps ahead)糧測，模型模溺的精度可以從多個方面進(jìn)行評價,如絕對均方誤差、平均絕對謨差 百分比.此處我們利用Theil的U統(tǒng)計帶來

22、分析貝葉斯VAR刎模型的預(yù)測精攫. U貨計量是基于所研究的預(yù)測模型的均方根謨車與熱于隨機(jī)游走(random walk)ffl 剿模型的均方根誤差之比.即其中4表示時間序列在，處的實后值，尸風(fēng)收示基于預(yù)測方法的的博測值，而 相好,是基f隨機(jī)源走模型的預(yù)測值.如果U的取值等于1.0,則說明方法M的 澳測精度與隨機(jī)游走模型的頰測精度基本相同；如果U的取值小于L0,則說明 方法”的預(yù)測精度比隨機(jī)搟走模板的預(yù)測精度更高；如果U的取值大于I。則 說明方法M的超測精度比隨機(jī)游走模型的葩利精度低.此時該方法不能提高時間 序列的璇測精度，從而也就不適合于預(yù)測用途.§3.7 具體數(shù)值算例作為上述方法的應(yīng)

23、用，對美弧，英國、法國、德國，加拿大、意大利和日本 等西h七國集團(tuán)的GDP增長率1詞、通貨膨脹格(%)和進(jìn)出口總赧(b$J的數(shù)據(jù)分 別建O.AR模型、VAR模型和貝葉斯VAR模型，比較這三類模型的預(yù)測精覺首先，根據(jù)美國Estima公司提供的時間序列數(shù)據(jù)，利用 Sims似然比檢驗量確定模型的最優(yōu)滯后階數(shù)，模型 VAR( p1)對模型VAR( p2)的似然比檢驗統(tǒng)計量為=內(nèi))(加1耳，11口 14,1) , PV<P2此處0 耳1分別是模型VAR3)和VARSA的殘差辦方差陣，N是樣本大小. 府是修正因子項,它等于VARS)模型中回婦因子的個數(shù).表641列出了 VAR 模型滯后3階對滯后5階

24、的假設(shè)檢驗結(jié)果，檢驗結(jié)果有利于較短的滯后物數(shù).而 在滯后3階對滯后4階的釵設(shè)檢驗，校驗結(jié)果有利于3藉后階數(shù)，因此瑞定VAR 模型的之后階數(shù)為工表1.模型最優(yōu)滯后階數(shù)的 LR檢驗結(jié)果HjiH/ p，3+ Hj/“4LR率LA做事GDPif K0 2JIJQ570 002通境曲就9210-123M920 000進(jìn)出口總膜11560M6D.470.019然后，選擇貝葉斯 VAR模型中3個超參數(shù)，衰減參數(shù)（d）、總體緊度（r）和相對緊度（w）, 此處考慮超參數(shù)的三種組合情況（表 2）,并將相應(yīng)的貝葉斯 VAR模型分另IJ記為 BVAR1、 BVAR2 和 BVAR3.表2.模型超參數(shù)的選擇dr*HVA

25、Rr1.004Q3hvar:IjD03Cli4BVARJ1.0020.6利用RATS5.0軟件和1963:1992:4的數(shù)據(jù)對AR模型.VAR模型和貝時斯 VAR*）摸型進(jìn)行估計，并對1993:1-1998:4進(jìn)行1步超前至8步超前便測，并計 算【步超前預(yù)測至4步超前預(yù)測，5步超前顫制至8步超前預(yù)測的平均泰爾U統(tǒng)統(tǒng)計值，有關(guān)結(jié)果列于表 3和表4.表3.14步超前預(yù)測的平均西爾U統(tǒng)計值（1993:11998:4)黃國修聃口率平均GTW增氏率AR0 711OS39口210.7400AU0 86607MO.TfiVAR0.83201740.6490.8J6O.72t0 8820345氏73hvari

26、O65fl0 62206130.6920,5010 7310.383HVAF2O.55flO.T6903誄0.6200433O.HU。例nrmBVARJ0.51507400.6010.7100.568o.m04360,624通貨加器率aR06J705MOBIV0.652Q.7960.602aeoVARn MQ。網(wǎng)U86A0,7060-7760 5720 6fi«0.66$BVARI0 S260怫。制70.6390.732Ei 5T2OMVlBVAS20.4450D708O.6J8。句0.6290 6W0.5930 4490.5170.8T30.6370.6020 5950 6W拼冊口

27、AR0S：90 B8O0W3O86Roe%0 7?00 7480.818VAROM?OMfl0.M70.627QM0.7470.791tlVAfl 10投f0.4730 6M070n，qi0 5270 718OjMBVAR2H 4X704?l0S7S0 62THVAH3Q81S0.4V906900.743u.M20518OJ85064)表4. 58步超前預(yù)測的平均西爾U統(tǒng)計彳1 （ 1993:11998:4）黃國地同意大利加掌大平均GDP增忙率AR。曉0.9510510.的flC.7IJ0.757D.*J5VAR0.815fl口多20C6270557RVARI04Inm0如0 &36Q.IUV。川】。制m0.747BVAR2DS42o. sotn.iu0 5S70 542口一抬*BVAR30.737O.K600 77506”0.452G4M。.枷0.644通貨器率AA伍川269門O.S350.K540K2O0 84VAR0.7OT0一吟07g47930 75«BVAR1(15 Wa 4550