異方差與自相關(guān)廣義線性模型

1、文檔來源為：從網(wǎng)絡(luò)收集整理,word版本可編輯.歡迎下載支持第三章異方差與自相關(guān)廣義線性模型本章繼續(xù)討論線性模型Y=X B + e , E ( £ )=0(所不同在于以前的關(guān)于誤差方差的假定是Var( e )= 0- 2In(這一章逐次推廣討論。第一節(jié)討論異方差的存在與檢驗(yàn)，尤其是在經(jīng)濟(jì)模型資料中的存在與影響，第二節(jié)討論的是 ,222Var( ) diag (1，n )，i /1， ，n 已知(22222222Var( ) diag ( 1 , 1 , 1 ,2,2, 2), 1 , 2 未知22、2Var( ) diag( 1, , n), iexp(Zi )，未知(這些都是誤差方

2、差為對(duì)角陣的模型。第三節(jié)討論自相關(guān)線性模型。首先討論的是殘差一階自回歸線性模型，它的殘差滿足此時(shí)殘差e i的方差雖不為對(duì)角陣, 模型，它的誤差假設(shè)是E( i) 0,E( 2)2,E( i j) 0,(i j)但只含一個(gè)參數(shù)。 接著我們介紹自回歸條件異方差(ARCH)22i 01 i 122E( i) 0,E( 2)2,E( i j) 0,(i j)因?yàn)槟Ｐ陀?jì)算中用到了廣義矩估計(jì)方法(GMM),我們?cè)诘谒墓?jié)又介紹了GMM。第五節(jié)討論的是22Var( ) M 0, 未知，M已知第六節(jié)討論的是22Var( ) M 0, 未知，M已知所討論的內(nèi)容還是各種回歸模型、算法及性質(zhì)。第一節(jié)異方差的存在與檢驗(yàn)一

3、、異方差的存在與影響前面介紹的線性回歸模型，都是假定隨機(jī)誤差項(xiàng)ei獨(dú)立同分布，有相同的方差1文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除文檔來源為：從網(wǎng)絡(luò)收集整理,word版本可編輯.歡迎下載支持(Homoscedasticity)E( i) 0, Var(i)2但是實(shí)際抽樣很難保證這一點(diǎn)。經(jīng)濟(jì)對(duì)象千差萬別，群體間的差別導(dǎo)致樣本方差不一致，于是就有所謂異方差可以按不同標(biāo)準(zhǔn)劃分成不同的群體。這些(Heteroscedasticity):E( i) 0, Var(反映在散點(diǎn)圖上，如下圖可以明顯看出樣本方差與點(diǎn)圖(Xi, Yi)有關(guān)，隨著樣本數(shù)值增大而增大。由于樣本方差的差異，原來最小二乘估計(jì)的一些優(yōu)良性質(zhì)

4、不再存在。如在一元線性回歸01Xi i,1,我們知道最小二乘估計(jì)SXYn(Xi X)(Yi Y)1SXXi 1n(Xij 1X)2Xi XYSxx i(XX(XiVar( ri)(XiSXXX)Var (Yi)Var(。)X(XiSXX一 2X)Var(Yi)現(xiàn)在Var(Yi)不是常量，我們就無法證明0是最小方差線性無偏估計(jì)。顯著性檢驗(yàn)也成了問題。原來構(gòu)造的 F統(tǒng)計(jì)量是分子分母都含有未知參數(shù)(T2,可以分別提取公因式再約去，現(xiàn)在是異方差，按原來方法構(gòu)造的F統(tǒng)計(jì)量里的未知參數(shù)無法直接約去，預(yù)測(cè)精度也無法保證。差不多原來推導(dǎo)的各種統(tǒng)計(jì)方法、統(tǒng)計(jì)性質(zhì)由于基礎(chǔ)動(dòng)搖而都需重新考慮。因此我們需要將一般線性

5、回歸模型推廣。題。不過在推廣之前，首先要解決異方差的檢驗(yàn)問二、異方差的檢驗(yàn)異方差的檢驗(yàn)一般需要比較大的樣本，一般都是作所謂殘差分析。 圖2文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除文檔來源為：從網(wǎng)絡(luò)收集整理,word版本可編輯.歡迎下載支持 最簡(jiǎn)單直觀的方法是將殘差平方? (Y 玲2, i 1, ,n(與年畫在一張圖上，大致可以看出殘差是否發(fā)生改變。圖，其余圖像都指示有異方差。還有一些方法對(duì)異方差問題作統(tǒng)計(jì)檢驗(yàn)。1. Park檢驗(yàn)2R. E. Park建議將i看作解釋變重X的函數(shù)，并使用函數(shù)形式為22Xi e i(或取對(duì)數(shù)其中是隨機(jī)分布項(xiàng)。因?yàn)?：未知，就用殘差項(xiàng)的平方e2代替對(duì)上式作回歸，并作假設(shè)

6、檢驗(yàn)。若 3=0成立，則認(rèn)為異方差不成立；若 3 W0成立，則認(rèn)為 異方差成立。Park檢驗(yàn)要作兩次最小二乘，第一次是對(duì)原始資料對(duì)(Xi, Yi),獲彳#年,？；第二次是對(duì) (Xi,?2)。從某種意義上講，是用第二次最小二乘去否定第一次最小二乘，用第二次假設(shè)去否定第一次假設(shè)。類似的還有Glejser檢驗(yàn)，不過使用的回歸方程不一樣。2. Breusch Pagan Godfrey (BPG)檢驗(yàn)這里考慮的是多元問題，基本思想差不多。設(shè)原始資料滿足模型Y 0 iXiimXmi i先用普通最小二乘獲得 Y?,?，作2n?n i 11 n注意這里不是 ?2 (Yi Y；)2。然后定義變量n m 1 i

7、 14 / 2Pi格/用Pi與Xji去作回歸Pi 01 X1imX mi i3文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除文檔來源為：從網(wǎng)絡(luò)收集整理.word版本可編輯.歡迎下載支持們救得回歸平萬和Ses,定義統(tǒng)計(jì)量1s1 n2Ses2i(P?iPi)21(口以證明在止態(tài)假設(shè)卜，當(dāng)樣本容量充分大時(shí)， m 1，（n有漸近分布：）(于是對(duì)給定顯著性水平，當(dāng) 超過 2分布的臨界值時(shí)，就拒絕同方差假設(shè)，算例3.1.2消費(fèi)-收入異方差資料的 BPG檢驗(yàn)接受異力差假設(shè)。在文獻(xiàn)1里，收付表3.1.2 消費(fèi)（Y）,組消費(fèi)（Y）與收入（X）的資料，共 收入（X）60對(duì)，要求作異方差檢驗(yàn)。YXYXYX55.80.152.

8、220.95.140.65.100.144.210.108.145.70.85.175.245.113.150.80.110.180.260.110.160.79.120.135.190.125.165.84.115.140.205.115.180.98.130.178.265.130.185.95.140.191.270.135.190.90.125.137.230.120.200.75.90.189.250.140.205.74.105.55.80.140.210.110.160.70.85.152.220.113.150.75.90.140.225.125.165.65.100.137.

9、230.108.145.74.105.145.240.115.180.80.110.175.245.140.225.84.115.189.250.120.200.79.120.180.260.145.240.90.125.178.265.130.185.98.130.191.270.當(dāng)然在計(jì)算機(jī)數(shù)據(jù)文件里它是排成2算得原始資料回歸方程為Y? 9.2903而不是6歹U。0.6378Xi使用我們自編的異方差檢驗(yàn)程序，（4文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除文檔來源為：從網(wǎng)絡(luò)收集整理,word版本可編輯.歡迎下載支持再將Pi對(duì)Xi回歸，得方程?i0.7426 0.0101Xi(程序算得統(tǒng)計(jì)量5.21

10、40(從程序自帶的電子數(shù)表上查得2.99(1) =6,6349,因?yàn)?.2140<6,6349,故在0.01的顯著性水平，不認(rèn)為異方差存在，于是有了進(jìn)一步回歸分析的可能。當(dāng)取顯著性水平為0.05時(shí)，0.95(1)=3.8414,于是認(rèn)為異方差存在，就只打印一般最小二乘回歸結(jié)果，不能作出基于正態(tài)同方差的統(tǒng)計(jì)檢驗(yàn)。實(shí)際計(jì)算執(zhí)行過程如下，由于F統(tǒng)計(jì)量高達(dá)4722,再看擬合效果圖(圖，(丫，1 )與(詔,1 )確實(shí)擬合非常好。很難想象這里面還會(huì)有什么問題。下面是計(jì)算過程與結(jié)果。異方差資料 BPG檢驗(yàn)計(jì)算程序，例第一列為Y,以后各列為 X例312.D數(shù)據(jù)文件中，n=60, M=1要顯示原始資料嗎？

11、 0=不顯示，1=顯示(0)原始資料回歸方程：Y = b0 + b1*X1 + . + bm*Xm回歸系數(shù) b0,b1,b2,9.2903.6378.0000殘差平方和：4722.31 回歸平方和：83773.38誤差方差的估計(jì)：,0000標(biāo)準(zhǔn)差=8.8716請(qǐng)輸入卡方檢驗(yàn)的置信水平(0.01)BPG檢驗(yàn)Z果：顯著性水平：,01 統(tǒng)計(jì)量 5.2140卡方臨界值：6.6349方差資料回歸方程：Pi = a0 + a1*X1 + . + am*Xm回歸系數(shù) a0,a1,a2,-.7426.0101.0000殘差平方和：97.82 回歸平方和：20.86誤差方差的估計(jì)：,0000標(biāo)準(zhǔn)差=1.2768

12、BPG檢驗(yàn)通過，不認(rèn)為有異方差，對(duì)原始資料進(jìn)行一般回歸分析并打印計(jì)算結(jié)果現(xiàn)在作線性回歸顯著性檢驗(yàn)，計(jì)算t,F,R統(tǒng)計(jì)量請(qǐng)輸入顯著性水平 a,通常取a=0.01, 0.05, 0.10, a=?(0.01)線性回歸分析計(jì)算結(jié)果樣本總數(shù)60自變量個(gè)數(shù)1回歸方程 丫 = b0+b1*X1+.+b1*X1Y =9.2903 +.6378 X1回歸系數(shù) b0, b1, b2, ., b15文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除文檔來源為：從網(wǎng)絡(luò)收集整理.word版本可編輯.歡迎下載支持.63789.2903殘差平方和：4722.31回歸平方和：83773.38誤差方差的估計(jì)：78.7051 標(biāo)準(zhǔn)差 =8.

13、8716線性回歸顯著性檢驗(yàn)顯著性水平：.010回歸方程整體顯著性 F檢驗(yàn)，H0:b0=b1=.=b1=0F 統(tǒng)計(jì)量：1028.9160 F 臨界值 F(1,58)7.093全相關(guān)系數(shù) R :.9730回歸系數(shù)逐一顯著性 t檢驗(yàn)，H0:bi=0, i=1,.,1t 臨界值 t( 58)2.3924回歸系數(shù)b1-b 1的t值：7.6158要作回歸預(yù)測(cè)嗎？鍵入0=不預(yù)測(cè)，1=要預(yù)測(cè)(0)要打印擬合數(shù)據(jù)嗎？ 0=不打印，1=打印 (0)計(jì)算結(jié)束。再看原始資料的散點(diǎn)圖(Yi, Xi )(圖，覺得資料似乎分為兩段，前段方差較小，后段方差較大。圖再看殘差圖«2,丫(圖，確實(shí)存在明顯的異方差，在 Y

14、=140以前，方差較小，在 Y=140 以后，方差明顯增大。這些圖像都由本軟件自動(dòng)生成，很方便。圖第二節(jié)協(xié)方差為對(duì)角陣的廣義線性模型一、協(xié)方差為已知對(duì)角陣與廣義最小二乘我們先考慮簡(jiǎn)單的情況，設(shè)模型為Y X_222(E( ) 0,Var( ) diag( 1,2, n)如果i2,i 1, ,n已知，也就是 已知，則我們定義 B的廣義最小二乘估計(jì)為? (X 1X) 1X1Y(6文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除文檔來源為：從網(wǎng)絡(luò)收集整理,word版本可編輯.歡迎下載支持 廣義最小二乘估計(jì) (Generalized Least Square Estimate)簡(jiǎn)稱為 GLS 估計(jì)，是 A. C.

15、Aitken(1934) 首先提出來的。在中是對(duì)角陣的情形，容易找到P diag( 11, 21, n1)(使得1P P 1(我們定義變換* * *X PX, Y PY, P(則原模型成為* * *Y X* * (E( ) 0,Var( ) In? (X X ) 1X Y(這就轉(zhuǎn)化成了普通的最小二乘估計(jì)。這種情況的估計(jì)也稱為加權(quán)最小二乘估計(jì)(Weighted Least Square Estimate, WLS 估計(jì))，因?yàn)槲覀儗?shí)際上是對(duì)觀測(cè)值作了加權(quán)處理，權(quán)函數(shù)是i 1,i 1, , n。此時(shí)我們極小化的函數(shù)是n2 (Y X )1(Y X )(i 1 i我們看到，較小的b i將使該項(xiàng)變大，從

16、而發(fā)揮較大的作用， 而較大的b i表示該項(xiàng)資料不可靠， 就使其發(fā)揮較小的作用。這一點(diǎn)從n1 n?i2XiXii2XiY(i 1i 1也容易看出。二、僅含兩個(gè)未知方差量的模型下面考慮方差未知的情況，很明顯這時(shí)未知方差不能太多。如果是 diag ( 12, , 2)全部未知，我們就無從下手了。因?yàn)橐还仓挥衝組資料，如何去估計(jì) n個(gè)方差？我們就假定只有兩個(gè)方差量的情況，；與2未知，模型被劃分為7文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除文檔來源為：從網(wǎng)絡(luò)收集整理,word版本可編輯.歡迎下載支持Xi丫2X2(YiY2),X(X1X2),_1Var( ) E ( 1 2)212|n12|n2這里 Yin 1

17、,Xn m, mi, in 1/1,2； Ai 扈 Ao Y這樣模型可以被劃分成兩個(gè)模型，它們必須要有相同的回歸系數(shù)，但方差則不同。丫 X12,1 ,Var ( 1 )1 1 n1Y2X22 , 2,Var( 2)2 1 n2我們當(dāng)然不能想象這兩個(gè)子模型完全分開，各算各的。在2和2已知時(shí)，由前一段的廣義最小二乘方法，有X2Y2221111(XX) X YX1X1 X2X2X1Y12-2-2121現(xiàn)在情況是 12與;未知，必須先估計(jì)它們。這倒不難，方差是分開的，在各臼的子模型中估計(jì)就是了：2 -SR -(Yi Xi ?)(Yi Xi?i),i 1,2ni m ni m?i (XiXi) 1XiY

18、i,i 1,2在有了各自的方差估計(jì)后，在 （？i2 i2? (X 1X) 1X 1YX1X1 X2X2X1Y1X2Y2可以證明？的漸近性質(zhì)n( ?) d N(0,(X ? 1X) 1)據(jù)此我們可以作出3的區(qū)間估計(jì)與假設(shè)檢驗(yàn)。本段所使用的二步估計(jì)法： 先估計(jì)方差，再估計(jì)回歸系數(shù)，在處理這一類問題中經(jīng)常用到。三、乘子異方差模型本段繼續(xù)推廣異方差模型， 考慮未知的方差可能有多個(gè)， 不過它們被寫成一個(gè)特殊的函數(shù)8文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除文檔來源為：從網(wǎng)絡(luò)收集整理,word版本可編輯.歡迎下載支持Y Xi i2(E( J 0,Var( J i exp(Zi ),i 1, ,n這里Zi(Zil

19、, Zi2，, Zik )是一個(gè)(1 X k)的已知向量，通常Zi1=1,而其余的Zi也是Xi的函(Zii,Zi2, , Zik)是一個(gè)(kx 1)的未知向量。模型的任務(wù)是估計(jì)方差可被寫為21 exp( 1) exo( 2Zi2) exp( kZ)故稱為乘子異方差模型。當(dāng) k=2 時(shí)，取 lnxi = Zi2, In 0- 2= a 1, p= a 2,則2 exp( Zi ) exp( 12Zi2)2Xip在一般情況下，2iexp(Zi ) exp( 12Zi2kk)22*exp( 2Zi2kZik)exp(Zi )這里z (Zi2, ,Zik),( 2, , k)。如果采用矩陣記號(hào)，在模型

20、(,exp(Z2 )exp(Z2 )exp(Zn )，一*'*、exp(Z1)，一*'*、2exp(Z2)一*'*、exp(Zn1 )如果我們能得到估計(jì) ？，那么就能得到估計(jì)？：,也就能得到估計(jì) ？。我們就沿著這條思路作下去。首先對(duì)2取對(duì)數(shù)得In i2 Zi(模型的殘差向量為9文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除文檔來源為：從網(wǎng)絡(luò)收集整理,word版本可編輯.歡迎下載支持? Y Xi?,i 1, ,n(這里? (XX) 1XY(這樣ln72,i 1,刀就計(jì)算出來了，結(jié)合(In / ZiIn ： In 7 Zi i,i 1, ,n(這里 iIn 72 In j ln( ？

21、 / i In(才/ i2) In( ：/ i2)；,(n) 10文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除)。方程組(，In ?是通常的觀測(cè)值，乙是設(shè)計(jì)矩陣?yán)锏南蛄浚琣是kxi的未知向量，隨機(jī)誤差項(xiàng)里也含有待估參數(shù)，暫不作考慮，一起記作q Z(這里q (In?2,刖胃)2 (Z1， ，Zk),( i，n),使用最小二乘，就得到”的估計(jì)1? (ZZ) Zq(這個(gè)估計(jì)的性質(zhì)真是說不清楚，因?yàn)?ZZ) Z ，而這里的v期望不一定為0,并且v里包含有我們可以求助于漸近性質(zhì)。記1-1-XX Q, -X X V nn假定Q、V都非奇，考慮？i的均值與方差，我們有E(? i)2 Xi(XX) 1XE X(XX)

22、1Xi 2Xi(XX) 1X X(XX) 1Xi 211v XX X X XX vX iXn n n n當(dāng)n 00時(shí),因此E(? i)20,于是(？ i)0,即? i,(n)文檔來源為：從網(wǎng)絡(luò)收集整理,word版本可編輯.歡迎下載支持如果假定 N(0, i2),則2 / 22，而ln(i2/ 2) ln 2，它的期望值可以算 出： * _ _ _E( i )1.2704(Var( i) E( i E(i)2 4,9348(Cov( i , j) 0, ij(現(xiàn)在我們終于松了一口氣。從漸近分布來看，模型 (，方差是常數(shù)，這完全滿足普通最小 一一.一一 、一 一一 * 、 一 .二乘模型的假設(shè)。只

23、是i的期望不為0,不過這不要緊，將期望值撥到模型的常數(shù)項(xiàng)，也就是“1里去就可以了。對(duì)于新的?( i 1.2704, 2, , k)(它已是一個(gè)很好的 LSE。同時(shí)我們還知道，而？*) d N(0,4.93481)(這里1 lim Z Z(n n現(xiàn)在該倒過來總結(jié)一下模型的算法。 從資料陣(Y X) YiX1i, ,Xmi：,以及Z1i, ,Zki ； 我們建立了模型(？ (XX)1XY, ? Y X ?, In ?2 q后我們得到模型(，從它又算出 ? (Z Z) 1Z q ,于是估計(jì)出？i2 ep(Zi ?) , ?,最后得到？及？。? (X ? 1X) 1X ? 1Y(? (Y X ?) ?

24、 1(Y X ?) /(n m)(由于存在漸近分布.n(?) d N(0, ?2(X ? 1X) 1)(我們可以據(jù)此作出關(guān)于？的假設(shè)檢驗(yàn)。第三節(jié)自相關(guān)線性模型11文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除.文檔來源為：從網(wǎng)絡(luò)收集整理,word版本可編輯.歡迎下載支持前面介紹的線性模型Y XE( ) 0,Var( ) diag( j, , 2)中只是對(duì)角陣，表示隨機(jī)觀測(cè)項(xiàng)Yi, i=1,n是彼此不相關(guān)的。在經(jīng)濟(jì)分析中，經(jīng)常遇到的問題是這種不相關(guān)假設(shè)難以滿足。這通常有三種可能：（1）Yi依賴于自身過去白數(shù)值，比如Yi是年度的經(jīng)濟(jì)指針，就與過去的基礎(chǔ)有關(guān)；（2）X包含解釋變量的當(dāng)前或滯后的數(shù)值，即由于 X

25、的相關(guān)性也造成 Y的相關(guān)性；（3）隨機(jī)誤差項(xiàng)e本身相關(guān)，它依賴于先前的隨機(jī)誤差值。前面 兩種情況意味著 X也是隨機(jī)的，我們放到以后的章節(jié)研究。這一節(jié)重點(diǎn)研究由于隨機(jī)誤差項(xiàng) £自身相關(guān)形成的自相關(guān)模型一、殘差一階自回歸線性模型隨機(jī)誤差項(xiàng)的結(jié)構(gòu)不同可能形成許多不同的線性模型。最普遍實(shí)用的是殘差一階自回歸過程的線性模型：Y Xii,i 1, ,ni i i i ,i 2, ,n（_22_E（ i） 0, E（ i ）, E i j 0, i j我們可以看出，對(duì)于原始資料Yi, Xi,它的隨機(jī)誤差項(xiàng)e i不滿足普通最小二乘方法要求的不相關(guān) 性。但是退而問其次，關(guān)于ei我們可以建立起一個(gè)真正的

26、普通最小二乘模型。當(dāng)|p |<1時(shí)，一階自回歸過程是平穩(wěn)的，i i i 1 i ( i 1 i 2) i于是kE( i)E( i k)0k 0Var( i)2kVar( i k)k 02k 2k 0E( i i 2) E( iE i22類似地12文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除1) E( i 1 i)E( i i 2)E( i 1 i 2) E( i 2 i)E( i 2 i1) i 2) E( i 2 i)文檔來源為：從網(wǎng)絡(luò)收集整理.word版本可編輯.歡迎下載支持22E( iis) L,s 1,2,3,注意它們都有公共因子于是我們獲得誤差協(xié)方差陣:E( ) E21211 n21

27、nn 1n 2n n1212n 1n 221n 3n 3112n 1n 2如果記矩陣1112n 1n 21n 1n 2n 312則階自回歸的線性模型也可以寫為O于是殘差Y X對(duì)于普通最小二乘回歸模型,E( ) 0, Var()這里就用¥取代了 In,對(duì)比上一節(jié)的異方差線性回歸模型，這里就是用¥取得了 diag( 12, 2)。對(duì)比下面要講的一般協(xié)方差正定的廣義線性模型，這里的協(xié)方差陣就是屬于那里的一個(gè)特殊情況，不過這里整個(gè)¥只與一個(gè)參數(shù)P有關(guān)，因而是可以估計(jì)出來的。要解殘差一階自回歸線性模型，應(yīng)該先采用(，再采用(，在回歸方程Yi Xii, i 1, ,n(中，從

28、原始資料作出 3的普通最小二乘估計(jì)? (XX) 1X Y(計(jì)算出殘差估計(jì)13文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除文檔來源為：從網(wǎng)絡(luò)收集整理,word版本可編輯.歡迎下載支持? Y? Y Xi ? Yi, i 1, ,n在關(guān)于殘差的回歸方程i i i, i 2, ,n中，利用？作回歸，得到p的估計(jì)第二步，再回到模型（，計(jì)算§的廣義最小二乘估計(jì):? (X 1X) 1X 1Y我們知道當(dāng) 里的階數(shù)較高時(shí),W-1在計(jì)算機(jī)上往往無法計(jì)算，所以應(yīng)該針對(duì)具體問題分析簡(jiǎn)化計(jì)算。對(duì)于（，可以從數(shù)學(xué)上推導(dǎo)出它的逆陣為1000120001200000120001而且可以驗(yàn)證，存在下三角分解,其中下三角陣.1

29、200001000P0100000100001這個(gè)P很容易在計(jì)算機(jī)上構(gòu)造出來，然后作變換* *Y PY,X PX14文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除文檔來源為：從網(wǎng)絡(luò)收集整理,word版本可編輯.歡迎下載支持則模型(* * *Y XE(Y ) 0, Var(Y )2I這里不可觀測(cè)項(xiàng)£ *=P e。此時(shí)模型變得滿足普通最小二乘條件，于是得到它的OLS估計(jì)? (X X ) 1X Y1*力 *力(Y X ?) (Y X ?) n p注意Y與X*的第一項(xiàng)分別是412Y與12Xi。這就使自由度沒有損失，參數(shù)估計(jì)保持其有效性。這里從矩陣分解的角度講Yi與Xi的來歷顯得合理一些?？赡軙?huì)問，既然

30、有了 ( ？，何必還要(？,Xi,OLS擬合效果已經(jīng)很好。但是它的方差較大，對(duì)未來資料擬合精度將較差。我們作回歸的主要目的難道不是為了對(duì)未來的預(yù)測(cè)嗎？關(guān)于殘差一階自回歸線性模型的檢驗(yàn)方法較多，比較重要的是Durbin-Watson檢驗(yàn)，但是這個(gè)檢驗(yàn)需要單獨(dú)的統(tǒng)計(jì)表，使用并不方便。我們這里介紹的是殘差一階自回歸的漸近檢驗(yàn)。在模型(，主要檢驗(yàn)一階自回歸是否成立，即原假設(shè)與備擇假設(shè)為在合適的假定下，可以導(dǎo)出？的漸近分布為正態(tài)，E(?), Var(?) (12)/n,?N( ,(12)/n)于是可以構(gòu)造統(tǒng)計(jì)量.(12)/nN (0,1)當(dāng)原假設(shè)Ho成立時(shí)Z , n? N(0,1)若取顯著性水平為 5%

31、,則雙邊假設(shè)檢驗(yàn)有拒絕域 |J%?| 1.96。一般情況下拒絕域?yàn)閨 n?| U /2這個(gè)漸近檢驗(yàn)一則需要樣本容量較大，二則不是最優(yōu)勢(shì)檢驗(yàn)，但是它無需重新構(gòu)造統(tǒng)計(jì) 數(shù)表，比較方便實(shí)用。算例3.3.1殘差一階自回歸線性模型下表是20組原始資料，欲建立殘差一階自回歸線性模型15文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除文檔來源為：從網(wǎng)絡(luò)收集整理,word版本可編輯.歡迎下載支持表中資料的經(jīng)濟(jì)意義可以解釋為 Cobb-Douglas生產(chǎn)函數(shù)，Yi是產(chǎn)出，Xi是常數(shù)1,未列出,X2是勞動(dòng)力，X3是資本，數(shù)值取了對(duì)數(shù)。表 3.3.1序號(hào)YXX3序號(hào)YX2X3142.083714.5316.741152.466

32、820.7719.33241.485715.3016.811250.675721.1717.04339.055715.9219.501351.642821.3416.74445.089217.4122.121456.188322.9119.81551.669818.3722.341566.216422.9631.92651.183818.8317.471663.227323.6926.31754.777718.8420.241768.964824.8225.93860.334319.7120.371864.259625.5421.96949.755220.0112.711963.754125.

33、6324.051055.459220.2622.982069.683628.7325.66使用本書軟件專門為誤差一階自回歸線性模型設(shè)計(jì)的程序，可以進(jìn)行模型的計(jì)算與檢驗(yàn)。 首先，程序算出原始資料的回歸系數(shù)，原始模型為然后程序?qū)埐?#163; i作一階自回歸，算出？ 0.5285。取漸近檢驗(yàn)，統(tǒng)計(jì)量為而三個(gè)顯著性水平下的臨界值為2.326, 1,645, 1.282,故認(rèn)為殘差一階自回歸非常顯著。在建立廣義最小二乘模型時(shí)，按 （，變換后的資料顯示在程序運(yùn)行之中。對(duì)于變化后的資料，模型 為這個(gè)回歸萬程對(duì)資料 Y , X肯定是合適的，見擬合效果圖（圖殘差一階自回歸線性模型計(jì)算程序，例3.3.1數(shù)據(jù)文

34、件第一列為Y,以后各列為X例331.D數(shù)據(jù)文件中，n=20, M=2要顯示原始資料嗎？ 0=不顯示，1=顯示（0）打印原始資料的普通最小二乘回歸系數(shù)3.84191.8110.6343殘差一階自回歸系數(shù)p :.5285作殘差一階自回歸系數(shù)顯著性的漸近檢驗(yàn)統(tǒng)計(jì)量：2.3634 臨界值（0.01）: 2,326 （0.05）: 1,645（0.10）: 1.282要顯示變換后的資料嗎 ？ 0=不顯示，1=顯示（1）35.7273.849012.335314.211519.2460.47157.62147.963516文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除文檔來源為:從網(wǎng)絡(luò)收集整理.word版本可編輯.

35、歡迎下載支持17.1320.47157.834510.616524.4497.47158.996911.815027.8418.47159.169510.650423.8783.47159.12215.664127.7289.47158.889011.007831.3863.47159.75389.673917.8708.47159.59401.945229.1654.47159.685516.263223.1587.471510.06337.185922.9489.471510.19386.824824.8626.471510.15247.735028.8970.471511.632610.

36、963536.5220.471510.852921.451128.2349.471511.55659.441535.5515.471512.300712.026127.8141.471512.42358.257029.7953.471512.133112.445035.9919.471515.185512.9505對(duì)變換后的模型資料作回歸，不取常數(shù)項(xiàng)回歸系數(shù) A 4.04511.6746.7575現(xiàn)在作線性回歸顯著性檢驗(yàn)，計(jì)算t,F,R統(tǒng)計(jì)量請(qǐng)輸入顯著性水平a,通常取a=0.01, 0.05, 0.10, a=?(0.05)線性回歸分析計(jì)算結(jié)果樣本總數(shù)20自變量個(gè)數(shù)3回歸方程 Y = b1*X

37、1 + .+b3*X3Y= 4.0451 X1 +1.6746 X2 +.7575 X3回歸系數(shù) b1, b2, ., b34.04511.6746.7575殘差平方和：121.94 回歸平方和：488.92誤差方差的估計(jì)：6.0970 標(biāo)準(zhǔn)差=2.4692線性回歸顯著性檢驗(yàn)顯著性水平：.050回歸方程整體顯著性F檢驗(yàn)，H0:b0=b1=.=b3=0F 統(tǒng)計(jì)量：22.7207 F 臨界值 F(3, 17)3.197全相關(guān)系數(shù) R :.901217文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除文檔來源為：從網(wǎng)絡(luò)收集整理,word版本可編輯.歡迎下載支持回歸系數(shù)逐一顯著性t檢驗(yàn),H0:bi=0, i=1,.

38、,3t 臨界值 t( 17)1.7396回歸系數(shù)b1-b 3的t值：.3348 2.8728 2.4046要作回歸預(yù)測(cè)嗎？鍵入0=不預(yù)測(cè)，1=要預(yù)測(cè) (0)要打印擬合數(shù)據(jù)嗎？ 0=不打印，1=打印(0)計(jì)算結(jié)束。我們的目的是要對(duì)原始資料建立回歸方程，理論分析指出，還是這個(gè)方程對(duì)原始資料不僅擬合效果好， 而且消除了自相關(guān)影響。 圖，前者的主要優(yōu)點(diǎn)在于對(duì)未來的預(yù)測(cè)。二、自回歸條件異方差(ARCH)模型研究者發(fā)現(xiàn)，許多經(jīng)濟(jì)類時(shí)間序列資料，諸如股票價(jià)格，通貨膨脹率，外匯匯率等，經(jīng)常 呈現(xiàn)從一個(gè)時(shí)間段到另一個(gè)時(shí)間段的變化規(guī)律。在某些時(shí)間段，觀測(cè)誤差相對(duì)小一些， 在另一時(shí)間段觀測(cè)誤差相對(duì)大一些，然后再到一

39、個(gè)時(shí)間段觀測(cè)誤差又小一些。這種變化可能歸咎于金融市場(chǎng)的多變性，對(duì)政治動(dòng)亂和政府金融政策的敏感性等等。這種情況提示我們考慮觀測(cè)誤差的方差呈現(xiàn)某種自相關(guān)。如果假定回歸模型的隨機(jī)誤差項(xiàng)ei的方差與前一次觀測(cè)的誤差項(xiàng)的平方有關(guān)：Var( i)則可以建立自 回歸條件異方差模型(AutoRegressive Conditional Heteroscedasticity (ARCH)Model):Y Xi i2(i - N(0,( 01 i 1)這個(gè)模型中e i的方差僅與前一項(xiàng)誤差項(xiàng)平方有關(guān)，故稱ARCH(1),并且這里假定了誤差服從正態(tài)。下面我們抓住回歸模型誤差方差是以前的誤差平方的線性函數(shù)這一點(diǎn)不變，而

40、從三個(gè)方面放寬限制，擴(kuò)展 ARCH模型。(1)模型的線性部分 XB可以是解釋變量，也可以是觀測(cè)量Yi的以前數(shù)值，如Yi01Yi 12丫 1kYi ki(2) £ i不必服從正態(tài)，可以服從別的分布，也可以只知道它的一階矩、二階矩。(3) Var( £ i)不必恰女?是 21的線性函數(shù)，而可以是連續(xù)若干項(xiàng)誤差平方的線性函數(shù)，即Var(i)222i 01 i 12 i 2此時(shí)的模型稱為ARCH( p)o18文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除文檔來源為：從網(wǎng)絡(luò)收集整理,word版本可編輯.歡迎下載支持般地，我們假定基本觀測(cè)資料Yi, Xi (Xii, xi 2, xik ) ,

41、i = 1 ,，n 滿足線性關(guān)系Yi Xii其中誤差項(xiàng)e i的平方滿足p階自回歸AR(p)過程： 2222i 01 i 12 i 2p i p i這里的隨機(jī)項(xiàng) i是一個(gè)白噪聲過程：22E( i) 0, E( i2)2, E( i j) 0, i j則顯然由條件(，它是由Engle(1982)弓I進(jìn)的。在解算模型之前，我們先來研究一下模型的性質(zhì)，尤其是模型的方差特性。由于2非負(fù)，從(o i o,i 1,2,(為了保證 2是方差平穩(wěn)的，我們需要進(jìn)一步假定方程11Z2Z2pZp 0(的根在單位圓之外。如果系數(shù)aj都是非負(fù)的，這等價(jià)于要求12p 1(當(dāng)這些假設(shè)滿足時(shí)，£ i的無條件方差由下式

42、決定2 E( i2)0/(112p)(22細(xì)心的讀者會(huì)注意到，(E( i),而(E( i),這究竟是怎么回事？這正是模型名稱自回歸條件異方差所反映的事實(shí)。(i1, i22, ，: p, i2的條件期望:E( ：| 21, , ：p)01 i212 pip這個(gè)條件方差是異方差,在變化，用來描述經(jīng)濟(jì)資料的振幅在按時(shí)間段作自回歸變化。而(2,它當(dāng)然是一個(gè)常數(shù)。下面我們研究模型ARCH(p)的解法。為了印象深刻，我們將模型重寫一次:19文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除文檔來源為：從網(wǎng)絡(luò)收集整理,word版本可編輯.歡迎下載支持Yi2XiE(i)0,E(1i2)2p i p2, E( ij) 0,

43、i j我們可能會(huì)聯(lián)想一階自回歸線性模型(,它們似乎相似。但是我們仔細(xì)研究發(fā)現(xiàn)那里的解法并不能照搬過來。是的，我們可以從原始資料出發(fā)由模型第一個(gè)式子求出型第二個(gè)式子回歸出0 , -1 ,?p, ?,可是再回到模型第一個(gè)式子呢，我們無法知道的具體形式，主要是無法知道 C0V(ei,門)，所以無法應(yīng)用廣義最小二乘方法。經(jīng)過統(tǒng)計(jì)學(xué)家的專門研究，要解算ARCH模型，還需附加一些條件。按附加條件不同而形成不同的解法。首先我們需要將模型中自回歸條件異方差滿足的關(guān)系式改寫一下。假定模型為YiXihi2i , E( i) 0,E( ：) 12p i p則可以從這組條件推證出(,即推證出自回歸條件異方差主要關(guān)系式

44、。這說明這組條件比1,正態(tài)分布假設(shè)下的最大似然估計(jì)在ARCH(p)模型(，我們有n個(gè)觀測(cè)。為了敘述方便，我們總是取前p個(gè)觀測(cè)去計(jì)算異方差條件，將這p個(gè)數(shù)倒記為i=-p+1,-p+2,0。對(duì)于i=1,n,以Yi (Yi”， ，丫1,丫。， ,Yp 1；Xi,Xi 1,X1,X0, ,X p1)記到i為止的樣本集合，由于i從1標(biāo)起，這個(gè)集合里至少有假設(shè)vii. i. d.于N (0, 1),并且vi與Xi與Yi-i都獨(dú)立，則p個(gè)觀測(cè)。Yi的條件分布為這是一個(gè)期望為hi 0(Zi(,1f(Y |Xi,Yi 1) =exp2 hXi ,方差為hi的正態(tài)分布。由于1(Yi1 Xi 1 )22 (Yi 2

45、 Xi 2)(Y Xi2hiiYi)2)2p(Yi故hi的計(jì)算公式可寫為m Xi m )2這里0， 1， 2 ，Zi()(1,(Y1 Xi 12)2,(Y2 Xi 12)2,(Yip Xi0 )2)記參數(shù)集合20文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除文檔來源為：從網(wǎng)絡(luò)收集整理,word版本可編輯.歡迎下載支持(,)則依賴于前p個(gè)觀測(cè)的條件密度對(duì)數(shù)似然函數(shù)為nL( ) log f (Y |X,Y；)i 1n1 n1 n2-log(2 ) - log hi - (Y Xi )小22 i i2 i iYi,對(duì)于給定的樣本觀測(cè)值 Y ,Xj代入(，i=1，,n。注意此時(shí)一共享了 n+m個(gè)樣本觀測(cè)。將Xi

46、, hi代入(，形成一個(gè)含有參數(shù) 0的對(duì)數(shù)似然函數(shù)L (0),我們的任務(wù)是使它極大化，從而求 出0的估計(jì)，即L( ?) max L()(這還是可以用由 Sargent改進(jìn)的Powell算法完成。2.不相關(guān)假設(shè)下的廣義矩估計(jì)(GMM)我們也可以假設(shè)回歸方程中的殘差與解釋變量無關(guān)，即E(Y Xi )Xi)0(同時(shí)假設(shè)在自回歸條件異方差關(guān)系式中的殘差項(xiàng)與滯后的均方殘差也無關(guān)，即一一 2一E( iZi) E( ihi)Zi) 0(在這些假設(shè)下，Bates W White (1988)以及 Raymond與 Butler(1991)等人使用廣義矩估計(jì)(Generalized Method of Mome

47、nts GMM)作出 ARCH 模型的參數(shù)估計(jì)。),，YZ(還是設(shè)1 n一(Yig( i，Yi) nin11(Yi)意義如前，記Xi )Xi( 2_Xi )(Zi( ) Zi()則這里的GMM方法是要極小化L( ) g( i；Y) Si1g( ；Y)(即L( ?) min L()(函數(shù)L()中的S? n_ ccc一(Xi X)2 E(X )2?2(是參數(shù)估計(jì)的標(biāo)準(zhǔn)差矩陣。21文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除文檔來源為：從網(wǎng)絡(luò)收集整理,word版本可編輯.歡迎下載支持.關(guān)于廣義矩估計(jì)方法 GMM我們放在下一節(jié)專門介紹。ARCH模型的解算辦法還有一些，不再細(xì)述。還要談及的一個(gè)問題是ARCH模型

48、的檢驗(yàn)。很幸運(yùn)的是，這個(gè)問題不困難。Engle(1982)用拉格朗日乘子法則導(dǎo)出了 ARCH模型的檢驗(yàn)辦法。首先在資料基本關(guān)系式Y(jié) Xi中使用普通最小二乘算出？從而得到樣本殘差ei的估計(jì)? Y Xi ?,ip 1, p 2, ,0,1, ,n(使用這n+p個(gè)資料，作p階自回歸：?2o Iip72p i,i 1, ,n(在i N(0, 1 n i 1當(dāng)然我們這里把原點(diǎn)矩與中心矩混在一起，雖不合傳統(tǒng)，但細(xì)想又未嘗不可。22文檔收集于互聯(lián)網(wǎng)，如有不妥請(qǐng)聯(lián)系刪除.),i 1, ,n(的假定下，自回歸式(R2 2 ,即據(jù)此可以作出關(guān)于原始資料回歸的殘差£i的方差是否隨時(shí)間段改變的假設(shè)檢驗(yàn)。如果

49、把ARCH(p)模型中關(guān)于誤差的條件方差的線性自回歸關(guān)系式放寬為無窮段，即 則得到所謂廣義自回歸條件異方差(Generalized AutoRegressive Conditional HeteroscedasticityGARCH)模型。進(jìn)一步放寬，如同(假設(shè)hi不僅與2有線性關(guān)系，還與自身的滯后值有線性關(guān)系，即 p則稱模型為GARCH(p, q)模型。顯然這樣復(fù)雜的模型理論意義大于實(shí)際意義，這里就不詳細(xì)介紹了。第四節(jié) 廣義矩估計(jì)方法(GMM)一、廣義矩估計(jì)的概念參數(shù)的矩估計(jì)就是用樣本矩去估計(jì)總體矩，經(jīng)常使用的是用樣本一階矩去估計(jì)總體一階矩(均值)，用樣本二階中心矩去估計(jì)總體二階中心矩(方差

50、)。如對(duì)正態(tài)總體，設(shè) XN(jb2),則EX= , E(X- ) )2=(t2,于是對(duì)i. i. d.樣本X1,，Xn,有估計(jì)方程組1 n-X - Xi E(X) ?(n i 1文檔來源為：從網(wǎng)絡(luò)收集整理.word版本可編輯.歡迎下載支持. 本書作者導(dǎo)出過一種齒輪壽命分布，其密度函數(shù)為f (t)-n=a一rexp2 (t)t其中參數(shù)為a、b, 處。由于可以算出(x)為N(0, 1)的分布函數(shù)。在作參數(shù)估計(jì)時(shí)，使用負(fù)指數(shù)矩估計(jì)還恰到好所以有估計(jì)方程組:EtEt 2b2 1b22 n i 1 ti這樣的負(fù)指數(shù)矩估計(jì)不僅便于計(jì)算,既然矩估計(jì)的指數(shù)可正可負(fù)，expa “ 2(b)expa %2(b)1 exp a、2(b)b221b22-b22expa a、2(b)1b22而且恰好等于參數(shù)的最大似然估計(jì)?？纱罂尚。匀痪鸵獑?，選哪個(gè)為好？選多少個(gè)為好？前面兩個(gè)例子都是兩個(gè)參數(shù)，我們選了兩個(gè)樣本矩。為什么不選更多一些呢?cái)?shù)多于待估參數(shù)個(gè)數(shù)，那么該怎樣確定參數(shù)估計(jì)值呢？?如果選的矩估計(jì)方程個(gè)廣義矩估計(jì)方法(GMM)應(yīng)運(yùn)而生。雖然它可以追溯更早一些，但這里介紹的比較成熟的 方法是由Hansen(1982)引進(jìn)的。方程比未