第七章帶有線性約束的多元線性回歸模型及其假設(shè)檢驗(金融計量浙大蔣岳祥)

1、 第七章帶有線性約束的多元線性回歸模型及其假設(shè)檢驗在本章中，繼續(xù)討論第五章的模型，但新的模型中，參數(shù)p滿足J個線性約束集，RB=q，矩陣R有和p相一致的K列和總共J個約束的J行，且R是行滿秩的，我們考慮不是過度約束的情況，因此，JVK。帶有線性約束的參數(shù)的假設(shè)檢驗，我們可以用兩種方法來處理。第一個方法，我們按照無約束條件求出一組參數(shù)估計后，然后我們對求出的這組參數(shù)是否滿足假設(shè)所暗示的約束，進行檢驗，我們在本章的第一節(jié)中討論。第二個方法是我們把參數(shù)所滿足的線性約束和模型一起考慮，求出參數(shù)的最小二乘解，爾后再作檢驗，后者就是參數(shù)帶有約束的最小二乘估計方法，我們在本章的第二節(jié)中討論。第一節(jié)線性約束的

2、檢驗從線性回歸模型開始，yX“(1)我們考慮具有如下形式的一組線性約束，rrrq1111221KK1rrrqTOC o 1-5 h z2112222KK2rrrqJ11J22JKKJ這些可以用矩陣改寫成一個方程Rq(2)作為我們的假設(shè)條件H。R中每一行都是一個約束中的系數(shù)。矩陣R有和P相一致的K列和總共J個約束的J行,且R是行滿秩的。因此，J一定要小于或等于KR的各行必須是線性無關(guān)的，雖然J=K的情況并不違反條件，但其唯一決定了P，這樣的約束沒有意義，我們不考慮這種情況。給定最小二乘估計量b，我們的興趣集中于“差異”向量d=Rb-q0d精確等于0是不可能的事件(因為其概率是0),統(tǒng)計問題是d對

3、0的離差是否可歸因于抽樣誤差或它是否是顯著的。由于b是多元正態(tài)分布的，且d是b的一個線性函數(shù)，所以d也是多元正態(tài)分布的，若原假設(shè)為真，d的均值為0方差為VardVariRbqR(Varb)R2R(X)R(3)對H0的檢驗我們可以將其基于沃爾德(Wald)準則:W2(J)dVard)d=(Rbq)2R(X)R|h(Rbq)(4)在假設(shè)正確時將服從自由度為J的2分布(為什么?)。直覺上，d越大，即最小二乘滿足約束的錯誤越大，則2統(tǒng)計量越大，所以，一個大的2值將加重對假設(shè)的懷疑。5)(nK)s2由于。未知，(4)中的統(tǒng)計量是不可用的，用s2替代02,我們可以導(dǎo)出一個FJ,(nK)樣本統(tǒng)計量，令”(R

4、bq)l|2R(X)-R(Rbq)/J*、F(6)(nK)s2/2/(nK)分子是(1/J)乘(4)中的W,分母是1/(n-K)乘(5)中的幕等二次型。所以，F(xiàn)是兩個除以其自由度的卡方變量的比率。如果它們是獨立的，則F的分布是FJ，(nK)，我們前邊發(fā)現(xiàn)b是獨立于s2分布的，所以條件是滿足的。我們也可以直接推導(dǎo)。利用(5)及M是幕等的這一事實，我們可以把F寫為FR(b)/R(X)RjhR(b)/JM(/)酗(/)/(nK)由于R當R(X)XfTF統(tǒng)計量是(/)的兩個二次型的比率，由于M(/)和T(/)都服從正態(tài)分布且它們的協(xié)方差TM為0，所以二次型的向量都是獨立的。F的分子和分母都是獨立隨機向

5、量的函數(shù)，因而它們也是獨立的。這就完成了證明。消掉(6)中的兩個s2,剩下的是檢驗一個線性假設(shè)的F統(tǒng)計量,(Rbq)鞍(X)R(Rbq)/Je/(nK)8)(Rbq)2R(X)R(Rbq)我們將檢驗統(tǒng)計量FjnK(Rbq)-Rs2(X)R*(Rbq)J和F分布表中的臨界值相比較，一個大的F值是反對假設(shè)的證據(jù)。注意：將wald統(tǒng)計量中的2用s2去替代，相應(yīng)的就將J維的卡方分布轉(zhuǎn)換為維度為(J,n-K)的F分布。第二節(jié)參數(shù)帶有約束的最小二乘估計一、帶有約束的最小二乘函數(shù)在許多問題中，要求其中的未知參數(shù)B滿足某特定的線性約束條件：RB=q，這里R是JXK矩陣(JVK),并假定它的秩為J維向量，常常希

6、望求B的估計，使得YXll2min|YX|2(9)滿足條件(9)的稱為B的具有線性約束RB=q的最小二乘估計。解的問題實際上是在約束條件RB=q下求的限制極值點問題。這個問題的一個拉格朗日解可寫作S*(yX野XU)2Rq)解b*和入將滿足必要條件 *2X劭Xb)2R0* # #S*2(Rbq)O* # 展開可以得到分塊矩陣方程R縣冰。島Wd*=v假定括號中的分塊矩陣是非奇異的，約束最小二乘估計量d=W-1v*b*whereIXX)(XX)R(R(XX)R)R(XX)(XX)R(R(XX)R)(R(XX)R)R(XX)(R(XX)R)的解。此外，若XX是非奇異的，則用分塊逆公式可以得到b*和l的

7、顯示解b(XX)Xy(XX)R(R(XX)R)R(XX)Xy(XX)R(R(XX)R)q*(XX)Xy(XX)R(R(XX)R)R(XX)X(Xbe)(XX)R(R(XX)R)q(XX)Xy(XX)R(R(XX)R)Rb(XX)R(R(XX)R)qb(X)R|R(X)R(Rbq)和R(X)R(Rbq)格林和西克斯(1991)表明b*的協(xié)方差矩陣簡單地就是2乘以W-i的左上塊，在XX是非奇異的通常情況下，再一次可以得到一個顯性公式Varb2(X)2(X)R(X)RR(X),*這樣，Varb*Varb(一個非負定矩陣)，Varb*的方差比Varb小的一個解釋是約束條件提供了更多的信息價值。二、對約

8、束的檢驗的另一個方法令eyXb，我們來計算新的離差平方和e。*eyXbX(bb)eX(bb)*則新的離差平方和是ee(bb)(bb)e*eeee2nBk因為新的模型中參數(shù)的個數(shù)為k-J個，J個榆樹條件是原模型中的J個參數(shù)可以被其他k-J個表示。(此表達式中的中間項含有Xe,它是0)。這說明我們可以將一個約束檢驗基于擬合的損失。這個損失是，ee(Rbq)(X)R(Rbq)*這出現(xiàn)在前邊推導(dǎo)的F統(tǒng)計量的分子上，我們得到統(tǒng)計量的另一個可選形式?？蛇x形式是(ee)/J*e/(nK)最后，以sst=yy)2除f的分子和分母，我們得到第三種形式，(R2R2)/JFJ,nK上(1R2)/(nK)由于兩個模型

9、的擬合之差直接體現(xiàn)在檢驗統(tǒng)計量中，這個形式具有一些直觀吸引力實例對數(shù)變換生產(chǎn)函數(shù)所有科布道格拉斯模型的一般化是如下的對數(shù)變換模型無約束回歸的結(jié)果在表1中給出。表1無約束回歸的結(jié)果回歸標準誤差殘差平方和R平方調(diào)整R平方0.179940.679930.954860.94411變量系數(shù)標準誤差t值常數(shù)項0.9442162.9110.324LnL3.613631.5482.334LnK1.893111.0161.863丄山2L20.964060.70741.363丄山2K20.085290.29260.291lnLXlnK0.312390.43890.71系數(shù)估計量的估計協(xié)方差矩陣常數(shù)項lnLlnKL

10、n2L/2Ln2K/2lnLXlnK常數(shù)項8.472LnL2.3882.397LnK0.33131.2311.033ln2L0.0876020.66580.52310.5004)ln2K0.233220.034770.026370.14670.08562lnLXlnK0.36350.18310.22550.28800.11600.1927lnYlnLlnK2L123425ln2K2.lnLlnK6210)考慮了約束條件0的模型就可以得到科布一道格拉斯模型：456lnYlnLlnK(11)123這是一個條件約束下的無條件的多元線性回歸模型。就可以用一般線性回歸的方法求解模型。假如我們通過有約束條

11、件下的無條件的多元線性回歸模型得到：e0.85163，而且nK=21，則科布一道格拉斯模型假設(shè)的F統(tǒng)計量是*F3,21(O.8516367993)/3.1.7680.67993/21查自F分布表的5%臨界值是3.07，所以我們不能拒絕科布一道格拉斯模型是適當?shù)倪@一假設(shè)。考慮了約束條件0和條件1的模型就是滿足規(guī)模效應(yīng)的科45623布道格拉斯生產(chǎn)函數(shù)。這個模型可以推導(dǎo)如下：lnYlnLlnK123lnL(I)lnK122(12)lnYlnL(lnLln12假如我們通過有約束條件下的無條件的多元線性回歸模型得到：e0.89172，而且nK=21，則科布一道格拉斯模型假設(shè)的F統(tǒng)計量是*(0.89172

12、0.67993)/4F4,21(7_0.67993.1.6350.67993/21查自F分布表的5%臨界值是2.85，所以我們不能拒絕科布一道格拉斯模型是規(guī)模效應(yīng)的生產(chǎn)函數(shù)的這一假設(shè)。第三節(jié)結(jié)構(gòu)變化與鄒至莊檢驗問題提出我們經(jīng)常碰到這樣的問題。某項政策的出臺及實施，其效果如何？不同地區(qū)或不同時期內(nèi)，我們分別可以得到這兩個地區(qū)或時期的觀測值，我們的問題是：這兩個地區(qū)或時期的情況是否不同，經(jīng)濟結(jié)構(gòu)有無差異。這類問題，被華人經(jīng)濟學(xué)家鄒至莊用構(gòu)造的F檢驗解決了(1960年)。這樣的F檢驗的統(tǒng)計量，就稱為鄒至莊檢驗(Chou-Test)。二、問題的模型表述設(shè)(ZY),(ZY)分別表示這兩個時期的觀測值，允

13、許兩個時期中系數(shù)不同的無約束回1122歸是：Y1:Z1:，我們可以將其改寫成一個回歸方程YZ22221)YZ0：2：01z2：2:0z：=A:=2222222即Y：Z:模型，其中Y=：1:,Z=fY20上述問題就轉(zhuǎn)換成檢驗H0:12的問題。H:112我們可以用兩種方式來處理問題一）用約束條件，來檢驗。是更一般約束條件RB=q的一個特殊形式，1212其中R=（I,-I）和q=0。這個直接可以從基于Wald統(tǒng)計量的帶約束條件的F檢驗得到。（請自己推導(dǎo)）。例題：用約束條件下，F(xiàn)檢驗推導(dǎo)出鄒至莊檢驗的表達式：解：在約束條件RB=q下，F(xiàn)檢驗F（J,nk）（R）鄆2R（Z）*R（R）。J而鄒至莊檢驗時約

14、束條件RB=q的一種特殊形式，即R=（I,-I），而q=0，也即等同于條件。（有2k個參數(shù)，并且是有k個約束）。故F(k,nn2k)(R他)衿2R(Z川卯(R他)1212k:ZZ)0I(bb)邨2(厶*)iJ/、r-(bb)TOC o 1-5 h z120(ZZ)!122_2k(bb)2Z)(ZZ)fH(bb)12112_212服從F(k,nn2k)的分布。12另外，在考慮了約束條件后，我們可以將模型（1）改寫成一個無約束的12新的回歸方程Y2 # YY1ZZ111(2)巴1即無約束的線性模型YZ模型，其中Y=了，Z=|Z1|B=M2。假如模型（2）的殘差平方和是e，在假設(shè)條件下，我們可以得到

15、F統(tǒng)計*12量可更簡單地表示為：Fk，ni叫咬eln*：；)12)更直接、更容易的一個處理是將約束直接構(gòu)造進模型中，若兩個系數(shù)向量相同則模型(1)就轉(zhuǎn)換為： # #由此我們推導(dǎo)出可以檢驗的鄒至莊統(tǒng)計量Chou-Test。從模型(1)中，我們可以得到無約束最小二乘估計量是ZZb(Z)nZii00ZYZ)!Z2Z2勒2Y：2222110(Z2Z2)eYZb10YZ100(ZZ)ZY1111ZZZ)ZY222220YSY1;晉1(Z1Z1W00(ZZ)lZ2222Ye1*2Z(ZZ)Z2222M1Y # #TOC o 1-5 h z HYPERLINK l bookmark45YYeH(YY)MM1(YY)M1.1211Y121Y22則空(nn2k)(3)212對于有約束條件限制的模型(2)12 # (Z1Z2)1(Z1Z2)2MYe*e*(YY)MM1222Y(YY)M122Y *則(nnBk)(4)212e*e*ee(YY)(M122M)1Y(YY)M123YY2 問e*e*e服從何分布?2首先證明：MM031(MM)MMMM2MMM21121121