多元線性回歸模型的各種檢驗方法

對多元線性回歸模型的各種檢驗方法對于形如Y=B+pX+PX+，，一40X+u 人、01122 kk （1）的回歸模型，我們可能需要對其實施如下的檢驗中的一種或幾種檢驗：一、對單個總體參數(shù)的假設(shè)檢驗：t檢驗在這種檢驗中，我們需要對模型中的某個（總體）參數(shù)是否滿足虛擬假設(shè)〃：、=\，做出具有統(tǒng)計意義0JJ（即帶有一定的置信度）的檢驗，其中“為某個給定的j已知數(shù)。特別是，當a=0時，稱為參數(shù)的（狹義意義j上的）顯著性檢驗。如果拒絕H0，說明解釋變量Xj對被解釋變量Y具有顯著的線性影響，估計值°才敢使j用；反之，說明解釋變量X.對被解釋變量Y不具有顯著的線性影響，估計值。對我們就沒有意義。具體檢驗j方法如下：（1）給定虛擬假設(shè)H0：0=%；P—E(P)P—a

/? ???t-j j-jj(2)計算統(tǒng)計量 Se(P) 前打的數(shù)值;jjSe(Se(P)-6C,? ??J 刀其中C二(XTXXj+j(3)在給定的顯著水平“下0不能大于0.1即10%,也即我們不能在置信度小于90%以下的前提下做結(jié)論)，查出雙尾t(n—k-1)分布的臨界值：/2；vA(4)如果出現(xiàn)t>t2的情況，檢驗結(jié)論為拒絕a/20；反之，無法拒絕H0。人P-P.一.t檢驗方法的關(guān)鍵是統(tǒng)計量t=41必須服從已Se(p)J知的t分布函數(shù)。什么情況或條件下才會這樣呢？這需要我們建立的模型滿足如下的條件(或假定)：(1)隨機抽樣性。我們有一個含"次觀測的隨機樣般〃，X,2,…,XikYY):i=1,2,…，n｝。這保證了誤差"自身的隨機性，即無自相關(guān)性，Cov(u-E(u))(u-E(u))=0。（2）條件期望值為0。給定解釋變量的任何值，誤的期望值為零。即有E（uX,X,…，X）=0這也保證了誤差“獨立于解釋變量X1,X2,…，X,模型中的解釋變量是外生性的，也使得E（u）=0。（3）不存在完全共線性。在樣本因而在總體中,沒有一個解釋變量是常數(shù)，解釋變量之間也不存在嚴格的線性關(guān)系。（4）同方差性。匹""I"i，%，，*J°吊數(shù)。正態(tài)性。誤差u滿足u~Normal（0,。2）。在以上5個前提下，才可以推導出：TOC\o"1-5"\h\z八 八B~N[P,Far(。)]

? ? ?J J J八 八(B-P)/Sd(B)?N(0,1)???JJ J八 八(B-B)/Se(B)~tJJ J n-k-1由此可見，’檢驗方法所要求的條件是極為苛刻的。二、對參數(shù)的一個線性組合的假設(shè)的檢驗TOC\o"1-5"\h\z需要檢驗的虛擬假設(shè)為“：P邛。比如p.p無0jj2 12。設(shè)立新參數(shù)°1=p1-p2。原虛擬假設(shè)等價于h0一二o。將p=0+p代入原模型后得出新模型： 1 112Y=P+0X+P(X+X)+.-.?+PX+u廢)在模型(2)中再利用，檢驗方法檢驗虛擬假設(shè)〃：°=0。h 101我們甚至還可以檢驗這樣一個更一般的假設(shè)H:那二九p+九p+???十九p二Ct統(tǒng)計量為那-那t二二“ ?t(n-k-1)丁.XtXA而三、對參數(shù)多個線性約束的假設(shè)檢驗：F檢驗需要檢驗的虛擬假設(shè)為〃：0Pk-q+1=0，Pk-q+2,…，廣0。該假設(shè)對模型（1）施加了。個排除性約束。模型（1）在該約束下轉(zhuǎn)變?yōu)槿缦碌男履Ｐ停篩=P+PX+PX+ + PX+u/、01122 k-qk-q （3）模型（1）稱為不受約束（ur）的模型，而模型（3）稱為受約束（r）的模型。模型（3）也稱為模型（1）的嵌套模型，或子模型。分別用OLS方法估計模型（1）和（2）后，可以計算出如下的統(tǒng)計量、_（RSS -RSS）/qF= r urrRSS-/（n-k-1）關(guān)鍵在于，不需要滿足t海驗所需要的假定（3），統(tǒng)計我們就可以拒絕或接受虛擬假設(shè)“：p=0,p，…,B=0量F量F就滿足：f?fq,一。利用已知的F分布函數(shù)，n-k-10k-q+1 k-q+2 k了。所以，一般來講，F(xiàn)檢驗比t檢驗更先使用，用的更普遍，可信度更高。利用關(guān)系式 RSS=TSS（1-R2），RSS=TSS(1-R2),

RSS=TSS(1-R2),

ur urF=ur r(1-R2)/(n-k-1)ur對回歸模型整體顯著性的檢驗：F檢驗F統(tǒng)計量變?yōu)?需要檢驗的虛擬假設(shè)為〃0：P「0,P2,…,Pr0。相當于前一個檢驗問題的特例， q=kF統(tǒng)計量變?yōu)?R2=0，RSS=TSS，R2=R2。

r r urF=—R2/k一、(1-R2)/(n-k-1)ESS/kRSS/(n-k-1)五、檢驗一般的線性約束需要檢驗的虛擬假設(shè)比如為P1P1=邛2,…平k=0。Y=p受約束模型變?yōu)?Y—X=0+u再變形為： 1 0 。F統(tǒng)計量只可用:F_(RSS—RSS)/q―RSS/(n-戶-1)其中，RSStTSSyX二[y—XJ-(Y-X)]=Z[y-Y)-(X-X)六、檢驗兩個數(shù)據(jù)集的回歸參數(shù)是否相等：皺（至莊）檢驗虛擬假定是總體回歸系數(shù)的真值相等。步驟如下:（1）基于兩組樣本數(shù)據(jù)，進行相同設(shè)定的回歸，將者的RSS分別記為RSS1和RSS2。（2）將兩組樣本數(shù)據(jù)合并，基于合并的樣本數(shù)據(jù),進行相同設(shè)定的回歸，將回歸的RSS記為RSS。t（3）計算下面的F統(tǒng)計量：廠(RSS—RSS—RSS)/(k+1)F= T 1 2(RSS1+RSS2)/(q+九-2k-2)(4)如果f>f,拒絕原假定。七、非正態(tài)假定下多個線性約束的大樣本假設(shè)檢驗：LM(拉格郎日乘數(shù))檢驗F檢驗方法需要模型(1)中的"滿足正態(tài)性假定。在不滿足正態(tài)性假定時，在大樣本條件下，可以使用LM統(tǒng)計量。虛擬假設(shè)依然是H0：Pk_q+1=0，Bk-q+2，…平k=0。LM統(tǒng)計量僅要求對受約束模型的估計。具體步驟如下:(i)將，對施加限制后的解釋變量進行回歸，并。即我們要進行了如下的回歸估計y=y=p+0X+pX+…?+pX+u0 11 22(ii)將~對所有解釋變量進行輔助回歸，即進行如下回歸估計八 八▼T 八 ▼T 八▼T 八u=a +aX +a X + +aX +e0 11 22 kk并得到R-平方，記為(iii)計算統(tǒng)計量LM=nRU。UL(iv)將lm與「分布中適當?shù)呐R界值，比較。如q 果LM〉c，就拒絕虛擬假設(shè)〃；否則，就不能拒絕虛擬0八、對模型函數(shù)形式誤設(shè)問題的一般檢驗：RESET如果一個多元回歸模型沒有正確地解釋被解釋變量與所觀察到的解釋變量之間的關(guān)系，那它就存在函數(shù)形式誤設(shè)的問題。誤設(shè)可以表現(xiàn)為兩種形式：模型中遺漏了對被解釋變量有系統(tǒng)性影響的解釋變量；錯誤地設(shè)定了一個模型的函數(shù)形式。在偵察一般的函數(shù)形式誤設(shè)方面，拉姆齊(Ramsey,1969)的回歸設(shè)定誤差檢驗(regressionspecilficationerrortest,RESET)是一種常用的方法。RESET背后的思想相當簡單。如果原模型(1)滿足經(jīng)典假定(3),那么在模型(1)中添加解釋變量的非線性關(guān)系應該是不顯著的。盡管這樣做通常能偵察出函數(shù)形式誤設(shè)，但如果原模型中有許多解

釋變量，它又有使用掉大量自由度的缺陷。另外，非線性關(guān)系的形式也是多種多樣的。RESET則是在模型（1）中添加模型（1）的OLS擬合值的多項式，以偵察函數(shù)形式誤設(shè)的一般形式。為了實施RESET,我們必須決定在一個擴大的回歸模型中包括多少個擬合值的函數(shù)。雖然對這個問題沒有正確的答案，但在大多數(shù)應用研究中，都表明平方項和三次項很有用。令.表示從模型（1）所得到的OLS估計Y（4）值?？紤]擴大的模型（4）Y=P+PX+PX+……+PX+5%+6%+￡這個模型看起來有些奇怪，'因為原估計的擬合值的函數(shù)現(xiàn)在卻出作為解釋變量出現(xiàn)。實際上，我們對模型（4）的參數(shù)估計并不感興趣，我們只是利用這個模型來檢驗模型（1）是否遺漏掉了重要的非線性關(guān)系。記住，.和Y2都只是的非線性函數(shù)。X對模型（4），我們檢驗虛擬假設(shè) 。這時,H:5=0,5二0算F統(tǒng)計■。需要查模型（4）是無約束模型，模型（算F統(tǒng)計■。需要查分布表。拒絕，模型（1）F,n—k—3 H2 010存在誤設(shè)，否則，不存在誤設(shè)。九、利用非嵌套模型檢驗函數(shù)形式誤設(shè)尋求對函數(shù)形式誤設(shè)的其他類型（比如，試圖決定某一解釋變量究竟應以水平值形式還是對數(shù)形式出現(xiàn)）作出檢驗，需要離開經(jīng)典假設(shè)檢驗的轄域。有可能要相對模型Y=。0+B]log（X1）+P2log（X2）+ +pklog（X^）+s⑸檢驗模型（1）,或者把兩個模型反過來。然而，它們是非嵌套的，所以我們不能僅使用標準的F檢驗。有兩種不同的方法。一種方法由MizonandRichard（1986）提出，構(gòu)造一個綜合模型，將每個模型作為一個特殊情形而包含其中，然后檢驗導致每個模型的約束。對于模型（1）和模型（5）而言，綜合模型就是Y=、+yX+…+yX++ylog（X）+…+ylog（X）+^可以先檢驗11作為:對模型（1）的檢驗。也H:y=0,…，5 =0可以通過對檢驗 k+k ，作為對模型（5）的檢驗。H:y=0,…，5=00 1 k11

另一種方法由DavisonandMacKinnon(1981)提出。認為，如果模型（1）是正確的，那么從模型（5）得到的擬合值在模型（1）中應該是不顯著的。因此，為了檢驗模型（1）的正確性，首先用OLS估計模型（5）以得到擬合值，并記為。。在新模型（7）Y（7）人Y=P+PX+PX+……+PX+6Y+以中計算,的t統(tǒng)計量,利用t檢驗拒絕或接受假定Y顯著的t統(tǒng)計量就是拒絕模型（1）的證據(jù)。類似的,為了檢驗模型（5）的正確性，首先用OLS估計模型（1）以得到擬合值，并記為,。在新模型（8）Y（8）人Y=p+plog(X)+plog(X)+ + plog(X)+6Y+N中計算。的。t統(tǒng)計量，利用t檢驗拒絕或接受假定Y以上兩種檢驗方法可以用于檢驗任意兩個具有相同的被解釋變量的非嵌套模型。非嵌套檢驗存在一些問題。首先，不一定會出現(xiàn)一個明顯好的模型。兩個模型可能都被拒絕，也可能沒有一個被拒絕。在后一種情形中，我們可以使用調(diào)整的R-平方進行選擇。如果兩個模型都被拒絕，則有更多的工12作要做。不過，重要的是知