多元線性回歸模型的各種檢驗方法

1、精選優(yōu)質(zhì)文檔-傾情為你奉上對多元線性回歸模型的各種檢驗方法 對于形如 （1）的回歸模型，我們可能需要對其實施如下的檢驗中的一種或幾種檢驗：一、 對單個總體參數(shù)的假設(shè)檢驗：t檢驗在這種檢驗中，我們需要對模型中的某個（總體）參數(shù)是否滿足虛擬假設(shè)：，做出具有統(tǒng)計意義（即帶有一定的置信度）的檢驗，其中為某個給定的已知數(shù)。特別是，當(dāng)=0時，稱為參數(shù)的（狹義意義上的）顯著性檢驗。如果拒絕，說明解釋變量對被解釋變量具有顯著的線性影響，估計值才敢使用；反之，說明解釋變量對被解釋變量不具有顯著的線性影響，估計值對我們就沒有意義。具體檢驗方法如下：（1） 給定虛擬假設(shè) ：；（2） 計算統(tǒng)計量 的數(shù)值；（3） 在給

2、定的顯著水平下（不能大于即10%，也即我們不能在置信度小于90%以下的前提下做結(jié)論），查出雙尾t（）分布的臨界值；（4） 如果出現(xiàn) 的情況，檢驗結(jié)論為拒絕；反之，無法拒絕。檢驗方法的關(guān)鍵是統(tǒng)計量 必須服從已知的分布函數(shù)。什么情況或條件下才會這樣呢？這需要我們建立的模型滿足如下的條件（或假定）：（1） 隨機(jī)抽樣性。我們有一個含次觀測的隨機(jī)樣。這保證了誤差自身的隨機(jī)性，即無自相關(guān)性，。（2） 條件期望值為0。給定解釋變量的任何值，誤差的期望值為零。即有 這也保證了誤差獨立于解釋變量，即模型中的解釋變量是外生性的，也使得。(3） 不存在完全共線性。在樣本因而在總體中，沒有一個解釋變量是常數(shù)，解釋變量

3、之間也不存在嚴(yán)格的線性關(guān)系。（4） 同方差性。（5） 正態(tài)性。誤差滿足 。在以上5個前提下，才可以推導(dǎo)出： 由此可見，檢驗方法所要求的條件是極為苛刻的。二、 對參數(shù)的一個線性組合的假設(shè)的檢驗需要檢驗的虛擬假設(shè)為 ：。比如無法直接檢驗。設(shè)立新參數(shù)。原虛擬假設(shè)等價于：。將代入原模型后得出新模型： （2）在模型（2）中再利用檢驗方法檢驗虛擬假設(shè)：。我們甚至還可以檢驗這樣一個更一般的假設(shè)t統(tǒng)計量為 三、 對參數(shù)多個線性約束的假設(shè)檢驗：F檢驗需要檢驗的虛擬假設(shè)為 ：。該假設(shè)對模型（1）施加了個排除性約束。模型（1）在該約束下轉(zhuǎn)變?yōu)槿缦碌男履Ｐ停?（3）模型（1）稱為不受約束（ur）的模型，而模型（3）稱

4、為受約束（r）的模型。模型（3）也稱為模型（1）的嵌套模型，或子模型。分別用OLS方法估計模型（1）和（2）后，可以計算出如下的統(tǒng)計量：關(guān)鍵在于，不需要滿足t檢驗所需要的假定（3），統(tǒng)計量F就滿足：。利用已知的F分布函數(shù)，我們就可以拒絕或接受虛擬假設(shè) ：了。所以，一般來講，F(xiàn)檢驗比t檢驗更先使用，用的更普遍，可信度更高。利用關(guān)系式，F(xiàn)統(tǒng)計量還可以寫成：四、 對回歸模型整體顯著性的檢驗：F檢驗需要檢驗的虛擬假設(shè)為 ：。相當(dāng)于前一個檢驗問題的特例，。嵌套模型變?yōu)?。，。F統(tǒng)計量變?yōu)椋?五、 檢驗一般的線性約束需要檢驗的虛擬假設(shè)比如為 ：。受約束模型變?yōu)椋?再變形為：。F統(tǒng)計量只可用： 其中，。六、

5、 檢驗兩個數(shù)據(jù)集的回歸參數(shù)是否相等：皺（至莊）檢驗 虛擬假定是總體回歸系數(shù)的真值相等。步驟如下：（1） 基于兩組樣本數(shù)據(jù)，進(jìn)行相同設(shè)定的回歸，將二者的RSS分別記為和。（2） 將兩組樣本數(shù)據(jù)合并，基于合并的樣本數(shù)據(jù)，進(jìn)行相同設(shè)定的回歸，將回歸的RSS記為。（3） 計算下面的F統(tǒng)計量： （4） 如果，拒絕原假定。七、 非正態(tài)假定下多個線性約束的大樣本假設(shè)檢驗：LM（拉格郎日乘數(shù)）檢驗F檢驗方法需要模型（1）中的滿足正態(tài)性假定。在不滿足正態(tài)性假定時，在大樣本條件下，可以使用LM統(tǒng)計量。虛擬假設(shè)依然是：。LM統(tǒng)計量僅要求對受約束模型的估計。具體步驟如下：（）將對施加限制后的解釋變量進(jìn)行回歸，并保留殘

6、差。即我們要進(jìn)行了如下的回歸估計 （）將對所有解釋變量進(jìn)行輔助回歸，即進(jìn)行如下回歸估計 并得到R-平方，記為。（）計算統(tǒng)計量 。（）將與分布中適當(dāng)?shù)呐R界值比較。如果，就拒絕虛擬假設(shè)；否則，就不能拒絕虛擬假設(shè)。八、 對模型函數(shù)形式誤設(shè)問題的一般檢驗：RESET如果一個多元回歸模型沒有正確地解釋被解釋變量與所觀察到的解釋變量之間的關(guān)系，那它就存在函數(shù)形式誤設(shè)的問題。誤設(shè)可以表現(xiàn)為兩種形式：模型中遺漏了對被解釋變量有系統(tǒng)性影響的解釋變量；錯誤地設(shè)定了一個模型的函數(shù)形式。在偵察一般的函數(shù)形式誤設(shè)方面，拉姆齊（Ramsey，1969）的回歸設(shè)定誤差檢驗（regression specilfication

7、 error test , RESET）是一種常用的方法。RESET背后的思想相當(dāng)簡單。如果原模型（1）滿足經(jīng)典假定（3），那么在模型（1）中添加解釋變量的非線性關(guān)系應(yīng)該是不顯著的。盡管這樣做通常能偵察出函數(shù)形式誤設(shè)，但如果原模型中有許多解釋變量，它又有使用掉大量自由度的缺陷。另外，非線性關(guān)系的形式也是多種多樣的。RESET則是在模型（1）中添加模型（1）的OLS擬合值的多項式，以偵察函數(shù)形式誤設(shè)的一般形式。為了實施RESET，我們必須決定在一個擴(kuò)大的回歸模型中包括多少個擬合值的函數(shù)。雖然對這個問題沒有正確的答案，但在大多數(shù)應(yīng)用研究中，都表明平方項和三次項很有用。令表示從模型（1）所得到的OL

8、S估計值。考慮擴(kuò)大的模型 （4）這個模型看起來有些奇怪，因為原估計的擬合值的函數(shù)現(xiàn)在卻出作為解釋變量出現(xiàn)。實際上，我們對模型（4）的參數(shù)估計并不感興趣，我們只是利用這個模型來檢驗?zāi)Ｐ停?）是否遺漏掉了重要的非線性關(guān)系。記住，和都只是的非線性函數(shù)。 對模型（4），我們檢驗虛擬假設(shè)。這時，模型（4）是無約束模型，模型（1）是受約束模型。計算F統(tǒng)計量。需要查分布表。拒絕，模型（1）存在誤設(shè)，否則，不存在誤設(shè)。九、利用非嵌套模型檢驗函數(shù)形式誤設(shè)尋求對函數(shù)形式誤設(shè)的其他類型（比如，試圖決定某一解釋變量究竟應(yīng)以水平值形式還是對數(shù)形式出現(xiàn)）作出檢驗，需要離開經(jīng)典假設(shè)檢驗的轄域。有可能要相對模型 （5）檢驗?zāi)?/p>

9、型（1），或者把兩個模型反過來。然而，它們是非嵌套的，所以我們不能僅使用標(biāo)準(zhǔn)的F檢驗。有兩種不同的方法。一種方法由Mizon and Richard (1986)提出，構(gòu)造一個綜合模型，將每個模型作為一個特殊情形而包含其中，然后檢驗導(dǎo)致每個模型的約束。對于模型（1）和模型（5）而言，綜合模型就是 （6）可以先檢驗，作為對模型（1）的檢驗。也可以通過對檢驗，作為對模型（5）的檢驗。另一種方法由Davison and MacKinnon (1981)提出。認(rèn)為，如果模型（1）是正確的，那么從模型（5）得到的擬合值在模型（1）中應(yīng)該是不顯著的。因此，為了檢驗?zāi)Ｐ停?）的正確性，首先用OLS估計模型（

10、5）以得到擬合值，并記為。在新模型 （7）中計算的t統(tǒng)計量，利用t檢驗拒絕或接受假定。顯著的t統(tǒng)計量就是拒絕模型（1）的證據(jù)。類似的，為了檢驗?zāi)Ｐ停?）的正確性，首先用OLS估計模型（1）以得到擬合值，并記為。在新模型 （8）中計算的t統(tǒng)計量，利用t檢驗拒絕或接受假定。以上兩種檢驗方法可以用于檢驗任意兩個具有相同的被解釋變量的非嵌套模型。非嵌套檢驗存在一些問題。首先，不一定會出現(xiàn)一個明顯好的模型。兩個模型可能都被拒絕，也可能沒有一個被拒絕。在后一種情形中，我們可以使用調(diào)整的R-平方進(jìn)行選擇。如果兩個模型都被拒絕，則有更多的工作要做。不過，重要的是知道使用這種或那種函數(shù)形式的后果，如果關(guān)鍵性解釋變量對被解釋變量的影響沒有多大差異，那么使用那個模型實際上并不要緊。第二個問題是，比如說使用Davison a