第三章回歸模型的檢驗(yàn)

1、第三章第三章 回歸模型的檢驗(yàn)回歸模型的檢驗(yàn)線性回歸模型的統(tǒng)計(jì)檢驗(yàn)線性回歸模型的統(tǒng)計(jì)檢驗(yàn)回歸模型的其他形式回歸模型的其他形式回歸模型的參數(shù)約束回歸模型的參數(shù)約束3.1 多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn) 一、擬合優(yōu)度檢驗(yàn)一、擬合優(yōu)度檢驗(yàn) 二、方程的顯著性檢驗(yàn)二、方程的顯著性檢驗(yàn)(F(F檢驗(yàn)檢驗(yàn)) ) 三、變量的顯著性檢驗(yàn)（三、變量的顯著性檢驗(yàn)（t t檢驗(yàn)）檢驗(yàn)） 四、參數(shù)的置信區(qū)間四、參數(shù)的置信區(qū)間 一、擬合優(yōu)度檢驗(yàn)一、擬合優(yōu)度檢驗(yàn) 1、可決系數(shù)與調(diào)整的可決系數(shù)、可決系數(shù)與調(diào)整的可決系數(shù)則2222)()(2)()()()(YYYYYYYYYYYYYYTSSiiiiiiiiii

2、總離差平方和的分解總離差平方和的分解ESSRSSYYYYTSSiii22)()( 可決系數(shù)可決系數(shù)TSSRSSTSSESSR12該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。 問題：問題： 由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整需調(diào)整。 調(diào)整的可決系數(shù)調(diào)整的可決系數(shù)（adjusted coefficient of determination） 在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方將殘差平方和與總離差平方和分別除以各自的自由度，以剔和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對擬合優(yōu)度的影響除變量個(gè)數(shù)對擬合優(yōu)度的影響:) 1

3、/() 1/(12nTSSknRSSR其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。221111nRRnk *2、赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則、赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則 為了比較所含解釋變量個(gè)數(shù)不同的多元回歸模型的擬合優(yōu)度，常用的標(biāo)準(zhǔn)還有: 赤池信息準(zhǔn)則赤池信息準(zhǔn)則（Akaike information criterion, AIC）nknAIC) 1(2lnee施瓦茨準(zhǔn)則施瓦茨準(zhǔn)則（Schwarz criterion，SC） nnknAClnlnee 這兩準(zhǔn)則均要求這兩準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠減少僅當(dāng)所增加的解釋變量能夠減少AICAIC值或值或ACAC值時(shí)才在原模型

4、中增加該解釋變量值時(shí)才在原模型中增加該解釋變量。 Eviews的估計(jì)結(jié)果顯示： 中國居民消費(fèi)一元例中： AIC=7.09 AC=7.19 中國居民消費(fèi)二元例中： AIC=6.68 AC=6.83從這點(diǎn)看，可以說前期人均居民消費(fèi)CONSP(-1)應(yīng)包括在模型中。 二、方程的顯著性檢驗(yàn)二、方程的顯著性檢驗(yàn)(F檢驗(yàn)檢驗(yàn)) 方程的顯著性檢驗(yàn)，旨在對模型中被解釋變方程的顯著性檢驗(yàn)，旨在對模型中被解釋變量與解釋變量之間的線性關(guān)系量與解釋變量之間的線性關(guān)系在總體上在總體上是否顯著是否顯著成立作出推斷。成立作出推斷。 1、方程顯著性的、方程顯著性的F檢驗(yàn)檢驗(yàn) 即檢驗(yàn)?zāi)Ｐ?Yi=0+1X1i+2X2i+ +kX

5、ki+i i=1,2, ,n中的參數(shù)j是否顯著不為0。 可提出如下原假設(shè)與備擇假設(shè)： H0： 0=1=2= =k=0 H1： j不全為0 根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量 ) 1/(/knRSSkESSF服從自由度為(k , n-k-1)的F分布 給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過 F F(k,n-k-1) 或 FF(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程總體上總體上的線性關(guān)系是否顯著成立。 對于中國居民人均消費(fèi)支出的例子： 一元模型：F=285.92 二元模型：F=2057.3給定顯著性水平 =0.05，查分

6、布表，得到臨界值： 一元例：F(1,21)=4.32 二元例： F(2,19)=3.52顯然有 F F(k,n-k-1) 即二個(gè)模型的線性關(guān)系在95%的水平下顯著成立。 2、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論驗(yàn)關(guān)系的討論 由可推出：與或21RSSRTSS /1ESSkFRSSnk21kFRnkkF 22/1/1RkFRnk三、變量的顯著性檢驗(yàn)（三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）檢驗(yàn)） 方程的總體線性總體線性關(guān)系顯著 每個(gè)解釋變量每個(gè)解釋變量對被解釋變量的影響都是顯著的 因此，必須對每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。 這一檢驗(yàn)是由

7、對變量的這一檢驗(yàn)是由對變量的 t t 檢驗(yàn)完成的。檢驗(yàn)完成的。 1、t分布分布(1)1iiiiiiitt n kseecn k 2、t檢驗(yàn)檢驗(yàn) 設(shè)計(jì)原假設(shè)與備擇假設(shè)： H1：i0 給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過 |t| t/2(n-k-1) 或 |t|t/2(n-k-1)來拒絕或接受原假設(shè)H0，從而判定對應(yīng)的解釋變判定對應(yīng)的解釋變量是否應(yīng)包括在模型中。量是否應(yīng)包括在模型中。 H0：i=0 （i=1,2k） 注意：注意：一元線性回歸中，一元線性回歸中，t t檢驗(yàn)與檢驗(yàn)與F F檢驗(yàn)一致檢驗(yàn)一致 一方面一方面，t檢驗(yàn)與F檢驗(yàn)都是對相同的原假設(shè)H0：

8、1=0=0 進(jìn)行檢驗(yàn); 另一方面另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系： 2Ft在中國居民人均收入中國居民人均收入-消費(fèi)支出消費(fèi)支出二元模型二元模型例中，由應(yīng)用軟件計(jì)算出參數(shù)的t值：651. 2630. 3306. 3210ttt 給定顯著性水平=0.05，查得相應(yīng)臨界值： t0.025(19) =2.093?？梢姡?jì)算的所有計(jì)算的所有t值都大于該臨界值值都大于該臨界值，所以拒絕原假設(shè)。 四、參數(shù)的置信區(qū)間四、參數(shù)的置信區(qū)間 參數(shù)的參數(shù)的置信區(qū)間置信區(qū)間用來考察：在一次抽樣中所估在一次抽樣中所估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多“近近”。 在變量的顯著性檢驗(yàn)中已經(jīng)知道：在變量

9、的顯著性檢驗(yàn)中已經(jīng)知道：容易推出容易推出：在(1-)的置信水平下i的置信區(qū)間是 (,)iitstsii22其中，t/2為顯著性水平為 、自由度為n-k-1的臨界值。 (1)1iiiiiiitt nkse ecnk 在中國居民人均收入中國居民人均收入-消費(fèi)支出消費(fèi)支出二元模型二元模型例中,給定=0.05，查表得臨界值：t0.025(19)=2.093計(jì)算得參數(shù)的置信區(qū)間： 0 ：(44.284, 197.116) 1 ： (0.0937, 0.3489 ) 2 ：(0.0951, 0.8080)170. 04515. 0061. 02213. 051.3670.120210210sss 從回歸計(jì)

10、算中已得到：如何才能縮小置信區(qū)間？如何才能縮小置信區(qū)間？ 增大樣本容量增大樣本容量n n，因?yàn)樵谕瑯拥臉颖救萘肯?，因?yàn)樵谕瑯拥臉颖救萘肯拢琻 n越越大，大，t t分布表中的臨界值越小，同時(shí)，增大樣本容分布表中的臨界值越小，同時(shí)，增大樣本容量，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)差減?。涣?，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)差減?。惶岣吣Ｐ偷臄M合優(yōu)度提高模型的擬合優(yōu)度，因?yàn)闃颖緟?shù)估計(jì)量的標(biāo)，因?yàn)闃颖緟?shù)估計(jì)量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型優(yōu)度越高，殘差準(zhǔn)差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小。平方和應(yīng)越小。提高樣本觀測值的分散度提高樣本觀測值的分散度, ,一般情況下，樣本觀一般情況下，樣本觀測值

11、越分散測值越分散，(XX)-1的分母的的分母的|XX|的值越大，致的值越大，致使區(qū)間縮小。使區(qū)間縮小。3.2 回歸模型的其他函數(shù)形式回歸模型的其他函數(shù)形式 一、模型的類型與變換一、模型的類型與變換 二、非線性回歸實(shí)例二、非線性回歸實(shí)例 在實(shí)際經(jīng)濟(jì)活動中，經(jīng)濟(jì)變量的關(guān)系是復(fù)雜的，直接表現(xiàn)為線性關(guān)系的情況并不多見。 如著名的恩格爾曲線恩格爾曲線(Engle curves)表現(xiàn)為冪冪函數(shù)曲線函數(shù)曲線形式、宏觀經(jīng)濟(jì)學(xué)中的菲利普斯曲線菲利普斯曲線（Pillips cuves）表現(xiàn)為雙曲線雙曲線形式等。 但是，大部分非線性關(guān)系又可以通過一些簡單的數(shù)學(xué)處理，使之化為數(shù)學(xué)上的線性關(guān)系，從而可以運(yùn)用線性回歸的方

12、法進(jìn)行計(jì)量經(jīng)濟(jì)學(xué)方面的處理。 一、模型的類型與變換一、模型的類型與變換 1、倒數(shù)模型、多項(xiàng)式模型與變量的直接置換法、倒數(shù)模型、多項(xiàng)式模型與變量的直接置換法 例如，例如，描述稅收與稅率關(guān)系的拉弗曲線拉弗曲線：拋物線 s = a + b r + c r2 c0 s：稅收； r：稅率設(shè)X1 = r，X2 = r2， 則原方程變換為 s = a + b X1 + c X2 ck。 如果出現(xiàn)n2F(n2, n1-k-1) ，則拒絕原假設(shè)，認(rèn)為預(yù)測期發(fā)生了結(jié)構(gòu)變化。 例例3.3.2 中國城鎮(zhèn)居民食品人均消費(fèi)需求的鄒氏檢驗(yàn)。 1、參數(shù)穩(wěn)定性檢驗(yàn)、參數(shù)穩(wěn)定性檢驗(yàn)19811994：)ln(92. 0)ln(08

13、. 0)ln(05. 163. 3)ln(01PPXQRSS1=0.003240 19952001：01ln71. 0ln06. 3ln55. 078.13lnPPXQ (9.96) (7.14) (-5.13) (1.81) 19812001: 01ln39. 1ln14. 0ln21. 100. 5lnPPXQ (14.83) (27.26) (-3.24) (-11.17) 34.10)821/()000058. 0003240. 0(4/)0000580. 0003240. 0(013789. 0F 給定=5%，查表得臨界值F0.05(4, 13)=3.18 判斷：判斷：F值值臨界值，

14、拒絕參數(shù)穩(wěn)定的原假設(shè)，表臨界值，拒絕參數(shù)穩(wěn)定的原假設(shè)，表明中國城鎮(zhèn)居民食品人均消費(fèi)需求在明中國城鎮(zhèn)居民食品人均消費(fèi)需求在1994年前后發(fā)年前后發(fā)生了顯著變化。生了顯著變化。 2、鄒氏預(yù)測鄒氏預(yù)測檢驗(yàn)檢驗(yàn)65. 4) 1314/(003240. 07/ )003240. 0013789. 0(F給定=5%，查表得臨界值F0.05(7, 10)=3.18判斷判斷： F值值臨界值，拒絕參數(shù)穩(wěn)定的原假設(shè)臨界值，拒絕參數(shù)穩(wěn)定的原假設(shè) *四、非線性約束四、非線性約束 也可對模型參數(shù)施加非線性約束非線性約束,如對模型kkXXXY22110施加非線性約束12=1,得到受約束回歸模型受約束回歸模型: *2111

15、01kkXXXY 該 模 型 必 需 采 用 非 線 性 最 小 二 乘 法非 線 性 最 小 二 乘 法（nonlinear least squares）進(jìn)行估計(jì)。 非線性約束檢驗(yàn)非線性約束檢驗(yàn)是建立在最大似然原理最大似然原理基礎(chǔ)上的,有最大似然比檢驗(yàn)最大似然比檢驗(yàn)、沃爾德檢驗(yàn)沃爾德檢驗(yàn)與拉拉格朗日乘數(shù)檢驗(yàn)格朗日乘數(shù)檢驗(yàn). .1、最大似然比檢驗(yàn)、最大似然比檢驗(yàn) (likelihood ratio test, LR) 估計(jì)估計(jì): :無約束回歸模型與受約束回歸模型， 方法方法: :最大似然法， 檢驗(yàn)檢驗(yàn): :兩個(gè)似然函數(shù)的值的差異是否“足夠”大。 記L( ,2)為一似然函數(shù):無約束回歸無約束回歸

16、 : Max:),(2L受約束回歸受約束回歸 : Max:),(2L或求極值：)(),(2gL g( ):以各約束條件為元素的列向量, ：以相應(yīng)拉格朗日乘數(shù)為元素的行向量 約束：g( )=0 受約束受約束的函數(shù)值不會超過的函數(shù)值不會超過無約束無約束的函數(shù)值的函數(shù)值，但如果約束條件為真約束條件為真，則兩個(gè)函數(shù)值就非常“接接近近”。22，L，L 由此，定義似然比似然比（likelihood ratio）: 如果如果比值很小，說明說明兩似然函數(shù)值差距較大，則應(yīng)拒絕拒絕約束條件為真的假設(shè)； 如果如果比值接近于，說明說明兩似然函數(shù)值很接近，應(yīng)接受接受約束條件為真的假設(shè)。 具體檢驗(yàn)具體檢驗(yàn)時(shí)，由于大樣本下

17、：)(),(ln),(ln2222hLLLR h是約束條件的個(gè)數(shù)。因此： 通過通過LR統(tǒng)計(jì)量的統(tǒng)計(jì)量的 2 2分布特性來進(jìn)行判斷。分布特性來進(jìn)行判斷。 在中國城鎮(zhèn)居民人均食品消費(fèi)需求例中國城鎮(zhèn)居民人均食品消費(fèi)需求例中，對零階零階齊次性齊次性的檢驗(yàn)： LR= -2(38.57-38.73)=0.32 給出=5%、查得臨界值臨界值 2 20.05(1)(1)3.84， 判斷判斷： LR 2 20.05(1),(1),不拒絕原約束的假設(shè)，不拒絕原約束的假設(shè)， 表明表明: :中國城鎮(zhèn)居民對食品的人均消費(fèi)需求函中國城鎮(zhèn)居民對食品的人均消費(fèi)需求函數(shù)滿足零階齊次性條件數(shù)滿足零階齊次性條件。 、沃爾德檢驗(yàn)、沃

18、爾德檢驗(yàn)（Wald test, W） 沃爾德檢驗(yàn)中，只須估計(jì)無約束模型。如對kkXXXY22110 在所有古典假設(shè)都成立的條件下，容易證明 ),(2212121N因此，在1+2=1的約束條件下 )1 ,0(12121Nz記 )(2221Xf可建立沃爾德統(tǒng)計(jì)量沃爾德統(tǒng)計(jì)量:) 1 () 1(2222121W 如果有h個(gè)約束條件，可得到h個(gè)統(tǒng)計(jì)量z1,z2,zh 約束條件為真時(shí)，可建立大樣本大樣本下的服從自由度為h的漸近 2 分布統(tǒng)計(jì)量 )(2hWZCZ1 其中，Z為以zi為元素的列向量，C是Z的方差-協(xié)方差矩陣。 因此，W從總體上測量了無約束回歸不滿足約束條件的程度。從總體上測量了無約束回歸不滿

19、足約束條件的程度。 對對非線性約束非線性約束，沃爾德統(tǒng)計(jì)量，沃爾德統(tǒng)計(jì)量W的算法描述要復(fù)雜得多。的算法描述要復(fù)雜得多。 3、拉格朗日乘數(shù)檢驗(yàn)、拉格朗日乘數(shù)檢驗(yàn) 拉格朗日乘數(shù)檢驗(yàn)則只需估計(jì)受約束受約束模型. 受約束回歸是求最大似然法的極值問題: )(),(2gL是拉格朗日乘數(shù)行向量，衡量各約束條件對最大似然函數(shù)值的影響程度。 如果某一約束為真，則該約束條件對最大似然函數(shù)值的影響很小，于是，相應(yīng)的拉格朗日乘數(shù)的值應(yīng)接近于零。 因此，拉格朗日乘數(shù)檢驗(yàn)就是檢驗(yàn)?zāi)承├窭嗜粘藬?shù)的值是否“足夠大”，如果“足夠大”，則拒絕約束條件為真的假設(shè)。 拉格朗日統(tǒng)計(jì)量LM本身是一個(gè)關(guān)于拉格朗日乘數(shù)的復(fù)雜的函數(shù)，在各約束條件為真的情況下，服從一自由度恰為約束條件個(gè)數(shù)的漸近2分布。 2nRLM n為樣本容量，R2為如下被稱為