試談回歸模型統(tǒng)計(jì)檢驗(yàn)

1、試談回歸模型統(tǒng)計(jì)檢驗(yàn)第三節(jié) 回歸模型的統(tǒng)計(jì)檢驗(yàn) 一、模型的擬合優(yōu)度檢驗(yàn) 二、模型的顯著性檢驗(yàn) 三、解釋變量的顯著性檢驗(yàn) 利用樣本數(shù)據(jù)估計(jì)得到的樣本回歸方程,只是對總體回歸方程的一個(gè)近似估計(jì)模型是否能確切反映經(jīng)濟(jì)變量間的相互關(guān)系還需要進(jìn)行檢驗(yàn). 回歸分析中主要是通過一些統(tǒng)計(jì)檢驗(yàn)方法來保證模型在統(tǒng)計(jì)意義上的可靠性.如在一次抽樣中，參數(shù)的估計(jì)值與真值的差異有多大，是否顯著，這就需要進(jìn)一步進(jìn)行統(tǒng)計(jì)檢驗(yàn)。統(tǒng)計(jì)檢驗(yàn)主要包括擬合優(yōu)度檢驗(yàn)、變量的顯著性檢驗(yàn)及參數(shù)的區(qū)間估計(jì)。 一、模型的擬合優(yōu)度檢驗(yàn) 擬合優(yōu)度：即模型對樣本數(shù)據(jù)的接近程度。 擬合優(yōu)度檢驗(yàn)：對樣本回歸直線與樣本觀測值之間擬合程度的檢驗(yàn)。度量擬合優(yōu)度

2、的指標(biāo)：判定系數(shù)可決系數(shù)R21、總離差平方和的分解公式對一元模型: 已知由一組樣本觀測值（Xi,Yi），i=1,2,n 如果Yi=i 即實(shí)際觀測值落在樣本回歸“線上，那么擬合最好?？烧J(rèn)為，“離差全部來自回歸線，而與“殘差無關(guān)。那么 總離差平方和分解公式: TSS=ESS+RSS 其中: 由于 =0所以有： 注意：一個(gè)有趣的現(xiàn)象TSS=ESS+RSS Y的觀測值圍繞其均值的總離差(total variation)可分解為兩局部：一局部來自回歸線(ESS)，另一局部那么來自隨機(jī)因素的影響(RSS)。在給定樣本中，TSS不變， 如果實(shí)際觀測點(diǎn)離樣本回歸線越近，那么ESS在TSS中占的比重越大，因此

3、擬合優(yōu)度：回歸平方和ESS/Y的總離差TSS2、可決系數(shù)R2統(tǒng)計(jì)量 稱 R2 為樣本可決系數(shù)/判定系數(shù)coefficient of determination)。 可決系數(shù)的取值范圍：0，1 R2越接近1，說明實(shí)際觀測點(diǎn)離樣本線越近，模型的擬合優(yōu)度越高。 注：可決系數(shù)是一個(gè)非負(fù)的統(tǒng)計(jì)量。它也是隨著抽樣的不同而不同。 判定系數(shù)不僅反映了擬合程度的優(yōu)劣，而且有直觀的經(jīng)濟(jì)含義：它定量地描述了y 的變化中可以用解釋變量的變化來說明的局部，即模型的可解釋程度。 問題： 在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量， R2往往增大. 這就給人一個(gè)錯(cuò)覺：要使得模型擬合得好，只要增加解釋變量即可。 但是，現(xiàn)

4、實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整。 調(diào)整的判定系數(shù)Adjusted R-squared) 在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。除了調(diào)整的判定系數(shù)之外，人們還使用另外兩個(gè)指標(biāo)SCSchwarz Criterion，施瓦茲準(zhǔn)那么和AIC(Akaike Information Criterion，赤池信息準(zhǔn)那么)來比較含有不同解釋變量個(gè)數(shù)模型的擬合優(yōu)度：SC = AIC = 這

5、兩準(zhǔn)那么均要求僅當(dāng)所增加的解釋變量能夠減少AIC值或AC值時(shí)才在原模型中增加該解釋變量。(P57) 顯然，其值越小說明模型的擬合優(yōu)度越高。二、模型的顯著性檢驗(yàn) 模型的顯著性檢驗(yàn)，就是檢驗(yàn)?zāi)Ｐ蛯傮w的近似程度。最常用的檢驗(yàn)方法是F檢驗(yàn)或者R檢驗(yàn)。1. F檢驗(yàn) 給定的顯著水平 ，可由F分布表查得臨界值，進(jìn)行判斷：若 ，可以認(rèn)為模型的線性關(guān)系是顯著的； 若 ，則接受 ，認(rèn)為模型的線性關(guān)系不顯著，回歸模型無效。檢驗(yàn)通不過的原因可能在于： 一是所選取的解釋變量不是影響被解釋變量變動的主要因素,或者說影響y變動的因素除模型中的因素外，還有其它不可忽略的因素；解釋變量與被解釋變量之間不存在線性相關(guān)關(guān)系；(3

6、)樣本容量n小；(4)回歸模型存在序列相關(guān)。2. R檢驗(yàn) 在一元線性回歸中，R 1，即-1R 1 在多元線性回歸中，R稱為復(fù)相關(guān)系數(shù)，且0R1 給定顯著性水平和自由度n-k,即可查表找到。判斷：R，被解釋變量與解釋變量線性關(guān)系顯著。 R，被解釋變量與解釋變量線性關(guān)系不顯著，回歸方程無效，重建方程。 F檢驗(yàn)與R檢驗(yàn)結(jié)果一致(P44圖2-7):因此,實(shí)際應(yīng)用可選擇其一。R2FF圖2-7 F統(tǒng)計(jì)量與R2的關(guān)系多元線性回歸模型的顯著性檢驗(yàn)(F檢驗(yàn)) 方程的顯著性檢驗(yàn)，旨在對模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。 1、方程顯著性的F檢驗(yàn) 即檢驗(yàn)?zāi)Ｐ?Yi=0+1X1i+2

7、X2i+ +kXki+i i=1,2, ,n中的參數(shù)j是否顯著不為0。 可提出如下原假設(shè)與備擇假設(shè)： H0： 0=1=2= =k=0 H1： j不全為0 F檢驗(yàn)的思想來自于總離差平方和的分解式： TSS=ESS+RSS 如果這個(gè)比值較大，那么X的聯(lián)合體對Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。 因此,可通過該比值的大小對總體線性關(guān)系進(jìn)行推斷。XY由于回歸平方和是解釋變量的全體對被解釋變量的線性作用的結(jié)果，考慮比值ESS 根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量 服從自由度為(k , n-k-1)的F分布 給定顯著性水平，可得到臨界值F(k,n-k-

8、1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過 F F(k,n-k-1) 或 FF(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。 例如:對于中國居民人均消費(fèi)支出的某例(n=23解釋變量為人均可支配收入、價(jià)格指數(shù)；被解釋變量為消費(fèi)支出數(shù)據(jù)、計(jì)算略結(jié)果如下： 一元模型：F=285.92 二元模型：F=2057.3給定顯著性水平 =0.05，查分布表，得到臨界值： 一元例：F(1,21)=4.32 二元例： F(2,20)=3.52顯然有 F F(k,n-k-1) 即二個(gè)模型的線性關(guān)系在95%的水平下顯著成立。 2、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論 由可得：與或

9、在中國居民人均收入-消費(fèi)一元模型中，在中國居民人均收入-消費(fèi)二元模型中， 實(shí)際應(yīng)用中不必過分苛求 值的大小,重要的是考慮模型的經(jīng)濟(jì)意義是否合理.三、解釋變量的顯著性檢驗(yàn) 回歸分析是要判斷解釋變量X是否是被解釋變量Y的一個(gè)顯著性的影響因素。 在一元線性模型中，就是要判斷X是否對Y具有顯著的線性性影響。這就需要進(jìn)行變量的顯著性檢驗(yàn)。 變量的顯著性檢驗(yàn)所應(yīng)用的方法是數(shù)理統(tǒng)計(jì)學(xué)中的假設(shè)檢驗(yàn)。 計(jì)量經(jīng)計(jì)學(xué)中，主要是針對變量的參數(shù)真值是否為零來進(jìn)行顯著性檢驗(yàn)的。 1、假設(shè)檢驗(yàn) 所謂假設(shè)檢驗(yàn)，就是事先對總體參數(shù)或總體分布形式作出一個(gè)假設(shè)，然后利用樣本信息來判斷原假設(shè)是否合理，即判斷樣本信息與原假設(shè)是否有顯著

10、差異，從而決定是否接受或否認(rèn)原假設(shè)。 假設(shè)檢驗(yàn)采用的邏輯推理方法是反證法。 先假定原假設(shè)正確，然后根據(jù)樣本信息，觀察由此假設(shè)而導(dǎo)致的結(jié)果是否合理，從而判斷是否接受原假設(shè)。 判斷結(jié)果合理與否，是基于“小概率事件不易發(fā)生這一原理的 2、變量的顯著性檢驗(yàn) 檢驗(yàn)步驟： 1對總體參數(shù)提出假設(shè) H0： 1=0， H1：102以原假設(shè)H0構(gòu)造t統(tǒng)計(jì)量，并由樣本計(jì)算其值3給定顯著性水平，查t分布表，得臨界值t /2(n-2)(4) 比較，判斷 假設(shè) |t| t /2(n-2)，那么拒絕H0 ，接受H1 ； 假設(shè) |t| t /2(n-2)，那么拒絕H1 ，接受H0 ； 對于一元線性回歸方程中的0，可構(gòu)造如下t

11、統(tǒng)計(jì)量進(jìn)行顯著性檢驗(yàn)： 在上述收入-消費(fèi)支出例中，首先計(jì)算 的估計(jì)值 (標(biāo)準(zhǔn)化后的簡算公式! 用Eviews可直接輸出結(jié)果)t統(tǒng)計(jì)量的計(jì)算結(jié)果分別為： 給定顯著性水平=0.05，查t分布表得臨界值 t 0.05/2(8)=2.306 |t1|2.306，說明家庭可支配收入在95%的置信度下顯著，即是消費(fèi)支出的主要解釋變量； |t2|2.306,說明在95%的置信度下，無法拒絕截距項(xiàng)為零的假設(shè)。 例四(P45)對多元線性回歸模型在通過F檢驗(yàn)后,一般還需對變量的顯著性進(jìn)行檢驗(yàn)t檢驗(yàn) 因方程的總體線性關(guān)系顯著每個(gè)解釋變量對被解釋變量的影響都是顯著的 因此，必須對每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否

12、作為解釋變量被保存在模型中。 這一檢驗(yàn)是由對變量的 t 檢驗(yàn)完成的。 1、t統(tǒng)計(jì)量 由于可以證明: 以cii表示矩陣(XX)-1 主對角線上的第i個(gè)元素，于是參數(shù)估計(jì)量的方差為： 其中2為隨機(jī)誤差項(xiàng)的方差，在實(shí)際計(jì)算時(shí)，用它的估計(jì)量代替: 因此，可構(gòu)造如下t統(tǒng)計(jì)量 2、t檢驗(yàn) 設(shè)計(jì)原假設(shè)與備擇假設(shè)： H1：i0 給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量 t 的數(shù)值，通過 |t| t/2(n-k-1) 或 |t|t/2(n-k-1)來拒絕或接受原假設(shè)H0，從而判定對應(yīng)的解釋變量是否應(yīng)包括在模型中。 H0：i=0 i=1,2k 解釋變量顯著性檢驗(yàn)通不過的原因可能在于: (

13、1) xi與y不存在線性相關(guān)關(guān)系 ；(2) xi與y不存在任何關(guān)系 ;(3) xi與xj(ij)存在線性相關(guān)關(guān)系。 例4 (見教材P50) 操作演示 在EViews軟件輸出的回歸分析結(jié)果中，在每個(gè)t統(tǒng)計(jì)量值ti的右端還列出了一個(gè)概率值p又稱為p值，它表示: P|t|ti= p 即給出了所謂“精確的顯著水平。注意：一元線性回歸中，t檢驗(yàn)與F檢驗(yàn)一致 一方面，t檢驗(yàn)與F檢驗(yàn)都是對相同的原假設(shè)H0：1=0 進(jìn)行檢驗(yàn); 另一方面，可以證明兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系： 在中國居民人均收入-消費(fèi)支出二元模型例中，由應(yīng)用軟件計(jì)算出參數(shù)的t值： 給定顯著性水平=0.05，查得相應(yīng)臨界值： t0.025(19) =2.093?？梢?，