一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)概述

1、2.3 一元線性回歸模型統(tǒng)計(jì)檢驗(yàn) 回歸分析是要通過(guò)樣本所可能參數(shù)來(lái)代替總體真實(shí)參數(shù)，或者講是用樣本回歸線代替總體回歸線。盡管從統(tǒng)計(jì)性質(zhì)上已知，假如有足夠多重復(fù)抽樣，參數(shù)可能值期望（均值）就等于其總體參數(shù)真值，但在一次抽樣中，可能值不一定就等于該真值。那么，在一次抽樣中，參數(shù)可能值與真值差異有多大，是否顯著，這就需要進(jìn)一步進(jìn)行統(tǒng)計(jì)檢驗(yàn)。要緊包括擬合優(yōu)度檢驗(yàn)、變量顯著性檢驗(yàn)及參數(shù)區(qū)間可能。 一、擬合優(yōu)度檢驗(yàn)擬合優(yōu)度檢驗(yàn)，顧名思義，是檢驗(yàn)?zāi)Ｐ蛯?duì)樣本觀測(cè)值擬合程度。檢驗(yàn)方法，是構(gòu)造一個(gè)能夠表征擬合程度指標(biāo)，在那個(gè)地點(diǎn)稱為統(tǒng)計(jì)量，統(tǒng)計(jì)量是樣本函數(shù)。從檢驗(yàn)對(duì)象中計(jì)算出該統(tǒng)計(jì)量數(shù)值，然后與某一標(biāo)準(zhǔn)進(jìn)行比較，

2、得出檢驗(yàn)結(jié)論。有人也許會(huì)問(wèn)，采納一般最小二乘可能方法，差不多保證了模型最好地?cái)M合了樣本觀測(cè)值，什么緣故還要檢驗(yàn)擬合程度？問(wèn)題在于，在一個(gè)特定條件下做得最好并不一定確實(shí)是高質(zhì)量。一般最小二乘法所保證最好擬合，是同一個(gè)問(wèn)題內(nèi)部比較，擬合優(yōu)度檢驗(yàn)結(jié)果所表示優(yōu)劣是不同問(wèn)題之間比較。例如圖2.3.1和圖2.3.2中直線方程差不多上由散點(diǎn)表示樣本觀測(cè)值最小二乘可能結(jié)果，關(guān)于每個(gè)問(wèn)題它們都滿足殘差平方和最小，然而二者對(duì)樣本觀測(cè)值擬合程度顯然是不同。 圖2.3.1 圖2.3.2 1、總離差平方和分解已知由一組樣本觀測(cè)值，=1,2,n得到如下樣本回歸直線而第個(gè)觀測(cè)值與樣本均值離差可分解為兩部分之和： （2.3.

3、1）圖2.3.3示出了這種分解，其中，是樣本回歸直線理論值(回歸擬合值)與觀測(cè)值平均值之差，可認(rèn)為是由回歸直線解釋部分；是實(shí)際觀測(cè)值與回歸擬合值之差，是回歸直線不能解釋部分。顯然，假如落在樣本回歸線上，則第個(gè)觀測(cè)值與樣本均值離差，全部來(lái)自樣本回歸擬合值與樣本均值離差，即完全可由樣本回歸線解釋。表明在該點(diǎn)處實(shí)現(xiàn)完全擬合。 Y =來(lái)自殘差 SRF =總離差 =來(lái)自回歸 X圖2.3.3關(guān)于所有樣本點(diǎn)，則需考慮這些點(diǎn)與樣本均值離差平方和。由于 能夠證明，因此有 (2.3.2)記，稱為總離差平方和（Total Sum of Squares），反映樣本觀測(cè)值總體離差大小；，稱為回歸平方和（Explaine

4、d Sum of Squares），反映由模型中解釋變量所解釋那部分離差大??；，稱為殘差平方和（Residual Sum of Squares），反映樣本觀測(cè)值與可能值偏離大小，也是模型中解釋變量未解釋那部分離差大小。 （2.3.2）表明觀測(cè)值圍繞其均值總離差平方和可分解為兩部分，一部分來(lái)自回歸線，另一部分則來(lái)自隨機(jī)勢(shì)力。因此，可用來(lái)自回歸線回歸平方和占Y總離差平方和比例來(lái)推斷樣本回歸線與樣本觀測(cè)值擬合優(yōu)度。 讀者也許會(huì)問(wèn)，既然反映樣本觀測(cè)值與可能值偏離大小，可否直接用它作為擬合優(yōu)度檢驗(yàn)統(tǒng)計(jì)量？那個(gè)地點(diǎn)提出了一個(gè)普遍問(wèn)題，即作為檢驗(yàn)統(tǒng)計(jì)量一般應(yīng)該是相對(duì)量，而不能用絕對(duì)量。因?yàn)橛媒^對(duì)量作為檢驗(yàn)統(tǒng)

5、計(jì)量，無(wú)法設(shè)置標(biāo)準(zhǔn)。在那個(gè)地點(diǎn)，即殘差平方和，與樣本容量關(guān)系專門大，當(dāng)n比較小時(shí)，它值也較小，但不能因此而推斷模型擬合優(yōu)度就好。 2、可決系數(shù)統(tǒng)計(jì)量 依照上述關(guān)系，能夠用 (2.3.3)檢驗(yàn)?zāi)Ｐ蛿M合優(yōu)度，稱為可決系數(shù)（coefficient of determination）。顯然，在總離差平方和中，回歸平方和所占比重越大，殘差平方和所占比重越小，則回歸直線與樣本點(diǎn)擬合得越好。假如模型與樣本觀測(cè)值完全擬合，則有。因此，模型與樣本觀測(cè)值完全擬合情況是不可能發(fā)生，不可能等于1。但毫無(wú)疑問(wèn)是該統(tǒng)計(jì)量越接近于1，模型擬合優(yōu)度越高。在實(shí)際計(jì)算可決系數(shù)時(shí)，在差不多可能出后，一個(gè)較為簡(jiǎn)單計(jì)算公式為： （2.

6、3.4）那個(gè)地點(diǎn)用到了樣本回歸函數(shù)離差形式來(lái)計(jì)算回歸平方和： 。在例2.1.1收入-消費(fèi)支出例中， 講明在線性回歸模型中，家庭消費(fèi)支出總變差（variation）中，由家庭可支配收入變差解釋部分占97.66%，模型擬合優(yōu)度較高。 由（2.3.3）知，可決系數(shù)取值范圍為，是一個(gè)非負(fù)統(tǒng)計(jì)量。它也是隨著抽樣不同而不同，即是隨抽樣而變動(dòng)統(tǒng)計(jì)量。為此，對(duì)可決系數(shù)統(tǒng)計(jì)可靠性也應(yīng)進(jìn)行檢驗(yàn)，這將在第3章中進(jìn)行。 二、變量顯著性檢驗(yàn) 變量顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間線性關(guān)系是否顯著成立作出推斷，或者講考察所選擇解釋變量是否對(duì)被解釋變量有顯著線性阻礙。 從上面擬合優(yōu)度檢驗(yàn)中能夠看出，擬合優(yōu)度高

7、，則解釋變量對(duì)被解釋變量解釋程度就高，線性阻礙就強(qiáng)，能夠推測(cè)模型線性關(guān)系成立；反之，就不成立。但這只是一個(gè)模糊推測(cè)，不能給出一個(gè)統(tǒng)計(jì)上嚴(yán)格結(jié)論。因此，還必須進(jìn)行變量顯著性檢驗(yàn)。變量顯著性檢驗(yàn)所應(yīng)用方法是數(shù)理統(tǒng)計(jì)學(xué)中假設(shè)檢驗(yàn)。 1、假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)是統(tǒng)計(jì)推斷一個(gè)要緊內(nèi)容，它差不多任務(wù)是依照樣本所提供信息，對(duì)未知總體分布某些方面假設(shè)作出合理推斷。假設(shè)檢驗(yàn)程序是，先依照實(shí)際問(wèn)題要求提出一個(gè)論斷，稱為統(tǒng)計(jì)假設(shè)，記為；然后依照樣本有關(guān)信息，對(duì)真?zhèn)芜M(jìn)行推斷，作出拒絕或同意決策。假設(shè)檢驗(yàn)差不多思想是概率性質(zhì)反證法。為了檢驗(yàn)原假設(shè)是否正確，先假定那個(gè)假設(shè)是正確，看由此能推出什么結(jié)果。假如導(dǎo)致一個(gè)不合理結(jié)果，則

8、表明“假設(shè)為正確”是錯(cuò)誤，即原假設(shè)不正確，因此要拒絕原假設(shè)。假如沒(méi)有導(dǎo)致一個(gè)不合理現(xiàn)象出現(xiàn)，則不能認(rèn)為原假設(shè)不正確，因此不能拒絕拒絕原假設(shè)。概率性質(zhì)反證法依照是小概率事件原理，該原理認(rèn)為“小概率事件在一次試驗(yàn)中幾乎是不可能發(fā)生”。在原假設(shè)下構(gòu)造一個(gè)事件，那個(gè)事件在“原假設(shè)是正確”條件下是一個(gè)小概率事件。隨機(jī)抽取一組容量為n樣本觀測(cè)值進(jìn)行該事件試驗(yàn)，假如該事件發(fā)生了，講明“原假設(shè)是正確”是錯(cuò)誤，因?yàn)椴粦?yīng)該出現(xiàn)小概率事件出現(xiàn)了。因而應(yīng)該拒絕原假設(shè)。反之，假如該小概率事件沒(méi)有出現(xiàn)，就沒(méi)有理由拒絕原假設(shè)，應(yīng)該同意原假設(shè)。 2、變量顯著性檢驗(yàn) 用以進(jìn)行變量顯著性檢驗(yàn)方法要緊有三種：F檢驗(yàn)、t檢驗(yàn)、z檢驗(yàn)

9、。它們區(qū)不在于構(gòu)造統(tǒng)計(jì)量不同。應(yīng)用最為普遍t檢驗(yàn)，在目前使用計(jì)量經(jīng)濟(jì)學(xué)軟件包中，都有關(guān)于t統(tǒng)計(jì)量計(jì)算結(jié)果。我們?cè)诖酥唤榻Bt檢驗(yàn)。 關(guān)于一元線性回歸方程中，差不多明白它服從正態(tài)分布 進(jìn)一步依照數(shù)理統(tǒng)計(jì)學(xué)中定義，假如真實(shí)未知，而用它無(wú)偏可能量替代時(shí)，可構(gòu)造如下統(tǒng)計(jì)量 (2.3.5)則該統(tǒng)計(jì)量服從自由度為分布。因此，可用該統(tǒng)計(jì)量作為顯著性檢驗(yàn)統(tǒng)計(jì)量。假如變量是顯著，那么參數(shù)應(yīng)該顯著地不為0。因此，在變量顯著性檢驗(yàn)中設(shè)計(jì)原假設(shè)為： 給定一個(gè)顯著性水平，查分布表（見(jiàn)附錄），得到一個(gè)臨界值。因?yàn)榉植际请p尾分布，因此按照查分布表中臨界值。因此 （那個(gè)地點(diǎn)已不同于(2.3.5) 式，其中）為原假設(shè)下一個(gè)小概率

10、事件。在參數(shù)可能完成后，能夠?qū)ｉT容易計(jì)算數(shù)值。假如發(fā)生了，則在(1)置信度下拒絕原假設(shè)，即變量X是顯著，通過(guò)變量顯著性檢驗(yàn)。假如未發(fā)生，則在(1)置信度下同意原假設(shè)，即變量X是不顯著，未通過(guò)變量顯著性檢驗(yàn)。關(guān)于一元線性回歸方程中，可構(gòu)造如下t統(tǒng)計(jì)量進(jìn)行顯著性檢驗(yàn)： (2.3.6)同樣地，該統(tǒng)計(jì)量服從自由度為分布，檢驗(yàn)原假設(shè)一般仍為。在例2.1.1及例2.2.1收入-消費(fèi)支出例中，首先計(jì)算可能值因此和標(biāo)準(zhǔn)差可能值分不是：t統(tǒng)計(jì)量計(jì)算結(jié)果分不為： 給定一個(gè)顯著性水平=0.05，查分布表中自由度為8（在那個(gè)例中）、=0.05臨界值，得到2.306?？梢?jiàn)，講明解釋變量家庭可支配收入在95%置信度下顯著

11、，即通過(guò)了變量顯著性檢驗(yàn)。但,表明在95%置信度下，無(wú)法拒絕截距項(xiàng)為零假設(shè)。三、參數(shù)置信區(qū)間 假設(shè)檢驗(yàn)?zāi)軌蛲ㄟ^(guò)一次抽樣結(jié)果檢驗(yàn)總體參數(shù)可能假設(shè)值范圍（最常用假設(shè)為總體參數(shù)值為零），但它并沒(méi)有指出在一次抽樣中樣本參數(shù)值到底離總體參數(shù)真值有多“近”。要推斷樣本參數(shù)可能值在多大程度上能夠“近似”地替代總體參數(shù)真值，往往需要通過(guò)構(gòu)造一個(gè)以樣本參數(shù)可能值為中心“區(qū)間”，來(lái)考察它以多大可能性（概率）包含著真實(shí)參數(shù)值。這種方法確實(shí)是參數(shù)檢驗(yàn)置信區(qū)間可能。要推斷可能參數(shù)值離真實(shí)參數(shù)值有多“近”，可預(yù)先選擇一個(gè)概率，并求一個(gè)正數(shù)，使得隨機(jī)區(qū)間（random interval）包含參數(shù)真值概率為1-。即：假如存在

12、如此一個(gè)區(qū)間，稱之為置信區(qū)間（confidence interval）； 1-稱為置信系數(shù)（置信度）（confidence coefficient），稱為顯著性水平（level of significance）；置信區(qū)間端點(diǎn)稱為置信限（confidence limit）或臨界值（critical values）。在變量顯著性檢驗(yàn)中差不多明白： 這確實(shí)是講，假如給定置信度，從分布表中查得自由度為臨界值，那么值處在概率是。表示為： 即 因此得到置信度下置信區(qū)間是 (2.3.6)在例2.1.1與2.2.1中，假如給定，查表得： 從假設(shè)檢驗(yàn)中已得到： ， 因此，依照(2.3.6)計(jì)算得到、置信區(qū)間分不為 （0.6345,0.9195) （-433.32,226.98）顯然，參數(shù)置