多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)報(bào)告課件

本資料來源本資料來源§2.4多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)

StatisticalTestofMultipleLinearRegressionModel

一、擬合優(yōu)度檢驗(yàn)（R2）二、方程顯著性檢驗(yàn)（F檢驗(yàn)）三、變量顯著性檢驗(yàn)（t檢驗(yàn)）§2.4多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)

Statistica說明由計(jì)量經(jīng)濟(jì)模型的數(shù)理統(tǒng)計(jì)理論要求的以多元線性模型為例將參數(shù)估計(jì)量和預(yù)測(cè)值的區(qū)間檢驗(yàn)單獨(dú)列為一節(jié)，在一些教科書中也將它們放在統(tǒng)計(jì)檢驗(yàn)中包含擬合優(yōu)度檢驗(yàn)、總體顯著性檢驗(yàn)、變量顯著性檢驗(yàn)、偏回歸系數(shù)約束檢驗(yàn)、模型對(duì)時(shí)間或截面?zhèn)€體的穩(wěn)定性檢驗(yàn)等說明由計(jì)量經(jīng)濟(jì)模型的數(shù)理統(tǒng)計(jì)理論要求的一、擬合優(yōu)度檢驗(yàn)

TestingtheSimulationLevel一、擬合優(yōu)度檢驗(yàn)

TestingtheSimulatio1、概念檢驗(yàn)?zāi)Ｐ蛯?duì)樣本觀測(cè)值的擬合程度。通過構(gòu)造一個(gè)可以表征擬合程度的統(tǒng)計(jì)量來實(shí)現(xiàn)。問題：采用普通最小二乘估計(jì)方法，已經(jīng)保證了模型最好地?cái)M合了樣本觀測(cè)值，為什么還要檢驗(yàn)擬合程度？答案：選擇合適的估計(jì)方法所保證的最好擬合，是同一個(gè)問題內(nèi)部的比較；擬合優(yōu)度檢驗(yàn)結(jié)果所表示的優(yōu)劣是不同問題之間的比較。1、概念檢驗(yàn)?zāi)Ｐ蛯?duì)樣本觀測(cè)值的擬合程度。多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)報(bào)告多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)報(bào)告多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)報(bào)告2、總體平方和、殘差平方和和回歸平方和

定義TSS為總體平方和（TotalSumofSquares），反映樣本觀測(cè)值總體離差的大?。籈SS為回歸平方和（ExplainedSumofSquares），反映由模型中解釋變量所解釋的那部分離差的大小；RSS為殘差平方和（ResidualSumofSquares），反映樣本觀測(cè)值與估計(jì)值偏離的大小，也是模型中解釋變量未解釋的那部分離差的大小。

2、總體平方和、殘差平方和和回歸平方和定義既然ESS反映樣本觀測(cè)值與估計(jì)值偏離的大小，可否直接用它作為擬合優(yōu)度檢驗(yàn)的統(tǒng)計(jì)量？

不行

統(tǒng)計(jì)量必須是相對(duì)量TSS、ESS、RSS之間的關(guān)系

TSS=RSS+ESS既然ESS反映樣本觀測(cè)值與估計(jì)值偏離的大小，可否直接用它作為3、一個(gè)有趣的現(xiàn)象矛盾嗎？可能嗎？3、一個(gè)有趣的現(xiàn)象矛盾嗎？可能嗎？關(guān)鍵是在TSS=RSS+ESS的推導(dǎo)過程中應(yīng)用了一組矩條件

矩條件在大樣本下成立，只有1個(gè)樣本時(shí)肯定不成立，在樣本足夠大時(shí)近似成立

理解教材中關(guān)于TSS=RSS+ESS的推導(dǎo)過程關(guān)鍵是在TSS=RSS+ESS的推導(dǎo)過程中應(yīng)用了一組矩條件4、擬合優(yōu)度檢驗(yàn)統(tǒng)計(jì)量－－－

可決系數(shù)r2和調(diào)整后的可決系數(shù)R2可決系數(shù)r2

模型與樣本觀測(cè)值完全擬合時(shí)，r2=1。該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。問題：要使得模型擬合得好，就必須增加解釋變量；增加解釋變量必定使得自由度減少。

4、擬合優(yōu)度檢驗(yàn)統(tǒng)計(jì)量－－－

可決系數(shù)r2和調(diào)整后的可決系數(shù)調(diào)整的可決系數(shù)R2為什么以R2作為檢驗(yàn)統(tǒng)計(jì)量避免片面增加解釋變量的傾向？R2多大才算通過擬合優(yōu)度檢驗(yàn)？調(diào)整的可決系數(shù)R2為什么以R2作為檢驗(yàn)統(tǒng)計(jì)量避免片面增加解釋在應(yīng)用軟件中，可決系數(shù)r2和調(diào)整后的可決系數(shù)R2的計(jì)算是自動(dòng)完成的在消費(fèi)模型中r2=0.999773R2=0.999739在應(yīng)用軟件中，可決系數(shù)r2和調(diào)整后的可決系數(shù)R2的計(jì)算是自動(dòng)二、方程顯著性檢驗(yàn)

TestingtheOverallSignificance二、方程顯著性檢驗(yàn)

TestingtheOverall1、關(guān)于假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)是統(tǒng)計(jì)推斷的一個(gè)主要內(nèi)容，它的基本任務(wù)是根據(jù)樣本所提供的信息，對(duì)未知總體分布的某些方面的假設(shè)作出合理的判斷。假設(shè)檢驗(yàn)的程序是，先根據(jù)實(shí)際問題的要求提出一個(gè)論斷，稱為統(tǒng)計(jì)假設(shè)；然后根據(jù)樣本的有關(guān)信息，對(duì)的真?zhèn)芜M(jìn)行判斷，作出拒絕或接受的決策。

假設(shè)檢驗(yàn)的基本思想是概率性質(zhì)的反證法。概率性質(zhì)的反證法的根據(jù)是小概率事件原理，該原理認(rèn)為“小概率事件在一次試驗(yàn)中幾乎是不可能發(fā)生的”。1、關(guān)于假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)是統(tǒng)計(jì)推斷的一個(gè)主要內(nèi)容，它的基本任2、方程的顯著性檢驗(yàn)

對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。用以進(jìn)行方程的顯著性檢驗(yàn)的方法主要有三種：F檢驗(yàn)、t檢驗(yàn)、r檢驗(yàn)。它們的區(qū)別在于構(gòu)造的統(tǒng)計(jì)量不同，即設(shè)計(jì)的“事件”不同。應(yīng)用最為普遍的F檢驗(yàn)。2、方程的顯著性檢驗(yàn)對(duì)模型中被解釋變量與解釋變量之間的線性

3、方程顯著性的F檢驗(yàn)方程顯著性的F檢驗(yàn)3、方程顯著性的F檢驗(yàn)方程顯著性的F檢驗(yàn)F檢驗(yàn)的思想來自于總離差平方和的分解式：

TSS=ESS+RSS由于回歸平方和ESS是解釋變量X聯(lián)合體對(duì)被解釋變量Y的線性作用的結(jié)果，所以，如果ESS/RSS的比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。因此,可通過該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷。F檢驗(yàn)的思想來自于總離差平方和的分解式：因此,可通過該比值的進(jìn)一步根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的定義，如果構(gòu)造一個(gè)統(tǒng)計(jì)量

則該統(tǒng)計(jì)量服從自由度為（n-k-1）的F分布。

進(jìn)一步根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的定義，如果構(gòu)造一個(gè)統(tǒng)計(jì)量則該統(tǒng)計(jì)量在消費(fèi)模型中，k=2,n=16,給定α=0.01,查得Ｆ0.01（2,13)=3.80，而Ｆ=28682.51>3.80,所以該線性模型在0.99的水平下顯著成立。在消費(fèi)模型中，k=2,n=16,給定α=0.01,查得Ｆ0.

關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論

可見，Ｆ與R2同向變化：當(dāng)R2

＝０時(shí)，Ｆ＝０；當(dāng)R2=時(shí)，Ｆ為無窮大；R2越大，Ｆ值也越大。要注意：不要過分強(qiáng)調(diào)R2。（見p49）關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論可見多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)報(bào)告回答前面的問題：R2多大才算通過擬合優(yōu)度檢驗(yàn)？

在消費(fèi)模型中，R2>0.28→F>3.80→該線性模型在0.99的水平下顯著成立。

有許多著名的模型，R2小于0.5，支持了重要的結(jié)論，例如收入差距的倒U型規(guī)律。

不要片面追求擬合優(yōu)度?；卮鹎懊娴膯栴}：R2多大才算通過擬合優(yōu)度檢驗(yàn)？三、變量顯著性檢驗(yàn)

TestingtheIndividualSignificance三、變量顯著性檢驗(yàn)

TestingtheIndividu1、變量顯著性檢驗(yàn)

對(duì)于多元線性回歸模型，方程的總體線性關(guān)系是顯著的，并不能說明每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的。因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。變量顯著性檢驗(yàn)的數(shù)理統(tǒng)計(jì)學(xué)基礎(chǔ)相同于方程顯著性檢驗(yàn)，檢驗(yàn)的思路與程序也與方程顯著性檢驗(yàn)相似。用以進(jìn)行變量顯著性檢驗(yàn)的方法主要有三種：F檢驗(yàn)、t檢驗(yàn)、z檢驗(yàn)。它們的區(qū)別在于構(gòu)造的統(tǒng)計(jì)量不同。應(yīng)用最為普遍的t檢驗(yàn)。

1、變量顯著性檢驗(yàn)對(duì)于多元線性回歸模型，方程的總體線性關(guān)2、變量顯著性的t檢驗(yàn)如果構(gòu)造一個(gè)統(tǒng)計(jì)量

已經(jīng)知道

說明：在古典假設(shè)條件下，假定ui服從正態(tài)分布，Yi也服從正態(tài)分布，而已經(jīng)估計(jì)出來的參數(shù)均是被解釋變量Yi的線性函數(shù)（線性性），所以即使是在小樣本情況下，參數(shù)估計(jì)量也服從正態(tài)分布。在大樣本的情況下，即使被解釋變量Yi不服從正態(tài)分布，參數(shù)估計(jì)量也會(huì)趨于正態(tài)分布。2、變量顯著性的t檢驗(yàn)如果構(gòu)造一個(gè)統(tǒng)計(jì)量已經(jīng)知道說明：在提出原假設(shè)與備擇假設(shè)：

H0：i=0,H1:i0注意：p296t分布的臨界點(diǎn)的規(guī)律：

1）必須考慮兩個(gè)因素：自由度和顯著性水平

2）隨著自由度的增加，t分布的臨界點(diǎn)值變大。提出原假設(shè)與備擇假設(shè)：注意：p296在例2.3.1的消費(fèi)模型中，

|t0|=6.835,|t1|=32.363,|t2|=5.071

給定α=0.01,查得t0.005（13）＝3.012，所以所有變量都在0.99的水平下顯著。在例2.3.1的消費(fèi)模型中，3、在一元線性回歸（k=1）中，t檢驗(yàn)與F檢驗(yàn)是一致的。3、在一元線性回歸（k=1）中，t檢驗(yàn)與F檢驗(yàn)是一致的。本資料來源本資料來源§2.4多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)

StatisticalTestofMultipleLinearRegressionModel

一、擬合優(yōu)度檢驗(yàn)（R2）二、方程顯著性檢驗(yàn)（F檢驗(yàn)）三、變量顯著性檢驗(yàn)（t檢驗(yàn)）§2.4多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)

Statistica說明由計(jì)量經(jīng)濟(jì)模型的數(shù)理統(tǒng)計(jì)理論要求的以多元線性模型為例將參數(shù)估計(jì)量和預(yù)測(cè)值的區(qū)間檢驗(yàn)單獨(dú)列為一節(jié)，在一些教科書中也將它們放在統(tǒng)計(jì)檢驗(yàn)中包含擬合優(yōu)度檢驗(yàn)、總體顯著性檢驗(yàn)、變量顯著性檢驗(yàn)、偏回歸系數(shù)約束檢驗(yàn)、模型對(duì)時(shí)間或截面?zhèn)€體的穩(wěn)定性檢驗(yàn)等說明由計(jì)量經(jīng)濟(jì)模型的數(shù)理統(tǒng)計(jì)理論要求的一、擬合優(yōu)度檢驗(yàn)

TestingtheSimulationLevel一、擬合優(yōu)度檢驗(yàn)

TestingtheSimulatio1、概念檢驗(yàn)?zāi)Ｐ蛯?duì)樣本觀測(cè)值的擬合程度。通過構(gòu)造一個(gè)可以表征擬合程度的統(tǒng)計(jì)量來實(shí)現(xiàn)。問題：采用普通最小二乘估計(jì)方法，已經(jīng)保證了模型最好地?cái)M合了樣本觀測(cè)值，為什么還要檢驗(yàn)擬合程度？答案：選擇合適的估計(jì)方法所保證的最好擬合，是同一個(gè)問題內(nèi)部的比較；擬合優(yōu)度檢驗(yàn)結(jié)果所表示的優(yōu)劣是不同問題之間的比較。1、概念檢驗(yàn)?zāi)Ｐ蛯?duì)樣本觀測(cè)值的擬合程度。多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)報(bào)告多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)報(bào)告多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)報(bào)告2、總體平方和、殘差平方和和回歸平方和

定義TSS為總體平方和（TotalSumofSquares），反映樣本觀測(cè)值總體離差的大?。籈SS為回歸平方和（ExplainedSumofSquares），反映由模型中解釋變量所解釋的那部分離差的大小；RSS為殘差平方和（ResidualSumofSquares），反映樣本觀測(cè)值與估計(jì)值偏離的大小，也是模型中解釋變量未解釋的那部分離差的大小。

2、總體平方和、殘差平方和和回歸平方和定義既然ESS反映樣本觀測(cè)值與估計(jì)值偏離的大小，可否直接用它作為擬合優(yōu)度檢驗(yàn)的統(tǒng)計(jì)量？

不行

統(tǒng)計(jì)量必須是相對(duì)量TSS、ESS、RSS之間的關(guān)系

TSS=RSS+ESS既然ESS反映樣本觀測(cè)值與估計(jì)值偏離的大小，可否直接用它作為3、一個(gè)有趣的現(xiàn)象矛盾嗎？可能嗎？3、一個(gè)有趣的現(xiàn)象矛盾嗎？可能嗎？關(guān)鍵是在TSS=RSS+ESS的推導(dǎo)過程中應(yīng)用了一組矩條件

矩條件在大樣本下成立，只有1個(gè)樣本時(shí)肯定不成立，在樣本足夠大時(shí)近似成立

理解教材中關(guān)于TSS=RSS+ESS的推導(dǎo)過程關(guān)鍵是在TSS=RSS+ESS的推導(dǎo)過程中應(yīng)用了一組矩條件4、擬合優(yōu)度檢驗(yàn)統(tǒng)計(jì)量－－－

可決系數(shù)r2和調(diào)整后的可決系數(shù)R2可決系數(shù)r2

模型與樣本觀測(cè)值完全擬合時(shí)，r2=1。該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。問題：要使得模型擬合得好，就必須增加解釋變量；增加解釋變量必定使得自由度減少。

4、擬合優(yōu)度檢驗(yàn)統(tǒng)計(jì)量－－－

可決系數(shù)r2和調(diào)整后的可決系數(shù)調(diào)整的可決系數(shù)R2為什么以R2作為檢驗(yàn)統(tǒng)計(jì)量避免片面增加解釋變量的傾向？R2多大才算通過擬合優(yōu)度檢驗(yàn)？調(diào)整的可決系數(shù)R2為什么以R2作為檢驗(yàn)統(tǒng)計(jì)量避免片面增加解釋在應(yīng)用軟件中，可決系數(shù)r2和調(diào)整后的可決系數(shù)R2的計(jì)算是自動(dòng)完成的在消費(fèi)模型中r2=0.999773R2=0.999739在應(yīng)用軟件中，可決系數(shù)r2和調(diào)整后的可決系數(shù)R2的計(jì)算是自動(dòng)二、方程顯著性檢驗(yàn)

TestingtheOverallSignificance二、方程顯著性檢驗(yàn)

TestingtheOverall1、關(guān)于假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)是統(tǒng)計(jì)推斷的一個(gè)主要內(nèi)容，它的基本任務(wù)是根據(jù)樣本所提供的信息，對(duì)未知總體分布的某些方面的假設(shè)作出合理的判斷。假設(shè)檢驗(yàn)的程序是，先根據(jù)實(shí)際問題的要求提出一個(gè)論斷，稱為統(tǒng)計(jì)假設(shè)；然后根據(jù)樣本的有關(guān)信息，對(duì)的真?zhèn)芜M(jìn)行判斷，作出拒絕或接受的決策。

假設(shè)檢驗(yàn)的基本思想是概率性質(zhì)的反證法。概率性質(zhì)的反證法的根據(jù)是小概率事件原理，該原理認(rèn)為“小概率事件在一次試驗(yàn)中幾乎是不可能發(fā)生的”。1、關(guān)于假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)是統(tǒng)計(jì)推斷的一個(gè)主要內(nèi)容，它的基本任2、方程的顯著性檢驗(yàn)

對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。用以進(jìn)行方程的顯著性檢驗(yàn)的方法主要有三種：F檢驗(yàn)、t檢驗(yàn)、r檢驗(yàn)。它們的區(qū)別在于構(gòu)造的統(tǒng)計(jì)量不同，即設(shè)計(jì)的“事件”不同。應(yīng)用最為普遍的F檢驗(yàn)。2、方程的顯著性檢驗(yàn)對(duì)模型中被解釋變量與解釋變量之間的線性

3、方程顯著性的F檢驗(yàn)方程顯著性的F檢驗(yàn)3、方程顯著性的F檢驗(yàn)方程顯著性的F檢驗(yàn)F檢驗(yàn)的思想來自于總離差平方和的分解式：

TSS=ESS+RSS由于回歸平方和ESS是解釋變量X聯(lián)合體對(duì)被解釋變量Y的線性作用的結(jié)果，所以，如果ESS/RSS的比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。因此,可通過該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷。F檢驗(yàn)的思想來自于總離差平方和的分解式：因此,可通過該比值的進(jìn)一步根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的定義，如果構(gòu)造一個(gè)統(tǒng)計(jì)量

則該統(tǒng)計(jì)量服從自由度為（n-k-1）的F分布。

進(jìn)一步根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的定義，如果構(gòu)造一個(gè)統(tǒng)計(jì)量則該統(tǒng)計(jì)量在消費(fèi)模型中，k=2,n=16,給定α=0.01,查得Ｆ0.01（2,13)=3.80，而Ｆ=28682.51>3.80,所以該線性模型在0.99的水平下顯著成立。在消費(fèi)模型中，k=2,n=16,給定α=0.01,查得Ｆ0.

關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論

可見，Ｆ與R2同向變化：當(dāng)R2

＝０時(shí)，Ｆ＝０；當(dāng)R2=時(shí)，Ｆ為無窮大；R2越大，Ｆ值也越大。要注意：不要過分強(qiáng)調(diào)R2。（見p49）關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論可見多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)報(bào)告回答前面的問題：R2多大才算通過擬合優(yōu)度檢驗(yàn)？

在消費(fèi)模型中，R2>0.28→F>3.80→該線性模型在0.99的水平下顯著成立。

有許多著名的模型，R2小于0.5，支持了重要的結(jié)論，例如收入差距的倒U型規(guī)律。

不要片面追求擬合優(yōu)度?；卮鹎懊娴膯栴}：R2多大才算通過擬合優(yōu)度檢驗(yàn)？三、變量顯著性檢驗(yàn)

TestingtheIndividualSignificance三、變量顯著性檢驗(yàn)

TestingtheIndividu1、變量顯著性檢驗(yàn)

對(duì)于多元線性回歸模型，方程的總體線性關(guān)系是顯著的，并不能說明每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的。因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢