統(tǒng)計(jì)學(xué)課件第9章相關(guān)與回歸分析配套講義

2023/2/31第九章相關(guān)與回歸分析第一節(jié)相關(guān)與回歸分析的基本概念第二節(jié)簡(jiǎn)單線性相關(guān)分析第三節(jié)一元線性回歸分析第四節(jié)一元線性回歸模型預(yù)測(cè)第五節(jié)多元線性回歸第六節(jié)多元線性回歸中自變量的選擇第七節(jié)非線性回歸分析第八節(jié)定性自變量的回歸第一節(jié)相關(guān)與回歸分析的基本概念2023/2/32第九章相關(guān)與回歸分析一、函數(shù)關(guān)系與相關(guān)關(guān)系客觀現(xiàn)象總是普遍聯(lián)系和相互依存的。而客觀現(xiàn)象之間的數(shù)量關(guān)系存在著兩種不同的類型：函數(shù)關(guān)系和相關(guān)關(guān)系。函數(shù)關(guān)系是指當(dāng)一個(gè)或幾個(gè)變量取一定的值時(shí)，另一個(gè)變量有確定值與之相對(duì)應(yīng)的關(guān)系。在經(jīng)濟(jì)管理中變量間存在的更為普遍的一種關(guān)系是相關(guān)關(guān)系，相關(guān)關(guān)系是指當(dāng)一個(gè)或幾個(gè)相互聯(lián)系的變量取一定數(shù)值時(shí)，與之相對(duì)應(yīng)的另一個(gè)變量的值雖然不確定，但它仍按某種規(guī)律在一定的范圍內(nèi)變化的關(guān)系。相關(guān)關(guān)系也稱為統(tǒng)計(jì)關(guān)系。2023/2/33二、相關(guān)關(guān)系的種類（一）按相關(guān)的程度可分為完全相關(guān)、不完全相關(guān)和不相關(guān)。（二）按相關(guān)的數(shù)量變化方向可分為正相關(guān)和負(fù)相關(guān)。（三）按相關(guān)的數(shù)學(xué)關(guān)系式中變量次數(shù)的不同可分為線性相關(guān)和非線性相關(guān)。（四）按所研究的變量多少可分為單相關(guān)、復(fù)相關(guān)和偏相關(guān)。

2023/2/34三、相關(guān)分析與回歸分析相關(guān)分析和回歸分析是研究現(xiàn)象之間相關(guān)關(guān)系的兩種基本方法。相關(guān)分析是研究現(xiàn)象間是否有相互依存關(guān)系以及依存關(guān)系的密切程度的方法?；貧w分析是根據(jù)相關(guān)關(guān)系的具體形態(tài)，即選擇一個(gè)合適的數(shù)學(xué)模型，來近似地表達(dá)變量間的平均變化關(guān)系。回歸分析能給出變量之間相互關(guān)系的具體數(shù)學(xué)表達(dá)式的形式，根據(jù)這個(gè)數(shù)學(xué)關(guān)系式可以從已知量來推測(cè)未知量。因此，相關(guān)分析不能實(shí)現(xiàn)變量間數(shù)量的互相推算，而且也不必區(qū)分哪個(gè)變量是自變量，哪個(gè)變量是因變量，其所涉及的變量可以都是隨機(jī)變量。而回歸分析中自變量和因變量是要區(qū)分的，并且一般地說，回歸分析中因變量是隨機(jī)的，而把自變量作為研究時(shí)給定的非隨機(jī)的可控變量。2023/2/35四、相關(guān)圖

2023/2/36a）正相關(guān)b）復(fù)相關(guān)c）不相關(guān)圖9-1現(xiàn)象間三種關(guān)系第二節(jié)簡(jiǎn)單線性相關(guān)分析2023/2/37第九章相關(guān)與回歸分析一、相關(guān)系數(shù)的定義單相關(guān)分析是對(duì)兩個(gè)變量之間的線性相關(guān)程度進(jìn)行分析。單相關(guān)分析所采用的尺度為單相關(guān)系數(shù)，簡(jiǎn)稱相關(guān)系數(shù)?？傮w的相關(guān)系數(shù)：

樣本的相關(guān)系數(shù)：上式的代數(shù)等價(jià)式為2023/2/38二、相關(guān)系數(shù)的特點(diǎn)樣本相關(guān)系數(shù)有以下特點(diǎn)：（一）r的取值介于-1與1之間。（二）當(dāng)r=0時(shí)，表明樣本觀測(cè)值x與y之間沒有線性關(guān)系。（三）在大多數(shù)情況下，，即x與y的之間存在著一定的線性關(guān)系：當(dāng)r>0時(shí)，x與y為正相關(guān)；當(dāng)r<0時(shí)，x與y為負(fù)相關(guān)。（四）如果，則表明x與y完全線性相關(guān)；當(dāng)r=1時(shí)，稱為完全正相關(guān)；而r=-1時(shí)，稱為完全負(fù)相關(guān)。（五）r是對(duì)變量之間線性相關(guān)關(guān)系的度量。

2023/2/39二、相關(guān)系數(shù)的特點(diǎn)【例9-1】表9-1是1993-2012年我國(guó)國(guó)內(nèi)生產(chǎn)總值（現(xiàn)價(jià)）和發(fā)電量的有關(guān)資料，試?yán)帽碇械臄?shù)據(jù)計(jì)算我國(guó)年底國(guó)內(nèi)生產(chǎn)總值和發(fā)電量的樣本相關(guān)系數(shù)。（數(shù)據(jù)見下一頁）

解：將表9-1中的有關(guān)數(shù)據(jù)代入公式，可得2023/2/3102023/2/311年份國(guó)內(nèi)生產(chǎn)總值(千億元)發(fā)電量(千億千瓦小時(shí))199335.3348.3951248.48670.476296.628199448.1989.2812323.03386.137447.324199560.79410.0703695.878101.411612.211199671.17710.8135066.107116.923769.640199778.97311.3566236.740128.948896.781199884.40211.6707123.745136.189984.975199989.67712.3938041.974153.5861111.368200099.21513.5569843.528183.7651344.9522001109.65514.80812024.256219.2771623.7762002120.33316.54014479.956273.5721990.3032003135.82319.10618447.821365.0302594.9962004159.87822.03325561.083485.4573522.6142005184.93725.00334201.830625.1304623.9152006216.31428.65746791.931821.2396198.9792007265.81032.81670655.1191076.8598722.7062008314.04534.95898624.5291222.03410978.2782009340.90337.147116214.7281379.86312663.3502010401.51342.072161212.5251770.02016892.2862011473.10447.130223827.3952221.25522297.4812012519.32249.378269695.3402438.15725642.926合計(jì)3809.407457.1801135316.00413875.328124215.487表9-1我國(guó)近年來國(guó)內(nèi)生產(chǎn)總值和發(fā)電量相關(guān)數(shù)據(jù)三、相關(guān)系數(shù)的檢驗(yàn)相關(guān)系數(shù)r的顯著性檢驗(yàn)步驟如下：第1步提出假設(shè):

第2步

計(jì)算樣本統(tǒng)計(jì)量t值:第3步根據(jù)給定的顯著性水平a和自由度(n-2)，查找t分布表中相應(yīng)的臨界值ta/2。第4步?jīng)Q策判斷。若，拒絕原假設(shè)，表明兩變量間有顯著的線性相關(guān)關(guān)系；若，表明不能拒絕原假設(shè)，或者說兩變量間線性相關(guān)關(guān)系在統(tǒng)計(jì)上是不顯著的。

2023/2/312三、相關(guān)系數(shù)的檢驗(yàn)【例9-2】假設(shè)通過18對(duì)試驗(yàn)數(shù)據(jù)得到某汽車制造企業(yè)的汽車銷售量與居民消費(fèi)水平的相關(guān)系數(shù)r為0.6，問是否能夠在5%的顯著水平下認(rèn)為該企業(yè)的汽車銷售量與居民消費(fèi)水平之間存在一定的線性相關(guān)關(guān)系？解：首先提出假設(shè)：將以上數(shù)據(jù)代入公式，計(jì)算r的t檢驗(yàn)統(tǒng)計(jì)量值

查t分布表可知，顯著水平為0.05，自由度為16的臨界值ta/2=2.21,上式中的t統(tǒng)計(jì)量值大于2.12，因此，r通過顯著性檢驗(yàn)。這就是說，該企業(yè)的汽車銷售量與居民消費(fèi)水平之間存在一定的線性相關(guān)關(guān)系。2023/2/313第三節(jié)一元線性回歸分析2023/2/314第九章相關(guān)與回歸分析一、一元線性回歸模型（一）總體回歸模型當(dāng)變量之間存在著顯著的相關(guān)關(guān)系時(shí)，可以利用一定的數(shù)學(xué)模型對(duì)其進(jìn)行回歸分析?？傮w回歸模型:線性回歸分析基于以下假定:隨機(jī)誤差項(xiàng)的期望值為0;隨機(jī)誤差項(xiàng)的方差為常數(shù);隨機(jī)誤差項(xiàng)之間不存在序列相關(guān)關(guān)系，其協(xié)方差為零;在重復(fù)抽樣中，自變量X的取值是給定的，即假定X是非隨機(jī)變量;隨機(jī)誤差項(xiàng)服從正態(tài)分布。2023/2/315一、一元線性回歸模型（二）總體回歸方程由上述關(guān)于隨機(jī)誤差的假定，容易得到

即Y的期望值是X的線性函數(shù)，該線性函數(shù)稱為回歸方程。2023/2/316圖9-2對(duì)應(yīng)不同的X的Y分布（三）樣本回歸模型假設(shè)、是由樣本數(shù)據(jù)計(jì)算出的、的估計(jì)值，那么以下方程稱樣本回歸方程：實(shí)際觀測(cè)到的因變量Yi值，并不完全等于，如果用ei表示二者之差（即），則有：

上式稱為樣本回歸模型。樣本回歸模型是對(duì)總體回歸模型的近似反映。

2023/2/317二、一元線性回歸模型的估計(jì)（一）回歸系數(shù)的點(diǎn)估計(jì)根據(jù)最小二乘法的思想，可得估計(jì)總體回歸系數(shù)、的公式：2023/2/318圖9-3最小二乘法的示意圖二、一元線性回歸模型的估計(jì)

【例9-3】我們利用例9-1的表9-1中已給出我國(guó)近年來國(guó)內(nèi)生產(chǎn)總值和發(fā)電量的數(shù)據(jù)，來估計(jì)我國(guó)發(fā)電量的基礎(chǔ)水平與發(fā)電量邊際值。解：假設(shè)總體回歸模型為將表9-1中合計(jì)欄的有關(guān)數(shù)據(jù)代入公式，可得

樣本回歸方程為式中，0.091是發(fā)電量邊際值，表示國(guó)內(nèi)生產(chǎn)總值每增加1單位，發(fā)電量會(huì)增加0.091單位；5.596是發(fā)電量基本水平，即與國(guó)內(nèi)生產(chǎn)總值無關(guān)最基本的發(fā)電量為5.596單位。2023/2/319二、一元線性回歸模型的估計(jì)（二）總體方差的估計(jì)的無偏估計(jì)可由下式給出：的正平方根又叫做回歸估計(jì)的標(biāo)準(zhǔn)誤差。越小表明實(shí)際觀測(cè)點(diǎn)與所擬合的樣本回歸線的離差程度越小，即回歸線具有較強(qiáng)的代表性。一般采用以下等價(jià)公式計(jì)算殘差平方和并進(jìn)而根據(jù)式（9-18）計(jì)算：2023/2/320二、一元線性回歸模型的估計(jì)

【例9-4】根據(jù)例9-1中給出的有關(guān)數(shù)據(jù)和例9-3中已得到回歸系數(shù)估計(jì)值，計(jì)算我國(guó)發(fā)電量的總體方差的估計(jì)和回歸估計(jì)標(biāo)準(zhǔn)差s。解：將有關(guān)數(shù)據(jù)代入公式，得

進(jìn)而可得：

2023/2/321二、一元線性回歸模型的估計(jì)（三）回歸系數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)在標(biāo)準(zhǔn)假定能夠得到滿足的條件下，回歸系數(shù)的最小二乘估計(jì)量的期望值等于其真值，即有其方差為最小二乘估計(jì)量是總體回歸系數(shù)的線性無偏估計(jì)量。回歸系數(shù)的最小二乘估計(jì)量滿足點(diǎn)估計(jì)的三個(gè)優(yōu)良標(biāo)準(zhǔn)：無偏性、有效性及一致性，是最優(yōu)線性無偏估計(jì)量和一致估計(jì)量。2023/2/322二、一元線性回歸模型的估計(jì)（四）回歸系數(shù)的區(qū)間估計(jì)

、

服從正態(tài)分布：回歸系數(shù)區(qū)間估計(jì)的公式：式中，是回歸系數(shù)估計(jì)量的樣本標(biāo)準(zhǔn)誤差：2023/2/323二、一元線性回歸模型的估計(jì)

【例9-5】利用例9-3和例9-4的有關(guān)資料和結(jié)果，對(duì)例9-3中估計(jì)的我國(guó)發(fā)電量邊際值進(jìn)行置信度為95%的區(qū)間估計(jì)。解：將前面已求得的有關(guān)數(shù)據(jù)代入公式，可得

查t分布表可知：顯著水平為0.05，自由度為18的t分布雙側(cè)臨界值是2.101，前面已求得，將其代入公式，可得：

即：2023/2/324三、回歸方程的擬合優(yōu)度因?yàn)橛?/p>

所以，對(duì)應(yīng)三種離差平方和的關(guān)系為其中，SST

稱為總離差平方和；SSR稱為回歸平方和，它表示由回歸直線可以解釋的那一部分離差平方和；SSE

稱為殘差平方和，它表示用回歸直線無法解釋的離差平方和。決定系數(shù)：2023/2/325圖9-4離差分解圖三、回歸方程的擬合優(yōu)度決定系數(shù)是對(duì)回歸模型擬合程度的綜合度量，決定系數(shù)越大，模型擬合程度越高。決定系數(shù)越小，則模型對(duì)樣本的擬合程度越差。決定系數(shù)具有如下特性：（一）決定系數(shù)的取值范圍為。（二）由的計(jì)算公式可以看出：=1時(shí)，SSE=0，說明所有的實(shí)際觀測(cè)值都位于回歸直線上，即總離差可以完全由所估計(jì)的樣本回歸直線來解釋；當(dāng)<1，SSE>0,說明實(shí)際觀測(cè)值并不是全部位于回歸直線上時(shí)，但又大致分布在其附近；當(dāng)=0，即SSE=SST，說明回歸直線沒有解釋任何離差，即模型中解釋變量與因變量完全無關(guān)。（三）在一元線性回歸模型中，決定系數(shù)是單相關(guān)系數(shù)的平方。2023/2/326三、回歸方程的擬合優(yōu)度

【例9-6】利用例9-4中計(jì)算的殘差平方和，計(jì)算例9-3所擬合的樣本回歸方程的決定系數(shù)。解：根據(jù)決定系數(shù)公式可得

上式中的SST是利用表8-1中給出的數(shù)據(jù)按下式計(jì)算的：

2023/2/327四、顯著性檢驗(yàn)（一）回歸方程的顯著性檢驗(yàn)步驟第1步假設(shè)總體回歸方程不顯著，即第2步進(jìn)行方差分析，列出回歸方差分析表：第3步根據(jù)方差分析的結(jié)果構(gòu)建統(tǒng)計(jì)量，即：第4步根據(jù)自由度和給定的顯著性水平a，查F分布表中的理論臨界值Fa。2023/2/328離差名稱平方和自由度均方差回歸平方和1殘差平方和總離差平方和

四、顯著性檢驗(yàn)（二）回歸系數(shù)的顯著性檢驗(yàn)所謂回歸系數(shù)的顯著性檢驗(yàn)，就是要檢驗(yàn)自變量對(duì)因變量的影響是否顯著的問題。方法一：t檢驗(yàn)（1）提出假設(shè)：（2）構(gòu)建統(tǒng)計(jì)量并證明其分布：式中，是回歸系數(shù)估計(jì)的標(biāo)準(zhǔn)誤差。（3）根據(jù)樣本數(shù)據(jù)計(jì)算統(tǒng)計(jì)量值。（4）確定臨界值。確定顯著性水平a，查t分布表所確定的臨界值是（）和（）。（5）做出判斷。如果的絕對(duì)值大于臨界值的絕對(duì)值，就拒絕原假設(shè)；反之，接受原假設(shè)。2023/2/329四、顯著性檢驗(yàn)方法二：p檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn)還可以采用p檢驗(yàn)。t值計(jì)算出來之后，并不與t分布的臨界值進(jìn)行對(duì)比，而是直接計(jì)算自由度為n-2的t統(tǒng)計(jì)量大于或小于根據(jù)樣本觀測(cè)值計(jì)算的的概率即p值。然后將其與給定的顯著水平a對(duì)比，如果p小于a，則拒絕原假設(shè)，反之則接受原假設(shè)。2023/2/330四、顯著性檢驗(yàn)

【例9-7】利用例9-3和例9-4、例9-5的有關(guān)資料和結(jié)果，對(duì)例9-3中估計(jì)的我國(guó)發(fā)電量產(chǎn)量邊際值進(jìn)行顯著性檢驗(yàn)。（1）以5%的顯著性水平檢驗(yàn)國(guó)內(nèi)生產(chǎn)總值對(duì)發(fā)電量產(chǎn)量是否有顯著影響;（2）對(duì)，進(jìn)行檢驗(yàn)。解：（1）首先，提出假設(shè)：其次，計(jì)算t值：顯著水平為5%，自由度為18的雙側(cè)t檢驗(yàn)的臨界值是2.101。以上計(jì)算的值遠(yuǎn)大于此臨界值，所以拒絕原假設(shè)，即認(rèn)為國(guó)內(nèi)生產(chǎn)總值對(duì)發(fā)電量產(chǎn)量的影響是非常顯著的。（2）利用公式計(jì)算得到其絕對(duì)值大于此臨界值2.101，所以否定的原假設(shè)，接受備擇假設(shè)，我國(guó)平均發(fā)電量產(chǎn)量的邊際值小于0.1。2023/2/331第四節(jié)一元線性回歸模型預(yù)測(cè)2023/2/332第九章相關(guān)與回歸分析一、簡(jiǎn)單線性回歸預(yù)測(cè)所謂預(yù)測(cè)，就是根據(jù)確定的自變量X來計(jì)算相應(yīng)的因變量Y的估計(jì)值的過程。（一）點(diǎn)估計(jì)如果所擬合的樣本回歸方程經(jīng)過檢驗(yàn)，被認(rèn)為具有實(shí)際意義，同時(shí)通過了統(tǒng)計(jì)意義上的顯著性檢驗(yàn)，對(duì)于一個(gè)給定的Xf，利用回歸方程求出關(guān)于Y的預(yù)測(cè)值，該預(yù)測(cè)值也是真實(shí)值的點(diǎn)估計(jì)。

點(diǎn)估計(jì)公式如下：2023/2/333一、簡(jiǎn)單線性回歸預(yù)測(cè)（二）預(yù)測(cè)誤差與所要預(yù)測(cè)的Y的真值之間可能存在一定的誤差。

設(shè)Xf給定時(shí)Y的真實(shí)值為Yf，則

預(yù)測(cè)的殘差ef:均值與方差分別為2023/2/334二、區(qū)間預(yù)測(cè)在標(biāo)準(zhǔn)假定條件下，ef服從正態(tài)分布，即若用來表示預(yù)測(cè)標(biāo)準(zhǔn)誤差的估計(jì)值，則在（1-a）置信水平下，Yf的置信區(qū)間為2023/2/335圖9-5回歸預(yù)測(cè)的置信區(qū)間二、區(qū)間預(yù)測(cè)從置信區(qū)間和的計(jì)算公式以及圖9-5，可以看到：第一，置信區(qū)間的上下限對(duì)稱地落在樣本回歸直線兩側(cè)，呈中間小兩頭大的喇叭形。第二，在樣本容量n保持不變時(shí)，的值隨置信度（1-a）的提高而增加，因此，要求預(yù)測(cè)值的概率保證程度增加，在其他條件不變時(shí)，也就意味著預(yù)測(cè)精度的降低。第三，當(dāng)其他條件不變時(shí)，和的值均為樣本容量n的減函數(shù)，即隨著n的增加，這二者將逐漸減少。這說明隨著樣本容量的增加，預(yù)測(cè)精度將會(huì)提高。第四，當(dāng)樣本容量n足夠大時(shí)，會(huì)趨近于za/2。這時(shí)，Yf的（1-a）的置信區(qū)間近似為

2023/2/336二、區(qū)間預(yù)測(cè)

【例9-8】假定預(yù)計(jì)2013年我國(guó)國(guó)內(nèi)生產(chǎn)總值為550千億元，要求利用例9-3中擬合的樣本回歸方程與有關(guān)數(shù)據(jù)，計(jì)算置信度為95%的發(fā)電量的預(yù)測(cè)區(qū)間。解：將有關(guān)數(shù)據(jù)代入擬合好的樣本回歸方程，可得

從前面幾例的結(jié)果可知：將其代入求預(yù)測(cè)標(biāo)準(zhǔn)誤差估計(jì)值的公式，有

查t分布表可知臨界值。因此，預(yù)測(cè)區(qū)間：

即51.006

(千億千瓦小時(shí))<Yf<59.883(千億千瓦小時(shí))2023/2/337三、一元線性回歸模型的計(jì)算機(jī)實(shí)現(xiàn)

【例9-9】以下給出我國(guó)1993~2012年人均國(guó)內(nèi)生產(chǎn)總值和居民消費(fèi)水平的數(shù)據(jù)，試分析自變量“人均國(guó)內(nèi)生產(chǎn)總值”和因變量“居民消費(fèi)水平”的線性方程。（單位：千元）2023/2/338年份人均國(guó)內(nèi)生產(chǎn)總值（現(xiàn)價(jià)）居民消費(fèi)水平（現(xiàn)價(jià)）年份人均國(guó)內(nèi)生產(chǎn)總值（現(xiàn)價(jià)）居民消費(fèi)水平（現(xiàn)價(jià)）19932.9981.393200310.5424.47519944.0441.833200412.3365.03219955.0462.355200514.1855.59619965.8462.789200616.5006.29919976.4203.002200720.1697.31019986.7963.159200823.7088.43019997.1593.346200925.6089.28320007.8583.632201030.01510.52220018.6223.887201135.18112.27220029.3984.144201238.44913.946三、一元線性回歸模型的計(jì)算機(jī)實(shí)現(xiàn)解：通過Excel的“回歸分析”工具,得到輸出結(jié)果：2023/2/339MultipleR0.998RSquare0.996AdjustedRSquare0.996標(biāo)準(zhǔn)誤差0.219觀測(cè)值20表9-4回歸統(tǒng)計(jì)表

dfSSMSFSignificanceF回歸分析1241.118241.1185015.231.77747E-23殘差180.8650.048

總計(jì)19241.984

表9-5方差分析表表9-6回歸系數(shù)顯著性檢驗(yàn)表

Coefficients標(biāo)準(zhǔn)誤差tStatP-value下限

95.0%上限

95.0%Intercept0.8160.0849.7260.0000.6400.992XVariable10.3310.00570.8180.0000.3220.341三、一元線性回歸模型的計(jì)算機(jī)實(shí)現(xiàn)模型的經(jīng)濟(jì)意義是：當(dāng)人均國(guó)內(nèi)生產(chǎn)總值每增加1單位時(shí)，會(huì)引起居民消費(fèi)水平平均增加0.331單位；常數(shù)項(xiàng)估計(jì)值為0.816表明當(dāng)人均國(guó)內(nèi)生產(chǎn)總值為零時(shí)的居民消費(fèi)水平，可以理解為居民基礎(chǔ)消費(fèi)水平。在表9-6中，0.084和0.005分別為常數(shù)項(xiàng)估計(jì)值和回歸系數(shù)估計(jì)值的標(biāo)準(zhǔn)誤，9.726和70.818分別表示常數(shù)項(xiàng)估計(jì)值所對(duì)應(yīng)的t統(tǒng)計(jì)量的值，P-value欄的值表示相應(yīng)的t統(tǒng)計(jì)量值對(duì)應(yīng)的P值。由P值結(jié)果可以看出，常數(shù)項(xiàng)與回歸系數(shù)的t統(tǒng)計(jì)量值較大，對(duì)應(yīng)的概率接近于0，故回歸系數(shù)高度顯著，方差分析表顯示，統(tǒng)計(jì)量值為5015.235，故整個(gè)回歸模型也高度顯著。關(guān)于模型的評(píng)估結(jié)果，模型的決定系數(shù)為0.996，表明該模型的整體擬合效果很好，自變量人均國(guó)內(nèi)生產(chǎn)總值可以解釋因變量居民消費(fèi)水平99.6%的變化。2023/2/340第五節(jié)多元線性回歸2023/2/341第九章相關(guān)與回歸分析一、多元線性回歸模型與回歸方程一元線性回歸分析反映的是一個(gè)因變量與一個(gè)自變量之間的線性關(guān)系。影響因變量的自變量可能不止一個(gè)。這種一個(gè)因變量與多個(gè)自變量的回歸問題就是多元回歸。當(dāng)因變量和自變量之間為線性關(guān)系時(shí)，稱為多元線性回歸。（一）多元線性回歸模型多元線性回歸模型一般形式如下：（二）多元線性回歸方程（三）估計(jì)的多元線性回歸方程2023/2/342二、參數(shù)的最小二乘估計(jì)（一）回歸系數(shù)的估計(jì)假設(shè)給出了n個(gè)觀測(cè)值，則相應(yīng)的自變量、因變量、回歸系數(shù)、隨機(jī)誤差項(xiàng)等記作寫成矩陣形式為得到回歸系數(shù)最小二乘估計(jì)的一般形式2023/2/343二、參數(shù)的最小二乘估計(jì)（二）總體方差的估計(jì)多元線性回歸模型中的隨機(jī)誤差項(xiàng)的方差也是利用殘差平方和除以其自由度來估計(jì)：是的無偏估計(jì)。的正平方根s又叫做回歸估計(jì)的標(biāo)準(zhǔn)誤差。s越小則表明樣本回歸方程的代表性越強(qiáng)。（三）最小二乘估計(jì)量的性質(zhì)與一元線性回歸模型類似，多元線性回歸模型中回歸系數(shù)的最小二乘估計(jì)量也是隨機(jī)變量。多元回歸模型中回歸系數(shù)最小二乘估計(jì)量的期望值等于總體回歸系數(shù)的真實(shí)值，即回歸系數(shù)最小二乘估計(jì)量的方差、協(xié)方差矩陣為2023/2/344三、多元線性回歸模型的檢驗(yàn)和預(yù)測(cè)在多元線性回歸分析中，也可以用決定系數(shù)作為評(píng)價(jià)模型擬合程度的一項(xiàng)指標(biāo)：然而在多元線性回歸模型中，各回歸模型所含的變量數(shù)目未必相同，以的大小作為衡量擬合優(yōu)劣的尺度是不合適的。因此，在多元回歸分析中，修正自由度的決定系數(shù)的定義如下：即2023/2/345三、多元線性回歸模型的檢驗(yàn)和預(yù)測(cè)修正自由度的決定系數(shù)具有以下特點(diǎn)：（1）。因?yàn)?，所以根?jù)和各自的定義式可以得出這一結(jié)論。對(duì)于給定的值和n值，k值越大越小。在進(jìn)行回歸分析時(shí)，一般總是希望以盡可能少的自變量去達(dá)到盡可能高的擬合程度。所以比更具優(yōu)勢(shì)。（2）小于1，但未必都大于0。在擬合極差的場(chǎng)合，有可能取負(fù)值。2023/2/346三、多元線性回歸模型的檢驗(yàn)和預(yù)測(cè)

【例9-10】假設(shè)有20年的年度統(tǒng)計(jì)資料，現(xiàn)利用其對(duì)同一因變量擬合了兩個(gè)樣本回歸方程。方程一中：k=4，；方程二中：k=2，。試對(duì)這兩個(gè)回歸方程的擬合程度做出評(píng)價(jià)。解：如果僅從來考察，似乎方程一的擬合程度更佳。但是，由于兩個(gè)方程選用的自變量個(gè)數(shù)不同，這一結(jié)論是不正確的。將上列數(shù)據(jù)代入公式，可得方程一的方程二的由此可見，方程二的實(shí)際擬合程度優(yōu)于方程一。2023/2/347三、多元線性回歸模型的檢驗(yàn)和預(yù)測(cè)（二）顯著性檢驗(yàn)多元線性回歸模型的顯著性檢驗(yàn)同樣包括兩方面的內(nèi)容，即回歸系數(shù)的顯著性檢驗(yàn)與回歸方程的顯著性檢驗(yàn)。1.回歸系數(shù)的顯著性檢驗(yàn)采用t檢驗(yàn),基本步驟:第1步提出針對(duì)第j個(gè)回歸系數(shù)的假設(shè)：

第2步給出檢驗(yàn)統(tǒng)計(jì)量計(jì)算公式并證明其分布：第3步做出決策。2023/2/348三、多元線性回歸模型的檢驗(yàn)和預(yù)測(cè)

2.回歸方程的顯著性檢驗(yàn)多元線性回歸模型包含了多個(gè)回歸系數(shù)，除了要對(duì)單個(gè)回歸系數(shù)進(jìn)行顯著性檢驗(yàn)外，還要對(duì)整個(gè)回歸模型進(jìn)行顯著性檢驗(yàn)。其具體的方法步驟可歸納如下：第1步提出假設(shè)：

第2步計(jì)算統(tǒng)計(jì)量，即第3步做出決策。當(dāng)時(shí)，拒絕原假設(shè)，即認(rèn)為總體回歸方程中各自變量與因變量的線性關(guān)系顯著。當(dāng)時(shí)，接受原假設(shè)，即認(rèn)為自變量與因變量的線性關(guān)系不顯著2023/2/349三、多元線性回歸模型的檢驗(yàn)和預(yù)測(cè)（三）多元線性回歸預(yù)測(cè)多元線性回歸預(yù)測(cè)與一元線性回歸預(yù)測(cè)的原理是一致的，其基本公式如下：式中，是給定的在預(yù)測(cè)期的具體數(shù)值；是已估計(jì)出的樣本回歸系數(shù)；是Y的預(yù)測(cè)值。該方程的矩陣形式為，其中多元線性回歸預(yù)測(cè)標(biāo)準(zhǔn)誤差的計(jì)算公式：多元線性回歸預(yù)測(cè)值Yf的（1-a）的置信區(qū)間：2023/2/350四、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)（一）復(fù)相關(guān)系數(shù)一般情況下，復(fù)相關(guān)系數(shù)的取值在0和1之間，表明變量之間存在一定程度的線性相關(guān)關(guān)系。（二）偏相關(guān)系數(shù)在保持其他變量不變的情況下，衡量多個(gè)變量中某兩個(gè)變量之間的線性相關(guān)程度和相關(guān)方向的指標(biāo)稱為偏相關(guān)系數(shù)。令Y為X1，因變量Y與各自變量的偏相關(guān)系數(shù)的一般形式可表現(xiàn)為其中，2023/2/351四、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)

【例9-11】我國(guó)國(guó)內(nèi)旅游者人均花費(fèi)相關(guān)資料如表9-7（見下一頁）所示。（單位：元）要求利用該資料進(jìn)行以下分析：（1）計(jì)算國(guó)內(nèi)旅游者人均花費(fèi)與居民消費(fèi)水平及人均國(guó)內(nèi)生產(chǎn)總值的相關(guān)系數(shù)；（2）建立我國(guó)國(guó)內(nèi)旅游者人均花費(fèi)的多元線性回歸方程，并進(jìn)行統(tǒng)計(jì)檢驗(yàn)；（3）當(dāng)居民消費(fèi)水平為15000元，同時(shí)人均國(guó)內(nèi)生產(chǎn)總值為40000元時(shí)，利用以上建立的線性模型預(yù)測(cè)此時(shí)國(guó)內(nèi)旅游者人均花費(fèi)為多少。2023/2/3522023/2/353年份國(guó)內(nèi)旅游者人均花費(fèi)

居民消費(fèi)水平人均國(guó)內(nèi)生產(chǎn)總值1995218.723555045.7301996256.227895845.8871997328.130026420.181199834531596796.030199939433467158.5022000426.636327857.6762001449.538878621.7062002441.841449398.0552003395.7447510541.9712004427.5503212335.5782005436.1559614185.3602006446.9629916499.7052007482.6731020169.4612008511843023707.7152009535.4928325607.5312010598.21052230015.04820117311227235181.2372012767.91394638448.508表9-7中國(guó)國(guó)內(nèi)旅游者人均花費(fèi)相關(guān)資料四、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)解：（1）使用Excel“數(shù)據(jù)分析”功能模塊中的“相關(guān)分析”功能，得到各變量的相關(guān)系數(shù)矩陣：使用Excel“數(shù)據(jù)分析”功能模塊中的“回歸分析”功能，得到的計(jì)算結(jié)果：2023/2/354

列

1列

2列

3列

11.000

列

20.9451.000

列

30.9340.9991.000四、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)因此，擬合的樣本回歸方程為

回歸系數(shù)的符號(hào)與經(jīng)濟(jì)理論分析的結(jié)果相符。從回歸系數(shù)檢驗(yàn)結(jié)果可以看出，自變量X1和X2的t統(tǒng)計(jì)量值所對(duì)應(yīng)的p值分別是0.005和0.019，所以居民消費(fèi)水平和人均國(guó)內(nèi)生產(chǎn)總值都高度顯著。另外，整個(gè)方程的F統(tǒng)計(jì)量也較大，達(dá)到94.098，對(duì)應(yīng)的概率值為0.000，說明整個(gè)回歸方程也是高度顯著。修正自由度的決定系數(shù)達(dá)0.916，這表明該回歸方程有很好的擬合程度。（3）預(yù)測(cè)。將以上給出的居民消費(fèi)水平和人均國(guó)內(nèi)生產(chǎn)總值代入前面擬合的樣本回歸方程，可得

2023/2/355第六節(jié)多元線性回歸模型中自變量的選擇2023/2/356第九章相關(guān)與回歸分析一、問題的提出從的含義上看，增加一個(gè)解釋變量，只會(huì)增大不會(huì)變小，若僅以作為選擇解釋變量的標(biāo)準(zhǔn)，可能會(huì)使最終的模型包含的解釋變量過于龐雜。需要利用F檢驗(yàn)來判斷將一個(gè)或多個(gè)自變量引入到回歸模型中是否適宜的問題?！纠?-12】一家飲料企業(yè)希望了解銷售收入與廣告費(fèi)的關(guān)系，進(jìn)而為制定下一步的營(yíng)銷規(guī)劃做準(zhǔn)備?，F(xiàn)收集了10個(gè)季度的廣告費(fèi)與銷售收入的資料如下，試分析其回歸模型。2023/2/357季度廣告費(fèi)X1

（十萬元）銷售收入Y

（百萬元）季度廣告費(fèi)X1

（十萬元）銷售收入Y

（百萬元）11223.2561115.25261271322.2531416.258610.54915.59918.55815101019一、問題的提出解：我們先利用簡(jiǎn)單線性回歸模型

來描述每季度銷售收入（Y）與每季度廣告費(fèi)（X1）之間的關(guān)系。Excel回歸分析輸出估計(jì)結(jié)果：所以回歸方程是F統(tǒng)計(jì)量的值為8.94，它所對(duì)應(yīng)的p值為0.017,因此拒絕原假設(shè)2023/2/358一、問題的提出于是我們能斷定，每季度銷售收入Y與每季度廣告費(fèi)X1之間存在一個(gè)顯著的線性關(guān)系。決定系數(shù)，企業(yè)銷售收入的波動(dòng)中的52.8%能被廣告費(fèi)用的線性影響所解釋。如果對(duì)剩余的47.2%的波動(dòng)原因感興趣，則必須考慮增加第二個(gè)自變量去解釋因變量中剩余的變異。考慮到銷售人員數(shù)也可能影響到銷售收入總額。企業(yè)增加了銷售人員數(shù)的數(shù)據(jù)：2023/2/359季度廣告費(fèi)X1

（十萬元）銷售人員數(shù)X2（人）銷售收入Y

（百萬元）季度廣告費(fèi)X1

（十萬元）銷售人員數(shù)

X2（人）銷售收入Y

（百萬元）1124823.256112415.252636127134822.253142416.25862410.5492415.5993618.558481510103619一、問題的提出用每季度的廣告費(fèi)用X1和銷售人員數(shù)X2作為自變量，Excel輸出估計(jì)結(jié)果：所以回歸方程是2023/2/360一、問題的提出在這里，我們看到僅僅用廣告費(fèi)用作為唯一的自變量，模型的誤差平方和是SSE=70.54。當(dāng)銷售人員數(shù)作為第二個(gè)自變量引入到模型里時(shí)，我們得到的誤差平方和是SSE=29.30。顯然，增加X2導(dǎo)致了SSE數(shù)量的減少。引起SSE減少的數(shù)量是利用F檢驗(yàn)去判斷這一數(shù)量上的減少是否顯著：因?yàn)榕R界值，所以，拒絕零假設(shè)，增加自變量X2將有利于改進(jìn)模型的解釋能力。2023/2/361二、一般情形假設(shè)含有q個(gè)自變量的多元回歸模型如下：這里q<k。如果增加自變量Xq+1，Xq+2，…，Xk到這個(gè)多元回歸模型中去，得到一個(gè)含有k個(gè)自變量的多元回歸模型:為了檢驗(yàn)增加的自變量是否在統(tǒng)計(jì)上是顯著的，我們提出零假設(shè)和備擇假設(shè)：構(gòu)造F統(tǒng)計(jì)量檢驗(yàn)簡(jiǎn)潔表述:

2023/2/362二、一般情形

【例9-13】假設(shè)有一個(gè)含有26個(gè)觀測(cè)值的回歸分析問題。第一個(gè)模型的自變量是X1、X2和X3，它的誤差平方和為125；第二個(gè)模型的自變量是X1、X2、X3、X4和X5，它的誤差平方和為80。增加兩個(gè)自變量X4和X5到第一個(gè)模型中，是否可使誤差平方和顯著減少？解：SST的自由度是26-1=25，完全模型的回歸平方和的自由度是5，完全模型的誤差平方和的自由度是25-5=20。因此，

。所以，F(xiàn)統(tǒng)計(jì)量是因?yàn)?，所以結(jié)論是：增加的自變量X4和X5在統(tǒng)計(jì)上是顯著的。2023/2/363三、變量選擇方法（一）向前選擇開始于從所有的自變量中選擇一個(gè)自變量。第一步選擇的自變量是和因變量相關(guān)度最高的。第二步，根據(jù)因變量剩余未解釋變差的解釋能力選擇第二個(gè)自變量。在第二步以及下面的每一步中選出的自變量都是有最高偏確定性系數(shù)的變量。（二）向后剔除在向后剔除法中，開始時(shí)所有的變量都在模型中。一次剔除一個(gè)變量，直到?jīng)]有不顯著的變量。一旦變量從模型中被剔除，它就不會(huì)再次加入。（三）標(biāo)準(zhǔn)逐步回歸如果兩個(gè)或更多的變量重復(fù)了，在前面步驟中選擇的變量可能因?yàn)楹竺娌襟E中加入的變量而變得不顯著。標(biāo)準(zhǔn)逐步回歸法會(huì)把這個(gè)不顯著的變量從模型中剔除。2023/2/364四、應(yīng)用實(shí)例

【例9-14】國(guó)內(nèi)生產(chǎn)總值（GrossDomesticProduct，簡(jiǎn)稱GDP)是指在一定時(shí)期內(nèi)（一個(gè)季度或一年），一個(gè)國(guó)家或地區(qū)的經(jīng)濟(jì)中所生產(chǎn)出的全部最終產(chǎn)品和勞務(wù)的價(jià)值，常被公認(rèn)為衡量國(guó)家經(jīng)濟(jì)狀況的最佳指標(biāo)。國(guó)內(nèi)生產(chǎn)總值的影響因素很多，主要影響因素有：第一產(chǎn)業(yè)(農(nóng)業(yè)等)、第二產(chǎn)業(yè)(工業(yè)和建設(shè)業(yè)等)以及第三產(chǎn)業(yè)。我們選擇“建筑業(yè)總產(chǎn)值”、“工業(yè)總產(chǎn)值”和“農(nóng)林牧漁業(yè)總產(chǎn)值”，來分析它們和GDP的關(guān)系。有關(guān)數(shù)據(jù)如表9-15（見下一頁）所示（單位：千億元）。2023/2/3652023/2/366年份GDP（現(xiàn)價(jià)）建筑業(yè)總產(chǎn)值工業(yè)總產(chǎn)值（當(dāng)年價(jià)格）農(nóng)林牧漁業(yè)總產(chǎn)值（現(xiàn)價(jià)）199448.1984.65351.35315.751199560.7945.79454.94720.341199671.1778.28262.74022.354199778.9739.12668.35323.788199884.40210.06267.73724.542199989.67711.15372.70724.519200099.21512.49885.67424.9162001109.65515.36295.44926.1802002120.33318.527110.77627.3912003135.82323.084142.27129.6922004159.87829.021201.72236.2392005184.93734.552251.62039.4512006216.31441.557316.58940.8112007265.81051.044405.17748.8932008314.04562.037507.28558.0022009340.90376.808548.31160.3612010401.51396.031698.59169.3202011473.104117.060844.26981.304表9-14國(guó)內(nèi)生產(chǎn)總值及相關(guān)數(shù)據(jù)四、應(yīng)用實(shí)例解：（一）利用全選法進(jìn)行嘗試建模假設(shè)多元線性回歸模型為用全選法計(jì)算結(jié)果：2023/2/367四、應(yīng)用實(shí)例得到回歸分析的結(jié)果：如果要評(píng)估模型的顯著性，可以從F檢驗(yàn)和t檢驗(yàn)開始。1.F檢驗(yàn)：針對(duì)，給定顯著性水平a=0.05，臨界值。從Excel的計(jì)算結(jié)果可得到，所以應(yīng)拒絕原假設(shè)，說明回歸方程顯著，即“建筑業(yè)總產(chǎn)值”、“工業(yè)總產(chǎn)值”、“農(nóng)林牧漁業(yè)總產(chǎn)值”等變量聯(lián)合起來確實(shí)對(duì)“國(guó)內(nèi)生產(chǎn)總值”有顯著影響。2023/2/368四、應(yīng)用實(shí)例

2.t檢驗(yàn)：分別針對(duì)，臨界值從Excel的計(jì)算結(jié)果也可看到，與對(duì)應(yīng)的統(tǒng)計(jì)量分別為-1.633、0.802、1.163、4.613。對(duì)于時(shí)，其t值絕對(duì)值大于臨界值2.145，這說明解釋變量“農(nóng)林牧漁業(yè)總產(chǎn)值”（X3）對(duì)被解釋變量“國(guó)內(nèi)生產(chǎn)總值”（Y）有顯著的影響?！敖ㄖI(yè)總產(chǎn)值”（X1）和“工業(yè)總產(chǎn)值”（X2）的系數(shù)t絕對(duì)值小于對(duì)應(yīng)t臨界值，說明在其他系數(shù)不變的情況下，解釋變量“建筑業(yè)總產(chǎn)值”（X1）和“工業(yè)總產(chǎn)值”（X2）對(duì)因變量沒有顯著的影響。2023/2/369四、應(yīng)用實(shí)例（二）利用Excel統(tǒng)計(jì)插件PHStat2進(jìn)行逐步回歸分析

2023/2/370圖9-8模型最終設(shè)定窗口逐步回歸分析結(jié)果2023/2/371

dfSSMSFSignificanceF回歸分析1274663.68274663.683705.4792.29702E-20殘差161185.978474.123654

總計(jì)17275849.66

表9-16變量“農(nóng)林牧漁業(yè)總產(chǎn)值”進(jìn)入模型后的方差分析表表9-17變量“農(nóng)林牧漁業(yè)總產(chǎn)值”進(jìn)入模型后的回歸結(jié)果

Coefficients標(biāo)準(zhǔn)誤差tStatP-valueLower95%Upper95%Intercept-72.653729924.6321498-15.684673.9053E-11-82.4734489-62.83401093農(nóng)林牧漁業(yè)總產(chǎn)值（現(xiàn)價(jià)）6.7707907380.11122860.87264972.297E-206.5349962517.006585224逐步回歸分析結(jié)果2023/2/372

dfSSMSFSignificanceF回歸分析2275049.79137524.892579.0169.28E-20殘差15799.8681253.324541

總計(jì)17275849.66

表9-18變量“工業(yè)總產(chǎn)值”進(jìn)入模型后的方差分析表

Coefficients標(biāo)準(zhǔn)誤差tStatP-valueLower95%Upper95%Intercept-30.569116.1257-1.8956780.07743-64.94033.8019農(nóng)林牧漁業(yè)總產(chǎn)值（現(xiàn)價(jià)）4.42140.878145.035000.000142.54976.2932工業(yè)總產(chǎn)值（當(dāng)年價(jià)格）0.18000.066902.690860.016760.03740.3226表9-19變量“工業(yè)總產(chǎn)值”進(jìn)入模型后的回歸結(jié)果四、應(yīng)用實(shí)例表9-16和9-17顯示了變量“農(nóng)林牧漁業(yè)總產(chǎn)值”（X3）進(jìn)入模型的過程，表9-18和9-19顯示了變量“工業(yè)總產(chǎn)值”（X2）進(jìn)入模型的過程。按照P值的概率小于或等于0.05則引入，大于或等于0.05則剔除的準(zhǔn)則，逐步引入剔除法（stepwise），首先引入的變量為“農(nóng)林牧漁業(yè)總產(chǎn)值”（X3）得到模型1，進(jìn)而引入變量“工業(yè)總產(chǎn)值”（X2）得到模型2。模型2間接說明了“建筑業(yè)總產(chǎn)值”（X1）由于統(tǒng)計(jì)量值較小，無法通過參數(shù)的顯著性檢驗(yàn)，因此不納入回歸模型。同時(shí)由輸出結(jié)果可以看出，模型1與模型2的回歸方程都顯著，而模型2包含兩個(gè)變量，同時(shí)所引入的兩個(gè)變量也都顯著，由此說明模型2是最佳的回歸方程。模型2如下：2023/2/373第七節(jié)非線性回歸分析2023/2/374第九章相關(guān)與回歸分析一、非線性函數(shù)形式的確定在對(duì)實(shí)際的客觀現(xiàn)象進(jìn)行定量分析時(shí)，選擇回歸方程的具體形式應(yīng)遵循以下原則：首先，方程形式應(yīng)與有關(guān)實(shí)質(zhì)性科學(xué)的基本理論相一致。其次，方程有較高的擬合程度。最后，方程的數(shù)學(xué)形式要盡可能簡(jiǎn)單。2023/2/375一、非線性函數(shù)形式的確定（一）拋物線函數(shù)（