第11章 相關(guān)與回歸分析課件

第十一章相關(guān)與回歸分析一、相關(guān)與回歸分析的基本概念二、簡(jiǎn)單線性回歸分析三、相關(guān)分析第11章相關(guān)與回歸分析一、相關(guān)與回歸分析的基本概念函數(shù)關(guān)系與相關(guān)關(guān)系

函數(shù)關(guān)系：當(dāng)一個(gè)或幾個(gè)變量取值一定時(shí)，另一個(gè)變量有確定值與之對(duì)應(yīng)，我們稱這種關(guān)系為確定的函數(shù)關(guān)系。

相關(guān)關(guān)系：當(dāng)一個(gè)或幾個(gè)相互聯(lián)系的變量取一定數(shù)值時(shí)，與之對(duì)應(yīng)的另一個(gè)變量的值雖然不確定，但它仍按某種規(guī)律在一定范圍內(nèi)變化，我們稱這種相互關(guān)系為具有不確定性的相關(guān)關(guān)系。

函數(shù)關(guān)系和相關(guān)關(guān)系在一定條件下可以相互轉(zhuǎn)化。第11章相關(guān)與回歸分析一、相關(guān)與回歸分析的基本概念相關(guān)關(guān)系的種類相關(guān)完全相關(guān)；不完全相關(guān)；不相關(guān)（按相關(guān)程度劃分）正相關(guān)；負(fù)相關(guān)（按相關(guān)方向劃分）線性相關(guān)；非線性相關(guān)（按相關(guān)形式劃分）單相關(guān)；復(fù)相關(guān)；偏向關(guān)（按變量多少劃分）真實(shí)相關(guān)；虛假相關(guān)（按相關(guān)性質(zhì)劃分）第11章相關(guān)與回歸分析一、相關(guān)與回歸分析的基本概念相關(guān)分析和回歸分析

相關(guān)分析：用一個(gè)指標(biāo)來表明現(xiàn)象間相互依存關(guān)系的密切程度。

回歸分析：根據(jù)相關(guān)關(guān)系的具體形態(tài)，選擇一個(gè)合適的數(shù)學(xué)模型，來近似地表達(dá)變量之間的平均變化關(guān)系。

相關(guān)分析和回歸分析聯(lián)系：不僅具有共同的研究對(duì)象，而且在具體應(yīng)用時(shí)，常常必須相互補(bǔ)充。

相關(guān)關(guān)系與回歸分析區(qū)別：前者研究變量之間的相關(guān)方向和相關(guān)程度，但不能指出變量之間相互關(guān)系的具體形式，從而無法從一個(gè)變量的變化來推測(cè)另一個(gè)變量的變化情況，同時(shí)不必確定哪個(gè)變量是自變量，哪個(gè)變量是應(yīng)變量；后者則不然。

相關(guān)分析和回歸分析的局限性

第11章相關(guān)與回歸分析一、相關(guān)與回歸分析的基本概念相關(guān)表和相關(guān)圖

相關(guān)表是反映變量之間相關(guān)關(guān)系的統(tǒng)計(jì)表。將某一變量按其值的大小排列，然后再將與其相關(guān)的另一變量的對(duì)應(yīng)值平行排列，便可得到簡(jiǎn)單的相關(guān)表。企業(yè)編號(hào)12345678910廣告費(fèi)（萬元）20154030426065705378年銷售收入（百萬元）25186045628892997598年銷售收入和廣告費(fèi)原始資料廣告費(fèi)（萬元）15203040425360657078年銷售收入（百萬元）18254560627588929998銷售收入與廣告費(fèi)相關(guān)圖第11章相關(guān)與回歸分析一、相關(guān)與回歸分析的基本概念

相關(guān)圖（散點(diǎn)圖）：是以直角坐標(biāo)系的橫軸代表變量X，縱軸代表變量Y，將兩個(gè)變量間相對(duì)應(yīng)的變量值用坐標(biāo)點(diǎn)的形式描繪出來，用來反映兩變量之間的相關(guān)的圖形。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。XYOOOOXXXYYYa、正相關(guān)b、負(fù)相關(guān)c、曲線相關(guān)d、不相關(guān)第11章相關(guān)與回歸分析二、一元線性回歸分析標(biāo)準(zhǔn)的一元線性回歸模型

1.總體回歸函數(shù)一元線性回歸模型的基本形式：

Yi=α+βXi+ui

該式被稱為總體回歸函數(shù)。式中的α和β是未知參數(shù)，又稱回歸系數(shù)；Yi和Xi分別是Y和X的第i次觀測(cè)值；ui是隨機(jī)誤差項(xiàng)，又稱隨機(jī)干擾項(xiàng)，它是一個(gè)特殊的隨機(jī)變量，反映未列入方程式的其他各種因素對(duì)Y的影響。

由模型可知：Y是由X的線性函數(shù)（

α+βXi）和誤差項(xiàng)

ui組成，其中（

α+βXi）是Y的數(shù)學(xué)期望，即：E（Yi）=α+βXi

第11章相關(guān)與回歸分析二、一元線性回歸分析E（Yi）=α+βXi

上式表明：在X的值給定的條件下，Y的期望值是X的嚴(yán)密的線性函數(shù)。這條直線被稱為總體回歸線，Y的實(shí)際觀測(cè)值并不一定位于該直線上，只是散布在直線的周圍。隨機(jī)誤差項(xiàng)ui是實(shí)際觀測(cè)點(diǎn)和總體回歸線垂直方向的距離，即ui=Yi-E（Yi）。。。。。。。。。。uiXYYiXioE（Yi）=α+βXi第11章相關(guān)與回歸分析二、一元線性回歸分析

2.樣本回歸函數(shù)

樣本回歸直線：根據(jù)樣本數(shù)據(jù)擬合的直線；

樣本回歸曲線：根據(jù)樣本數(shù)據(jù)擬合的曲線。

一元線性回歸模型的樣本回歸直線可表示為：式中，是樣本回歸線上與Xi相對(duì)應(yīng)的Y值，可視為E(Yi)的估計(jì)；是樣本回歸函數(shù)的截距系數(shù)；是樣本回歸函數(shù)的斜率系數(shù)，它們都是對(duì)總體回歸系數(shù)的估計(jì)。第11章相關(guān)與回歸分析二、一元線性回歸分析

實(shí)際觀測(cè)到的應(yīng)變量Yi值，并不完全等于，如果用ei表示兩者之差（Yi-）則有：上式稱為樣本回歸函數(shù)。式中ei稱為殘差，在概念上，ei與總體誤差項(xiàng)ui相對(duì)應(yīng)；n是樣本容量。

樣本回歸函數(shù)與總體回歸函數(shù)的區(qū)別：

①

總體回歸線是未知的，它只有一條。而樣本回歸線則是根據(jù)樣本數(shù)據(jù)擬合的，每抽取一組樣本，便可擬合一條樣本回歸線。②總體回歸函數(shù)中的α，β是未知的參數(shù)，表現(xiàn)為常數(shù)。而樣本回歸函數(shù)中的α，β是隨機(jī)變量，其具體數(shù)值隨抽取的樣本觀測(cè)值不同而變動(dòng)。③總體回歸函數(shù)中的ui是Yi與未知的總體回歸線之間的縱向距離，它是不可直接觀測(cè)的。而樣本回歸函數(shù)中的ei是Yi與樣本回歸線之間的縱向距離，當(dāng)根據(jù)樣本觀測(cè)值擬合出樣本回歸線之后，便可計(jì)算出數(shù)值。（i=1.2，…，n）第11章相關(guān)與回歸分析二、一元線性回歸分析

3.隨機(jī)誤差項(xiàng)的標(biāo)準(zhǔn)假定

假定1：E（ui）=0；

假定2：V（ui）=E（ui2）=σ2

假定3：Cov（ui，uj）=E（ui，uj）=0

假定4：自變量是給定的變量，與隨機(jī)誤差項(xiàng)線性無關(guān)

假定5：隨機(jī)誤差項(xiàng)服從正態(tài)分布滿足上述標(biāo)準(zhǔn)假定的一元線性回歸模型，稱為標(biāo)準(zhǔn)的一元線性回歸模型。。。。。。。XYO。。。。。。。。。。。。。X1X2XnE（Y1）E（Y2）E（Yn）第11章相關(guān)與回歸分析二、一元線性回歸分析

4.未知參數(shù)α，β的估計(jì)回歸分析的主要任務(wù)就是建立能夠近似反映真實(shí)總體回歸函數(shù)的樣本回歸函數(shù)。在根據(jù)樣本資料確定樣本回歸方程時(shí)，一般總是希望Y的估計(jì)值從總體來看，盡可能接近其實(shí)際觀測(cè)值，為此我們用殘差平方和作為衡量總偏差的尺度。Q==殘差平方和Q的大小依賴于的取值。根據(jù)微積分中求極小值的原理，可知Q存在極小值，同時(shí)欲使Q打到最小，Q對(duì)的偏導(dǎo)數(shù)必須為零。即

第11章相關(guān)與回歸分析二、一元線性回歸分析

第11章相關(guān)與回歸分析二、一元線性回歸分析5.未知參數(shù)的估計(jì)

是隨機(jī)誤差ui的方差，其大小可以反映回歸直線擬合程度的好壞，所以必須對(duì)做出估計(jì)。由于未知，從而無法求出ui。因此我們用ei作為ui的估計(jì)值，其中

并把作為未知參數(shù)的估計(jì)。并把的正平方根稱為回歸估計(jì)的標(biāo)準(zhǔn)誤差第11章相關(guān)與回歸分析二、一元線性回歸分析

例1對(duì)下表給出的數(shù)據(jù)，試用最小二乘法求水稻產(chǎn)量Y對(duì)化肥用量X的回歸直線，并求σ2的估計(jì)?；视昧縓（kg）15202530354045水稻產(chǎn)量Y（kg）330345365405445490455化肥用量與水稻產(chǎn)量第11章相關(guān)與回歸分析二、一元線性回歸分析解：回歸系數(shù)的計(jì)算常常列成如表：序號(hào)1153302251089004950325.187.822203454001190256900351.79-6.793253656251332259125378.40-13.4043040590016402512150405.000535445122519802515575431.6113.39640490160024010019600458.2231.78745455202520702520475484.82-29.82∑2102835700088775——第11章相關(guān)與回歸分析二、一元線性回歸分析所求回歸直線方程：由此可計(jì)算出第11章相關(guān)與回歸分析二、一元線性回歸分析6.參數(shù)估計(jì)的性質(zhì)①

第11章相關(guān)與回歸分析二、一元線性回歸分析②第11章相關(guān)與回歸分析二、一元線性回歸分析③④第11章相關(guān)與回歸分析二、一元線性回歸分析

第11章相關(guān)與回歸分析二、一元線性回歸分析⑤

⑥7.參數(shù)α，β的假設(shè)檢驗(yàn)第11章相關(guān)與回歸分析二、一元線性回歸分析

β的假設(shè)檢驗(yàn)：第一步：建立假設(shè)：H0：β=β0；H1：β≠β0第二步：選擇統(tǒng)計(jì)量：

第三步：取顯著水平γ，確定拒絕域第四步：計(jì)算統(tǒng)計(jì)量T的觀測(cè)值t第五步：作決策。第11章相關(guān)與回歸分析二、一元線性回歸分析

最重要的場(chǎng)合是β0=0，這時(shí)零假設(shè)H0：β=0。若此時(shí)零假設(shè)成立，則線性模型化為：Yi=α+uii=1，2，…，n這表明：變量Y不依賴于X，也即X，Y間不存在線性關(guān)系。例2試問例1中的水稻產(chǎn)量Y與化肥量X是否確實(shí)存在顯著的線性關(guān)系？第一步：提出統(tǒng)計(jì)假設(shè)：H0：β=0；H1：β≠0第二步：選擇統(tǒng)計(jì)量：第三步：對(duì)顯著水平＝０.０５，確定拒絕域第四步：計(jì)算統(tǒng)計(jì)量T的觀測(cè)值：第五步：t=6.53＞2.571，拒絕原假設(shè)。第11章相關(guān)與回歸分析二、一元線性回歸分析

α的假設(shè)檢驗(yàn)：同理，對(duì)檢驗(yàn)假設(shè)H0：α=α0，可以用統(tǒng)計(jì)量：對(duì)于例1，現(xiàn)在檢驗(yàn)假設(shè)：H0：α=300。t=現(xiàn)在t=2.1194＜t0.05/2（5）=2.57，因此接受原假設(shè)。第11章相關(guān)與回歸分析二、一元線性回歸分析

擬合程度評(píng)價(jià)

擬合程度：指觀測(cè)值聚集在樣本回歸線周圍的緊密程度。判斷回歸模型擬合程度優(yōu)劣，最常用的數(shù)量指標(biāo)是可決系數(shù)（又稱判決系數(shù)）。該指標(biāo)是建立在對(duì)總離差平方和進(jìn)行分解的基礎(chǔ)上。。XYYYiXiO第11章相關(guān)與回歸分析二、一元線性回歸分析

對(duì)兩邊平方可得：這里可用的條件：從而有即：SST=SSR+SSE第11章相關(guān)與回歸分析二、一元線性回歸分析

SST=SSR+SSE其中：SST是總離差平方和；SSR是由回歸直線可以解釋的那一部分離差平方和，稱為回歸平方和；SSE是回歸直線無法解釋的離差平方和，稱為殘差平方和。兩邊同時(shí)除以SST，得1=SSR/SST+SSE/SST其中SSR/SST被定義為可決系數(shù)，用R2表示，則有R2=SSR/SST=1-SSE/SST

可決系數(shù)是對(duì)回歸模型擬合程度的綜合度量，可決系數(shù)越大，模型擬合程度越大，可決系數(shù)越小，模型擬合程度也低第11章相關(guān)與回歸分析二、一元線性回歸分析

例3計(jì)算例1中的擬合的樣本回歸方程的可決系數(shù)解：

對(duì)檢驗(yàn)假設(shè)H0：β=0的F檢驗(yàn)

第一步：提出假設(shè)：H0：β=0；H0：β≠0第二步：選取統(tǒng)計(jì)量β=0第11章相關(guān)與回歸分析二、一元線性回歸分析

第三步：在顯著水平γ下，確定拒絕域?yàn)榈谒牟剑河?jì)算統(tǒng)計(jì)量F=（n-2）SSR/SSE的觀測(cè)值第五步：作決策

例4對(duì)例1中原假設(shè)H0：β=0進(jìn)行F檢驗(yàn)（γ=0.05）。F=5*（SST-SSE）/SSE=5*（22150-2327.38）/2327.38=42.59F0.05（1，5）=6.61，拒絕域（6.61，+∞）

42.59＞6.61，所以拒絕原假設(shè)，即水稻產(chǎn)量與化肥用量顯著地線性相關(guān)。第11章相關(guān)與回歸分析二、一元線性回歸分析一元線性回歸方差分析表平方和自由度平均平方和F值回歸偏差1剩余偏差n-2總偏差n-1R2=SSR/SST第11章相關(guān)與回歸分析二、一元線性回歸分析

7.預(yù)測(cè)及預(yù)測(cè)區(qū)間

回歸方程一經(jīng)求得并通過檢驗(yàn)，既能用來研究變量之間的聯(lián)系，也能用來進(jìn)行預(yù)測(cè)或控制。如例1中的回歸方程：Y=245.36+5.3214X求得后，問化肥用量是27kg的話，水稻產(chǎn)量將是多少？

注意：用作為Y0的預(yù)測(cè)值，實(shí)際上它是Y0之均值的估計(jì)。

實(shí)際中還需要知道所謂預(yù)測(cè)精度

。正如我們并不滿足于參數(shù)的點(diǎn)估計(jì)而還要給出參數(shù)區(qū)間估計(jì)一樣，常常希望給出一個(gè)類似于置信區(qū)間的預(yù)測(cè)區(qū)間，也即在給定的顯著水平γ下，找到一個(gè)正數(shù)δ，使為此，我們要求出的分布

，易知也服從正態(tài)分布，且

Y0與Y0相互獨(dú)立。第11章相關(guān)與回歸分析二、一元線性回歸分析

上式中σ2是未知的，通常用它的無偏估計(jì)代入，可得統(tǒng)計(jì)量第11章相關(guān)與回歸分析二、一元線性回歸分析第11章相關(guān)與回歸分析二、一元線性回歸分析

預(yù)測(cè)區(qū)間上下限XYYXX0X0第11章相關(guān)與回歸分析二、一元線性回歸分析

例5如例1中的回歸方程：Y=245.36+5.3214X，問化肥用量是27kg的話，求水稻產(chǎn)量的預(yù)測(cè)值，以及預(yù)測(cè)區(qū)間（γ=0.05）？解：X0=27時(shí)的預(yù)測(cè)值是

第11章相關(guān)與回歸分析二、一元線性回歸分析Eviews軟件在回歸方程中的運(yùn)用

一元線性回歸模型：

利用1990年——2005年中國(guó)GDP與外貿(mào)出口EX的數(shù)據(jù)，求GDP與EX回歸方程。

多元線性回歸模型：

利用1990年——2005年中國(guó)GDP、外貿(mào)出口額EX和固定資產(chǎn)投資額GZ，求GDP與EX、GZ的回歸方程。第11章相關(guān)與回歸分析三、相關(guān)分析相關(guān)系數(shù)的定義

單項(xiàng)關(guān)分析是對(duì)兩個(gè)變量之間的相關(guān)程度進(jìn)行分析，其所用的指標(biāo)稱為簡(jiǎn)單相關(guān)系數(shù)。通常以ρ表示總體相關(guān)系數(shù)，以r表示樣本的相關(guān)系數(shù)。第11章相關(guān)與回歸分析三、相關(guān)分析相關(guān)系數(shù)r與可決系數(shù)R2簡(jiǎn)單線性回歸模型中只有一個(gè)自變量和應(yīng)變量，其樣本回歸方程的擬合程度取決于X與Y的相關(guān)程度，因此，在這樣的場(chǎng)合下，相關(guān)系數(shù)r的平方就等于可決系數(shù)R2。

相關(guān)系數(shù)具有以下特點(diǎn)：1.r的取值介于-1與1之間；2.當(dāng)r=0時(shí)，說明X與