第八章 相關(guān)與回歸分析課件

統(tǒng)計學(xué)原理

復(fù)習(xí)統(tǒng)計學(xué)原理第八章相關(guān)與回歸分析第八章相關(guān)與回歸分析1第一節(jié)相關(guān)分析概述一、函數(shù)關(guān)系與相關(guān)關(guān)系正方形面積與邊長；腳長與智商；銷售收入和消費情況；廣告投入與銷售收入；GDP與精神病患者；頭發(fā)長與見識短1.函數(shù)關(guān)系：變量之間存在嚴(yán)格的數(shù)量關(guān)系。2.相關(guān)關(guān)系：變量之間存在不確定的依存關(guān)系。3.區(qū)別與聯(lián)系：第八章相關(guān)與回歸分析11.按相關(guān)關(guān)系涉及的變量多少劃分分為單相關(guān)、復(fù)相關(guān)、偏相關(guān)。2.按相關(guān)形式劃分可以分為線性相關(guān)和曲線相關(guān)。3.按相關(guān)的方向劃分可分為正相關(guān)和負(fù)相關(guān)。4.按相關(guān)關(guān)系的程度劃分可分為完全相關(guān)，不完全相關(guān)和不相關(guān)。5.按相關(guān)性質(zhì)分為真實相關(guān)和虛假相關(guān)。二、相關(guān)關(guān)系的種類第八章相關(guān)與回歸分析1（1）確定現(xiàn)象之間有無相關(guān)關(guān)系，以及相關(guān)關(guān)系的表現(xiàn)形態(tài)（2）確定相關(guān)關(guān)系的密切程度（3）建立合適的數(shù)學(xué)模型（4）測定估計值的標(biāo)準(zhǔn)誤差三、相關(guān)分析的內(nèi)容第八章相關(guān)與回歸分析1定性分析依據(jù)研究者的理論知識和實踐經(jīng)驗，對客觀現(xiàn)象之間是否存在相關(guān)關(guān)系，以及何種關(guān)系作出判斷。定量分析在定性分析的基礎(chǔ)上，通過編制相關(guān)表、繪制相關(guān)圖、計算相關(guān)系數(shù)等方法，來判斷現(xiàn)象之間相關(guān)的方向、形態(tài)及密切程度。第二節(jié)、相關(guān)關(guān)系的測定第八章相關(guān)與回歸分析1相關(guān)圖：又稱散點圖。將x置于橫軸上，y置于縱軸上，將（x,y）繪于坐標(biāo)圖上。用來反映兩變量之間相關(guān)關(guān)系的圖形。第八章相關(guān)與回歸分析1二、相關(guān)系數(shù)(一)相關(guān)系數(shù)的定義

1、相關(guān)系數(shù)：在線性條件下說明兩個變量之間相關(guān)關(guān)系密切程度的統(tǒng)計分析指標(biāo)。第八章相關(guān)與回歸分析12、相關(guān)系數(shù)r的取值范圍：-1≤r≤10<|r|<1表示存在不同程度線性相關(guān)：

|r|

<

0.3為微弱相關(guān)；

0.3≤|r|＜0.5為低度線性相關(guān)；

0.5≤|r|＜0.8為顯著性線性相關(guān)。

0.8≤|r|為高度相關(guān)r>0為正相關(guān)，r<0為負(fù)相關(guān)；|r|=0表示不存在線性關(guān)系；|r|＝1表示完全線性相關(guān)；第八章相關(guān)與回歸分析1例：下表是有關(guān)15個地區(qū)某種食物需求量和地區(qū)人口增加量的資料。第八章相關(guān)與回歸分析1第八章相關(guān)與回歸分析1（1）相關(guān)關(guān)系不等于因果關(guān)系；（2）相關(guān)系數(shù)只度量變量間的線性關(guān)系，因此，弱相關(guān)不一定表明變量間沒有關(guān)系；（3）極端值可能影響相關(guān)系數(shù)。（4）警惕虛假相關(guān)3、使用相關(guān)系數(shù)時應(yīng)注意的問題第八章相關(guān)與回歸分析1回歸：regression1889年弗朗西斯?高爾頓爵士遺傳學(xué)研究回歸線平均身高回歸分析法產(chǎn)生的歷史第八章相關(guān)與回歸分析1160165170175180185140150160170180190200YX兒子們身高向著平均身高“回歸”，以保持種族的穩(wěn)定第八章相關(guān)與回歸分析1第三節(jié)一元線性回歸分析回歸分析通過一個變量x或一些變量(x1,x2,x3…)的變化解釋另一變量y的變化。即根據(jù)相關(guān)關(guān)系的數(shù)量表達(dá)式（回歸方程式）與給定的自變量x，揭示因變量y在數(shù)量上的平均變化和求得因變量的預(yù)測值的統(tǒng)計分析方法回歸方程回歸模型反映自變量和因變量之間數(shù)學(xué)聯(lián)系的表達(dá)式。某一類回歸方程的總稱。第八章相關(guān)與回歸分析11、根據(jù)理論和對問題的分析判斷，區(qū)分自變量和因變量；2、設(shè)法找出適合的數(shù)學(xué)方程式(即回歸模型)描述變量間的關(guān)系3、對回歸模型進(jìn)行統(tǒng)計檢驗；4、統(tǒng)計檢驗通過后，利用回歸模型，根據(jù)解釋變量去估計，預(yù)測因變量。一、回歸分析的內(nèi)容第八章相關(guān)與回歸分析1一個自變量兩個及兩個以上自變量回歸模型多元回歸一元回歸線性回歸非線性回歸線性回歸非線性回歸第八章相關(guān)與回歸分析1二、一元線性回歸方程樣本一元線性回歸方程：以樣本統(tǒng)計量估計總體參數(shù)斜率（回歸系數(shù)）截距截距a

表示在沒有自變量x的影響時，其它各種因素對因變量y的平均影響；回歸系數(shù)b

表明自變量x每變動一個單位，因變量y平均變動b個單位。(估計的回歸方程)第八章相關(guān)與回歸分析1隨機(jī)干擾：各種偶然因素、觀察誤差和其他被忽視因素的影響X對y的線性影響而形成的系統(tǒng)部分，反映兩變量的平均變動關(guān)系，即本質(zhì)特征。第八章相關(guān)與回歸分析1三、直線回歸方程的求解原理

——最小二乘法使因變量的觀察值與估計值之間的離差平方和達(dá)到最小來求得a和b的方法。即用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實際數(shù)據(jù)的誤差比其他任何直線都小。第八章相關(guān)與回歸分析13.回歸系數(shù)的估計的最小二乘法公式

設(shè)將Ｑ對求偏導(dǎo)數(shù)，并令其等于零，可得:

加以整理后有：

第八章相關(guān)與回歸分析1例：配合回歸直線？第八章相關(guān)與回歸分析1第八章相關(guān)與回歸分析1估計方程的求法

（Excel的輸出結(jié)果）第八章相關(guān)與回歸分析1四、一元線性回歸方程的檢驗（一）回歸模型檢驗的種類回歸模型的檢驗包括理論意義檢驗、回歸方程的檢驗和回歸系數(shù)的檢驗。第八章相關(guān)與回歸分析1（二）擬合程度的評價

1、擬合程度，是指樣本觀測值聚集在樣本回歸線周圍的緊密程度。2、判斷回歸模型擬合程度優(yōu)劣最常用的數(shù)量尺度是決定系數(shù)。它是建立在對總離差平方和進(jìn)行分解的基礎(chǔ)之上的。第八章相關(guān)與回歸分析13、離差平方和的分解因變量y的取值是不同的，y取值的這種波動稱為變差。變差來源于兩個方面：由于自變量x的取值不同造成的；除x以外的其他因素(如x對y的非線性影響、測量誤差等)的影響。xyy{}}

離差分解圖第八章相關(guān)與回歸分析13、離差平方和的分解

（三個平方和的關(guān)系）

2）兩端平方后求和有1）從圖上看有SST=SSR+SSE總離差平方和（SST）{回歸平方和（SSR）{殘差平方和（SSE）{第八章相關(guān)與回歸分析14、決定系數(shù)（r2

）1）回歸平方和占總離差平方和的比例2）反映回歸直線的擬合程度3）取值范圍在[0,1]之間4）r21，說明回歸方程擬合的越好；r20，說明回歸方程擬合的越差5）判定系數(shù)等于相關(guān)系數(shù)的平方，即r2＝(r)2第八章相關(guān)與回歸分析1（三）回歸方程的顯著性檢驗

1、檢驗自變量和因變量之間的線性關(guān)系是否顯著具體方法是將回歸離差平方和(SSR)同剩余離差平方和(SSE)加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著如果是顯著的，兩個變量之間存在線性關(guān)系如果不顯著，兩個變量之間不存在線性關(guān)系第八章相關(guān)與回歸分析12、檢驗的步驟1）提出假設(shè)H0：線性關(guān)系不顯著

2）計算檢驗統(tǒng)計量F3）確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F

4）作出決策：若F

F

,拒絕H0；若F<F

,接受H0第八章相關(guān)與回歸分析1Excel輸出的方差分析表平方和均方第八章相關(guān)與回歸分析1四、回歸系數(shù)的顯著性檢驗3、在一元線性回歸中，等價于回歸方程的顯著性檢驗1、檢驗x與y之間是否具有線性關(guān)系，或者說，檢驗自變量x對因變量y的影響是否顯著2、理論基礎(chǔ)是回歸系數(shù)

的抽樣分布第八章相關(guān)與回歸分析11）是根據(jù)最小二乘法求出的樣本統(tǒng)計量，它有自己的分布2）的分布具有如下性質(zhì)4、依據(jù)的抽樣分布第八章相關(guān)與回歸分析1

5、步驟1）提出假設(shè)H0:b1=0(沒有線性關(guān)系)H1:b1

0(有線性關(guān)系)2）計算檢驗的統(tǒng)計量3）確定顯著性水平，并進(jìn)行決策

t>t

，拒絕H0；t<t

，接受H0第八章相關(guān)與回歸分析16、實例提出假設(shè)H0：b1=0人均收入與人均消費之間無線性關(guān)系H1：b1

0人均收入與人均消費之間有線性關(guān)系計算檢驗的統(tǒng)計量

t=65.0758>t

=2.201，拒絕H0，表明人均收入與人均消費之間有線性關(guān)系

對前例的回歸系數(shù)進(jìn)行顯著性檢驗(

＝0.05)第八章相關(guān)與回歸分析1

7、Excel輸出的結(jié)果第八章相關(guān)與回歸分析1五、一元線性回歸方程的預(yù)測1、根據(jù)自變量x

的取值估計或預(yù)測因變量y的取值2、估計或預(yù)測的類型點估計y的平均值的點估計y的個別值的點估計區(qū)間估計y的平均值的置信區(qū)間估計第八章相關(guān)與回歸分析1

3、置信區(qū)間估計（1）

y的平均值的置信區(qū)間估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的平均值E(y0)的估計區(qū)間，這一估計區(qū)間稱為置信區(qū)間（2）E(y0)

在1-

置信水平下的置信區(qū)間為式中：Sy為估計標(biāo)準(zhǔn)誤差第八章相關(guān)與回歸分析1（3）影響區(qū)間寬度的因素1） 置信水平(1-

)區(qū)間寬度隨置信水平的增大而增大2） 數(shù)據(jù)的離散程度(s)區(qū)間寬度隨離散程度的增大而增大3） 樣本容量區(qū)間寬度隨樣本容量的增大而減小4） 用于預(yù)測的xp與

x的差異程度區(qū)間寬度隨xp與

x的差異程度的增大而增大第八章相關(guān)與回歸分析1置信區(qū)間、回歸方程xpyx

x置信上限置信下限第八章相關(guān)與回歸分析1第四節(jié)多元線性相關(guān)與回歸分析一、多元線性回歸模型1、定義：一個因變量與兩個及兩個以上自變量之間的回歸描述因變量y如何依賴于自變量x1

，x2

，…，xp

和誤差項

的方程稱為多元線性回歸模型

b0

，b1，b2

，，bp是參數(shù)

是被稱為誤差項的隨機(jī)變量

y是x1,，x2

，

，xp

的線性函數(shù)加上誤差項

說明了包含在y里面但不能被p個自變量的線性關(guān)系所解釋的變異性第八章相關(guān)與回歸分析1多元線性回歸模型

對于n組實際觀察數(shù)據(jù)(yi;xi1,，xi2

，

，xip)，(i=1,2,…,n)，多元線性回歸模型可表示為y1

=b0+b1x11+b2x12

++

bpx1p

+e1y2=b0+b1x21

+b2x22

++

bpx2p

+e2

yn=b0+b1xn1

+b2xn2

++

bpxnp

+en{……第八章相關(guān)與回歸分析1二、參數(shù)的最小二乘法根據(jù)最小二乘法的要求，可得求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察值與估計值之間的離差平方和達(dá)到最小來求得

。即第八章相關(guān)與回歸分析1三、顯著性檢驗

（線性關(guān)系的檢驗

）1、回歸方程的檢驗：將回歸離差平方和(SSR)同剩余離差平方和(SSE)加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系2、回歸系數(shù)的檢驗：對每一個自變量都要單獨進(jìn)行檢驗，應(yīng)用t

檢驗在多元線性回歸中，回歸方程的顯著性檢驗不再等價于回歸系數(shù)的顯著性檢驗。第八章相關(guān)與回歸分析1第五節(jié)非線性相關(guān)與回歸分析一、非線性函數(shù)形式的確定1、選擇回歸方程的具體形式應(yīng)遵循以下原則：首先，方程形式應(yīng)與有關(guān)實質(zhì)性科學(xué)的基本理論相一致。其次，方程有較高的擬合程度。最后，方程的數(shù)學(xué)形式要盡可能簡單。第八章相關(guān)與回歸分析1二、幾種常見的非線性模型（一）指數(shù)函數(shù)線性化方法兩端取對數(shù)得：lny=ln

+

x令：y'=lny，則有y'

=ln

+

x基本形式：圖像

第八章相關(guān)與回歸分析1二、幾種常見的非線性模型（二）冪函數(shù)線性化方法兩端取對數(shù)得：lgy=lg+lgx令：y'=lgy，x'=lgx，則y'=lg+x'基本形式：圖像0<<1

1

=1-1<

<0

<-1

=-1第八章相關(guān)與回歸分析1二、幾種常見的非線性模型（三）雙曲線函數(shù)線性化方法令：y'=1/y，x'=1/x,則有y'=+x'基本形式：圖像

<0