第八章 相關(guān)與回歸分析

統(tǒng)計(jì)學(xué)STATISTICS高等學(xué)校應(yīng)用型特色規(guī)劃教材清華大學(xué)出版社第八章相關(guān)與回歸分析第一節(jié)相關(guān)的基本概念

第三節(jié)

一元線性回歸分析

第四節(jié)

多元線性回歸分析

【學(xué)習(xí)目標(biāo)】通過對本章的學(xué)習(xí)，掌握相關(guān)分析的種類及簡單相關(guān)系數(shù)的計(jì)算方法；重點(diǎn)掌握回歸分析的估計(jì)和檢驗(yàn)方法；在此基礎(chǔ)上能夠運(yùn)用相關(guān)分析和回歸分析的基本方法解釋實(shí)際社會(huì)經(jīng)濟(jì)問題。重點(diǎn)與難點(diǎn)：相關(guān)系數(shù)的計(jì)算；一元線性回歸分析。第五節(jié)

非線性回歸分析

第二節(jié)

相關(guān)關(guān)系的確定

第一節(jié)相關(guān)的基本概念（一）函數(shù)關(guān)系一、相關(guān)關(guān)系與函數(shù)關(guān)系

第八章相關(guān)與回歸分析函數(shù)關(guān)系是指現(xiàn)象之間存在著嚴(yán)格的依存關(guān)系，亦即當(dāng)其它條件不變時(shí)，對于某一自變量或幾個(gè)自變量的每一數(shù)值，都有因變量的一個(gè)的確定值與之相對應(yīng)，并且這種關(guān)系可以用一個(gè)確定的數(shù)學(xué)表達(dá)式反映出來。第一節(jié)相關(guān)的基本概念（二）統(tǒng)計(jì)關(guān)系一、相關(guān)關(guān)系與函數(shù)關(guān)系

第八章相關(guān)與回歸分析統(tǒng)計(jì)關(guān)系不同于函數(shù)關(guān)系，當(dāng)重復(fù)觀測時(shí)，觀測點(diǎn)不是完全落在統(tǒng)計(jì)關(guān)系曲線上，而是圍繞統(tǒng)計(jì)關(guān)系曲線散布。統(tǒng)計(jì)關(guān)系可以表示為確定部分和隨機(jī)性部分二者之和，這是回歸分析的基礎(chǔ)。相關(guān)關(guān)系因果關(guān)系案例分析相關(guān)關(guān)系與因果關(guān)系一家研究機(jī)構(gòu)有一項(xiàng)驚人的發(fā)現(xiàn)：統(tǒng)計(jì)數(shù)據(jù)顯示，腳長的兒童拼寫能力比腳短的兒童強(qiáng)。原來他們調(diào)查的是一群年齡不同的兒童，腳長的兒童比腳短的兒童年齡大！趕快回去量一下兒子的腳長我要把腳拉長一點(diǎn)！相關(guān)關(guān)系與函數(shù)關(guān)系的聯(lián)系相關(guān)關(guān)系和函數(shù)關(guān)系既有區(qū)別，又有聯(lián)系。區(qū)別表現(xiàn)在:(1)函數(shù)關(guān)系指變量之間關(guān)系是確定的，而相關(guān)關(guān)系指變量之間關(guān)系是不確定的，可以在一定范圍內(nèi)變動(dòng)；（2）函數(shù)關(guān)系中變量之間依存關(guān)系是可以用一定的的方程y=f(x)表現(xiàn)出來，可以給定自變量來推算應(yīng)變量，而相關(guān)關(guān)系不能用一定的方程準(zhǔn)確地表示 相關(guān)關(guān)系與函數(shù)關(guān)系的聯(lián)系聯(lián)系表現(xiàn)在：（1）有些函數(shù)關(guān)系往往因?yàn)橛杏^察或測量誤差以及各種隨機(jī)因素的干擾等原因，在實(shí)際中常常通過相關(guān)關(guān)系表現(xiàn)出來；（2）而在研究相關(guān)關(guān)系時(shí)，其數(shù)量間的規(guī)律性了解得越深刻的時(shí)候，則相關(guān)關(guān)系越有可能轉(zhuǎn)化為函數(shù)關(guān)系或借助函數(shù)關(guān)系來表現(xiàn)。⒈按涉及變量的多少分為相關(guān)關(guān)系的種類⒉按照表現(xiàn)形式不同分為⒊按照變化方向不同分為直線相關(guān)曲線相關(guān)負(fù)相關(guān)正相關(guān)二、相關(guān)分析的種類復(fù)相關(guān)單相關(guān)偏相關(guān)第八章相關(guān)與回歸分析4.按相關(guān)的程度分為相關(guān)關(guān)系的種類5.按變量之間因果關(guān)系的方向分為完全相關(guān)不完全相關(guān)不相關(guān)雙向因果相關(guān)單向因果相關(guān)虛假相關(guān)第八章相關(guān)與回歸分析第二節(jié)相關(guān)關(guān)系的確定定性分析：是依據(jù)研究者的理論知識(shí)和實(shí)踐經(jīng)驗(yàn)，對客觀現(xiàn)象之間是否存在相關(guān)關(guān)系，以及何種關(guān)系作出判斷。定量分析：在定性分析的基礎(chǔ)上，通過編制相關(guān)表、繪制相關(guān)圖、計(jì)算相關(guān)系數(shù)等方法，來判斷現(xiàn)象之間相關(guān)的方向、形態(tài)及密切程度。第二節(jié)相關(guān)關(guān)系的確定第八章相關(guān)與回歸分析一、相關(guān)表與相關(guān)圖(一)簡單相關(guān)表將某一變量按其取值的大小排列，然后再將與其相關(guān)的另一變量的對應(yīng)值平行排列，便得到簡單的相關(guān)表。適用于所觀察的樣本單位數(shù)較少，不需要分組的情況

第二節(jié)相關(guān)關(guān)系的確定第八章相關(guān)與回歸分析

企業(yè)編號(hào)月產(chǎn)量（千噸）X生產(chǎn)費(fèi)用(萬元)Y123456781.22.03.13.85.06.17.28.0628680110115132135160八個(gè)同類工業(yè)企業(yè)的月產(chǎn)量與生產(chǎn)費(fèi)用第二節(jié)相關(guān)關(guān)系的確定第八章相關(guān)與回歸分析一、相關(guān)表與相關(guān)圖

(二)分組相關(guān)表：適用于所觀察的樣本單位數(shù)較多，需要分組的情況

單變量分組表雙變量分組表第二節(jié)相關(guān)關(guān)系的確定第八章相關(guān)與回歸分析

1.單變量分組表

表某紡織廠工人看管織機(jī)臺(tái)數(shù)和時(shí)勞動(dòng)生產(chǎn)率相關(guān)表正相關(guān)負(fù)相關(guān)曲線相關(guān)不相關(guān)xyxyxyxy又稱散點(diǎn)圖，用直角坐標(biāo)系的x軸代表自變量，y軸代表因變量，將兩個(gè)變量間相對應(yīng)的變量值用坐標(biāo)點(diǎn)的形式描繪出來，用以表明相關(guān)點(diǎn)分布狀況的圖形。相關(guān)圖(萬元)(萬元)相關(guān)圖某軟件公司的年廣告投入費(fèi)和月平均銷售額相關(guān)表和相關(guān)圖可反映兩個(gè)變量之間的相互關(guān)系及其相關(guān)方向，但無法確切地表明兩個(gè)變量之間相關(guān)的程度。著名統(tǒng)計(jì)學(xué)家卡爾·皮爾遜設(shè)計(jì)了統(tǒng)計(jì)指標(biāo)–––相關(guān)系數(shù)

在直線相關(guān)的條件下，用以反映兩變量間線性相關(guān)方向和程度的統(tǒng)計(jì)指標(biāo)，用r表示相關(guān)系數(shù)r的取值范圍：-1≤r≤1r>0表示兩變量正相關(guān)；r<0表示兩變量負(fù)相關(guān)；|r|=0表示兩變量間不存在線性關(guān)系；|r|＝1表示完全線性相關(guān)，即函數(shù)關(guān)系；0<|r|<1表示存在不同程度的線性相關(guān)：|r|＜0.4為低度線性相關(guān)；0.4≤|r|＜0.7為顯著性相關(guān)；0.7≤|r|＜1.0為高度線性相關(guān)。相關(guān)系數(shù)的取值及其意義圖示-1.0+1.00-0.5+0.5完全負(fù)相關(guān)無線性相關(guān)完全正相關(guān)負(fù)相關(guān)程度增加r正相關(guān)程度增加相關(guān)系數(shù)序號(hào)廣告投入費(fèi)x（萬元）月均銷售額y（萬元）x2y2xy1234567891012.515.323.226.433.534.439.445.255.460.921.223.932.934.142.543.249.052.859.463.5156.25234.09538.24696.961122.251183.361552.362043.043069.163708.81449.44571.211082.411162.811806.251866.242401.002787.843528.364032.25265.00365.67763.28900.241423.751486.081930.602386.563290.763867.15合計(jì)346.2422.514304.5219687.8116679.09相關(guān)系數(shù)為0.9942，說明廣告投入費(fèi)與月平均銷售額之間有高度的線性正相關(guān)關(guān)系相關(guān)分析不能解釋兩變量間的因果關(guān)系

相關(guān)系數(shù)只是表明兩個(gè)變量間互相影響的程度和方向，它并不能說明兩變量間是否有因果關(guān)系，以及何為因，何為果，即使是在相關(guān)系數(shù)非常大時(shí)，也并不意味著兩變量間具有顯著的因果關(guān)系。

相關(guān)分析應(yīng)注意的問題相關(guān)分析應(yīng)注意的問題警惕虛假相關(guān)導(dǎo)致的錯(cuò)誤結(jié)論有時(shí)兩變量之間并不存在相關(guān)關(guān)系，但卻可能出現(xiàn)較高的相關(guān)系數(shù)。例如：對教師薪金的提高和酒價(jià)的上漲作相關(guān)分析，計(jì)算得到一個(gè)較大的相關(guān)系數(shù)，這不能表明是教師薪金提高導(dǎo)致酒的消費(fèi)量增加，從而導(dǎo)致酒價(jià)上漲.。

事實(shí)是由于經(jīng)濟(jì)繁榮導(dǎo)致教師薪金和酒價(jià)的上漲，而教師薪金增長和酒價(jià)之間并沒有什么直接關(guān)系。相關(guān)分析應(yīng)注意的問題不要在相關(guān)關(guān)系據(jù)以成立的數(shù)據(jù)范圍以外，推論這種相關(guān)關(guān)系仍然保持

例如：雨下的多，農(nóng)作物長的好，在缺水地區(qū)，干旱季節(jié)雨是一種福音，但雨量太大，卻可能損壞莊稼。

廣告投入多，銷售額上漲，利潤增加，但盲目加大廣告投入，卻未必使銷售額再增長，利潤還可能減少。

正相關(guān)達(dá)到某個(gè)極限，就可能變成負(fù)相關(guān)一、回歸分析的含義回歸分析是指對具有相關(guān)關(guān)系的現(xiàn)象，根據(jù)其相關(guān)關(guān)系的形態(tài)，選擇一個(gè)合適的數(shù)學(xué)模型，以便從一個(gè)已知量來推測另一個(gè)未知量，為估算預(yù)測提供一個(gè)重要的方法。實(shí)際上是相關(guān)現(xiàn)象之間不確定的不規(guī)則的數(shù)量關(guān)系的一般化、規(guī)則化的過程。第三節(jié)一元線性回歸分析第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析二、相關(guān)分析與回歸分析的關(guān)系

回歸分析是關(guān)于研究一個(gè)叫做因變量的變量對另一個(gè)或多個(gè)叫做解釋變量的依賴關(guān)系。

相關(guān)分析是測度兩個(gè)變量之間的線性關(guān)聯(lián)度的，并用一些指數(shù)(相關(guān)系數(shù))表示相關(guān)程度。

第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析二、相關(guān)分析與回歸分析

相關(guān)分析中x與y對等，回歸分析中x與y要確定自變量和因變量；相關(guān)分析中x、y均為隨機(jī)變量，回歸分析中只有y為隨機(jī)變量；相關(guān)分析測定相關(guān)程度和方向，回歸分析用回歸模型進(jìn)行預(yù)測和控制。區(qū)別：第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析二、相關(guān)分析與回歸分析的關(guān)系聯(lián)系：相關(guān)分析是回歸分析的基礎(chǔ)和前提?；貧w分析是相關(guān)分析的深入和繼續(xù)。三、回歸分析的種類（1）按自變量的個(gè)數(shù)分一元回歸多元回歸按回歸線的形態(tài)分普通回歸模型曲線回歸（2）（3）按回歸模型是否帶有虛擬變量帶虛擬變量的回歸模型線性回歸第三節(jié)一元線性回歸分析第八章相關(guān)與回歸分析四、一元線性回歸分析的模型

在回歸分析中，最簡單最基本的單方程模型為一元線性回歸模型。一元線性回歸分析的總體回歸模型為：

為常數(shù)項(xiàng)或截距項(xiàng)，表示自變量為零時(shí)y的取值為斜率系數(shù),表示當(dāng)x增加一個(gè)單位時(shí)y的平均增加數(shù)量是隨機(jī)誤差項(xiàng),又稱隨機(jī)干擾項(xiàng)。第三節(jié)一元線性回歸分析第八章相關(guān)與回歸分析（一）一元線性回歸分析隨機(jī)誤差項(xiàng)的基本假定

第二，模型的設(shè)定誤差。在線性回歸模型中加入隨機(jī)誤差項(xiàng)是基于以下原因：

第一，模型不可能包含所有的解釋變量。第三，測量誤差的影響。第四，其他隨機(jī)因素的影響。第三節(jié)一元線性回歸分析第八章相關(guān)與回歸分析（二）、一元線性回歸分析隨機(jī)誤差項(xiàng)的基本假定

滿足以下假定的線性回歸模型稱為古典（或經(jīng)典）線性回歸模型

假定1：回歸模型是正確設(shè)定的假定2：解釋變量是非隨機(jī)的假定3：隨機(jī)誤差項(xiàng)的均值為零假定4：隨機(jī)誤差項(xiàng)的方差為一個(gè)不變的常數(shù)（等方差假定）假定5：隨機(jī)誤差項(xiàng)的觀測值互不相關(guān)（非序列相關(guān)假定）假定6：解釋變量與隨機(jī)誤差項(xiàng)不相關(guān)假定7：隨機(jī)誤差項(xiàng)服從正態(tài)分布假定8：沒有一個(gè)解釋變量是其他任何解釋變量的完全線性組合（無多重共線性假定，只適用于多元線性回歸模型）第三節(jié)一元線性回歸分析第八章相關(guān)與回歸分析

線性回歸模型由兩部分構(gòu)成，確定性部分和隨機(jī)性部分，為確定性部分，稱為對于給定值的期望值，可以寫為：

上式被稱為總體線性回歸方程。第三節(jié)一元線性回歸分析第八章相關(guān)與回歸分析五、一元線性回歸模型的估計(jì)

為了得到這些估計(jì)值而最為廣泛使用的方法就是普通最小二乘法

為樣本回歸方程。

一般用、分別表示參數(shù)的估計(jì)值第三節(jié)一元線性回歸分析第八章相關(guān)與回歸分析

普通最小二乘法（OrdinaryLeastSquare)是通過最小化殘差平方和而計(jì)算估計(jì)值得一種回歸技術(shù)。其基本思想是：由于描述n組數(shù)據(jù)的直線有多條，需要按照一定的原則確定一條最優(yōu)直線來代表兩個(gè)變量間的關(guān)系。所謂最優(yōu)直線是指該直線距離各散點(diǎn)最近，即對y的擬合值與y的觀察值之間總的誤差為最小。達(dá)到最小來確定、稱為回歸殘差最小二乘法的意義在于使：第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析五一元線性回歸模型的估計(jì)

根據(jù)微積分的極值定理，對求相應(yīng)于、的偏導(dǎo)數(shù)，并令其等于0，即可求得：

第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析三、一元線性回歸模型的擬合程度分析

(一)一元線性回歸模型的判定系數(shù)第八章相關(guān)與回歸分析剩余離差平方和回歸離差平方和總離差平方和第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析三、一元線性回歸模型的擬合程度分析

可以證明，對上式兩邊分別平方加總后等式仍然成立，即：(一)一元線性回歸模型的判定系數(shù)

可簡寫為：TSS＝ESS＋RSS第二節(jié)一元線