第七章-相關(guān)回歸分析-《統(tǒng)計(jì)學(xué)》課件

第一節(jié)

相關(guān)分析基本問題一、相關(guān)關(guān)系與函數(shù)關(guān)系（一）函數(shù)關(guān)系指的是現(xiàn)象間存在的一一對(duì)應(yīng)的確定關(guān)系，即對(duì)一個(gè)變量的任何一個(gè)值，另一個(gè)變量都有唯一確定的值與之相對(duì)應(yīng)。xy（二）相關(guān)關(guān)系指的是現(xiàn)象之間存在的非確定性的數(shù)量依存關(guān)系，即現(xiàn)象之間雖然存在著數(shù)量依存關(guān)系，一個(gè)現(xiàn)象發(fā)生數(shù)量上的變化時(shí)，另一個(gè)現(xiàn)象數(shù)量水平也會(huì)相應(yīng)地發(fā)現(xiàn)變化，但這種數(shù)量關(guān)系并不是嚴(yán)格一一對(duì)應(yīng)。xy相關(guān)關(guān)系和函數(shù)關(guān)系既有區(qū)別，又有聯(lián)系。二、相關(guān)關(guān)系的類型（一）按照相關(guān)關(guān)系涉及變量（或因素）的多少分為單相關(guān)和復(fù)相關(guān)（二）按照相關(guān)形式不同分為線性相關(guān)和非線性相關(guān)（三）按照相關(guān)現(xiàn)象變化的方向不同分為正相關(guān)和負(fù)相關(guān)（四）按相關(guān)程度不同分為完全相關(guān)、不完全相關(guān)和無相關(guān)xyxyxy完全正線性相關(guān)xyxyxyxyxy完全負(fù)線性相關(guān)非線性相關(guān)正線性相關(guān)負(fù)線性相關(guān)不相關(guān)三、相關(guān)分析的基本步驟第一步：判斷確定現(xiàn)象之間有無關(guān)系以及相關(guān)關(guān)系的具體表現(xiàn)形式第二步：計(jì)算相關(guān)系數(shù)，確定相關(guān)關(guān)系的密切程度第三步：檢測(cè)相關(guān)關(guān)系的顯著性第二節(jié)

相關(guān)關(guān)系的測(cè)定一、相關(guān)關(guān)系的一般判斷（一）定性判斷（二）相關(guān)表和相關(guān)圖年份城鎮(zhèn)居民家庭人均可支配收入(元)城鎮(zhèn)居民家庭人均消費(fèi)性支出(元)199669565764199773596170199878376218199984286522200092797020200110465795220021171687132003131809713200414546106362005162941225420061826513349200720574140912008227271515820092461116683201027359178582011309712043720123455021545201337080252542014403932724220154371428661某省的城鎮(zhèn)居民家庭人均可支配收入和人均消費(fèi)性支出相關(guān)表某省城鎮(zhèn)居民家庭人均可支配收入和人均消費(fèi)性支出相關(guān)圖（計(jì)量單位：元）二、相關(guān)系數(shù)的測(cè)定（一）皮爾遜直線相關(guān)系數(shù)簡(jiǎn)化公式：年份城鎮(zhèn)居民家庭人均可支配收入(元)

城鎮(zhèn)居民家庭人均消費(fèi)性支出(元)

19966956576440094384483859363322369619977359617045405030541548813806890019987837621848730466614185693866352419998428652254967416710311844253648420009279702065138580860998414928040020011046579528321768010951622563234304200211716871310208150813726465675916369200313180971312801734017371240094342369200414546106361547112562115861161131244962005162941225419966667626549443615016051620061826513349243819485333610225178195801200720574140912899082344232894761985562812008227271515834449586651651652922976496420092461116683410585313605701321278322489201027359178584885770227485148813189081642011309712043763295432795920284141767096920123455021545744379750119370250046418702520133708025254936418320137492640063776451620144039327242110038610616315944497421265642015437142866112528869541910913796821452921合計(jì)4063042812407366441713109166366624985500752相關(guān)系數(shù)計(jì)算表當(dāng)r=0時(shí)，表示兩變量間無線性相關(guān)關(guān)系。0<|r|<0.3，表示兩變量間存在微弱相關(guān)；0.3≤|r|<0.5，表示兩變量間存在低相關(guān)（弱相關(guān)）；0.5≤|r|<0.8，表示兩變量間存在顯著相關(guān)（中相關(guān)）；

，表示兩變量間存在高度相關(guān)；當(dāng)|r|=1時(shí)，表示兩變量存在完全線性相關(guān)，即為函數(shù)關(guān)系

判斷相關(guān)關(guān)系密切程度的標(biāo)準(zhǔn)（二）斯皮爾曼相關(guān)系數(shù)由英國(guó)統(tǒng)計(jì)學(xué)家斯皮爾曼在皮爾遜積差法思想的基礎(chǔ)上，推導(dǎo)出計(jì)算等級(jí)相關(guān)系數(shù)的方法，也被稱為“等級(jí)差數(shù)法”1.相關(guān)系數(shù)不能解釋兩變量間的因果關(guān)系2.警惕虛假相關(guān)導(dǎo)致的錯(cuò)誤結(jié)論3.注意不要在相關(guān)關(guān)系據(jù)以成立的數(shù)據(jù)范圍以外，推論這種相關(guān)關(guān)系仍然保持第三節(jié)

回歸分析一、回歸分析的概述（一）回歸的概念“回歸”一詞是由英國(guó)生物學(xué)家F.Galton在研究人體身高的遺傳問題時(shí)首先提出的。

根據(jù)遺傳學(xué)的觀點(diǎn)，子輩的身高受父輩影響。一般而言，父輩身高者，其子輩身高也高，依此推論，祖祖輩輩遺傳下來，身高必然向兩極分化，而事實(shí)上并非如此，顯然有一種力量將身高拉向中心，即子輩的身高有向中心回歸的特點(diǎn)。2023/7/27191877年弗朗西斯?高爾頓爵士遺傳學(xué)研究回歸線平均身高平均身高回歸：退回regression（二）回歸分析和相關(guān)分析的聯(lián)系和區(qū)別聯(lián)系：（1）相關(guān)分析是回歸分析的基礎(chǔ)和前提

（2）回歸分析是相關(guān)分析的深入和繼續(xù)區(qū)別：（1）在相關(guān)分析中涉及的變量不存在自變量和因變量的劃分問題，變量之間的關(guān)系是對(duì)等的；而在回歸分析中，則必須根據(jù)研究對(duì)象的性質(zhì)和研究分析的目的，對(duì)變量進(jìn)行自變量和因變量的劃分（2）在相關(guān)分析中所有的變量都必須是隨機(jī)變量；而在回歸分析中，自變量是給定的，因變量才是隨機(jī)的（3）相關(guān)分析主要是通過一個(gè)指標(biāo)即相關(guān)系數(shù)來反映變量之間相關(guān)程度的大小，由于變量之間是對(duì)等的，因此相關(guān)系數(shù)是惟一確定的。而在回歸分析中，對(duì)于互為因果的兩個(gè)變量(如人的身高與體重，商品的價(jià)格與需求量)，則有可能存在多個(gè)回歸方程。（4）相關(guān)分析的目的僅僅是判斷現(xiàn)象之間存不存在相互依存關(guān)系，而回歸分析的目的則在于根據(jù)自變量去估計(jì)或預(yù)測(cè)因變量（三）回歸分析的主要內(nèi)容1.根據(jù)研究目的和現(xiàn)象之間的內(nèi)在聯(lián)系，確定自變量和因變量2.確定回歸分析模型的類型及數(shù)學(xué)表達(dá)式3.對(duì)回歸分析模型進(jìn)行評(píng)價(jià)與診斷2023/7/2723（四）回歸分析模型的種類一個(gè)自變量?jī)蓚€(gè)及兩個(gè)以上自變量回歸模型多元回歸一元回歸線性回歸非線性回歸線性回歸非線性回歸二、簡(jiǎn)單線性回歸分析（一）簡(jiǎn)單線性回歸模型理論模型：估計(jì)模型：（二）簡(jiǎn)單線性回歸模型的參數(shù)估計(jì)擬合回歸直線的主要任務(wù)是估計(jì)待定參數(shù)

、

的值，常用的方法就是最小二乘法OLS（OrdinaryLeastSquares），用這種方法求出的回歸直線是原始數(shù)據(jù)的“最佳”擬合直線用直線方程代入

分別求關(guān)于和的偏導(dǎo)并令它們等于0：整理可得出以下列兩個(gè)方程式所組成的標(biāo)準(zhǔn)方程組為：

解得：回歸系數(shù)

是回歸直線的斜率，其含義為：自變量X每增加（或減少）一個(gè)單位，因變量Y

將平均增加（或減少）

個(gè)單位2023/7/27281.樣本的擬合優(yōu)度——可決系數(shù)r21.回歸平方和占總離差平方和的比例反映回歸直線的擬合程度取值范圍在[0,1]之間r21，說明回歸方程擬合的越好；r20，說明回歸方程擬合的越差判定系數(shù)等于相關(guān)系數(shù)的平方，即r2＝(r)2（三）線性回歸模型的檢驗(yàn)前面論證的OLS法已經(jīng)使我們所估計(jì)的樣本回歸函數(shù)具有最小離差，為什么還要討論擬合優(yōu)度的問題。這是因?yàn)镺LS估計(jì)式具有最小方差性和無偏性，只是反映了這樣一個(gè)事實(shí)，即相對(duì)于一切樣本回歸函數(shù)來說，由OLS估計(jì)式所確定的樣本回歸函數(shù)具有某些特性，但它并不能說明單個(gè)樣本回歸函數(shù)具有較高的擬合程度。2023/7/2730因變量y的取值是不同的，y取值的這種波動(dòng)稱為離差。離差來源于兩個(gè)方面由于自變量x的取值不同造成的除x以外的其他因素(如x對(duì)y的非線性影響、測(cè)量誤差等)的影響對(duì)一個(gè)具體的觀測(cè)值來說，離差的大小可以通過該實(shí)際觀測(cè)值與其均值之差來表示。2023/7/2731xyy離差分解圖2023/7/27322.估計(jì)標(biāo)準(zhǔn)誤差Syx實(shí)際觀察值與回歸估計(jì)值離差平方和的均方根反映實(shí)際觀察值在回歸直線周圍的分散狀況從另一個(gè)角度說明了回歸直線的擬合程度計(jì)算公式為3.模型整體擬合效果的顯著性檢驗(yàn)——F檢驗(yàn)根據(jù)

，由方差分析原理可知，當(dāng)隨機(jī)誤差項(xiàng)服從正態(tài)分布時(shí)，應(yīng)該有：SSR~，SSE~

，所以，有F統(tǒng)計(jì)量：當(dāng)回歸方程擬合效果越好，表明方程解釋部分所占比重越大，SSR與SSE相比的值也越大，F(xiàn)統(tǒng)計(jì)量也越大。因此，方程整體顯著性檢驗(yàn)的假設(shè)為：

（回歸方程整體是不顯著的）

（回歸方程整體是顯著的）

在給定顯著性水平

之下，若：

，則拒絕原假設(shè)，認(rèn)為回歸方程整體是顯著的。4.模型參數(shù)顯著性的檢驗(yàn)——t檢驗(yàn)?zāi)Ｐ蛥?shù)顯著性檢驗(yàn)主要是判斷每一個(gè)自變量對(duì)于回歸模型是否必要。在一元線性回歸模型中，主要是檢驗(yàn)?zāi)Ｐ拖禂?shù)理論值

和

是否顯著地等于零。如果模型的誤差項(xiàng)是符合建模假設(shè)的，則有：因此，截距項(xiàng)

的t檢驗(yàn)為：在原假設(shè)成立時(shí)，t統(tǒng)計(jì)量為：在給定的顯著性水平之下，若該t統(tǒng)計(jì)量值大于

，則拒絕原假設(shè)，認(rèn)為截距項(xiàng)是顯著的。否則，應(yīng)該考慮擬合無截距項(xiàng)的直線回歸模型。同樣地，回歸系數(shù)

的t檢驗(yàn)為：在原假設(shè)成立時(shí)，t

統(tǒng)計(jì)量為：若該t統(tǒng)計(jì)量值大于

，則拒絕原假設(shè)，認(rèn)為回歸系數(shù)對(duì)方程的影響是顯著的，或自變量是重要的。否則，說明該參數(shù)顯著為零，該自變量對(duì)模型的影響是不重要的，應(yīng)該考慮更換或變換該變量。（1）t檢驗(yàn)不適用于檢驗(yàn)理論的有效性（2）t檢驗(yàn)不檢驗(yàn)“重要性”（3）t檢驗(yàn)不能擴(kuò)展到檢驗(yàn)整個(gè)總體（四）線性回歸模型因變量的置信區(qū)間估計(jì)意義：根據(jù)回歸估計(jì)標(biāo)準(zhǔn)誤進(jìn)一步對(duì)因變量y進(jìn)行估計(jì)或推斷，確定y的回歸估計(jì)置信區(qū)間。兩個(gè)假設(shè)：y的實(shí)際觀測(cè)值在估計(jì)值周圍呈正態(tài)分布即正態(tài)性；所有的正態(tài)分布具有相同的標(biāo)準(zhǔn)差，即同方差性。估計(jì)區(qū)間2023/7/2740三、多元線性回歸分析

（概念要點(diǎn)）一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量之間的回歸描述因變量y如何依賴于自變量x1

，x2

，…，xp

和誤差項(xiàng)

的方程稱為多元線性回歸模型涉及p個(gè)自變量的多元線性回歸模型可表示為

b0，b1，b2

，，bp是參數(shù)

是被稱為誤差項(xiàng)的隨機(jī)變量

y是x1,，x2，，xp

的線性函數(shù)加上誤差項(xiàng)

說明了包含在y里面但不能被p個(gè)自變量的線性關(guān)系所解釋的變異性2023/7/2741對(duì)于n組實(shí)際觀察數(shù)據(jù)(yi;xi1,，xi2，，xip)，(i=1，2，…，n)，多元線性回歸模型可表示為y1

=b0+b1x11+b2x12

++

bpx1p

+e1y2=b0+b1x21

+b2x22

++

bpx2p

+e2

yn=b0+b1xn1

+b2xn2

++

bpxnp

+en{……2023/7/2742四、非線性回歸分析基本概念非線性模型及其線性化方法1. 因變量y與x之間不是線性關(guān)系2. 可通過變量代換轉(zhuǎn)