第9章相關(guān)與回歸分析

第九章相關(guān)與回歸分析

相關(guān)與回歸分析的基本概念簡單線性相關(guān)與回歸分析多元線性相關(guān)與回歸分析非線性相關(guān)與回歸分析2（本科）第9章相關(guān)與回歸分析ppt課件第一節(jié)相關(guān)與回歸分析的基本概念一函數(shù)關(guān)系與相關(guān)關(guān)系二相關(guān)關(guān)系的種類三相關(guān)分析與回歸分析四相關(guān)圖3（本科）第9章相關(guān)與回歸分析ppt課件一、函數(shù)關(guān)系與相關(guān)關(guān)系當(dāng)一個或幾個變量取一定的值時，另一個變量有確定值與之相對應(yīng)，我們稱這種關(guān)系為確定性的函數(shù)關(guān)系。例如，商品的銷售收入Y與該商品的銷售量X以及該商品價格P之間的關(guān)系。當(dāng)一個或幾個相互聯(lián)系的變量取一定數(shù)值時，與之相對應(yīng)的另一變量的值雖然不確定，但它仍按某種規(guī)律在一定的范圍內(nèi)變化。變量間的這種相互關(guān)系，稱為具有不確定性的相關(guān)關(guān)系。例如，勞動生產(chǎn)率與工資水平的關(guān)系。4（本科）第9章相關(guān)與回歸分析ppt課件變量之間的函數(shù)關(guān)系和相關(guān)關(guān)系，在一定條件下是可以互相轉(zhuǎn)化的。本來具有函數(shù)關(guān)系的變量，當(dāng)存在觀測誤差時，其函數(shù)關(guān)系往往以相關(guān)的形式表現(xiàn)出來。具有相關(guān)關(guān)系的變量之間的聯(lián)系，如果對它們有了深刻的規(guī)律性認(rèn)識，并能夠把影響因變量變動的因素全部納入方程，這時的相關(guān)關(guān)系也可能轉(zhuǎn)化為函數(shù)關(guān)系。相關(guān)關(guān)系也具有某種變動規(guī)律性，所以，相關(guān)關(guān)系經(jīng)?？梢杂靡欢ǖ暮瘮?shù)形式去近似地描述。客觀現(xiàn)象的函數(shù)關(guān)系可以用數(shù)學(xué)分析的方法去研究，而研究客觀現(xiàn)象的相關(guān)關(guān)系必須借助于統(tǒng)計學(xué)中的相關(guān)與回歸分析方法。5（本科）第9章相關(guān)與回歸分析ppt課件二、相關(guān)關(guān)系的種類按相關(guān)的程度可分為完全相關(guān)、不完全相關(guān)和不相關(guān)。當(dāng)一種現(xiàn)象的數(shù)量變化完全由另一個現(xiàn)象的數(shù)量變化所確定時，稱這兩種現(xiàn)象間的關(guān)系為完全相關(guān)。在這種場合，相關(guān)關(guān)系便成為函數(shù)關(guān)系。因此也可以說函數(shù)關(guān)系是相關(guān)關(guān)系的一個特例。當(dāng)兩個現(xiàn)象彼此互不影響，其數(shù)量變化各自獨立時，稱為不相關(guān)現(xiàn)象。兩個現(xiàn)象之間的關(guān)系介于完全相關(guān)和不相關(guān)之間，稱為不完全相關(guān)，一般相關(guān)現(xiàn)象都是指這種不完全相關(guān)。6（本科）第9章相關(guān)與回歸分析ppt課件按相關(guān)的方向可分為正相關(guān)和負(fù)相關(guān)。當(dāng)一個現(xiàn)象的數(shù)量增加（或減少），另一個現(xiàn)象的數(shù)量也隨之增加（或減少）時，稱為正相關(guān)。例如，消費水平隨收入的增加而提高。當(dāng)一個現(xiàn)象的數(shù)量增加（或減少），而另一個現(xiàn)象的數(shù)量向相反方向變動時，稱為負(fù)相關(guān)。例如商品流轉(zhuǎn)的規(guī)模愈大，流通費用水平則愈低。按相關(guān)的形式可分為線性相關(guān)和非線性相關(guān)?，F(xiàn)象之間的關(guān)系為線性關(guān)系時，稱之為線性相關(guān)。相關(guān)現(xiàn)象之間近似于某種曲線方程的關(guān)系，則這種相關(guān)關(guān)系稱為非線性相關(guān)。7（本科）第9章相關(guān)與回歸分析ppt課件按所研究的變量多少可分為單相關(guān)、復(fù)相關(guān)和偏相關(guān)。兩個變量之間的相關(guān)，稱為單相關(guān)。當(dāng)所研究的是一個變量對兩個或兩個以上其他變量的相關(guān)關(guān)系時，稱為復(fù)相關(guān)。在某一現(xiàn)象與多種現(xiàn)象相關(guān)的場合，假定其他變量不變，專門考察其中兩個變量的相關(guān)關(guān)系稱為偏相關(guān)。例如，在假定人們的收入水平不變的條件下，某種商品的需求與其價格水平的關(guān)系就是一種偏相關(guān)。8（本科）第9章相關(guān)與回歸分析ppt課件三、相關(guān)分析與回歸分析相關(guān)分析是用一個指標(biāo)來表明現(xiàn)象間相互關(guān)系的密切程度?；貧w分析是根據(jù)相關(guān)關(guān)系的具體形態(tài)，選擇一個合適的數(shù)學(xué)模型，來近似地表達(dá)變量間的平均變化關(guān)系。相關(guān)分析和回歸分析有著密切的聯(lián)系，它們不僅具有共同的研究對象，而且在具體應(yīng)用時，常常必須互相補充。相關(guān)分析與回歸分析之間又有明顯區(qū)別。相關(guān)分析研究變量之間相關(guān)的方向和相關(guān)的程度?；貧w分析則研究變量之間相互關(guān)系的具體形式。相關(guān)分析無法從一個變量的變化來推測另一個變量的變化情況?？刹槐卮_定哪個是自變量，哪個是因變量，其所涉及的變量可以都是隨機變量?；貧w分析必須事先確定自變量和因變量。一般地說，因變量是隨機的，而把自變量作為研究時給定的非隨機變量。9（本科）第9章相關(guān)與回歸分析ppt課件相關(guān)與回歸分析可以加深人們對客觀現(xiàn)象之間相關(guān)關(guān)系的認(rèn)識，因而是對客觀現(xiàn)象進(jìn)行分析的有效方法。相關(guān)分析和回歸分析只是定量分析的手段。通過相關(guān)與回歸分析雖然可以從數(shù)量上反映現(xiàn)象之間的聯(lián)系形式及其密切程度，但是無法準(zhǔn)確地判斷現(xiàn)象內(nèi)在聯(lián)系的有無，也無法單獨以此來確定何種現(xiàn)象為因，何種現(xiàn)象為果。只有以實質(zhì)性科學(xué)理論為指導(dǎo)，并結(jié)合實際進(jìn)行研究，才能正確判斷事物的內(nèi)在聯(lián)系和因果關(guān)系。如果對本來沒有內(nèi)在聯(lián)系的現(xiàn)象，僅憑數(shù)據(jù)進(jìn)行相關(guān)分析和回歸分析，就可能是一種“偽相關(guān)”或“偽回歸”，可能導(dǎo)致荒謬的結(jié)論。在應(yīng)用相關(guān)與回歸分析方法時，一定要注意把定性分析和定量分析結(jié)合起來，在定性分析的基礎(chǔ)上開展定量分析。10（本科）第9章相關(guān)與回歸分析ppt課件四、相關(guān)圖相關(guān)圖又稱散點圖。它是以直角坐標(biāo)系的橫軸代表變量X，縱軸代表變量Y,將兩個變量間相對應(yīng)的變量值用坐標(biāo)點的形式描繪出來，用來反映兩變量之間相關(guān)關(guān)系的圖形。11（本科）第9章相關(guān)與回歸分析ppt課件第二節(jié)簡單線性相關(guān)與回歸分析相關(guān)系數(shù)及其檢驗標(biāo)準(zhǔn)的一元線性回歸模型

一元線性回歸模型估計一元線性回歸模型檢驗

一元線性回歸模型預(yù)測12（本科）第9章相關(guān)與回歸分析ppt課件一、相關(guān)系數(shù)及其檢驗（一）相關(guān)系數(shù)的定義總體相關(guān)系數(shù)的定義式是 總體相關(guān)系數(shù)是反映兩變量之間線性相關(guān)程度的一種特征值，表現(xiàn)為一個常數(shù)。樣本相關(guān)系數(shù)的定義式是上式中，和分別是X和Y的樣本平均數(shù)。樣本相關(guān)系數(shù)是根據(jù)樣本觀測值計算的，抽取的樣本不同其具體的數(shù)值也會有所差異。樣本相關(guān)系數(shù)是總體相關(guān)系數(shù)的一致估計量。

13（本科）第9章相關(guān)與回歸分析ppt課件（二）相關(guān)系數(shù)的特點r的取值介于-1與1之間。當(dāng)r=0時，X與Y的樣本觀測值之間沒有線性關(guān)系；0<|r|<1，X與Y的樣本觀測值之間存在一定線性關(guān)系；r>0時，X與Y為正相關(guān)，當(dāng)r<0時，X與Y為負(fù)相關(guān)。如果|r|=1，則表明X與Y完全線性相關(guān)，當(dāng)r=1時，稱為完全正相關(guān)，而r

＝-1時，稱為完全負(fù)相關(guān)。r是對變量之間線性相關(guān)關(guān)系的度量。r=0只是表明兩個變量之間不存在線性關(guān)系，并不意味著X與Y之間不存在其他類型的關(guān)系。對于二者之間可能存在的非線性相關(guān)關(guān)系，需要利用其他指標(biāo)去進(jìn)行分析。14（本科）第9章相關(guān)與回歸分析ppt課件（三）相關(guān)系數(shù)的計算上式可由相關(guān)系數(shù)的定義式推到而來。如：例9-1.docx15（本科）第9章相關(guān)與回歸分析ppt課件（四）相關(guān)系數(shù)的檢驗對總體相關(guān)系數(shù)

是否等于０進(jìn)行檢驗。計算相關(guān)系數(shù)r的t值：根據(jù)給定的顯著性水平和自由度（n-2），查找t分布表中相應(yīng)的臨界值t

/2。若|t|≥t

/2

，表明r在統(tǒng)計上是顯著的。若|t|≤t

/2

，表明r在統(tǒng)計上是不顯著的。16（本科）第9章相關(guān)與回歸分析ppt課件例9-2假設(shè)根據(jù)6對樣本觀測數(shù)據(jù)計算出某公司的股票價格與氣溫的樣本相關(guān)系數(shù)r=0.5，試問是否可根據(jù)5％的顯著水平認(rèn)為該公司股票與氣溫之間存在一定程度的線性相關(guān)關(guān)系?解：H0:

γ=0;H0:

γ

0 r的t檢驗值

查表可知：顯著水平為5%，自由度為４的臨界值t

/2=2.776,上式中的t值小于2.776，因此，r不能通過顯著性檢驗。這就是說，盡管根據(jù)樣本觀測值計算的r達(dá)到0.5，但是由于樣本單位過少，這一結(jié)論并不可靠，它不足以證明該公司的股票與氣溫之間存在一定程度的線性相關(guān)關(guān)系。17（本科）第9章相關(guān)與回歸分析ppt課件二、標(biāo)準(zhǔn)的一元線性回歸模型（一）總體回歸函數(shù)在回歸分析中，最簡單的模型是只有一個因變量和一個自變量的線性回歸模型，即一元線性回歸模型，又稱簡單線性回歸模型。

上式被稱為總體回歸函數(shù)。式中的

1和

2是未知的參數(shù)，又叫回歸系數(shù)。Yt和Xt分別是Y和X的第t個觀測值。ut是隨機誤差項，又稱隨機干擾項，它是一個特殊的隨機變量，反映未列入方程式的其他各種因素對Y的影響。18（本科）第9章相關(guān)與回歸分析ppt課件Ｅ（Ｙt）＝β1＋β2ＸtXYYtut。。。。。

圖7-2總體回歸線與隨機誤差項

19（本科）第9章相關(guān)與回歸分析ppt課件（二）樣本回歸函數(shù)在現(xiàn)實中，由于現(xiàn)象的總體單位數(shù)一般是很多的，在許多場合甚至是無限的，因此無法掌握變量總體的全部取值。需要利用樣本的信息對其進(jìn)行估計。一元線性回歸模型的樣本回歸線可表示為： 式中的是樣本回歸線上與Xt相對應(yīng)的Y值，可視為E(Yt)的估計；是樣本回歸函數(shù)的截距系數(shù)，是樣本回歸函數(shù)的斜率系數(shù)，它們是對總體回歸系數(shù)

1和

2的估計。20（本科）第9章相關(guān)與回歸分析ppt課件

實際觀測到的因變量Yt值，并不完全等于，如果用et表示二者之差(),則有： （t=1，2，...，n） 上式稱為樣本回歸函數(shù)。式中et稱為殘差。樣本回歸函數(shù)是對總體回歸函數(shù)的近似反映?；貧w分析的主要任務(wù)就是要充分利用樣本所提供的信息，使得樣本回歸函數(shù)盡可能地接近于真實的總體回歸函數(shù)21（本科）第9章相關(guān)與回歸分析ppt課件樣本回歸函數(shù)與總體回歸函數(shù)之間的間的區(qū)別總體回歸線是未知的，它只有一條。而樣本回歸線則是根據(jù)樣本數(shù)據(jù)擬合的，每抽取一組樣本，便可以擬合一條樣本回歸線?？傮w回歸函數(shù)中的

1和

2是未知的參數(shù)，表現(xiàn)為常數(shù)。而樣本回歸函數(shù)中的和是隨機變量，其具體數(shù)值隨所抽取的樣本觀測值不同而變動?？傮w回歸函數(shù)中的ut是Yt與未知的總體回歸線之間的縱向距離，它是不可直接觀測的。而樣本回歸函數(shù)中的et是Yt與樣本回歸線之間的縱向距離，當(dāng)根據(jù)樣本觀測值擬合出樣本回歸線之后，可以計算出et的具體數(shù)值。22（本科）第9章相關(guān)與回歸分析ppt課件（三）誤差項的標(biāo)準(zhǔn)假定假定１：誤差項的期望值為0，即對所有的t總有假定２：誤差項的方差為常數(shù)，即對所有的t總有假定３：誤差項之間不存在序列相關(guān)關(guān)系，其協(xié)方差為零，即當(dāng)t≠s時有：假定４：自變量是給定的變量，與誤差項線性無關(guān)。假定５：隨機誤差項服從正態(tài)分布。 滿足以上標(biāo)準(zhǔn)假定的一元線性模型，稱為標(biāo)準(zhǔn)的一元線性回歸模型。23（本科）第9章相關(guān)與回歸分析ppt課件三、一元線性回歸模型的估計（一）回歸系數(shù)的點估計最小二乘法是通過使殘差平方和為最小來估計回歸系數(shù)的一種方法。 將Ｑ對求偏導(dǎo)數(shù)，并令其等于零，可得 加以整理后有設(shè)24（本科）第9章相關(guān)與回歸分析ppt課件以上方程組稱為正規(guī)方程組或標(biāo)準(zhǔn)方程組，式中的n是 樣本容量。求解這一方程組可得：25（本科）第9章相關(guān)與回歸分析ppt課件（二）總體方差的估計可以證明，

2的無偏估計S2可由下式給出：

式中，分子是殘差平方和,分母是自由度，其中n是樣本觀測值的個數(shù)，2是一元線性回歸方程中回歸系數(shù)的個數(shù)。S2的正平方根又叫做回歸估計的標(biāo)準(zhǔn)誤差。一般采用以下公式計算殘差平方和： 上式的推導(dǎo)過程如下：

26（本科）第9章相關(guān)與回歸分析ppt課件（三）最小二乘估計量的性質(zhì)按照最小二乘法求得的估計總體回歸系數(shù)的數(shù)學(xué)公式是樣本觀測值的函數(shù)，通常稱之為最小二乘估計量?？梢宰C明，在標(biāo)準(zhǔn)假定能夠得到滿足的條件下，回歸系數(shù)的最小二乘估計量的期望值等于其真值，即有： 其方差為：

27（本科）第9章相關(guān)與回歸分析ppt課件將Yt=

1

+2

Xt+ut代入估計量，并作以下變形：

為推導(dǎo)上式，利用了以下恒等式:

回歸系數(shù)的最小二乘估計量可以表現(xiàn)為所要估計的參數(shù)的真值與隨機誤差項的線性組合。28（本科）第9章相關(guān)與回歸分析ppt課件由于已假定Xt是給定的變量，因此，同各期誤差項相乘的權(quán)數(shù)也都是確定量。為敘述方便，令則有：根據(jù)標(biāo)準(zhǔn)假定4根據(jù)標(biāo)準(zhǔn)假定1根據(jù)標(biāo)準(zhǔn)假定4、3根據(jù)標(biāo)準(zhǔn)假定229（本科）第9章相關(guān)與回歸分析ppt課件利用關(guān)于隨機誤差項的標(biāo)準(zhǔn)假定和期望值運算的規(guī)則?？梢宰C明的期望值和方差分別為：和。最小二乘估計量是因變量Yt的線性函數(shù)，其期望值等于總體回歸系數(shù)的真值。因此，最小二乘估計量是總體回歸系數(shù)的線性無偏估計量。還可以進(jìn)一步證明，在所有的線性無偏估計量中，回歸系數(shù)的最小二乘估計量的方差最??；隨著樣本容量的增大，其方差會不斷縮小。也就是說，回歸系數(shù)的最小二乘估計量是最優(yōu)線性無偏估計量和一致估計量。高斯-馬爾可夫定理表明：在標(biāo)準(zhǔn)的假定下，最小二乘估計量是一種最佳估計方式。但這并不意味著根據(jù)這一方式計算的具體的估計值都比根據(jù)其他方式計算的具體估計值更接近真值，而只是表明如果反復(fù)多次進(jìn)行估計值計算或是擴大樣本的容量進(jìn)行估計值計算，按最佳估計方式計算的估計值接近真值的可能性（概率）最大。30

2（本科）第9章相關(guān)與回歸分析ppt課件（四）回歸系數(shù)的區(qū)間估計根據(jù)關(guān)于參數(shù)區(qū)間估計的原理，可得到以下回歸系數(shù)區(qū)間估計的公式：

式中，是回歸系數(shù)估計的樣本標(biāo)準(zhǔn)誤差，是顯著水平為

，自由度為(n-2)的t分布雙側(cè)臨界值。＝S

31（本科）第9章相關(guān)與回歸分析ppt課件四、一元線性回歸模型的檢驗（一）回歸模型檢驗的種類理論意義檢驗主要涉及參數(shù)估計值的符號和取值區(qū)間，如果它們與實質(zhì)性科學(xué)的理論以及人們的實踐經(jīng)驗不相符，就說明模型不能很好地解釋現(xiàn)實的現(xiàn)象。例如，在前面所舉的消費函數(shù)中，

2的取值區(qū)間應(yīng)在0至1之間。在對實際的社會經(jīng)濟現(xiàn)象進(jìn)行回歸分析時，常常會遇到經(jīng)濟意義檢驗不能通過的情況。造成這一結(jié)果的主要原因是：社會經(jīng)濟的統(tǒng)計數(shù)據(jù)無法像自然科學(xué)中的統(tǒng)計數(shù)據(jù)那樣通過有控制的實驗去取得，因而所觀測的樣本容量有可能偏小，不具有足夠的代表性，或者不能滿足標(biāo)準(zhǔn)線性回歸分析所要求的假定條件。32（本科）第9章相關(guān)與回歸分析ppt課件一級檢驗又稱統(tǒng)計學(xué)檢驗，它是利用統(tǒng)計學(xué)中的抽樣理論來檢驗樣本回歸方程的可靠性，具體又可分為擬合程度評價和顯著性檢驗。一級檢驗是對所有現(xiàn)象進(jìn)行回歸分析時都必須通過的檢驗。二級檢驗又稱經(jīng)濟計量學(xué)檢驗，它是對標(biāo)準(zhǔn)線性回歸模型的假定條件能否得到滿足進(jìn)行檢驗，具體包括序列相關(guān)檢驗、異方差性檢驗、多重共線性檢驗等。二級檢驗對于社會經(jīng)濟現(xiàn)象的定量分析具有特別重要的意義。如果通過檢驗發(fā)現(xiàn)模型有缺陷，則必須回到模型的設(shè)定階段或參數(shù)估計階段。重新選擇因變量和自變量及其函數(shù)形式，或者對數(shù)據(jù)進(jìn)行加工整理之后再次估計參數(shù)。33（本科）第9章相關(guān)與回歸分析ppt課件（二）擬合程度的評價

總離差平方和的分解對任一實際觀測值Yt總有：

對上式兩邊取平方并求和，得到：利用殘差的定義和有關(guān)約束條件可以證明：

從而有： 即SST=SSR+SSE34（本科）第9章相關(guān)與回歸分析ppt課件上式中，SST是總離差平方和；SSR是由回歸直線可以解釋的那一部分離差平方和，稱為回歸平方和；SSE是用回歸直線無法解釋的離差平方和，稱為殘差平方和。式子兩邊同除以SST，得：顯而易見，各個樣本觀測點與樣本回歸直線靠得越緊，SSR在SST中所占的比例就越大。因此，可定義這一比例為決定系數(shù)，即有：決定系數(shù)是對回歸模型擬合程度的綜合度量，決定系數(shù)越大，模型擬合程度越高。35（本科）第9章相關(guān)與回歸分析ppt課件決定系數(shù)r2具有如下特性：1.決定系數(shù)r2具有非負(fù)性。

由決定系數(shù)的定義式可知，r2的分子分母均是不可能為負(fù)值的平方和，因此其比值必大于零。（但是在回歸模型中不包括截距項的場合，由于總離差平方和的分解公式不成立，按該式計算的r2有可能小于０。）2.決定系數(shù)的取值范圍為0≤r2≤1。3.決定系數(shù)是樣本觀測值的函數(shù)，它也是一個統(tǒng)計量。4.在一元線性回歸模型中，決定系數(shù)是單相關(guān)系數(shù)的平方。36（本科）第9章相關(guān)與回歸分析ppt課件（三）顯著性檢驗回歸分析中的顯著性檢驗包括兩方面的內(nèi)容：一是對各回歸系數(shù)的顯著性檢驗；二是對整個回歸方程的顯著性檢驗。在一元線性回歸模型中，由于只有一個解釋變量Ｘ，對β2＝0的檢驗與對整個方程的顯著性檢驗是等價的。所謂回歸系數(shù)的顯著性檢驗，就是根據(jù)樣本估計的結(jié)果對總體回歸系數(shù)的有關(guān)假設(shè)進(jìn)行檢驗。β1與β2的檢驗方法是相同的，但β2的檢驗更為重要，因為它表明自變量對因變量影響的程度。37（本科）第9章相關(guān)與回歸分析ppt課件1.t檢驗（1）提出假設(shè)。式中，H0表示原假設(shè)；H1表示備擇假設(shè)；是假設(shè)的總體回歸系數(shù)的真值。在許多回歸分析的計算機程序里，常常令＝0。這是因為

2

是否為0，可以表明X對Y是否有顯著的影響。（2）確定顯著水平

。顯著水平的大小應(yīng)根據(jù)犯哪一類錯誤可能帶來損失的大小確定。一般情況下可取0.05。（3）計算回歸系數(shù)的t值。

38（本科）第9章相關(guān)與回歸分析ppt課件（4）確定臨界值。

t檢驗的臨界值是由顯著水平和自由度決定的。這時應(yīng)該注意，原假設(shè)和備擇假設(shè)設(shè)定的方式不同，據(jù)以判斷的接受域和拒絕域也不相同。例如對H0:

2=0,H1:

2

0，進(jìn)行的是雙側(cè)t檢驗；而對H0:

2=0.9,H1:

2<0.9，進(jìn)行的是單側(cè)t檢驗。對此，在雙側(cè)檢驗的場合，依據(jù)

和df，查t分布表所確定的臨界值是（-t

/2）和（t

/2

）；而在單側(cè)檢驗的場合，所確定的臨界值是（t

）。（5）做出判斷。 如果的絕對值大于臨界值的絕對值，就拒絕原假設(shè)，接受備擇假設(shè)；反之，則接受原假設(shè)。39（本科）第9章相關(guān)與回歸分析ppt課件2．p檢驗回歸系數(shù)的顯著性檢驗還可以采用p檢驗。其前三步與t檢驗相同，但t值計算出來之后，并不與t分布的臨界值進(jìn)行對比，而是直接計算自由度為n-2的t統(tǒng)計量大于或小于根據(jù)樣本觀測值計算的的概率即p值。然后將其與給定的顯著水平

對比，如果p小于

，則拒絕原假設(shè)，反之則接受原假設(shè)。利用Excel進(jìn)行回歸分析時，計算機將直接給出回歸系數(shù)估計的p值。40（本科）第9章相關(guān)與回歸分析ppt課件五、一元線性回歸模型預(yù)測（一）回歸預(yù)測的基本公式簡單回歸預(yù)測的基本公式如下： 式中，Xf是給定的X的具體數(shù)值；是Xf給定時Y的預(yù)測值；和是已估計出的樣本回歸系數(shù)?；貧w預(yù)測是一種有條件的預(yù)測，在進(jìn)行回歸預(yù)測時，必須先給出Xf的具體數(shù)值。當(dāng)給出的Xf屬于樣本內(nèi)的數(shù)值時，利用該式去計算稱為內(nèi)插檢驗或事后預(yù)測。而當(dāng)給出的Xf在樣本之外時，利用該式去計算稱為外推預(yù)測或事前預(yù)測。通常所說的預(yù)測是指事前預(yù)測。41（本科）第9章相關(guān)與回歸分析ppt課件（二）預(yù)測誤差在實際的預(yù)測中，發(fā)生預(yù)測誤差的原因可概括為以下四個：1.模型本身中的誤差因素所造成的誤差；這一誤差可以用總體隨機誤差項的方差來評價。2.由于回歸系數(shù)估計值同其真值不一致所造成的誤差；該誤差可用回歸系數(shù)最小二乘估計量的方差來評價。3.由于自變量X的設(shè)定值同其實際值的偏離所造成的誤差。4.由于未來時期總體回歸系數(shù)發(fā)生變化所造成的誤差。在以上造成預(yù)測誤差的原因中，3、4兩項不屬于回歸方程本身的問題，而且也難以事先予以估計和控制。因此，在下面的討論中，假定只存在1、2、兩種誤差。42（本科）第9章相關(guān)與回歸分析ppt課件設(shè)Xf給定時Ｙ的真值為Yf

，Yf=

1+

2

Xf+uf則有 式中,ef是預(yù)測的殘差。利用期望值與方差的運算規(guī)則以及前面給出的回歸系數(shù)最小二乘估計量的期望值和方差，可以證明：

還可以進(jìn)一步證明是Yf的最優(yōu)線性無偏預(yù)測，即在標(biāo)準(zhǔn)假定下，公式是Yf的最佳預(yù)測方式。43（本科）第9章相關(guān)與回歸分析ppt課件（三）區(qū)間預(yù)測若用Sef來表示預(yù)測標(biāo)準(zhǔn)誤差的估計值，則數(shù)學(xué)上可以證明：服從于自由度為(n-2)的t分布。按照確定置信區(qū)間的方法，可以得出Yf的(1-

)的置信區(qū)間為： 式中，是置信度為(1-

)、自由度為(n-2)的t分布的臨界值。44（本科）第9章相關(guān)與回歸分析ppt課件對于每一個給定的X值，計算相應(yīng)的Y的置信區(qū)間，并將連接各點的曲線描繪在平面圖上，便可得到右圖。從置信區(qū)間和Sef的計算公式以及右圖，可得到以下結(jié)論：回歸預(yù)測的置信區(qū)間YX45（本科）第9章相關(guān)與回歸分析ppt課件第一，置信區(qū)間的上下限對稱地落在樣本回歸直線兩邊,呈中間小兩頭大的喇叭型。當(dāng)Xf＝時的置信區(qū)間最窄，而當(dāng)Xf遠(yuǎn)離時，其置信間逐漸增大。這就是說，在用回歸模型進(jìn)行預(yù)測時，Xf的取值不宜離開過遠(yuǎn)，否則預(yù)測精度將會降低，有可能使預(yù)測失效。第二，在樣本容量n保持不變時，

的值，隨置信度(1-

)的提高而增加，因此，要求預(yù)測值的概率保證程度增加，在其它條件不變時，也就意味著預(yù)測精度的降低。第三，當(dāng)其它條件不變時，和Sef的值均為樣本容量n的減函數(shù)，即隨著n的增加，這二者將逐漸減少。這說明隨著樣本容量的增加，預(yù)測精度將會提高，而樣本容量過小，預(yù)測的精度就較差。46（本科）第9章相關(guān)與回歸分析ppt課件第四，當(dāng)n足夠大時，Sef會趨近于S；會趨近于z

/2。（z

/2是置信度為（1-

）的標(biāo)準(zhǔn)正態(tài)分布的臨界值）。這時，可以用S和z

/2取代Sef和zt

/2來確定預(yù)測區(qū)間。即樣本容量充分大時，Yf的（1-

）的置信區(qū)間為：

Yf±z

/2×S按上式確定的預(yù)測區(qū)間的上、下限在平面圖上呈兩條直線（參見圖“回歸預(yù)測的置信區(qū)間”中與樣本回歸線平行的兩條虛線）。計算實例簡單回歸分析計算例.docx47（本科）第9章相關(guān)與回歸分析ppt課件

第三節(jié)多元線性回歸分析標(biāo)準(zhǔn)的多元線性回歸模型多元線性回歸模型的估計

多元線性回歸模型的檢驗和預(yù)測

復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)48（本科）第9章相關(guān)與回歸分析ppt課件一、標(biāo)準(zhǔn)的多元線性回歸模型研究在線性相關(guān)條件下，兩個和兩個以上自變量對一個因變量的數(shù)量變化關(guān)系，稱為多元線性回歸分析，表現(xiàn)這一數(shù)量關(guān)系的數(shù)學(xué)公式，稱為多元線性回歸模型。多元線性回歸模型總體回歸函數(shù)的一般形式如下：多元線性回歸模型的樣本回歸函數(shù)如下

(t＝1,2,…,n)49（本科）第9章相關(guān)與回歸分析ppt課件上式中，et是Yt與其估計之間的離差，即殘差。與一元線性回歸分析相類似，為了進(jìn)行多元線性回歸分析也需要提出一些必要的假定。多元線性回歸分析的標(biāo)準(zhǔn)假定除了包括上一章中已經(jīng)提出的關(guān)于隨機誤差項的假定外，還要追加一條假定。這就是回歸模型所包含的自變量之間不能具有較強的線性關(guān)系，同時樣本容量必須大于所要估計的回歸系數(shù)的個數(shù)即n>k。我們稱這條假定為標(biāo)準(zhǔn)假定6。50（本科）第9章相關(guān)與回歸分析ppt課件二、多元線性回歸模型的估計（一）回歸系數(shù)的估計多元線性回歸模型中回歸系數(shù)的估計同樣采用最小二乘法。設(shè)根據(jù)微積分中求極小值的原理，可知殘差平方和Q存在極小值，欲使Q達(dá)到最小，Q對的偏導(dǎo)數(shù)必須等于零。將Q對求偏導(dǎo)數(shù)，并令其等于零，加以整理后可得到以下k個方程式：

通過求解這一方程組便可以得到。51（本科）第9章相關(guān)與回歸分析ppt課件求解多元回歸方程，用矩陣形式來表達(dá)較為簡便（這里給出的矩陣形式具有一般性，一元線性回歸模型也同樣適用。對于尚未學(xué)過矩陣代數(shù)的讀者,可不必掌握這一部分內(nèi)容。）記

52（本科）第9章相關(guān)與回歸分析ppt課件則總體回歸函數(shù)(9.1)

式可以寫為：

Y＝XB＋U樣本回歸函數(shù)(7.51)式可以寫為：標(biāo)準(zhǔn)方程組可以寫為：

式中X’表示X的轉(zhuǎn)置矩陣。(X’X)是一個k×k的對稱矩陣根據(jù)標(biāo)準(zhǔn)假定6，(k-1)個自變量之間不存在高度線性相關(guān)，其逆矩陣存在。在上式兩邊同時左乘(X’X)-1，可以得到：

上式是回歸系數(shù)最小二乘估計的一般形式。53（本科）第9章相關(guān)與回歸分析ppt課件（二）總體方差的估計多元線性回歸模型中的

2也是利用殘差平方和除以其自由度來估計的。即有： 式中，n是樣本觀測值的個數(shù)；k是方程中回歸系數(shù)的個數(shù)；可以證明，S2是

2的無偏估計。S2的正平方根S又叫做回歸估計的標(biāo)準(zhǔn)誤差。編制計算機程序時，殘差平方和一般利用以下公式計算：

式中Y是因變量樣本觀測值向量；X是自變量樣本觀測值矩陣；是回歸系數(shù)估計值向量的轉(zhuǎn)置向量。（三）最小二乘估計量的性質(zhì)在標(biāo)準(zhǔn)多元線性回歸模型中，高斯定理同樣成立。

54（本科）第9章相關(guān)與回歸分析ppt課件三、多元線性回歸模型的檢驗和預(yù)測（一）擬合程度的評價利用R2來評價多元線性回歸方程的擬合程度，必須注意以下問題。由決定系數(shù)的定義可知，R2的大小取決于殘差平方和在總離差平方和中所占的比重。在樣本容量一定的條件下，總離差平方和與自變量的個數(shù)無關(guān)，而殘差平方和則會隨著模型中自變量個數(shù)的增加不斷減少，至少不會增加。因此，R2是自變量個數(shù)的非遞減函數(shù)。55（本科）第9章相關(guān)與回歸分析ppt課件在一元線性回歸模型中，所有模型包含的變量數(shù)目都相同，如果所使用的樣本容量也一樣，決定系數(shù)便可以直接作為評價擬合程度的尺度。然而在多元線性回歸模型中，各回歸模型所含的變量的數(shù)目未必相同，以R2的大小作為衡量擬合優(yōu)劣的尺度是不合適的。在多元回歸分析中，人們更常用的評價指標(biāo)是所謂的修正自由度的決定系數(shù)。該指標(biāo)定義如下： 式中，n是樣本容量；k是模型中回歸系數(shù)的個數(shù)。(n-1)和(n-k)分別是總離差平方和與殘差平方和的自由度。56（本科）第9章相關(guān)與回歸分析ppt課件修正自由度的決定系數(shù)具有以下特點：1.。因為k≥1，所以根據(jù)和R2各自的定義式可以得出這一結(jié)論。對于給定的R2值和n值，k值越大越小。在進(jìn)行回歸分析時，一般總是希望以盡可能少的自變量去達(dá)到盡可能高的擬合程度。作為綜合評價這兩方面情況的一項指標(biāo)顯然比R2更為合適。2.小于1，但未必都大于0。在擬合極差的場合，有可能取負(fù)值。57（本科）第9章相關(guān)與回歸分析ppt課件【例9-11】假設(shè)有７年的年度統(tǒng)計資料，現(xiàn)利用其對同一因變量擬合了兩個樣本回歸方程。方程一中：ｋ＝6，Ｒ2=0.82；方程二中：ｋ＝2，Ｒ2＝0.80。試對這兩個回歸方程的擬合程度做出評價。解：如果僅從Ｒ2考察，似乎方程一的擬合程度更佳。但是，由于兩個方程選用的自變量個數(shù)不同，這一結(jié)論是不正確的。將上列數(shù)據(jù)代入式(9.63)，可得：

方程一的

＝1-((9-1)/(9-6))(1-0.82)=-0.08

方程二的

＝1-((9-1)/(9-2))(1-0.80)=0.76

由此可見，方程二的實際擬合程度遠(yuǎn)遠(yuǎn)優(yōu)于方程一。58（本科）第9章相關(guān)與回歸分析ppt課件（二）顯著性檢驗1.回歸系數(shù)的顯著性檢驗多元回歸中進(jìn)行這一檢驗的目的主要是為了檢驗與各回歸系數(shù)對應(yīng)的自變量對因變量的影響是否顯著，以便對自變量的取舍做出正確的判斷。一般來說，當(dāng)發(fā)現(xiàn)某個自變量的影響不顯著時，應(yīng)將其從模型中刪除。這樣才能夠做到以盡可能少的自變量去達(dá)到盡可能高的擬合優(yōu)度。多元模型中回歸系數(shù)的檢驗同樣采用t檢驗和P檢驗，其原理和步驟與一元回歸模型基本相同，這里不再贅述。下面僅給出回歸系數(shù)顯著性檢驗t統(tǒng)計量的一般計算公式。59（本科）第9章相關(guān)與回歸分析ppt課件

j=1,2,…,k

式中，是回歸系數(shù)的估計值，是的標(biāo)準(zhǔn)差的估計值，其按下式計算： 式中，是(X’X)-1的第j個對角線元素，S2是隨機誤差項方差的估計值。上式的t

統(tǒng)計量背后的原假設(shè)是

H0:

j=0，因此t的絕對值越大表明

j為0的可能性越小，即表明相應(yīng)的自變量對因變量的影響是顯著的。60（本科）第9章相關(guān)與回歸分析ppt課件2.回歸方程的顯著性檢驗必須在方差分析的基礎(chǔ)上利用F檢驗進(jìn)行。其步驟如下：（1）假設(shè)總體回歸方程不顯著，即有

H0:

2＝

3

＝……＝

k

＝0（2）進(jìn)行方差分析，列出回歸方差分析表（見下表）61（本科）第9章相關(guān)與回歸分析ppt課件表中，回歸平方和的取值受k個回歸系數(shù)估計值的影響，同時又要服從的約束條件，其自由度是k-1。殘差平方和取決于n個因變量的觀測值，同時又要服從k個正規(guī)方程式的約束，其自由度是n-k

。回歸平方和與殘差平方和各除以自身的自由度得到的是樣本方差?；貧w模型方差分析表離差名稱平方和自由度方差回歸平方和

k-1SSR/(k-1)殘差平方和n-kSSE/(n-k)總離差平方和n-162（本科）第9章相關(guān)與回歸分析ppt課件（3）根據(jù)方差分析的結(jié)果求Ｆ統(tǒng)計量，即 數(shù)學(xué)上可以證明，在隨機誤差項服從正態(tài)分布同時原假設(shè)成立的條件下，F(xiàn)服從于自由度為(k-1)和(n-k)的F分布。（4）根據(jù)自由度和給定的顯著性水平

，查F分布表中的理論臨界值F

。當(dāng)F>F

時，拒絕原假設(shè)，即認(rèn)為總體回歸函數(shù)中各自變量與因變量的線性回歸關(guān)系顯著。當(dāng)F<F

時，接受原假設(shè)，即認(rèn)為總體回歸函數(shù)中，自變量與因變量的線性關(guān)系不顯著，所建立的回歸模型沒有意義。63（本科）第9章相關(guān)與回歸分析ppt課件（三）多元線性回歸預(yù)測在通過各種檢驗的基礎(chǔ)上，多元線性回歸模型可以用于預(yù)測。多元線性回歸預(yù)測與一元線性回歸預(yù)測的原理是一致的，其基本公式如下：式中，Xjf(j=2,3,…,k)是給定的Xj在預(yù)測期的具體數(shù)值；

是估計的樣本回歸系數(shù)；是Xj給定時Y的預(yù)測值。該方程的矩陣形式為：64（本科）第9章相關(guān)與回歸分析ppt課件

式中：多元線性回歸預(yù)測標(biāo)準(zhǔn)誤差的計算公式如下： 式中，S是回歸方程估計的標(biāo)準(zhǔn)誤差。多元線性回歸預(yù)測Yf的(1-

)的置信區(qū)間可由下式給出： 式中，t

/2是顯著水平為

的t分布雙側(cè)臨界值。例9-9多元回歸例.docx

（9.21）±tα／265（本科）第9章相關(guān)與回歸分析ppt課件四、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)（一）復(fù)相關(guān)系數(shù)樣本復(fù)相關(guān)系數(shù)（簡稱復(fù)相關(guān)系數(shù)）的定義式如下：實際計算復(fù)相關(guān)系數(shù)時，一般不直接根據(jù)其定義式，而是先計算出決定系數(shù)，然后再求決定系數(shù)的平方根。復(fù)相關(guān)系數(shù)只取正值。因此，復(fù)相關(guān)系數(shù)只是反映一個變量Y與其他多個變量X2,X3,…,Xk之間線性相關(guān)程度的指標(biāo)，而不能反映其相互之間線性相關(guān)的方向。復(fù)相關(guān)系數(shù)的取值區(qū)間為：0≤R≤1。66（本科）第9章相關(guān)與回歸分析ppt課件（二）偏相關(guān)系數(shù)在對其他變量的影響進(jìn)行控制的條件下，衡量多個變量中某兩個變量線性相關(guān)程度和方向的指標(biāo)稱為偏相關(guān)系數(shù)。在多變量的場合，變量之間存在錯綜復(fù)雜的關(guān)系，偏相關(guān)系數(shù)與單相關(guān)系數(shù)在數(shù)值上可能相差很大，有時甚至符號都可能相反。單相關(guān)系數(shù)反映的往往是表面的非本質(zhì)的聯(lián)系，而偏相關(guān)系數(shù)則較能說明現(xiàn)象之間真實的聯(lián)系。例如，一種商品的需求既受收入的影響又受其價格的影響。按照經(jīng)濟學(xué)理論，在一定的收入水平下，該商品的價格越高，商品的需求量就越小。也就是說，需求與價格應(yīng)當(dāng)是負(fù)相關(guān)。在現(xiàn)實經(jīng)濟生活中，由于收入和價格常常都有不斷提高的趨勢，如果不考慮收入對需求的影響，僅僅利用需求和價格的時間序列數(shù)據(jù)去計算單相關(guān)系數(shù)，就有可能得出錯誤結(jié)論。67（本科）第9章相關(guān)與回歸分析ppt課件樣本單相關(guān)系數(shù)也可定義為兩個樣本回歸系數(shù)的乘積的開方，即:

上式中r的符號應(yīng)與回歸系數(shù)的符號一致?；貧w系數(shù)為正數(shù)時，r取正值；回歸系數(shù)為負(fù)數(shù)時，r取負(fù)值。樣本偏相關(guān)系數(shù)也可以按照類似的形式來定義，即偏相關(guān)系數(shù)等于兩個相應(yīng)的偏回歸系數(shù)的幾何平均數(shù)。為簡明起見，下面舉3變量的偏相關(guān)分析為例。設(shè)有3個變量X1、X2和X3。3個變量各自以另兩個變量為自變量擬合的樣本回歸方程如下：68（本科）第9章相關(guān)與回歸分析ppt課件利用以上偏回歸系數(shù)，3變量之間偏相關(guān)系數(shù)可定義如下：偏相關(guān)系數(shù)的取值范圍與單相關(guān)系數(shù)一樣也是在-1至+1之間，其符號與相應(yīng)的偏回歸系數(shù)相同。69（本科）第9章相關(guān)與回歸分析ppt課件以上偏相關(guān)系數(shù)的定義可以推廣到k個變量的場合。在進(jìn)行實際的客觀現(xiàn)象的定量分析時，人們所關(guān)心的通常是某一個因變量Y

與多個自變量之間的偏相關(guān)程度。這時若令Y為X1，則Y與各自變量的偏相關(guān)系數(shù)的一般形式可表現(xiàn)為： 式中，是Y對Xj的偏回歸系數(shù)； 是Xj對Y的偏回歸系數(shù)。 表示k個變量情況下Y與Xj的偏相關(guān)系數(shù)，它反映其他變量保持不變時Y與Xj的凈相關(guān)程度。70（本科）第9章相關(guān)與回歸分析ppt課件【例9-13】試根據(jù)例9-9中的數(shù)據(jù)計算Ａ商品需求與價格的單相關(guān)系數(shù)和偏相關(guān)系數(shù)。解：將有關(guān)數(shù)據(jù)代入單相關(guān)系數(shù)的計算公式可得：

ｒ13=0.2266

以價格為因變量，收入和需求為自變量，擬合樣本回歸方程，可得

=-0.2571，由例9-1的結(jié)果已知

=-1.7996。將其代入（9.30）式，可得：ｒ13.2＝

－=-0.68由以上計算結(jié)果可知：在本例中需求與價格的單相關(guān)系數(shù)和偏相關(guān)系數(shù)差別很大，甚至連符號也不相同。71－

（本科）第9章相關(guān)與回歸分析ppt課件第四節(jié)非線性相關(guān)與回歸分析非線性回歸分析的意義非線性函數(shù)形式的確定非線性回歸分析模型估計

相關(guān)指數(shù)72（本科）第9章相關(guān)與回歸分析ppt課件一、非線性回歸分析的意義在現(xiàn)實生活中，非線性關(guān)系是大量存在的。在許多場合，非線性的回歸函數(shù)比線性回歸函數(shù)更能夠正確地反映客觀現(xiàn)象之間的相互聯(lián)系。非線性回歸分析必須著重解決以下兩個問題：第一、如何確定非線性函數(shù)的具體形式。與線性回歸分析的場合不同，非線性回歸函數(shù)有多種多樣的具體形式，需要根據(jù)所要研究的問題的性質(zhì)并結(jié)合實際的樣本觀測值做出恰當(dāng)?shù)倪x擇。第二、如何估計函數(shù)中的參數(shù)。非線性回歸分析最常用的方法仍然是最小二乘估計法。但需要根據(jù)函數(shù)的不同類型，作適當(dāng)?shù)奶幚怼?3（本科）第9章相關(guān)與回歸分析ppt課件二、非線性函數(shù)形式的確定首先，方程形式應(yīng)與有關(guān)實質(zhì)性科學(xué)的基本理論相一致。例如，采用冪函數(shù)的形式，能夠較好地表現(xiàn)生產(chǎn)函數(shù)；采用多項式方程能夠較好地反映總成本與總產(chǎn)量之間的關(guān)系。其次，方程有較高的擬合程度。因為只有這樣，才能說明回歸方程可以較好地反映現(xiàn)實經(jīng)濟的運行情況。最后，方程的數(shù)學(xué)形式要盡可能簡單。如果幾種形式都能基本符合上述兩項要求，則應(yīng)該選擇其中數(shù)學(xué)形式較簡單的一種。一般來說，數(shù)學(xué)形式越簡單，其可操作性就越強。74（本科）第9章相關(guān)與回歸分析ppt課件（一）拋物線函數(shù)

拋物線方程的具體形式為：

Y=a+bX+cX2

式中a、b和c為待定參數(shù)。判斷某種現(xiàn)象是否適合應(yīng)用拋物線，可以利用“差分法”將樣本觀察值按X的大小順序排列，按以下兩式計算X和Y的一階差分△Xt

、△Yt以及Y的二階差分△Y2t

△Xt=Xt–Xt-1;△Yt=Yt–Yt-1

△Y2t=△Yt-△Yt-1

當(dāng)△Xt接近于一常數(shù)，而△Y2t的絕對值接近于常數(shù)時，Y與X

之間的關(guān)系可以用拋物線方程近似反映。75（本科）第9章相關(guān)與回歸分析ppt課件（二）雙曲線函數(shù)

假如Y隨著X的增加而增加（或減少），最初增加（或減少）很快，以后逐漸放慢并趨于穩(wěn)定，則可以選用雙曲線來擬合。雙曲線的方程式是：

Y=a+b(1/X)

（三）冪函數(shù)冪函數(shù)方程的一般形式是：這類函數(shù)的優(yōu)點在于：方程中的參數(shù)可以直接反映因變量Y

對于某一個自變量的彈性。76（本科）第9章相關(guān)與回歸分析ppt課件（四）指數(shù)函數(shù)指數(shù)曲線的函數(shù)為：

Y=abx

式中有兩個待定參數(shù)a和b。當(dāng)a>0,b>1時，曲線隨X值的增加而彎曲上升,趨于+∞；當(dāng)a>0,0<b<1時，曲線隨X值的增長而彎曲下降趨于0。（五）對數(shù)函數(shù)對數(shù)函數(shù)的方程形式為：

Y=a+blnX

式中，ln表示取自然對數(shù)。對數(shù)函數(shù)的特點是隨著X的增大，X的單位變動對因變量Y的影響效果不斷遞減。77（本科）第9章相關(guān)與回歸分析ppt課件（六）Ｓ形曲線函數(shù)邏輯曲線具有以下性質(zhì)。Y是X的非減函數(shù)，開始時隨著X的增加，Y的增長速度也逐漸加快，但是達(dá)到一定水平之后，其增長速度又逐漸放慢。最后無論X如何增加，Y只會趨近于L,而永遠(yuǎn)不會超過L。由于邏輯曲線的這一特點，它常被用來表現(xiàn)耐用消費品普及率的變化。（七）多項式方程多項式方程在非線性回歸分析中占有重要的地位。因為根據(jù)級數(shù)展開的原理，任何曲線、曲面、超曲面問題，在一