相關(guān)與回歸分析演示

相關(guān)與回歸分析演示第一頁，共四十七頁，2022年，8月28日課時(shí)安排本章的特點(diǎn)描述統(tǒng)計(jì)與推斷統(tǒng)計(jì)中相關(guān)回歸分析的差別第一節(jié)相關(guān)與回歸分析的基本概念(1學(xué)時(shí))第二節(jié)一元線性回歸分析(4學(xué)時(shí))第三節(jié)多元線性回歸分析(2學(xué)時(shí))第四節(jié)非線性回歸分析(1學(xué)時(shí))第五節(jié)相關(guān)分析(1學(xué)時(shí))第二頁，共四十七頁，2022年，8月28日本章的特點(diǎn)與以往的統(tǒng)計(jì)學(xué)原理教科書不同，本章從推斷統(tǒng)計(jì)的角度講解相關(guān)分析與回歸分析。這是因?yàn)樵谟嘘P(guān)現(xiàn)實(shí)經(jīng)濟(jì)和管理問題的定量分析中，作為推斷統(tǒng)計(jì)的相關(guān)分析與回歸分析更加具有廣泛的應(yīng)用價(jià)值。第三頁，共四十七頁，2022年，8月28日描述統(tǒng)計(jì)與推斷統(tǒng)計(jì)中相關(guān)回歸分析的差別描述統(tǒng)計(jì):

不需要對隨機(jī)誤差項(xiàng)作出各種假定,各種參數(shù)估計(jì)值是具體數(shù)值,是對總體存在的相關(guān)關(guān)系的描述,不存在顯著性檢驗(yàn).推斷統(tǒng)計(jì):

需要對隨機(jī)誤差項(xiàng)作出各種假定,各種參數(shù)估計(jì)量是隨機(jī)變量,抽取的樣本不同時(shí),得到的估計(jì)值也不同.可以用來推斷總體.需要進(jìn)行各種檢驗(yàn).第四頁，共四十七頁，2022年，8月28日

第一節(jié)相關(guān)與回歸分析的基本概念

一、函數(shù)關(guān)系與相關(guān)關(guān)系二、相關(guān)關(guān)系的種類三、相關(guān)分析與回歸分析四、相關(guān)表和相關(guān)圖第五頁，共四十七頁，2022年，8月28日一、函數(shù)關(guān)系與相關(guān)關(guān)系當(dāng)一個(gè)或幾個(gè)變量取一定的值時(shí)，另一個(gè)變量有確定值與之相對應(yīng)，稱這種關(guān)系為確定性的函數(shù)關(guān)系。當(dāng)一個(gè)或幾個(gè)相互聯(lián)系的變量取一定數(shù)值時(shí)，與之相對應(yīng)的另一變量的值雖然不確定，但它仍按某種規(guī)律在一定的范圍內(nèi)變化。變量間的這種相互關(guān)系，稱為具有不確定性的相關(guān)關(guān)系。變量之間的函數(shù)關(guān)系和相關(guān)關(guān)系，在一定條件下是可以互相轉(zhuǎn)化的.第六頁，共四十七頁，2022年，8月28日二、相關(guān)關(guān)系的種類

按相關(guān)的程度可分為完全相關(guān)、不完全相關(guān)和不相關(guān)。一般的相關(guān)現(xiàn)象是不完全相關(guān)。按相關(guān)的方向可分為正相關(guān)和負(fù)相關(guān)。按相關(guān)的形式可分為線性相關(guān)和非線性相關(guān)。按變量多少可分為單相關(guān)、復(fù)相關(guān)和偏相關(guān)。一個(gè)變量對另一變量的相關(guān)關(guān)系，稱為單相關(guān)。一個(gè)變量對兩個(gè)以上變量的相關(guān)關(guān)系時(shí)，稱為復(fù)相關(guān)。在某一現(xiàn)象與多種現(xiàn)象相關(guān)的場合，當(dāng)假定其他變量不變時(shí)，其中兩個(gè)變量的相關(guān)關(guān)系稱為偏相關(guān)。按相關(guān)的性質(zhì)可分為“真實(shí)相關(guān)”和“虛假相關(guān)”。判斷什么是“真實(shí)相關(guān)”什么是虛假相關(guān)，必須依靠實(shí)質(zhì)性科學(xué)第七頁，共四十七頁，2022年，8月28日三、相關(guān)分析與回歸分析相關(guān)分析是用一個(gè)指標(biāo)來表明現(xiàn)象間依存關(guān)系的密切程度?；貧w分析是用數(shù)學(xué)模型近似表達(dá)變量間的平均變化關(guān)系。相關(guān)分析可以不必確定變量中哪個(gè)是自變量，哪個(gè)是因變量，其所涉及的變量都是隨機(jī)變量?；貧w分析必須事先確定具有相關(guān)關(guān)系的變量中哪個(gè)為自變量，哪個(gè)為因變量。一般地說，回歸分析中因變量是隨機(jī)的，而把自變量作為研究時(shí)給定的非隨機(jī)變量。一定要始終注意把定性分析和定量分析結(jié)合起來，在定性分析的基礎(chǔ)上開展定量分析。第八頁，共四十七頁，2022年，8月28日四、相關(guān)表和相關(guān)圖

相關(guān)表是一種反映變量之間相關(guān)關(guān)系的統(tǒng)計(jì)表。將某一變量按其取值的大小排列，然后再將與其相關(guān)的另一變量的對應(yīng)值平行排列，便可得到簡單的相關(guān)表。相關(guān)圖又稱散點(diǎn)圖。它是以直角坐標(biāo)系的橫軸代表變量X，縱軸代表變量Y,將兩個(gè)變量間相對應(yīng)的變量值用坐標(biāo)點(diǎn)的形式描繪出來，用來反映兩變量之間相關(guān)關(guān)系的圖形。根據(jù)表8-2的資料繪制的相關(guān)圖如下：第九頁，共四十七頁，2022年，8月28日第十頁，共四十七頁，2022年，8月28日第二節(jié)一元線性回歸分析

一、標(biāo)準(zhǔn)的一元線性回歸模型二、一元線性回歸模型的估計(jì)三、一元線性回歸模型的檢驗(yàn)四、一元線性回歸模型預(yù)測第十一頁，共四十七頁，2022年，8月28日一、標(biāo)準(zhǔn)的一元線性回歸模型

(一)總體回歸函數(shù)Ｙt＝β1＋β2Ｘt＋ut（8.1）

ut是隨機(jī)誤差項(xiàng)，又稱隨機(jī)干擾項(xiàng)，它是一個(gè)特殊的隨機(jī)變量，反映未列入方程式的其他各種因素對Ｙ的影響。

(二)樣本回歸函數(shù):

ｔ＝１，２，...n

ｅt稱為殘差，在概念上，ｅt與總體誤差項(xiàng)ut相互對應(yīng)；ｎ是樣本的容量。第十二頁，共四十七頁，2022年，8月28日總體回歸線與隨機(jī)誤差項(xiàng)

Ｅ（Ｙt）＝β1＋β2ＸtXYtY。。。。。ut

第十三頁，共四十七頁，2022年，8月28日樣本回歸函數(shù)與總體回歸函數(shù)區(qū)別總體回歸線是未知的，只有一條。樣本回歸線是根據(jù)樣本數(shù)據(jù)擬合的，每抽取一組樣本，便可以擬合一條樣本回歸線?？傮w回歸函數(shù)中的β1和β2是未知的參數(shù)，表現(xiàn)為常數(shù)。而樣本回歸函數(shù)中的是隨機(jī)變量，其具體數(shù)值隨所抽取的樣本觀測值不同而變動?？傮w回歸函數(shù)中的ut是Ｙt與未知的總體回歸線之間的縱向距離，它是不可直接觀測的。而樣本回歸函數(shù)中的ｅt是Ｙt與樣本回歸線之間的縱向距離，當(dāng)根據(jù)樣本觀測值擬合出樣本回歸線之后，可以計(jì)算出ｅt的具體數(shù)值。第十四頁，共四十七頁，2022年，8月28日誤差項(xiàng)的標(biāo)準(zhǔn)假定假定１：Ｅ（ut）＝０假定２：Var(ut)＝Ｅ（）＝假定３：Cov(utus)＝Ｅ（utus）＝０ｔ≠ｓ假定４：自變量是給定變量，與誤差項(xiàng)線性無關(guān)。假定５：隨機(jī)誤差項(xiàng)服從正態(tài)分布。滿足以上標(biāo)準(zhǔn)假定的一元線性回歸模型，稱為標(biāo)準(zhǔn)的一元線性回歸模型。第十五頁，共四十七頁，2022年，8月28日二、一元線性回歸模型的估計(jì)

（一）回歸系數(shù)的估計(jì)最小二乘法設(shè)將Ｑ對求偏導(dǎo)數(shù)，并令其等于零，可得:

加以整理后有：

第十六頁，共四十七頁，2022年，8月28日回歸系數(shù)的最小二乘估計(jì)量以上方程組稱為正規(guī)方程組或標(biāo)準(zhǔn)方程組，式中的ｎ是樣本容量。求解這一方程組可得：第十七頁，共四十七頁，2022年，8月28日（二）總體方差的估計(jì)

上式中，分母是自由度，其中ｎ是樣本觀測值的個(gè)數(shù)，２是一元線性回歸方程中回歸系數(shù)的個(gè)數(shù)。在一元線性回歸模型中，殘差ｅt必須滿足因而失去了兩個(gè)自由度，所以其自由度為ｎ－２。Ｓ2的正平方根又叫做回歸估計(jì)的標(biāo)準(zhǔn)誤差。

S2＝

＝０；

＝０

第十八頁，共四十七頁，2022年，8月28日證明:殘差平方和計(jì)算一般采用以下公式計(jì)算殘差平方和：第十九頁，共四十七頁，2022年，8月28日（三）最小二乘估計(jì)量的性質(zhì)

最小二乘估計(jì)量是隨機(jī)變量。在標(biāo)準(zhǔn)假定能夠得到滿足的條件下，回歸系數(shù)的最小二乘估計(jì)量的期望值等于其真值，即有：Ｅ（）＝β1

Ｅ（）＝β2

其方差為：Ｖａｒ（）＝Ｖａｒ（）＝

第二十頁，共四十七頁，2022年，8月28日估計(jì)量性質(zhì)的數(shù)學(xué)證明

(一)線性估計(jì)量

將Ｙｔ＝β1＋β2Ｘｔ＋uｔ代入估計(jì)量，得：

===最小二乘估計(jì)量可表現(xiàn)為所要估計(jì)的參數(shù)的真值與隨機(jī)誤差項(xiàng)的線性組合

第二十一頁，共四十七頁，2022年，8月28日推導(dǎo)用的恒等式

＝０＝Ｘｔ＝令

第二十二頁，共四十七頁，2022年，8月28日最小二乘估計(jì)量期望值和方差的推導(dǎo)Ｅ（）＝β2＋Ｅ（∑ｗｔuｔ）＝β2＋∑ｗｔＥ（uｔ）（根據(jù)標(biāo)準(zhǔn)假定４）＝β2＋∑ｗｔ×０（根據(jù)標(biāo)準(zhǔn)假定１）＝β2

Ｖａｒ（）＝Ｖａｒ（β2＋∑ｗｔuｔ）＝Ｅ（∑ｗｔuｔ）2

＝（根據(jù)標(biāo)準(zhǔn)假定４、３）＝（根據(jù)標(biāo)準(zhǔn)假定２）＝第二十三頁，共四十七頁，2022年，8月28日有效性證明：設(shè)＝為任意無偏線性估計(jì)量，則有約束條件：按照與上面同樣的方法，可推導(dǎo)出Var()=比較Ｖａｒ（）與Var()的大小，有：

第二十四頁，共四十七頁，2022年，8月28日

Var()－Var（）＝－＝）＝以上第二步到第三步之所以成立，是因?yàn)椋憾们懊骊P(guān)于線性無偏估計(jì)量的約束條件，可有：

第二十五頁，共四十七頁，2022年，8月28日三、一元線性回歸模型的檢驗(yàn)

（一）回歸模型檢驗(yàn)的種類回歸模型的檢驗(yàn)包括理論意義檢驗(yàn)、一級檢驗(yàn)和二級檢驗(yàn)。（二）擬合程度的評價(jià)總離差平方和的分解ＳＳＴ＝ＳＳＲ＋ＳＳＥ（8.28）ＳＳＴ是總離差平方和；ＳＳＲ是回歸平方和；ＳＳＥ是殘差平方和?？蓻Q系數(shù)：ｒ2＝=1－（8.30）可決系數(shù)的特性第二十六頁，共四十七頁，2022年，8月28日（三）顯著性檢驗(yàn)

1．提出假設(shè)。2.確定顯著水平α。3.計(jì)算回歸系數(shù)的ｔ值。

=（8.36）4.確定臨界值。雙側(cè)檢驗(yàn)查ｔ分布表所確定的臨界值是（-ｔα／2）和（ｔα／2）；單側(cè)檢驗(yàn)所確定的臨界值是（ｔα）。5.做出判斷。第二十七頁，共四十七頁，2022年，8月28日四、一元線性回歸模型預(yù)測

（一）簡單回歸預(yù)測的基本公式：（8.38）回歸預(yù)測是一種有條件的預(yù)測，在進(jìn)行回歸預(yù)測時(shí)，必須先給出Ｘf的具體數(shù)值。內(nèi)插檢驗(yàn)或事后預(yù)測。外推預(yù)測或事前預(yù)測。（二）預(yù)測誤差發(fā)生預(yù)測誤差的原因。預(yù)測誤差Ｖar（ｅf）＝σ2

（8.42）（三）區(qū)間預(yù)測Ｙf的（１－α）的置信區(qū)間為：Ｙf±ｔα／2(n-2)×Ｓｅf

回歸預(yù)測的置信區(qū)間的特點(diǎn)。

第二十八頁，共四十七頁，2022年，8月28日回歸預(yù)測的置信區(qū)間第二十九頁，共四十七頁，2022年，8月28日第三節(jié)多元線性回歸分析

一、標(biāo)準(zhǔn)的多元線性回歸模型二、多元線性回歸模型的估計(jì)三、多元線性回歸模型的檢驗(yàn)和預(yù)測四、多元線性回歸預(yù)測第三十頁，共四十七頁，2022年，8月28日一、標(biāo)準(zhǔn)的多元線性回歸模型

多元線性回歸模型總體回歸函數(shù)的一般形式

(8.48)多元線性回歸模型的樣本回歸函數(shù)

(8.49)

多元線性回歸分析的標(biāo)準(zhǔn)假定除了包括上一節(jié)中已經(jīng)提出的的假定外，還要追加一條假定。這就是回歸模型所包含的自變量之間不能具有較強(qiáng)的線性關(guān)系。第三十一頁，共四十七頁，2022年，8月28日二、多元線性回歸模型的估計(jì)

（一）回歸系數(shù)的估計(jì)＝(X'X)－1X'Y

(8.55)（二）總體方差的估計(jì)

Ｓ2＝(8.56)

（三）最小二乘估計(jì)量的性質(zhì)標(biāo)準(zhǔn)的多元線性回歸模型中，高斯.馬爾可夫定理同樣成立。

第三十二頁，共四十七頁，2022年，8月28日三、多元線性回歸模型的檢驗(yàn)和預(yù)測

（一）擬合程度的評價(jià)修正自由度的可決系數(shù)（理由）。＝１－(8.61)＝１－（１－Ｒ2）(8.62)式中，ｎ是樣本容量；ｋ是模型中回歸系數(shù)的個(gè)數(shù)。修正自由度的可決系數(shù)的特點(diǎn)。

第三十三頁，共四十七頁，2022年，8月28日(二)顯著性檢驗(yàn)1．回歸系數(shù)的顯著性檢驗(yàn)ｔ＝j(luò)=1,2,…,k(8.63)

式中，S是的標(biāo)準(zhǔn)差的估計(jì)值。按下式計(jì)算：Ｓ＝(8.64)

式中，是(X'X)-1的第ｊ個(gè)對角線元素，Ｓ2是隨機(jī)誤差項(xiàng)方差的估計(jì)值。(8.63)式的ｔ統(tǒng)計(jì)量的原假設(shè)是Ｈ0：βj＝０，因此ｔ的絕對值越大表明βj為０的可能性越小，即表明相應(yīng)的自變量對因變量的影響是顯著的。第三十四頁，共四十七頁，2022年，8月28日2．回歸方程的顯著性檢驗(yàn)具體的方法步驟回歸模型方差分析表（3）Ｆ統(tǒng)計(jì)量

Ｆ＝

離差名稱平方和自由度方差回歸平方和SSR=k-1SSR/(k-1)殘差平方和SSE=

n-kSSE/(n-k)總離差平方和SST=第三十五頁，共四十七頁，2022年，8月28日

四、多元線性回歸預(yù)測

基本公式：

(8.66)

式中，Xjf(j=2,3,……k)是給定的Xj在預(yù)測期的具體數(shù)值；是已估計(jì)出的樣本回歸系數(shù)；是Xj給定時(shí)Ｙ的預(yù)測值。第三十六頁，共四十七頁，2022年，8月28日第四節(jié)非線性回歸分析

一、非線性回歸分析的意義

二、非線性函數(shù)形式的確定確定函數(shù)形式的原則實(shí)際分析中較常用的幾種非線性函數(shù)的特點(diǎn)第三十七頁，共四十七頁，2022年，8月28日三、非線性回歸模型的估計(jì)

幾種線性變換方法實(shí)際應(yīng)用時(shí)要注意：第一、比較復(fù)雜的非線性函數(shù)，需綜合利用上述的幾種方法。第二、變換得到的方程式中的變量不允許包含未知的參數(shù)。第三、當(dāng)變換后的新模型中包含的誤差項(xiàng)能夠滿足標(biāo)準(zhǔn)假定時(shí)，新模型中回歸系數(shù)最小二乘估計(jì)量的理想性質(zhì)才能成立。第四、嚴(yán)格地說，線性變換方法只是適用于變量為非線性的函數(shù)。第五、并不是所有的非線性函數(shù)都可以通過變換得到與原方程完全等價(jià)的線性方程。第三十八頁，共四十七頁，2022年，8月28日第五節(jié)相關(guān)分析

一、單相關(guān)系數(shù)及其檢驗(yàn)二、等級相關(guān)系數(shù)及其檢驗(yàn)四、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)六、相關(guān)指數(shù)第三十九頁，共四十七頁，2022年，8月28日一、單相關(guān)系數(shù)及其檢驗(yàn)

（一）相關(guān)系數(shù)的定義ｒ＝（8.86）樣本相關(guān)系數(shù)的定義還可從另一個(gè)角度給出。設(shè)Ｙ倚Ｘ和Ｘ倚Ｙ的樣本回歸方程為：（8.87）（8.88）第四十頁，共四十七頁，2022年，8月28日樣本相關(guān)系數(shù)可定義為樣本回歸系數(shù)的乘積的開方，即:

ｒ＝±（8.89）上式中ｒ的符號應(yīng)與回歸系數(shù)的符號一致。（二）相關(guān)系數(shù)與可決系數(shù)簡單線性回歸模型中相關(guān)系數(shù)ｒ的平方等于可決系數(shù)ｒ2。樣本相關(guān)系數(shù)的特點(diǎn)：（三）單相關(guān)系數(shù)的檢驗(yàn)第四十一頁，共四十七頁，2022年，8月28日

二、等級相關(guān)系數(shù)及其檢驗(yàn)

（一）等級相關(guān)系數(shù)的定義和計(jì)算ｒs=(8.92)式中，，和分別是兩個(gè)變量按大小（或優(yōu)劣）排位的等級，n是樣本的容量。推導(dǎo)通常的單相關(guān)系數(shù)為：ｒs＝i=1,2,……n(9.121)

第四十二頁，共四十七頁，2022年，8月28日注意到和是等級變量，其可能的取值范圍均為：1，2，3，……，n。利用有關(guān)數(shù)列求和的公式可得：

(9.122)

(9.123)

(9.124)