統(tǒng)計(jì)學(xué)課件相關(guān)與回歸分析課件

2023/6/61第八章相關(guān)與回歸分析第一節(jié)相關(guān)與回歸分析的基本概念

第三節(jié)

一元線(xiàn)性回歸分析

第四節(jié)

多元線(xiàn)性回歸分析

【學(xué)習(xí)目標(biāo)】通過(guò)對(duì)本章的學(xué)習(xí)，重點(diǎn)掌握回歸分析的估計(jì)和檢驗(yàn)方法；掌握相關(guān)分析的種類(lèi)及三種相關(guān)系數(shù)的計(jì)算方法；在此基礎(chǔ)上能夠運(yùn)用相關(guān)分析和回歸分析的基本方法解釋實(shí)際社會(huì)經(jīng)濟(jì)問(wèn)題。重點(diǎn)與難點(diǎn)：相關(guān)系數(shù)的計(jì)算及其檢驗(yàn)；多元線(xiàn)性回歸分析。第五節(jié)

非線(xiàn)性回歸分析

第二節(jié)

相關(guān)分析

第1頁(yè)/共92頁(yè)2023/6/62第一節(jié)相關(guān)與回歸分析的基本概念

（一）函數(shù)關(guān)系

一、相關(guān)關(guān)系與函數(shù)關(guān)系

第八章相關(guān)與回歸分析

函數(shù)關(guān)系是指現(xiàn)象之間存在著嚴(yán)格的依存關(guān)系，亦即當(dāng)其它條件不變時(shí)，對(duì)于某一自變量或幾個(gè)自變量的每一數(shù)值，都有因變量的一個(gè)的確定值與之相對(duì)應(yīng)，并且這種關(guān)系可以用一個(gè)確定的數(shù)學(xué)表達(dá)式反映出來(lái)。第2頁(yè)/共92頁(yè)2023/6/63第一節(jié)相關(guān)與回歸分析的基本概念

（二）統(tǒng)計(jì)關(guān)系

一、相關(guān)關(guān)系與函數(shù)關(guān)系

第八章相關(guān)與回歸分析統(tǒng)計(jì)關(guān)系不同于函數(shù)關(guān)系，當(dāng)重復(fù)觀測(cè)時(shí)，觀測(cè)點(diǎn)不是完全落在統(tǒng)計(jì)關(guān)系曲線(xiàn)上，而是圍繞統(tǒng)計(jì)關(guān)系曲線(xiàn)散布。統(tǒng)計(jì)關(guān)系可以表示為確定部分和隨機(jī)性部分二者之和，這是回歸分析的基礎(chǔ)。相關(guān)關(guān)系因果關(guān)系第3頁(yè)/共92頁(yè)2023/6/64案例分析相關(guān)關(guān)系與因果關(guān)系一家研究機(jī)構(gòu)有一項(xiàng)驚人的發(fā)現(xiàn)：統(tǒng)計(jì)數(shù)據(jù)顯示，腳長(zhǎng)的兒童拼寫(xiě)能力比腳短的兒童強(qiáng)。原來(lái)他們調(diào)查的是一群年齡不同的兒童，腳長(zhǎng)的兒童比腳短的兒童年齡大！趕快回去量一下兒子的腳長(zhǎng)我要把腳拉長(zhǎng)一點(diǎn)！第4頁(yè)/共92頁(yè)2023/6/65⒈按涉及變量的多少分為相關(guān)關(guān)系的種類(lèi)⒉按照表現(xiàn)形式不同分為⒊按照變化方向不同分為直線(xiàn)相關(guān)曲線(xiàn)相關(guān)負(fù)相關(guān)正相關(guān)二、相關(guān)分析的種類(lèi)復(fù)相關(guān)單相關(guān)偏相關(guān)第八章相關(guān)與回歸分析第5頁(yè)/共92頁(yè)2023/6/664.按相關(guān)的程度分為相關(guān)關(guān)系的種類(lèi)5.按變量之間因果關(guān)系的方向分為完全相關(guān)不完全相關(guān)不相關(guān)雙向因果相關(guān)單向因果相關(guān)虛假相關(guān)第八章相關(guān)與回歸分析第6頁(yè)/共92頁(yè)2023/6/67第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析三、相關(guān)分析與回歸分析

回歸分析是關(guān)于研究一個(gè)叫做因變量的變量對(duì)另一個(gè)或多個(gè)叫做解釋變量的依賴(lài)關(guān)系。

相關(guān)分析是測(cè)度兩個(gè)變量之間的線(xiàn)性關(guān)聯(lián)度的，并用一些指數(shù)(相關(guān)系數(shù))表示相關(guān)程度。

第7頁(yè)/共92頁(yè)2023/6/68第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析三、相關(guān)分析與回歸分析

相關(guān)分析中x與y對(duì)等，回歸分析中x與y要確定自變量和因變量；相關(guān)分析中x、y均為隨機(jī)變量，回歸分析中只有y為隨機(jī)變量；相關(guān)分析測(cè)定相關(guān)程度和方向，回歸分析用回歸模型進(jìn)行預(yù)測(cè)和控制。區(qū)別：第8頁(yè)/共92頁(yè)2023/6/69第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析三、相關(guān)分析與回歸分析聯(lián)系：

相關(guān)分析是回歸分析的基礎(chǔ)和前提?；貧w分析是相關(guān)分析的深入和繼續(xù)。第9頁(yè)/共92頁(yè)2023/6/610第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析四、相關(guān)表與相關(guān)圖(一)簡(jiǎn)單相關(guān)表

將某一變量按其取值的大小排列，然后再將與其相關(guān)的另一變量的對(duì)應(yīng)值平行排列，便得到簡(jiǎn)單的相關(guān)表。第10頁(yè)/共92頁(yè)2023/6/611第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析

企業(yè)編號(hào)月產(chǎn)量（千噸）X生產(chǎn)費(fèi)用(萬(wàn)元)Y123456781.22.03.13.85.06.17.28.0628680110115132135160八個(gè)同類(lèi)工業(yè)企業(yè)的月產(chǎn)量與生產(chǎn)費(fèi)用第11頁(yè)/共92頁(yè)2023/6/612第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析四、相關(guān)表與相關(guān)圖

(二)分組相關(guān)表

單變量分組表雙變量分組表三變量分組表。第12頁(yè)/共92頁(yè)2023/6/613第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析

1.單變量分組表

表某紡織廠工人看管織機(jī)臺(tái)數(shù)和時(shí)勞動(dòng)生產(chǎn)率相關(guān)表第13頁(yè)/共92頁(yè)2023/6/614第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析

2.雙變量分組表

表居住時(shí)間與對(duì)百貨商場(chǎng)的熟悉程度的雙變量分組表第14頁(yè)/共92頁(yè)2023/6/615第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析

3.三變量分組表

假定對(duì)于某項(xiàng)私家車(chē)購(gòu)買(mǎi)意向的調(diào)查，最初以教育水平和私家車(chē)擁有情況進(jìn)行分析，對(duì)1000人調(diào)查的結(jié)果用二維列聯(lián)表表示如：第15頁(yè)/共92頁(yè)2023/6/616第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析

3.三變量分組表

表教育程度和私家車(chē)擁有狀況的雙變量分析第16頁(yè)/共92頁(yè)2023/6/617第八章相關(guān)與回歸分析

從上表中可以看出，文化程度越高的人擁有私家車(chē)的比例越高，這和實(shí)際情況不太相符，于是我們引入收入變量，作三變量的交叉列表分析：教育程度、收入與私家車(chē)擁有狀況的三變量分析

私家車(chē)擁有狀況收入水平低收入高收入教育程度教育程度本科及以上本科以下本科及以上本科以下有沒(méi)有20%（20）80%（80）20%（140）80%（560）40%（60）60%（90）40%（20）60%（30）列合計(jì)100%100%100%100%被調(diào)查者人數(shù)10070015050第17頁(yè)/共92頁(yè)2023/6/618正相關(guān)負(fù)相關(guān)曲線(xiàn)相關(guān)不相關(guān)xyxyxyxy第八章相關(guān)與回歸分析（三）相關(guān)圖第18頁(yè)/共92頁(yè)2023/6/619第八章相關(guān)與回歸分析

第二節(jié)相關(guān)分析一、簡(jiǎn)單相關(guān)系數(shù)及其檢驗(yàn)(一)簡(jiǎn)單相關(guān)系數(shù)的定義

簡(jiǎn)單相關(guān)系數(shù)簡(jiǎn)稱(chēng)相關(guān)系數(shù)，是測(cè)量?jī)蓚€(gè)變量之間線(xiàn)性相關(guān)的方向和程度的指標(biāo)?？傮w相關(guān)系數(shù)的表達(dá)式為：式中：

為變量X與變量Y的協(xié)方差

為變量Y的方差為變量X的方差第19頁(yè)/共92頁(yè)2023/6/620第八章相關(guān)與回歸分析

第五節(jié)相關(guān)分析一、簡(jiǎn)單相關(guān)系數(shù)及其檢驗(yàn)

(一)簡(jiǎn)單相關(guān)系數(shù)的定義

樣本相關(guān)系數(shù)是總體相關(guān)系數(shù)的估計(jì)值。

簡(jiǎn)單相關(guān)系數(shù)通常采用下面的計(jì)算公式：第20頁(yè)/共92頁(yè)2023/6/621相關(guān)系數(shù)r的取值范圍：-1≤r≤1r>0為正相關(guān)，r<0為負(fù)相關(guān)；|r|=0表示不存在線(xiàn)性關(guān)系；|r|＝1表示完全線(xiàn)性相關(guān)；0<|r|<1表示存在不同程度線(xiàn)性相關(guān)：

|r|

<

0.4為低度線(xiàn)性相關(guān)；

0.4≤|r|＜0.7為顯著性線(xiàn)性相關(guān)；

0.7≤|r|＜1.0為高度顯著性線(xiàn)性相關(guān)。第八章相關(guān)與回歸分析第21頁(yè)/共92頁(yè)2023/6/622第八章相關(guān)與回歸分析

第五節(jié)相關(guān)分析一、簡(jiǎn)單相關(guān)系數(shù)及其檢驗(yàn)

(二)簡(jiǎn)單相關(guān)系數(shù)的檢驗(yàn)樣本相關(guān)系數(shù)的檢驗(yàn)有兩種方法：直接檢驗(yàn)法，檢驗(yàn)法。

第22頁(yè)/共92頁(yè)2023/6/623相關(guān)系數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)法）⒈提出假設(shè)：目的檢驗(yàn)總體兩變量間線(xiàn)性相關(guān)性是否顯著步驟⒉構(gòu)造檢驗(yàn)統(tǒng)計(jì)量：第八章相關(guān)與回歸分析第23頁(yè)/共92頁(yè)2023/6/624相關(guān)系數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)法）⒊根據(jù)給定的顯著性水平，確定臨界值；⒌計(jì)算檢驗(yàn)統(tǒng)計(jì)量并做出決策。⒋確定原假設(shè)的拒絕規(guī)則:若，則接受H0,表示總體兩變量間線(xiàn)性相關(guān)性不顯著;若，則拒絕H0,表示總體兩變量間線(xiàn)性相關(guān)性顯著步驟第八章相關(guān)與回歸分析第24頁(yè)/共92頁(yè)2023/6/625第八章相關(guān)與回歸分析【例】檢驗(yàn)生產(chǎn)量與生產(chǎn)費(fèi)用之間的線(xiàn)性相關(guān)性是否顯著。當(dāng)成立時(shí)，則統(tǒng)計(jì)量第25頁(yè)/共92頁(yè)2023/6/626第八章相關(guān)與回歸分析

第五節(jié)相關(guān)分析二、復(fù)相關(guān)系數(shù)

復(fù)相關(guān)系數(shù)是測(cè)量一個(gè)變量與其它多個(gè)變量之間線(xiàn)性相關(guān)程度的指標(biāo)。

為了測(cè)定一個(gè)變量y與其它多個(gè)變量之間的相關(guān)系數(shù)，可以考慮構(gòu)造一個(gè)關(guān)于的線(xiàn)性組合，通過(guò)計(jì)算該線(xiàn)性組合與之間的簡(jiǎn)單相關(guān)系數(shù)作為變量與之間的復(fù)相關(guān)系數(shù)。具體計(jì)算過(guò)程如下：第一步，用y對(duì)作回歸，得第26頁(yè)/共92頁(yè)2023/6/627第八章相關(guān)與回歸分析

第五節(jié)相關(guān)分析

；

第二步，計(jì)算y和的簡(jiǎn)單相關(guān)系數(shù)，此簡(jiǎn)單相關(guān)系數(shù)即為y與

之間的復(fù)相關(guān)系數(shù)。復(fù)相關(guān)系數(shù)的計(jì)算公式為：第27頁(yè)/共92頁(yè)2023/6/628第八章相關(guān)與回歸分析

第五節(jié)相關(guān)分析二、復(fù)相關(guān)系數(shù)

；

復(fù)相關(guān)系數(shù)與簡(jiǎn)單相關(guān)系數(shù)的區(qū)別是簡(jiǎn)單相關(guān)系數(shù)的取值范圍是[-1,1]，而復(fù)相關(guān)系數(shù)的取值范圍是[0,1]。這是因?yàn)?，在兩個(gè)變量的情況下，回歸系數(shù)有正負(fù)之分，所以在研究相關(guān)時(shí)，也有正相關(guān)和負(fù)相關(guān)之分；但在多個(gè)變量時(shí)，偏回歸系數(shù)有兩個(gè)或兩個(gè)以上，其符號(hào)有正有負(fù)，不能按正負(fù)來(lái)區(qū)別，所以復(fù)相關(guān)系數(shù)也就只取正值。第28頁(yè)/共92頁(yè)2023/6/629第八章相關(guān)與回歸分析

當(dāng)兩個(gè)變量同時(shí)受其它變量影響時(shí)，有必要研究當(dāng)控制其它變量不變時(shí)，該兩個(gè)變量之間的相關(guān)關(guān)系。這種相關(guān)關(guān)系被稱(chēng)為偏相關(guān)關(guān)系。

第五節(jié)相關(guān)分析三、偏相關(guān)系數(shù)

；

計(jì)算偏相關(guān)系數(shù)的原因在于任何兩個(gè)變量這間的相關(guān)關(guān)系都可能受其余變量的影響。要考察兩個(gè)變量之間的純相關(guān)關(guān)系，必須排除其余變量的影響，或者說(shuō)必須使其余變量保持不變。第29頁(yè)/共92頁(yè)2023/6/630第八章相關(guān)與回歸分析

第五節(jié)相關(guān)分析三、偏相關(guān)系數(shù)

偏相關(guān)系數(shù)的計(jì)算是以回歸分析為基礎(chǔ)的。以三個(gè)變量的情形為例，此種情況下，的偏相關(guān)系數(shù)有三個(gè)，分別記作

為與之間的相關(guān)系數(shù)；

保持不變時(shí)，

、和之間的相關(guān)系數(shù)；

與為保持不變時(shí)，之間的相關(guān)系數(shù)；為與保持不變時(shí)，之間的相關(guān)系數(shù)；第30頁(yè)/共92頁(yè)2023/6/631第八章相關(guān)與回歸分析

第五節(jié)相關(guān)分析

計(jì)算殘差此時(shí)中不再含有對(duì)的影響。第二步，求對(duì)的回歸估計(jì)式計(jì)算殘差此時(shí)中不再含有對(duì)的影響。第一步，求對(duì)的回歸估計(jì)式第31頁(yè)/共92頁(yè)2023/6/632第八章相關(guān)與回歸分析

第五節(jié)相關(guān)分析

第三步，計(jì)算和的簡(jiǎn)單相關(guān)系數(shù)由于和中都不再包含的影響，因此和的簡(jiǎn)單相關(guān)系數(shù)就是保持不變時(shí)，與之間的相關(guān)系數(shù)。所以偏相關(guān)系數(shù)第32頁(yè)/共92頁(yè)2023/6/633第八章相關(guān)與回歸分析

第五節(jié)相關(guān)分析三、偏相關(guān)系數(shù)

可以證明，第33頁(yè)/共92頁(yè)2023/6/634第八章相關(guān)與回歸分析

第五節(jié)相關(guān)分析三、偏相關(guān)系數(shù)

類(lèi)似的

當(dāng)變量個(gè)數(shù)多于3個(gè)時(shí)，求偏相關(guān)系數(shù)的原則不變，即應(yīng)先排除其余變量對(duì)所考察兩個(gè)變量的影響，然后求這兩個(gè)變量之間的簡(jiǎn)單相關(guān)系數(shù)。只是變量越多，數(shù)學(xué)處理以及偏相關(guān)系數(shù)的表達(dá)式就越復(fù)雜。第34頁(yè)/共92頁(yè)2023/6/635第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析一、一元線(xiàn)性回歸分析隨機(jī)誤差項(xiàng)的基本假定

在回歸分析中，最簡(jiǎn)單最基本的單方程模型為一元線(xiàn)性回歸模型。一元線(xiàn)性回歸分析的總體回歸模型為：

為常數(shù)項(xiàng)或截距項(xiàng)，為斜率系數(shù),是隨機(jī)誤差項(xiàng),又稱(chēng)隨機(jī)干擾項(xiàng)。第35頁(yè)/共92頁(yè)2023/6/636第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析一、一元線(xiàn)性回歸分析隨機(jī)誤差項(xiàng)的基本假定

第二，模型的設(shè)定誤差。

在線(xiàn)性回歸模型中加入隨機(jī)誤差項(xiàng)是基于以下原因：

第一，模型不可能包含所有的解釋變量。

第三，測(cè)量誤差的影響。第四，其他隨機(jī)因素的影響。第36頁(yè)/共92頁(yè)2023/6/637第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析一、一元線(xiàn)性回歸分析隨機(jī)誤差項(xiàng)的基本假定

線(xiàn)性回歸模型由兩部分構(gòu)成，確定性部分和隨機(jī)性部分，為確定性部分，稱(chēng)為對(duì)于給定值的期望值，可以寫(xiě)為：

上式被稱(chēng)為總體線(xiàn)性回歸方程。第37頁(yè)/共92頁(yè)2023/6/638第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析一、一元線(xiàn)性回歸分析隨機(jī)誤差項(xiàng)的基本假定

滿(mǎn)足以下假定的線(xiàn)性回歸模型稱(chēng)為古典（或經(jīng)典）線(xiàn)性回歸模型

假定1：回歸模型是正確設(shè)定的假定2：解釋變量是非隨機(jī)的假定3：隨機(jī)誤差項(xiàng)的均值為零假定4：隨機(jī)誤差項(xiàng)的方差為一個(gè)不變的常數(shù)（等方差假定）假定5：隨機(jī)誤差項(xiàng)的觀測(cè)值互不相關(guān)（非序列相關(guān)假定）假定6：解釋變量與隨機(jī)誤差項(xiàng)不相關(guān)假定7：隨機(jī)誤差項(xiàng)服從正態(tài)分布假定8：沒(méi)有一個(gè)解釋變量是其他任何解釋變量的完全線(xiàn)性組合（無(wú)多重共線(xiàn)性假定，只適用于多元線(xiàn)性回歸模型）第38頁(yè)/共92頁(yè)2023/6/639第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析二、一元線(xiàn)性回歸模型的估計(jì)

最小二乘法的意義在于使為了得到這些估計(jì)值而最為廣泛使用的方法就是普通最小二乘法

為樣本回歸方程。達(dá)到最小來(lái)確定、

一般用、分別表分別表示參數(shù)的估計(jì)稱(chēng)為回歸殘差第39頁(yè)/共92頁(yè)2023/6/640殘差(Residual):第40頁(yè)/共92頁(yè)2023/6/641第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析二、一元線(xiàn)性回歸模型的估計(jì)

根據(jù)微積分的極值定理，對(duì)求相應(yīng)于、的偏導(dǎo)數(shù)，并令其等于0，即可求得：

第41頁(yè)/共92頁(yè)2023/6/642b與r的關(guān)系：r＞0r＜0r=0b＞0b＜0 b=0第八章相關(guān)與回歸分析第42頁(yè)/共92頁(yè)2023/6/643第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析二、一元線(xiàn)性回歸模型的估計(jì)

樣本回歸直線(xiàn)具有下述性質(zhì)：第一、它通過(guò)y和x的樣本平均數(shù)和確定的那一點(diǎn)；第二、的平均值和的平均值相等；第三、殘差的平均值是零；第四、殘差和不相關(guān)；第五、殘差與x不相關(guān)。第43頁(yè)/共92頁(yè)2023/6/644【分析】因?yàn)楣I(yè)總產(chǎn)值與能源消耗量之間存在高度正相關(guān)關(guān)系（），所以可以擬合工業(yè)總產(chǎn)值對(duì)能源消耗量的線(xiàn)性回歸方程?！纠拷⒐I(yè)總產(chǎn)值對(duì)能源消耗量的線(xiàn)性回歸方程。解：設(shè)線(xiàn)性回歸方程為第八章相關(guān)與回歸分析第44頁(yè)/共92頁(yè)2023/6/645序號(hào)能源消耗量（十萬(wàn)噸）x工業(yè)總產(chǎn)值（億元）yx2y2xy1234567891011121314151635384042495254596264656869717276242524283231374041404750495148581225144416001764240127042916348138444096422546244761504151845776576625576784102496113691600168116002209250024012601230433648409509601176156816121998236025422560305534003381362134564408合計(jì)916625550862617537887第45頁(yè)/共92頁(yè)2023/6/646第八章相關(guān)與回歸分析即線(xiàn)性回歸方程為：計(jì)算結(jié)果表明，在其他條件不變時(shí)，能源消耗量每增加一個(gè)單位（十萬(wàn)噸），工業(yè)總產(chǎn)值將增加0.7961個(gè)單位（億元）。第46頁(yè)/共92頁(yè)2023/6/647第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析二、一元線(xiàn)性回歸模型的估計(jì)

在回歸分析中，不要試著對(duì)常數(shù)項(xiàng)進(jìn)行解釋?zhuān)蛴袃牲c(diǎn)：

首先，隨機(jī)誤差項(xiàng)部分地是由于忽略了許多邊緣自變量而生成的，這些變量的平均效應(yīng)被置于常數(shù)項(xiàng)中。

其次，常數(shù)項(xiàng)是當(dāng)所有自變量與誤差項(xiàng)為0時(shí)，因變量的值，但是自變量與隨機(jī)誤差項(xiàng)的值幾乎從不等于0，因?yàn)橛米鹘?jīng)濟(jì)分析的變量通常是正的。第47頁(yè)/共92頁(yè)2023/6/648第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析二、一元線(xiàn)性回歸模型的估計(jì)

2.大樣本性質(zhì)

無(wú)偏性(二)一元線(xiàn)性回歸模型最小二乘估計(jì)量的性質(zhì)1.小樣本性質(zhì)線(xiàn)性

有效性

漸近無(wú)偏性一致性第48頁(yè)/共92頁(yè)2023/6/649第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析三、一元線(xiàn)性回歸模型的擬合程度分析

(一)一元線(xiàn)性回歸模型的判定系數(shù)第49頁(yè)/共92頁(yè)2023/6/650第八章相關(guān)與回歸分析剩余離差平方和回歸離差平方和總離差平方和第50頁(yè)/共92頁(yè)2023/6/651第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析三、一元線(xiàn)性回歸模型的擬合程度分析

可以證明，對(duì)上式兩邊分別平方加總后等式仍然成立，即：(一)一元線(xiàn)性回歸模型的判定系數(shù)

可簡(jiǎn)寫(xiě)為：TSS＝ESS＋RSS第51頁(yè)/共92頁(yè)2023/6/652第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析三、一元線(xiàn)性回歸模型的擬合程度分析

判定系數(shù)測(cè)度了回歸直線(xiàn)對(duì)觀測(cè)數(shù)據(jù)的擬合程度,記為(一)一元線(xiàn)性回歸模型的判定系數(shù)

第52頁(yè)/共92頁(yè)2023/6/653判定系數(shù)與相關(guān)系數(shù)的關(guān)系第八章相關(guān)與回歸分析第53頁(yè)/共92頁(yè)2023/6/654判定系數(shù)與相關(guān)系數(shù)的區(qū)別：判定系數(shù)無(wú)方向性，相關(guān)系數(shù)則有方向，其方向與樣本回歸系數(shù)b相同；判定系數(shù)說(shuō)明變量值的總離差平方和中可以用回歸線(xiàn)來(lái)解釋的比例，相關(guān)系數(shù)只說(shuō)明兩變量間關(guān)聯(lián)程度及方向；第八章相關(guān)與回歸分析第54頁(yè)/共92頁(yè)2023/6/655第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析三、一元線(xiàn)性回歸模型的擬合程度分析

估計(jì)標(biāo)準(zhǔn)誤差是指實(shí)際值與估計(jì)值的平均離差。其定義公式如下：

(二)一元線(xiàn)性回歸模型的估計(jì)標(biāo)準(zhǔn)誤估計(jì)標(biāo)準(zhǔn)差越小，則變量間相關(guān)程度越高，回歸線(xiàn)對(duì)Y的解釋程度越高。第55頁(yè)/共92頁(yè)2023/6/656第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析四、一元線(xiàn)性回歸模型的顯著性檢驗(yàn)

根據(jù)正態(tài)分布下最小二乘估計(jì)量的性質(zhì)，可求出的抽樣分布為：

(一)回歸系數(shù)的顯著性檢驗(yàn)

回歸系數(shù)的顯著性檢驗(yàn)就是要檢驗(yàn)自變量對(duì)因變量的影響程度是否顯著的問(wèn)題。若總體回歸系數(shù)，則總體回歸線(xiàn)就是一條水平線(xiàn)，說(shuō)明兩個(gè)變量之間沒(méi)有線(xiàn)性關(guān)系，即自變量的變化對(duì)因變量沒(méi)有影響。第56頁(yè)/共92頁(yè)2023/6/657第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析四、一元線(xiàn)性回歸模型的顯著性檢驗(yàn)

（1）建立原假設(shè)假設(shè)樣本從一個(gè)沒(méi)有線(xiàn)性關(guān)系的總體中選出，即

(一)回歸系數(shù)的顯著性檢驗(yàn)（2）計(jì)算檢驗(yàn)統(tǒng)計(jì)量t值其中，．第57頁(yè)/共92頁(yè)2023/6/658第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析四、一元線(xiàn)性回歸模型的顯著性檢驗(yàn)

（4）得出檢驗(yàn)結(jié)果

(一)回歸系數(shù)的顯著性檢驗(yàn)

（3）確定顯著性水平α(一般取α＝0.05)，并根據(jù)自由度查分布表，找出相應(yīng)的臨界值,表明自變量x對(duì)因變量y的影響是顯著的。

，拒絕若,表明自變量x對(duì)因變量y的影響是顯著的。,拒絕若第58頁(yè)/共92頁(yè)2023/6/659第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析四、一元線(xiàn)性回歸模型的顯著性檢驗(yàn)

(二)回歸方程總體顯著性的F檢驗(yàn)

F檢驗(yàn)的基本步驟為：（1）建立原假設(shè)備擇假設(shè)由于備擇假設(shè)和原假設(shè)是對(duì)立的，所以備擇假設(shè)為：至少有一個(gè)不為0。

（2）計(jì)算F統(tǒng)計(jì)量

第59頁(yè)/共92頁(yè)2023/6/660第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析四、一元線(xiàn)性回歸模型的顯著性檢驗(yàn)

在原假設(shè)成立的條件下，F(xiàn)統(tǒng)計(jì)量服從第一個(gè)自由度為，第二個(gè)自由度為的F分布。

在一元回歸下，F(xiàn)統(tǒng)計(jì)量簡(jiǎn)化為：第60頁(yè)/共92頁(yè)2023/6/661第二節(jié)一元線(xiàn)性回歸分析第八章相關(guān)與回歸分析四、一元線(xiàn)性回歸模型的顯著性檢驗(yàn)

（3）確定顯著性水平a(一般取a=0.05)，并根據(jù)兩個(gè)自由度查F分布表，得到相應(yīng)的臨界值。

，則接受原假設(shè)，說(shuō)明回歸方程在整體上不顯著。

（4）得出檢驗(yàn)結(jié)果若,則拒絕，說(shuō)明回歸方程在整體上是顯著的；若

第61頁(yè)/共92頁(yè)2023/6/662第八章相關(guān)與回歸分析

多元線(xiàn)性回歸模型的一般表示式為：與多元線(xiàn)性回歸模型相對(duì)應(yīng)的總體回歸方程為：樣本回歸模型為：

第三節(jié)多元線(xiàn)性回歸分析一、多元線(xiàn)性回歸模型(一)多元線(xiàn)性回歸模型的矩陣表示樣本回歸方程為：第62頁(yè)/共92頁(yè)2023/6/663第八章相關(guān)與回歸分析

第三節(jié)多元線(xiàn)性回歸分析假設(shè)為了得到未知參數(shù)的估計(jì)值，我們對(duì)被解釋變量和解釋變量進(jìn)行了n次觀測(cè)，代入多元線(xiàn)性回歸模型，可得n個(gè)隨機(jī)模型：一、多元線(xiàn)性回歸模型(一)多元線(xiàn)性回歸模型的矩陣表示第63頁(yè)/共92頁(yè)2023/6/664第八章相關(guān)與回歸分析

為了使多元線(xiàn)性回歸分析和計(jì)算更方便、更簡(jiǎn)潔，可以用矩陣形式表示：

第三節(jié)多元線(xiàn)性回歸分析一、多元線(xiàn)性回歸模型(一)多元線(xiàn)性回歸模型的矩陣表示第64頁(yè)/共92頁(yè)2023/6/665第八章相關(guān)與回歸分析

第三節(jié)多元線(xiàn)性回歸分析定義依照矩陣運(yùn)算法則，上式可表示為：類(lèi)似的，定義第65頁(yè)/共92頁(yè)2023/6/666第八章相關(guān)與回歸分析

我們把基本假定用矩陣的形式表示出來(lái)：

第三節(jié)多元線(xiàn)性回歸分析一、多元線(xiàn)性回歸模型(二)多元線(xiàn)性回歸模型的基本假定1.零均值假定可以表示為：第66頁(yè)/共92頁(yè)2023/6/667第八章相關(guān)與回歸分析

第三節(jié)多元線(xiàn)性回歸分析2.同方差和無(wú)序列相關(guān)可以表示為：

第67頁(yè)/共92頁(yè)2023/6/668第八章相關(guān)與回歸分析4.解釋變量與隨機(jī)誤差項(xiàng)不相關(guān)假定可表示為：

或

第三節(jié)多元線(xiàn)性回歸分析

3.

隨機(jī)誤差項(xiàng)服從正態(tài)分布可以表示為：

解釋變量之間不存在多重共線(xiàn)性可表示為：

如果上成立，至少有k+1階子式不為零，表明解釋變量之間也就是要求系數(shù)行列式不存在線(xiàn)性相關(guān)關(guān)系。等價(jià)于第68頁(yè)/共92頁(yè)2023/6/669第八章相關(guān)與回歸分析

由樣本回歸模型和樣本回歸方程，可得殘差向量為：

第三節(jié)多元線(xiàn)性回歸分析

二、多元線(xiàn)性回歸模型的估計(jì)

(一)參數(shù)的普通最小二乘估計(jì)

對(duì)上式兩邊分別對(duì)求一階導(dǎo)數(shù)，并令一階偏導(dǎo)數(shù)為零，得

由假定，可以得到參數(shù)估計(jì)量為：

第69頁(yè)/共92頁(yè)2023/6/670第八章相關(guān)與回歸分析

第三節(jié)多元線(xiàn)性回歸分析

二、多元線(xiàn)性回歸模型的估計(jì)

(一)參數(shù)的普通最小二乘估計(jì)

對(duì)上式兩邊分別對(duì)求一階導(dǎo)數(shù)，并令一階偏導(dǎo)數(shù)為零，得

由假定，可以得到參數(shù)估計(jì)量為：

第70頁(yè)/共92頁(yè)2023/6/671第八章相關(guān)與回歸分析

第三節(jié)多元線(xiàn)性回歸分析二、多元線(xiàn)性回歸模型的估計(jì)(二)參數(shù)普通最小二乘估計(jì)量的性質(zhì)和分布在多元線(xiàn)性回歸條件下，參數(shù)的最小二乘估計(jì)仍然具有線(xiàn)性、無(wú)偏性和最小方差性。由于

,可以看出具有線(xiàn)性特性，稍加變換，它還是的線(xiàn)性組合。由此可見(jiàn)是無(wú)偏的。第71頁(yè)/共92頁(yè)2023/6/672第八章相關(guān)與回歸分析

在無(wú)偏性的基礎(chǔ)上，我們可以得到的方差-協(xié)方差矩陣：

第三節(jié)多元線(xiàn)性回歸分析二、多元線(xiàn)性回歸模型的估計(jì)(二)參數(shù)普通最小二乘估計(jì)量的性質(zhì)和分布第72頁(yè)/共92頁(yè)2023/6/673第八章相關(guān)與回歸分析

第三節(jié)多元線(xiàn)性回歸分析二、多元線(xiàn)性回歸模型的估計(jì)(二)參數(shù)普通最小二乘估計(jì)量的性質(zhì)和分布由于的線(xiàn)性組合，而假定是服從正態(tài)分布的，所以也是服從正態(tài)分布的，即由于是不可觀測(cè)的，所以其方差沒(méi)有辦法計(jì)算出來(lái)，

因此的方差-協(xié)方差矩陣的估計(jì)值為：是只能進(jìn)行估計(jì)?？梢宰C明：第73頁(yè)/共92頁(yè)2023/6/674第八章相關(guān)與回歸分析

在多元線(xiàn)性回歸模型中，總平方和仍可分解為回歸平方和和殘差平方和

.

第三節(jié)多元線(xiàn)性回歸分析

三、多元線(xiàn)性回歸模型的檢驗(yàn)(一)擬合優(yōu)度檢驗(yàn)三個(gè)平方和的矩陣表示分別為：第74頁(yè)/共92頁(yè)2023/6/675第八章相關(guān)與回歸分析

多元線(xiàn)性回歸判定系數(shù)仍表示為回歸平方和與總平方和之比，即

第三節(jié)多元線(xiàn)性回歸分析

三、多元線(xiàn)性回歸模型的檢驗(yàn)(一)擬合優(yōu)度檢驗(yàn)調(diào)整的判定系數(shù)

定義為：第75頁(yè)/共92頁(yè)2023/6/676第八章相關(guān)與回歸分析

在一元線(xiàn)性回歸中，總體回歸方程的顯著性檢驗(yàn)和斜率參數(shù)的顯著性檢驗(yàn)是等價(jià)的，這可以從兩類(lèi)檢驗(yàn)的原假設(shè)上得到說(shuō)明。但在多元線(xiàn)性回歸中，由于存在多個(gè)解釋變量，參數(shù)的顯著性檢驗(yàn)不再等價(jià)于總體回歸方程的顯著性檢驗(yàn)。

第三節(jié)多元線(xiàn)性回歸分析

三、多元線(xiàn)性回歸模型的檢驗(yàn)(二)總體回歸方程的顯著性檢驗(yàn)第76頁(yè)/共92頁(yè)2023/6/677第八章相關(guān)與回歸分析

第一步，計(jì)算檢驗(yàn)統(tǒng)計(jì)量

第三節(jié)多元線(xiàn)性回歸分析

三、多元線(xiàn)性回歸模型的檢驗(yàn)(三)參數(shù)的顯著性檢驗(yàn)

具體作法是：將進(jìn)行標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化后的變量服從標(biāo)準(zhǔn)正態(tài)分布：第77頁(yè)/共92頁(yè)2023/6/678第八章相關(guān)與回歸分析

，則拒絕原假設(shè)，認(rèn)為解釋變量

若

第三節(jié)多元線(xiàn)性回歸分析

三、多元線(xiàn)性回歸模型的檢驗(yàn)(三)參數(shù)的顯著性檢驗(yàn)第二步，確定顯著性水平，查表確定臨界值

對(duì)應(yīng)變量的影響是顯著的。在原假設(shè)成立的情況下，該統(tǒng)計(jì)量服從個(gè)自由度的分布。由于未知，可用其估計(jì)量代替，由此可得到統(tǒng)計(jì)量：第78頁(yè)/共92頁(yè)2023/6/679第八章相關(guān)與回歸分析

第四節(jié)非線(xiàn)性回歸分析一、非線(xiàn)性回歸模型的定義

非線(xiàn)性回歸分析模型的本質(zhì)，取決于可否通過(guò)某種數(shù)量變換或數(shù)學(xué)變換化成線(xiàn)性回歸模型，并從而可進(jìn)行OLS估計(jì)。

非線(xiàn)性回歸模型可以表示為：其中是期望函數(shù)，是第t個(gè)自變量向量

第79頁(yè)/共92頁(yè)2023/6/680第八章相關(guān)與回歸分析

4.S型曲線(xiàn)模型

第四節(jié)非線(xiàn)性回歸分析二、可線(xiàn)性化的非線(xiàn)性回歸模型的估計(jì)

1.雙曲線(xiàn)模型2.二次多項(xiàng)式模型3.半對(duì)數(shù)和雙對(duì)數(shù)模型5.其它非線(xiàn)性模型第80頁(yè)/共92頁(yè)2023/6/681第八章相關(guān)與回歸分析

對(duì)于不可線(xiàn)性化的非線(xiàn)性回歸模型，可采用非線(xiàn)性最小二乘法或非線(xiàn)性極大似然法進(jìn)行估計(jì)。

第四節(jié)非線(xiàn)性回歸分析三、不可線(xiàn)性化的非線(xiàn)性回歸模型的估計(jì)

如果只包含一個(gè)未知參數(shù)，則可寫(xiě)成下面的形式對(duì)于相對(duì)應(yīng)的殘差平方和為使上式達(dá)到最小的即為非線(xiàn)性最小二乘估計(jì)量，第81頁(yè)/共92頁(yè)2023/6/682第八章相關(guān)與回歸分析

第四節(jié)非線(xiàn)性回歸分析三、不可線(xiàn)性化的非線(xiàn)性回歸模型的估計(jì)

應(yīng)該滿(mǎn)足以下條件：即根據(jù)極值理論，第82頁(yè)/共92頁(yè)2023/6/683第八章相關(guān)與回歸分析

高斯-牛頓法的計(jì)算步驟如下：

第四節(jié)非線(xiàn)性回歸分析取一階近似值第一步：將在某個(gè)初值處進(jìn)行泰勒級(jí)數(shù)展開(kāi)，第二步：令將第二步代入第一步得第83頁(yè)/共92頁(yè)2023/6/684第八章相關(guān)與回歸分析

第四節(jié)非線(xiàn)性回歸分析三、不可線(xiàn)性化的非線(xiàn)性回歸模型的估計(jì)

第三步：對(duì)上面模型進(jìn)行最小二乘估計(jì)，得到的第一步估計(jì)值(第一次迭代值)第四步：用

代替第一步中的直到收收斂為止。

，重復(fù)一至四步，第84頁(yè)/共92頁(yè)2023/6/685第八章相關(guān)與回歸分析

；

本章小結(jié)

本章介紹了相關(guān)與回歸分析的各種理論和方法，并對(duì)大多數(shù)問(wèn)題給出了實(shí)例。相關(guān)分析與回歸分析的概念是這一章的基礎(chǔ)，相關(guān)分析與回歸分析既有區(qū)別又有聯(lián)系，相關(guān)表和相關(guān)圖是了解相關(guān)關(guān)系的重要工具。一元線(xiàn)性回歸分析是回歸分析的核心，回歸分析都是在經(jīng)典假設(shè)的基礎(chǔ)上進(jìn)行的，在經(jīng)典回歸下，最小二乘估計(jì)量具有線(xiàn)性、無(wú)偏性和有效性。在這些性質(zhì)的基礎(chǔ)上，可以得到最小二乘估計(jì)量的分布，由此可以對(duì)參數(shù)進(jìn)行區(qū)間估計(jì)和假設(shè)檢驗(yàn)。另外需要對(duì)回歸方程的擬合程度進(jìn)行檢驗(yàn)。預(yù)測(cè)是一元線(xiàn)性回歸的基本目的之一。第85頁(yè)/共92頁(yè)2023/6/686第八章相關(guān)與回歸分析