統(tǒng)計(jì)學(xué)課件第八章相關(guān)與回歸分析

1、2020/11/19,統(tǒng)計(jì)學(xué)課件,統(tǒng) 計(jì) 學(xué),STATISTICS,高等學(xué)校應(yīng)用型特色規(guī)劃教材,清華大學(xué)出版社,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第一節(jié) 相關(guān)與回歸分析的基本概念,第三節(jié) 一元線性回歸分析,第四節(jié) 多元線性回歸分析,【學(xué)習(xí)目標(biāo)】通過(guò)對(duì)本章的學(xué)習(xí)，重點(diǎn)掌握回歸分析的估計(jì)和檢驗(yàn)方法；掌握相關(guān)分析的種類及三種相關(guān)系數(shù)的計(jì)算方法；在此基礎(chǔ)上能夠運(yùn)用相關(guān)分析和回歸分析的基本方法解釋實(shí)際社會(huì)經(jīng)濟(jì)問(wèn)題。重點(diǎn)與難點(diǎn)：相關(guān)系數(shù)的計(jì)算及其檢驗(yàn)；多元線性回歸分析。,第五節(jié) 非線性回歸分析,第二節(jié) 相關(guān)分析,2020/11/19,統(tǒng)計(jì)學(xué)課件,第一節(jié) 相關(guān)與回歸分析的基本概念,（

2、一）函數(shù)關(guān)系,一、相關(guān)關(guān)系與函數(shù)關(guān)系,第八章 相關(guān)與回歸分析,函數(shù)關(guān)系是指現(xiàn)象之間存在著嚴(yán)格的依存關(guān)系，亦即當(dāng)其它條件不變時(shí)，對(duì)于某一自變量或幾個(gè)自變量的每一數(shù)值，都有因變量的一個(gè)的確定值與之相對(duì)應(yīng)，并且這種關(guān)系可以用一個(gè)確定的數(shù)學(xué)表達(dá)式反映出來(lái)。,2020/11/19,統(tǒng)計(jì)學(xué)課件,第一節(jié) 相關(guān)與回歸分析的基本概念,（二）統(tǒng)計(jì)關(guān)系,一、相關(guān)關(guān)系與函數(shù)關(guān)系,第八章 相關(guān)與回歸分析,統(tǒng)計(jì)關(guān)系不同于函數(shù)關(guān)系，當(dāng)重復(fù)觀測(cè)時(shí)，觀測(cè)點(diǎn)不是完全落在統(tǒng)計(jì)關(guān)系曲線上，而是圍繞統(tǒng)計(jì)關(guān)系曲線散布。統(tǒng)計(jì)關(guān)系可以表示為確定部分和隨機(jī)性部分二者之和，這是回歸分析的基礎(chǔ)。,2020/11/19,統(tǒng)計(jì)學(xué)課件,案例分析,相關(guān)關(guān)

3、系與因果關(guān)系,一家研究機(jī)構(gòu)有一項(xiàng)驚人的發(fā)現(xiàn)：統(tǒng)計(jì)數(shù)據(jù)顯示，腳長(zhǎng)的兒童拼寫能力比腳短的兒童強(qiáng)。,原來(lái)他們調(diào)查的是一群年齡不同的兒童，腳長(zhǎng)的兒童比腳短的兒童年齡大！,趕快回去量一下兒子的腳長(zhǎng),我要把腳拉長(zhǎng)一點(diǎn)！,2020/11/19,統(tǒng)計(jì)學(xué)課件,按涉及變量的多少分為,相關(guān)關(guān)系的種類,按照表現(xiàn)形式不同分為,按照變化方向不同分為,二、相關(guān)分析的種類,第八章 相關(guān)與回歸分析,2020/11/19,統(tǒng)計(jì)學(xué)課件,4. 按相關(guān)的程度分為,相關(guān)關(guān)系的種類,5.按變量之間因果 關(guān)系的方向分為,第八章 相關(guān)與回歸分析,2020/11/19,統(tǒng)計(jì)學(xué)課件,第一節(jié) 相關(guān)與回歸分析的基本概念,第八章 相關(guān)與回歸分析,三、相

4、關(guān)分析與回歸分析,回歸分析是關(guān)于研究一個(gè)叫做因變量的變量對(duì)另一個(gè)或多個(gè)叫做解釋變量的依賴關(guān)系。,相關(guān)分析是測(cè)度兩個(gè)變量之間的線性關(guān)聯(lián)度的，并用一些指數(shù)(相關(guān)系數(shù))表示相關(guān)程度。,2020/11/19,統(tǒng)計(jì)學(xué)課件,第一節(jié) 相關(guān)與回歸分析的基本概念,第八章 相關(guān)與回歸分析,三、相關(guān)分析與回歸分析,相關(guān)分析中x與y對(duì)等，回歸分析中x與y要確定自變量和因變量； 相關(guān)分析中x、y均為隨機(jī)變量，回歸分析中只有y為隨機(jī)變量； 相關(guān)分析測(cè)定相關(guān)程度和方向，回歸分析用回歸模型進(jìn)行預(yù)測(cè)和控制。,區(qū)別：,2020/11/19,統(tǒng)計(jì)學(xué)課件,第一節(jié) 相關(guān)與回歸分析的基本概念,第八章 相關(guān)與回歸分析,三、相關(guān)分析與回歸分

5、析,聯(lián)系：,相關(guān)分析是回歸分析的基礎(chǔ)和前提。 回歸分析是相關(guān)分析的深入和繼續(xù)。,2020/11/19,統(tǒng)計(jì)學(xué)課件,第一節(jié) 相關(guān)與回歸分析的基本概念,第八章 相關(guān)與回歸分析,四、相關(guān)表與相關(guān)圖,(一) 簡(jiǎn)單相關(guān)表,將某一變量按其取值的大小排列，然后再將與其相關(guān)的另一變量的對(duì)應(yīng)值平行排列，便得到簡(jiǎn)單的相關(guān)表。,2020/11/19,統(tǒng)計(jì)學(xué)課件,第一節(jié) 相關(guān)與回歸分析的基本概念,第八章 相關(guān)與回歸分析,八個(gè)同類工業(yè)企業(yè)的月產(chǎn)量與生產(chǎn)費(fèi)用,2020/11/19,統(tǒng)計(jì)學(xué)課件,第一節(jié) 相關(guān)與回歸分析的基本概念,第八章 相關(guān)與回歸分析,四、相關(guān)表與相關(guān)圖,(二) 分組相關(guān)表,單變量分組表 雙變量分組表 三變

6、量分組表。,2020/11/19,統(tǒng)計(jì)學(xué)課件,第一節(jié) 相關(guān)與回歸分析的基本概念,第八章 相關(guān)與回歸分析,1. 單變量分組表,表 某紡織廠工人看管織機(jī)臺(tái)數(shù)和時(shí)勞動(dòng)生產(chǎn)率相關(guān)表,2020/11/19,統(tǒng)計(jì)學(xué)課件,第一節(jié) 相關(guān)與回歸分析的基本概念,第八章 相關(guān)與回歸分析,2. 雙變量分組表,表居住時(shí)間與對(duì)百貨商場(chǎng)的熟悉程度的雙變量分組表,2020/11/19,統(tǒng)計(jì)學(xué)課件,第一節(jié) 相關(guān)與回歸分析的基本概念,第八章 相關(guān)與回歸分析,3. 三變量分組表,假定對(duì)于某項(xiàng)私家車購(gòu)買意向的調(diào)查，最初以教育水平和私家車擁有情況進(jìn)行分析，對(duì)1000人調(diào)查的結(jié)果用二維列聯(lián)表表示如：,2020/11/19,統(tǒng)計(jì)學(xué)課件,第

7、一節(jié) 相關(guān)與回歸分析的基本概念,第八章 相關(guān)與回歸分析,3. 三變量分組表,表教育程度和私家車擁有狀況的雙變量分析,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,從上表中可以看出，文化程度越高的人擁有私家車的比例越高，這和實(shí)際情況不太相符，于是我們引入收入變量，作三變量的交叉列表分析： 教育程度、收入與私家車擁有狀況的三變量分析,2020/11/19,統(tǒng)計(jì)學(xué)課件,正 相 關(guān),負(fù) 相 關(guān),曲線相關(guān),不 相 關(guān),第八章 相關(guān)與回歸分析,（三）相關(guān)圖,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第二節(jié) 相關(guān)分析,一、簡(jiǎn)單相關(guān)系數(shù)及其檢驗(yàn),(一) 簡(jiǎn)單相關(guān)系數(shù)的定義,簡(jiǎn)單相關(guān)

8、系數(shù)簡(jiǎn)稱相關(guān)系數(shù)，是測(cè)量?jī)蓚€(gè)變量之間線性相關(guān)的方向和程度的指標(biāo)。,總體相關(guān)系數(shù)的表達(dá)式為：,式中：,為變量X與變量Y的協(xié)方差,為變量Y的方差,為變量X的方差,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第五節(jié) 相關(guān)分析,一、簡(jiǎn)單相關(guān)系數(shù)及其檢驗(yàn),(一) 簡(jiǎn)單相關(guān)系數(shù)的定義,樣本相關(guān)系數(shù),是總體相關(guān)系數(shù),的估計(jì)值。,簡(jiǎn)單相關(guān)系數(shù)通常采用下面的計(jì)算公式：,2020/11/19,統(tǒng)計(jì)學(xué)課件,相關(guān)系數(shù)r的取值范圍：-1r1,r0 為正相關(guān)，r 0 為負(fù)相關(guān)； |r|=0 表示不存在線性關(guān)系； |r|1 表示完全線性相關(guān)； 0|r|1表示存在不同程度線性相關(guān)： |r| 0.4 為低度線性相

9、關(guān)； 0.4 |r| 0.7為顯著性線性相關(guān)； 0.7|r| 1.0為高度顯著性線性相關(guān)。,第八章 相關(guān)與回歸分析,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第五節(jié) 相關(guān)分析,一、簡(jiǎn)單相關(guān)系數(shù)及其檢驗(yàn),(二)簡(jiǎn)單相關(guān)系數(shù)的檢驗(yàn),樣本相關(guān)系數(shù)的檢驗(yàn)有兩種方法： 直接檢驗(yàn)法， 檢驗(yàn)法。,2020/11/19,統(tǒng)計(jì)學(xué)課件,相關(guān)系數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)法）,提出假設(shè)：,目的,檢驗(yàn)總體兩變量間線性相關(guān)性是否顯著,步 驟,構(gòu)造檢驗(yàn)統(tǒng)計(jì)量：,第八章 相關(guān)與回歸分析,2020/11/19,統(tǒng)計(jì)學(xué)課件,相關(guān)系數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)法）, 根據(jù)給定的顯著性水平，確定臨界值 ；, 計(jì)算檢驗(yàn)統(tǒng)計(jì)量并做

10、出決策。, 確定原假設(shè)的拒絕規(guī)則:,若 ，則接受H0 ,表示總體兩變量間線性相關(guān)性不顯著;,若 ，則拒絕H0 ,表示總體兩變量間線性相關(guān)性顯著,步 驟,第八章 相關(guān)與回歸分析,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,【例】檢驗(yàn)生產(chǎn)量與生產(chǎn)費(fèi)用之間的線性相關(guān)性是否顯著。,當(dāng) 成立時(shí)，則統(tǒng)計(jì)量,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第五節(jié) 相關(guān)分析,二、復(fù)相關(guān)系數(shù),復(fù)相關(guān)系數(shù)是測(cè)量一個(gè)變量與其它多個(gè)變量之間線性相關(guān)程度的指標(biāo)。,為了測(cè)定一個(gè)變量y與其它多個(gè)變量 之間的相關(guān)系數(shù)，可以考慮構(gòu)造一個(gè)關(guān)于的線性組合，通過(guò)計(jì)算該線性組合與之間的簡(jiǎn)單相關(guān)系數(shù)作為變量與之間

11、的復(fù)相關(guān)系數(shù)。具體計(jì)算過(guò)程如下：,第一步，用 y 對(duì),作回歸，得,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第五節(jié) 相關(guān)分析,；,第二步，計(jì)算 y 和,的簡(jiǎn)單相關(guān)系數(shù)，此簡(jiǎn)單相關(guān)系數(shù)即為y與,之間的復(fù)相關(guān)系數(shù)。,復(fù)相關(guān)系數(shù)的計(jì)算公式為：,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第五節(jié) 相關(guān)分析,二、復(fù)相關(guān)系數(shù),；,復(fù)相關(guān)系數(shù)與簡(jiǎn)單相關(guān)系數(shù)的區(qū)別是簡(jiǎn)單相關(guān)系數(shù)的取值范圍是-1,1，而復(fù)相關(guān)系數(shù)的取值范圍是0,1。這是因?yàn)?，在兩個(gè)變量的情況下，回歸系數(shù)有正負(fù)之分，所以在研究相關(guān)時(shí)，也有正相關(guān)和負(fù)相關(guān)之分；但在多個(gè)變量時(shí)，偏回歸系數(shù)有兩個(gè)或兩個(gè)以上，其符號(hào)有正有負(fù)，

12、不能按正負(fù)來(lái)區(qū)別，所以復(fù)相關(guān)系數(shù)也就只取正值。,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,當(dāng)兩個(gè)變量同時(shí)受其它變量影響時(shí)，有必要研究當(dāng)控制其它變量不變時(shí)，該兩個(gè)變量之間的相關(guān)關(guān)系。這種相關(guān)關(guān)系被稱為偏相關(guān)關(guān)系。,第五節(jié) 相關(guān)分析,三、偏相關(guān)系數(shù),；,計(jì)算偏相關(guān)系數(shù)的原因在于任何兩個(gè)變量這間的相關(guān)關(guān)系都可能受其余變量的影響。要考察兩個(gè)變量之間的純相關(guān)關(guān)系，必須排除其余變量的影響，或者說(shuō)必須使其余變量保持不變。,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第五節(jié) 相關(guān)分析,三、偏相關(guān)系數(shù),偏相關(guān)系數(shù)的計(jì)算是以回歸分析為基礎(chǔ)的。以三個(gè)變量的情形為例，此種情況下，的偏相關(guān)

13、系數(shù)有三個(gè)，分別記作,、 和 之間的相關(guān)系數(shù)；,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第五節(jié) 相關(guān)分析,計(jì)算殘差,此時(shí),中不再含有,對(duì),的影響。,第二步，求,對(duì),的回歸估計(jì)式,計(jì)算殘差,此時(shí),中不再含有,對(duì),的影響。,第一步，求,對(duì),的回歸估計(jì)式,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第五節(jié) 相關(guān)分析,第三步，計(jì)算,和,的簡(jiǎn)單相關(guān)系數(shù),由于,和,中都不再包含,的影響，因此,和,的簡(jiǎn)單相關(guān)系數(shù)就是,保持不變時(shí)，,與,之間的相關(guān)系數(shù)。,所以偏相關(guān)系數(shù),2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第五節(jié) 相關(guān)分析,三、偏相關(guān)系數(shù),可以證明，,20

14、20/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第五節(jié) 相關(guān)分析,三、偏相關(guān)系數(shù),類似的,當(dāng)變量個(gè)數(shù)多于3個(gè)時(shí)，求偏相關(guān)系數(shù)的原則不變，即應(yīng)先排除其余變量對(duì)所考察兩個(gè)變量的影響，然后求這兩個(gè)變量之間的簡(jiǎn)單相關(guān)系數(shù)。只是變量越多，數(shù)學(xué)處理以及偏相關(guān)系數(shù)的表達(dá)式就越復(fù)雜。,2020/11/19,統(tǒng)計(jì)學(xué)課件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析,一、一元線性回歸分析隨機(jī)誤差項(xiàng)的基本假定,在回歸分析中，最簡(jiǎn)單最基本的單方程模型為一元線性回歸模型。 一元線性回歸分析的總體回歸模型為：,為常數(shù)項(xiàng)或截距項(xiàng)， 為斜率系數(shù) , 是隨機(jī)誤差 項(xiàng),又稱隨機(jī)干擾項(xiàng) 。,2020/11/19,統(tǒng)計(jì)學(xué)課

15、件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析,一、一元線性回歸分析隨機(jī)誤差項(xiàng)的基本假定,第二，模型的設(shè)定誤差。,在線性回歸模型中加入隨機(jī)誤差項(xiàng)是基于以下原因：,第一，模型不可能包含所有的解釋變量。,第三，測(cè)量誤差的影響。,第四，其他隨機(jī)因素的影響。,2020/11/19,統(tǒng)計(jì)學(xué)課件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析,一、一元線性回歸分析隨機(jī)誤差項(xiàng)的基本假定,線性回歸模型由兩部分構(gòu)成，確定性部分和隨機(jī)性部分， 為確定性部分，稱為對(duì)于給定值的期望值，可以寫為： 上式被稱為總體線性回歸方程。,2020/11/19,統(tǒng)計(jì)學(xué)課件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析,

16、一、一元線性回歸分析隨機(jī)誤差項(xiàng)的基本假定,滿足以下假定的線性回歸模型稱為古典（或經(jīng)典）線性回歸模型,假定1：回歸模型是正確設(shè)定的 假定2：解釋變量是非隨機(jī)的 假定3：隨機(jī)誤差項(xiàng)的均值為零 假定4：隨機(jī)誤差項(xiàng)的方差為一個(gè)不變的常數(shù)（等方差假定） 假定5：隨機(jī)誤差項(xiàng)的觀測(cè)值互不相關(guān)（非序列相關(guān)假定） 假定6：解釋變量與隨機(jī)誤差項(xiàng)不相關(guān) 假定7：隨機(jī)誤差項(xiàng)服從正態(tài)分布 假定8：沒(méi)有一個(gè)解釋變量是其他任何解釋變量的完全線性組合（無(wú)多重共線性假定，只適用于多元線性回歸模型）,2020/11/19,統(tǒng)計(jì)學(xué)課件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析,二、一元線性回歸模型的估計(jì),最小二乘法的意義在

17、于使,為了得到這些估計(jì)值而最為廣泛使用的方法就是普通最小二乘法,為樣本回歸方程。,稱為回歸殘差,2020/11/19,統(tǒng)計(jì)學(xué)課件,殘差(Residual):,2020/11/19,統(tǒng)計(jì)學(xué)課件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析,二、一元線性回歸模型的估計(jì),根據(jù)微積分的極值定理，對(duì) 求相應(yīng)于 、 的偏導(dǎo)數(shù)，并令其等于0，即可求得 ：,2020/11/19,統(tǒng)計(jì)學(xué)課件,b與r的關(guān)系：,第八章 相關(guān)與回歸分析,2020/11/19,統(tǒng)計(jì)學(xué)課件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析,二、一元線性回歸模型的估計(jì),樣本回歸直線具有下述性質(zhì)： 第一、它通過(guò) y 和 x 的樣本平均數(shù)

18、 和 確定的那一點(diǎn)； 第二、 的平均值和 的平均值相等； 第三、殘差的平均值是零； 第四、殘差和 不相關(guān)； 第五、殘差與x不相關(guān)。,2020/11/19,統(tǒng)計(jì)學(xué)課件,【分析】因?yàn)楣I(yè)總產(chǎn)值與能源消耗量之間存在高度正相關(guān)關(guān)系（ ），所以可以擬合工業(yè)總產(chǎn)值對(duì)能源消耗量的線性回歸方程。,【例】建立工業(yè)總產(chǎn)值對(duì)能源消耗量的線性回歸方程。,第八章 相關(guān)與回歸分析,2020/11/19,統(tǒng)計(jì)學(xué)課件,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,即線性回歸方程為：,計(jì)算結(jié)果表明，在其他條件不變時(shí)，能源消耗量每增加一個(gè)單位（十萬(wàn)噸），工業(yè)總產(chǎn)值將增加0.7961個(gè)單位（億元）。,2020/11/1

19、9,統(tǒng)計(jì)學(xué)課件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析,二、一元線性回歸模型的估計(jì),在回歸分析中，不要試著對(duì)常數(shù)項(xiàng)進(jìn)行解釋，原因有兩點(diǎn)：,首先，隨機(jī)誤差項(xiàng)部分地是由于忽略了許多邊緣自變量而生成的，這些變量的平均效應(yīng)被置于常數(shù)項(xiàng)中。,其次，常數(shù)項(xiàng)是當(dāng)所有自變量與誤差項(xiàng)為0時(shí)，因變量的值，但是自變量與隨機(jī)誤差項(xiàng)的值幾乎從不等于0，因?yàn)橛米鹘?jīng)濟(jì)分析的變量通常是正的。,2020/11/19,統(tǒng)計(jì)學(xué)課件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析,二、一元線性回歸模型的估計(jì),2. 大樣本性質(zhì),無(wú)偏性,(二)一元線性回歸模型最小二乘估計(jì)量的性質(zhì),1. 小樣本性質(zhì),線性,有效性,漸近無(wú)偏性,

20、一致性,2020/11/19,統(tǒng)計(jì)學(xué)課件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析,三、一元線性回歸模型的擬合程度分析,(一)一元線性回歸模型的判定系數(shù),2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,剩余離差平方和,回歸離差平方和,總離差平方和,2020/11/19,統(tǒng)計(jì)學(xué)課件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析,三、一元線性回歸模型的擬合程度分析,可以證明，對(duì)上式兩邊分別平方加總后等式仍然成立，即：,(一)一元線性回歸模型的判定系數(shù),可簡(jiǎn)寫為： TSSESSRSS,2020/11/19,統(tǒng)計(jì)學(xué)課件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析,三、一元線

21、性回歸模型的擬合程度分析,判定系數(shù)測(cè)度了回歸直線對(duì)觀測(cè)數(shù)據(jù)的擬合程度,記為,(一)一元線性回歸模型的判定系數(shù),2020/11/19,統(tǒng)計(jì)學(xué)課件,判定系數(shù)與相關(guān)系數(shù)的關(guān)系,第八章 相關(guān)與回歸分析,2020/11/19,統(tǒng)計(jì)學(xué)課件,判定系數(shù)與相關(guān)系數(shù)的區(qū)別：,判定系數(shù)無(wú)方向性，相關(guān)系數(shù)則有方向，其方向與樣本回歸系數(shù) b 相同；,判定系數(shù)說(shuō)明變量值的總離差平方和中可以用回歸線來(lái)解釋的比例，相關(guān)系數(shù)只說(shuō)明兩變量間關(guān)聯(lián)程度及方向；,第八章 相關(guān)與回歸分析,2020/11/19,統(tǒng)計(jì)學(xué)課件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析,三、一元線性回歸模型的擬合程度分析,估計(jì)標(biāo)準(zhǔn)誤差是指實(shí)際值與估計(jì)值

22、的平均離差。 其定義公式如下：,(二)一元線性回歸模型的估計(jì)標(biāo)準(zhǔn)誤,估計(jì)標(biāo)準(zhǔn)差越小，則變量間相關(guān)程度越高，回歸線對(duì)Y的解釋程度越高。,2020/11/19,統(tǒng)計(jì)學(xué)課件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析,四、一元線性回歸模型的顯著性檢驗(yàn),根據(jù)正態(tài)分布下最小二乘估計(jì)量的性質(zhì)，可求出的抽樣分布為：,(一)回歸系數(shù)的顯著性檢驗(yàn),回歸系數(shù)的顯著性檢驗(yàn)就是要檢驗(yàn)自變量對(duì)因變量的影響程度是否顯著的問(wèn)題。若總體回歸系數(shù) ，則總體回歸線就是一條水平線，說(shuō)明兩個(gè)變量之間沒(méi)有線性關(guān)系，即自變量的變化對(duì)因變量沒(méi)有影響。,2020/11/19,統(tǒng)計(jì)學(xué)課件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析

23、,四、一元線性回歸模型的顯著性檢驗(yàn),（1）建立原假設(shè) 假設(shè)樣本從一個(gè)沒(méi)有線性關(guān)系的總體中選出，即,(一)回歸系數(shù)的顯著性檢驗(yàn),（2）計(jì)算檢驗(yàn)統(tǒng)計(jì)量t值,其中，,2020/11/19,統(tǒng)計(jì)學(xué)課件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析,四、一元線性回歸模型的顯著性檢驗(yàn),（4）得出檢驗(yàn)結(jié)果,(一)回歸系數(shù)的顯著性檢驗(yàn),（3）確定顯著性水平(一般取0.05)，并根據(jù)自由度 查 分布表，找出相應(yīng)的臨界值,表明自變量x對(duì)因變量y的影響是顯著的。,，拒絕,若,2020/11/19,統(tǒng)計(jì)學(xué)課件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析,四、一元線性回歸模型的顯著性檢驗(yàn),(二)回歸方程總體顯

24、著性的F檢驗(yàn),F檢驗(yàn)的基本步驟為：,（1）建立原假設(shè)備擇假設(shè),由于備擇假設(shè)和原假設(shè)是對(duì)立的，所以備擇假設(shè)為：,至少有一個(gè),不為0。,（2）計(jì)算F 統(tǒng)計(jì)量,2020/11/19,統(tǒng)計(jì)學(xué)課件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析,四、一元線性回歸模型的顯著性檢驗(yàn),在原假設(shè)成立的條件下，F(xiàn) 統(tǒng)計(jì)量服從第一個(gè)自由度為 ，第二個(gè)自由度為 的 F 分布。,在一元回歸下，F(xiàn) 統(tǒng)計(jì)量簡(jiǎn)化為：,2020/11/19,統(tǒng)計(jì)學(xué)課件,第二節(jié) 一元線性回歸分析,第八章 相關(guān)與回歸分析,四、一元線性回歸模型的顯著性檢驗(yàn),（3）確定顯著性水平a (一般取a=0.05 )，并根據(jù)兩個(gè)自由度查F 分布表，得到相應(yīng)的

25、臨界值 。,，則接受原假設(shè)，說(shuō)明回歸方程在整體上不顯著。,（4）得出檢驗(yàn)結(jié)果,若, 則拒絕,，說(shuō)明回歸方程在整體上是顯著的；,若,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,多元線性回歸模型的一般表示式為：,與多元線性回歸模型相對(duì)應(yīng)的總體回歸方程為：,樣本回歸模型為：,第三節(jié) 多元線性回歸分析,一、多元線性回歸模型,(一)多元線性回歸模型的矩陣表示,樣本回歸方程為：,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第三節(jié) 多元線性回歸分析,假設(shè)為了得到未知參數(shù)的估計(jì)值，我們對(duì)被解釋變量和解釋變量進(jìn)行了n次觀測(cè)，代入多元線性回歸模型，可得n個(gè)隨機(jī)模型：,一、多元線性回歸模

26、型,(一)多元線性回歸模型的矩陣表示,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,為了使多元線性回歸分析和計(jì)算更方便、更簡(jiǎn)潔，可以用矩陣形式表示：,第三節(jié) 多元線性回歸分析,一、多元線性回歸模型,(一)多元線性回歸模型的矩陣表示,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第三節(jié) 多元線性回歸分析,定義,依照矩陣運(yùn)算法則，上式可表示為：,類似的，定義,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,我們把基本假定用矩陣的形式表示出來(lái)：,第三節(jié) 多元線性回歸分析,一、多元線性回歸模型,(二)多元線性回歸模型的基本假定,1.零均值假定可以表示為：,2020/1

27、1/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第三節(jié) 多元線性回歸分析,2. 同方差和無(wú)序列相關(guān)可以表示為：,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,4.解釋變量與隨機(jī)誤差項(xiàng)不相關(guān)假定可表示為：,或,第三節(jié) 多元線性回歸分析,3. 隨機(jī)誤差項(xiàng)服從正態(tài)分布可以表示為：,解釋變量之間不存在多重共線性可表示為：,如果上成立，,至少有k+1,階子式不為零，表明解釋變量之間,也就是要求系數(shù)行列式,不存在線性相關(guān)關(guān)系。 等價(jià)于,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,由樣本回歸模型 和樣本回歸方程 ，可得殘差向量為：,第三節(jié) 多元線性回歸分析,二、多元線性回歸模型的估計(jì)

28、,(一)參數(shù)的普通最小二乘估計(jì),對(duì)上式兩邊分別對(duì),求一階導(dǎo)數(shù)，并令一階偏導(dǎo)數(shù)為零，得,由假定,，可以得到參數(shù)估計(jì)量為：,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第三節(jié) 多元線性回歸分析,二、多元線性回歸模型的估計(jì),(一)參數(shù)的普通最小二乘估計(jì),對(duì)上式兩邊分別對(duì),求一階導(dǎo)數(shù)，并令一階偏導(dǎo)數(shù)為零，得,由假定,，可以得到參數(shù)估計(jì)量為：,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第三節(jié) 多元線性回歸分析,二、多元線性回歸模型的估計(jì),(二)參數(shù)普通最小二乘估計(jì)量的性質(zhì)和分布,在多元線性回歸條件下，參數(shù)的最小二乘估計(jì)仍然具有線性、 無(wú)偏性和最小方差性。,由于,可以看出,具

29、有線性特性，,稍加變換，它還是,的線性組合。,由此可見,是無(wú)偏的。,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,在無(wú)偏性的基礎(chǔ)上，我們可以得到 的方差-協(xié)方差矩陣：,第三節(jié) 多元線性回歸分析,二、多元線性回歸模型的估計(jì),(二)參數(shù)普通最小二乘估計(jì)量的性質(zhì)和分布,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第三節(jié) 多元線性回歸分析,二、多元線性回歸模型的估計(jì),(二)參數(shù)普通最小二乘估計(jì)量的性質(zhì)和分布,由于,的線性組合，而,假定是服從正態(tài)分布的，所以,也是服從正態(tài)分布的，即,由于,是不可觀測(cè)的，所以其方差沒(méi)有辦法計(jì)算出來(lái)，,因此,的方差-協(xié)方差矩陣的估計(jì)值為：,是,只能

30、進(jìn)行估計(jì)。可以證明：,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,在多元線性回歸模型中，總平方和仍可分解為回歸平方和和殘差平方和 .,第三節(jié) 多元線性回歸分析,三、多元線性回歸模型的檢驗(yàn),(一)擬合優(yōu)度檢驗(yàn),三個(gè)平方和的矩陣表示分別為：,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,多元線性回歸判定系數(shù)仍表示為回歸平方和與總平方和之比，即,第三節(jié) 多元線性回歸分析,三、多元線性回歸模型的檢驗(yàn),(一)擬合優(yōu)度檢驗(yàn),調(diào)整的判定系數(shù),定義為：,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,在一元線性回歸中，總體回歸方程的顯著性檢驗(yàn)和斜率參數(shù)的顯著性檢驗(yàn)是等價(jià)的，

31、這可以從兩類檢驗(yàn)的原假設(shè)上得到說(shuō)明。但在多元線性回歸中，由于存在多個(gè)解釋變量，參數(shù)的顯著性檢驗(yàn)不再等價(jià)于總體回歸方程的顯著性檢驗(yàn)。,第三節(jié) 多元線性回歸分析,三、多元線性回歸模型的檢驗(yàn),(二)總體回歸方程的顯著性檢驗(yàn),2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第一步，計(jì)算檢驗(yàn)統(tǒng)計(jì)量,第三節(jié) 多元線性回歸分析,三、多元線性回歸模型的檢驗(yàn),(三)參數(shù)的顯著性檢驗(yàn),具體作法是：,將,進(jìn)行標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化后的變量服從標(biāo)準(zhǔn)正態(tài)分布：,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,，則拒絕原假設(shè)，認(rèn)為解釋變量,若,第三節(jié) 多元線性回歸分析,三、多元線性回歸模型的檢驗(yàn),(三)參數(shù)的

32、顯著性檢驗(yàn),第二步，確定顯著性水平，查表確定臨界值,對(duì)應(yīng)變量的影響是顯著的。,在原假設(shè)成立的情況下，該統(tǒng)計(jì)量服從,個(gè)自由度的分布。,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第四節(jié) 非線性回歸分析,一、非線性回歸模型的定義,非線性回歸分析模型的本質(zhì)，取決于可否通過(guò)某種數(shù)量變換或數(shù)學(xué)變換化成線性回歸模型，并從而可進(jìn)行OLS估計(jì)。,非線性回歸模型可以表示為：,其中,是期望函數(shù)，,是第t個(gè)自變量向量,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,4. S型曲線模型,第四節(jié) 非線性回歸分析,二、可線性化的非線性回歸模型的估計(jì),1. 雙曲線模型,2. 二次多項(xiàng)式模型,3. 半

33、對(duì)數(shù)和雙對(duì)數(shù)模型,5.其它非線性模型,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,對(duì)于不可線性化的非線性回歸模型，可采用非線性最小二乘法或非線性極大似然法進(jìn)行估計(jì)。,第四節(jié) 非線性回歸分析,三、不可線性化的非線性回歸模型的估計(jì),如果只包含一個(gè)未知參數(shù)，則可寫成下面的形式,對(duì)于,相對(duì)應(yīng)的殘差平方和為,使上式達(dá)到最小的,即為非線性最小二乘估計(jì)量，,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第四節(jié) 非線性回歸分析,三、不可線性化的非線性回歸模型的估計(jì),應(yīng)該滿足以下條件：,即,根據(jù)極值理論，,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,高斯-牛頓法的計(jì)算步驟如下：,第四節(jié) 非線性回歸分析,第二步：令,將第二步代入第一步得,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,第四節(jié) 非線性回歸分析,三、不可線性化的非線性回歸模型的估計(jì),第三步：對(duì)上面模型進(jìn)行最小二乘估計(jì)，得到,的第一步估計(jì)值(第一次迭代值),第四步：用,代替第一步中的,直到收收斂為止。,，重復(fù)一至四步，,2020/11/19,統(tǒng)計(jì)學(xué)課件,第八章 相關(guān)與回歸分析,；,本 章 小 結(jié),本章介紹了相關(guān)與回歸分析的各種理論和方法，并對(duì)大多數(shù)問(wèn)題給出了實(shí)例。相關(guān)分析與回