概率論與數(shù)理統(tǒng)計(jì)A1課件

§9.1回歸分析的概念§9.2一元線性回歸§9.3可線性化的一元非線性回歸§9.4單因素試驗(yàn)方差分析

回歸分析及方差分析

Ch91§9.1回歸分析的概念回歸分析及方差分析Ch91“回歸”一詞的歷史淵源“回歸”一詞最早由FrancisGalton引入。十九世紀(jì)，英國生物學(xué)家兼統(tǒng)計(jì)學(xué)家高爾頓研究發(fā)現(xiàn)：

其中x表示父親身高，y表示成年兒子的身高（單位：英寸，1英寸=2.54厘米）。這表明子代的平均高度有向中心回歸的意思，使得一段時(shí)間內(nèi)人的身高相對(duì)穩(wěn)定。之后回歸分析的思想滲透到了數(shù)理統(tǒng)計(jì)的其它分支中。2“回歸”一詞的歷史淵源“回歸”一詞最早由Franc§9.1回歸分析的基本概念變量之間的關(guān)系確定性關(guān)系非確定性關(guān)系(相關(guān)關(guān)系)3§9.1回歸分析的基本概念變量之間的關(guān)系確定性關(guān)系非確定性關(guān)對(duì)變量間統(tǒng)計(jì)依賴關(guān)系的考察主要是通過相關(guān)分析(correlationanalysis)或回歸分析(regressionanalysis)來完成的。對(duì)于相關(guān)關(guān)系，雖然不能求出變量之間精確的函數(shù)關(guān)系式，但是通過大量的觀測(cè)數(shù)據(jù)，可以發(fā)現(xiàn)它們之間存在一定的統(tǒng)計(jì)規(guī)律性。4對(duì)變量間統(tǒng)計(jì)依賴關(guān)系的考察主要是通過相關(guān)分析對(duì)于相關(guān)關(guān)系，雖回歸分析是研究一個(gè)變量關(guān)于另一個(gè)（些）變量的具體依賴關(guān)系的計(jì)算方法和理論。分為：一元線性回歸、多元線性回歸、可線性化的非線性歸（雙曲線、指數(shù)、對(duì)數(shù)、二次、冪函數(shù)等）5回歸分析是研究一個(gè)變量關(guān)于另一個(gè)（些）變量的具體依賴關(guān)系的計(jì)基本方法考察隨機(jī)變量Y與普通變量x之間的相關(guān)關(guān)系.例1.在農(nóng)業(yè)生產(chǎn)中小麥的畝產(chǎn)量Y與所施肥料量x有一定關(guān)系，在一定范圍內(nèi)，若施肥量大，畝產(chǎn)也較高。問題：Y是怎樣依賴施肥料量x的變化的。問題的特征：x是普通變量,Y是隨機(jī)變量.處理方法：按數(shù)理統(tǒng)計(jì)處理問題的方法。6基本方法考察隨機(jī)變量Y與普通變量x之間的相關(guān)關(guān)系.例1.在農(nóng)(1)先進(jìn)行一些試驗(yàn)，分別取不同的值Y也得到

個(gè)相應(yīng)觀察值得到n對(duì)數(shù)據(jù)對(duì)，稱為樣本數(shù)據(jù)點(diǎn)(2)散點(diǎn)圖

Yxo····················7(1)先進(jìn)行一些試驗(yàn)，分別取不同的值Y也得到個(gè)相應(yīng)(3)尋找Y與x的數(shù)量關(guān)系：其中一般地，，

8(3)尋找Y與x的數(shù)量關(guān)系：其中一般地，，8

例1

合金的強(qiáng)度y(×107Pa)與合金中碳的含量x(%)有關(guān)。為研究兩個(gè)變量間的關(guān)系。首先是收集數(shù)據(jù)，我們把收集到的數(shù)據(jù)記為(xi,yi),i=1,2,,n。本例中，我們收集到12組數(shù)據(jù)，列于表1中進(jìn)行回歸分析首先是回歸函數(shù)形式的選擇。當(dāng)只有一個(gè)自變量時(shí)，通常可采用畫散點(diǎn)圖的方法進(jìn)行選擇。9例1合金的強(qiáng)度y(×107Pa)與合金中碳的含表1合金鋼強(qiáng)度y與碳含量x的數(shù)據(jù)

序號(hào)x(%)y(×107Pa)序號(hào)x(%)y(×107Pa)10.1042.070.1649.020.1143.080.1753.030.1245.090.1850.040.1345.0100.2055.050.1445.0110.2155.060.1547.5120.2360.010表1合金鋼強(qiáng)度y與碳含量x的數(shù)據(jù)序號(hào)x(%)y(×10為找出兩個(gè)量間存在的回歸函數(shù)的形式，可以畫一張圖：把每一對(duì)數(shù)(xi,yi)看成直角坐標(biāo)系中的一個(gè)點(diǎn)，在圖上畫出n個(gè)點(diǎn)，稱這張圖為散點(diǎn)圖，見右圖。11為找出兩個(gè)量間存在的回歸函數(shù)的形式，可以畫一張圖：

從散點(diǎn)圖我們發(fā)現(xiàn)12個(gè)點(diǎn)基本在一條直線附近，這說明兩個(gè)變量之間有一個(gè)線性相關(guān)關(guān)系，這個(gè)相關(guān)關(guān)系可以表示為

這便是y關(guān)于x的一元線性回歸的數(shù)據(jù)結(jié)構(gòu)式。通常假定

在對(duì)未知參數(shù)作區(qū)間估計(jì)或假設(shè)檢驗(yàn)時(shí)，還需要假定誤差服從正態(tài)分布，即顯然假定（2）比假定（1）強(qiáng)

12從散點(diǎn)圖我們發(fā)現(xiàn)12個(gè)點(diǎn)基本在一條直線附近，這說明由于0,1均未知，需要我們從收集到的數(shù)據(jù)(xi,yi)，i=1,2,…,n，出發(fā)進(jìn)行估計(jì)。在收集數(shù)據(jù)時(shí)，我們一般要求觀察獨(dú)立地進(jìn)行，即假定y1,y2,,yn,相互獨(dú)立。綜合上述諸項(xiàng)假定，我們可以給出最簡單、常用的一元線性回歸的數(shù)學(xué)模型：13由于0,1均未知，需要我們從收集到的數(shù)據(jù)(xi,yi§9.2一元線性回歸1.本節(jié)考慮的模型是其中都是未知參數(shù),為回歸系數(shù),分別是直線的截距和斜率。稱為Y關(guān)于x的經(jīng)驗(yàn)回歸函數(shù)

。方程

稱為Y關(guān)于x的經(jīng)驗(yàn)線性回歸方程，或經(jīng)驗(yàn)回歸方程，其相應(yīng)的圖形稱為經(jīng)驗(yàn)回歸直線。

此模型稱為一元線性回歸模型，基于此種模型的統(tǒng)計(jì)分析稱為一元線性回歸分析.14§9.2一元線性回歸1.本節(jié)考慮的模型是其中都是未知參2.下面用最小二乘法來求對(duì)于自變量x和因變量y的n對(duì)觀察值的最小二乘估計(jì)其中是對(duì)觀察時(shí)的隨機(jī)誤差.

的估計(jì)。152.下面用最小二乘法來求對(duì)于自變量x和因變量y的n對(duì)觀察值使得成立的

和

稱為和的最小二乘估計(jì)。

16使得成立的和稱為和的最小二乘估計(jì)。16于是得方程組17于是得方程組17解得，

記于是

18解得，記于是18例9.2.1設(shè)某化學(xué)過程的得率Y與該過程的溫度x有關(guān).現(xiàn)作了10次測(cè)量，其數(shù)據(jù)如下表所示.x/℃38434954606671778288y/%20.420.922.523.024.224.326.226.628.028.9解故于是得線性回歸方程19例9.2.1設(shè)某化學(xué)過程的得率Y與該過程的溫度x有關(guān).現(xiàn)作了由此給出回歸方程為:

例2

使用例1種合金鋼強(qiáng)度和碳含量數(shù)據(jù)求回歸方程。解20由此給出回歸方程為:例2使用例1種合金鋼強(qiáng)度和,.21,.21殘差顯然殘差的平方和定理9.2.2

是

的無偏估計(jì)。

22殘差顯然殘差的平方和定理9.2.2是的無偏估計(jì)。22例：求出例9.2.1中誤差方差的無偏估計(jì)

解 例9.2.1中已求出

所以23例：求出例9.2.1中誤差方差的無偏估計(jì)解 例9.定理9.2.3 對(duì)一元線性回歸模型（9.2.3），若進(jìn)一步假定隨機(jī)誤差，則有(1).(2)RSS與和相互獨(dú)立.24定理9.2.3 對(duì)一元線性回歸模型（9.2.3），若進(jìn)一步假4回歸方程的顯著性檢驗(yàn)

在使用回歸方程作進(jìn)一步的分析以前，首先應(yīng)對(duì)回歸方程是否有意義進(jìn)行判斷。如果1=0，那么不管x如何變化，E(y)不隨x的變化作線性變化，那么這時(shí)求得的一元線性回歸方程就沒有意義，稱回歸方程不顯著。如果10，E(y)隨x的變化作線性變化，稱回歸方程是顯著的。綜上，對(duì)回歸方程是否有意義作判斷就是要作如下的顯著性檢驗(yàn)：H0：1=0vsH1：10拒絕H0表示回歸方程是顯著的。254回歸方程的顯著性檢驗(yàn)在使用回歸方程作進(jìn)一步需要檢驗(yàn)假設(shè)方法：26需要檢驗(yàn)假設(shè)方法：26t檢驗(yàn)法27t檢驗(yàn)法27例9.2.3試說明例9.2.1中的線性回歸效果是否顯著解 要在水平

下檢驗(yàn)如下假設(shè)故查表知

因?yàn)?/p>

24.1260>3.3554，

所以拒絕，線性回歸效果是顯著的.28例9.2.3試說明例9.2.1中的線性回歸效果是否顯著解 5.回歸系數(shù)的置信區(qū)間的置信水平為

的置信區(qū)間為例9.2.4求例9.2.1中回歸系數(shù)

的置信水平為95%的置信區(qū)間.

解295.回歸系數(shù)的置信區(qū)間的置信水平為的置信區(qū)間為例9.2.如果經(jīng)檢驗(yàn)，回歸方程的線性回歸效果是顯著的，那么就可以用已經(jīng)獲得的回歸方程

進(jìn)行預(yù)測(cè).6.預(yù)測(cè)所謂預(yù)測(cè)（或稱預(yù)報(bào)），就是以一定的置信水平預(yù)測(cè)與

對(duì)應(yīng)的

的取值范圍.

稱為

的置信水平為

的預(yù)測(cè)區(qū)間，也稱為置信區(qū)間.30如果經(jīng)檢驗(yàn)，回歸方程的線性回歸效果是顯著的，那么就可以用已經(jīng)

方法——通過適當(dāng)?shù)淖兞孔儞Q,化成一元線性回歸問題進(jìn)行分析處理.兩邊取對(duì)數(shù)§

9.3、可化為一元線性回歸的問題31方法——通過適當(dāng)?shù)淖兞孔儞Q,化成一元線性兩邊取對(duì)數(shù)§9，，，，曲線變換變換后的線性式1雙曲函數(shù)2冪函數(shù)3指數(shù)函數(shù)4對(duì)數(shù)函數(shù)5倒指數(shù)函數(shù)6S型曲線32，，，，曲線變換變換后的線性式1雙曲函數(shù)2冪函數(shù)3指數(shù)函數(shù)4配曲線的一般方法是：33配曲線的一般方法是：33例9.3.1 一只紅鈴蟲的產(chǎn)卵數(shù)Y和溫度x有關(guān).經(jīng)觀測(cè)獲得一組紅鈴蟲產(chǎn)卵數(shù)與溫度的數(shù)據(jù)如下表所示.試求Y關(guān)于x的回歸方程.編號(hào)1234567溫度x/℃21232527293235產(chǎn)卵數(shù)y71121246611532534例9.3.1 一只紅鈴蟲的產(chǎn)卵數(shù)Y和溫度x有關(guān).經(jīng)觀測(cè)獲得一解 1.根據(jù)這組數(shù)據(jù)畫出散點(diǎn)圖.2.選擇模型作變換于是得到3.線性化35解 1.根據(jù)這組數(shù)據(jù)畫出散點(diǎn)圖.2.選擇模型作變換于是得到3編號(hào)1234567x212325272932351.94592.39793.04453.17814.18974.74495.7838根據(jù)這些數(shù)據(jù)可算得與的最小二乘估計(jì).經(jīng)計(jì)算于是得U關(guān)于x的回歸方程

36編號(hào)1234567x212325272932351.94594.非線性化

化為Y關(guān)于x的回歸方程為374.非線性化化為Y關(guān)于x的回歸方程為37§9.1回歸分析的概念§9.2一元線性回歸§9.3可線性化的一元非線性回歸§9.4單因素試驗(yàn)方差分析

回歸分析及方差分析

Ch938§9.1回歸分析的概念回歸分析及方差分析Ch91“回歸”一詞的歷史淵源“回歸”一詞最早由FrancisGalton引入。十九世紀(jì)，英國生物學(xué)家兼統(tǒng)計(jì)學(xué)家高爾頓研究發(fā)現(xiàn)：

其中x表示父親身高，y表示成年兒子的身高（單位：英寸，1英寸=2.54厘米）。這表明子代的平均高度有向中心回歸的意思，使得一段時(shí)間內(nèi)人的身高相對(duì)穩(wěn)定。之后回歸分析的思想滲透到了數(shù)理統(tǒng)計(jì)的其它分支中。39“回歸”一詞的歷史淵源“回歸”一詞最早由Franc§9.1回歸分析的基本概念變量之間的關(guān)系確定性關(guān)系非確定性關(guān)系(相關(guān)關(guān)系)40§9.1回歸分析的基本概念變量之間的關(guān)系確定性關(guān)系非確定性關(guān)對(duì)變量間統(tǒng)計(jì)依賴關(guān)系的考察主要是通過相關(guān)分析(correlationanalysis)或回歸分析(regressionanalysis)來完成的。對(duì)于相關(guān)關(guān)系，雖然不能求出變量之間精確的函數(shù)關(guān)系式，但是通過大量的觀測(cè)數(shù)據(jù)，可以發(fā)現(xiàn)它們之間存在一定的統(tǒng)計(jì)規(guī)律性。41對(duì)變量間統(tǒng)計(jì)依賴關(guān)系的考察主要是通過相關(guān)分析對(duì)于相關(guān)關(guān)系，雖回歸分析是研究一個(gè)變量關(guān)于另一個(gè)（些）變量的具體依賴關(guān)系的計(jì)算方法和理論。分為：一元線性回歸、多元線性回歸、可線性化的非線性歸（雙曲線、指數(shù)、對(duì)數(shù)、二次、冪函數(shù)等）42回歸分析是研究一個(gè)變量關(guān)于另一個(gè)（些）變量的具體依賴關(guān)系的計(jì)基本方法考察隨機(jī)變量Y與普通變量x之間的相關(guān)關(guān)系.例1.在農(nóng)業(yè)生產(chǎn)中小麥的畝產(chǎn)量Y與所施肥料量x有一定關(guān)系，在一定范圍內(nèi)，若施肥量大，畝產(chǎn)也較高。問題：Y是怎樣依賴施肥料量x的變化的。問題的特征：x是普通變量,Y是隨機(jī)變量.處理方法：按數(shù)理統(tǒng)計(jì)處理問題的方法。43基本方法考察隨機(jī)變量Y與普通變量x之間的相關(guān)關(guān)系.例1.在農(nóng)(1)先進(jìn)行一些試驗(yàn)，分別取不同的值Y也得到

個(gè)相應(yīng)觀察值得到n對(duì)數(shù)據(jù)對(duì)，稱為樣本數(shù)據(jù)點(diǎn)(2)散點(diǎn)圖

Yxo····················44(1)先進(jìn)行一些試驗(yàn)，分別取不同的值Y也得到個(gè)相應(yīng)(3)尋找Y與x的數(shù)量關(guān)系：其中一般地，，

45(3)尋找Y與x的數(shù)量關(guān)系：其中一般地，，8

例1

合金的強(qiáng)度y(×107Pa)與合金中碳的含量x(%)有關(guān)。為研究兩個(gè)變量間的關(guān)系。首先是收集數(shù)據(jù)，我們把收集到的數(shù)據(jù)記為(xi,yi),i=1,2,,n。本例中，我們收集到12組數(shù)據(jù)，列于表1中進(jìn)行回歸分析首先是回歸函數(shù)形式的選擇。當(dāng)只有一個(gè)自變量時(shí)，通?？刹捎卯嬌Ⅻc(diǎn)圖的方法進(jìn)行選擇。46例1合金的強(qiáng)度y(×107Pa)與合金中碳的含表1合金鋼強(qiáng)度y與碳含量x的數(shù)據(jù)

序號(hào)x(%)y(×107Pa)序號(hào)x(%)y(×107Pa)10.1042.070.1649.020.1143.080.1753.030.1245.090.1850.040.1345.0100.2055.050.1445.0110.2155.060.1547.5120.2360.047表1合金鋼強(qiáng)度y與碳含量x的數(shù)據(jù)序號(hào)x(%)y(×10為找出兩個(gè)量間存在的回歸函數(shù)的形式，可以畫一張圖：把每一對(duì)數(shù)(xi,yi)看成直角坐標(biāo)系中的一個(gè)點(diǎn)，在圖上畫出n個(gè)點(diǎn)，稱這張圖為散點(diǎn)圖，見右圖。48為找出兩個(gè)量間存在的回歸函數(shù)的形式，可以畫一張圖：

從散點(diǎn)圖我們發(fā)現(xiàn)12個(gè)點(diǎn)基本在一條直線附近，這說明兩個(gè)變量之間有一個(gè)線性相關(guān)關(guān)系，這個(gè)相關(guān)關(guān)系可以表示為

這便是y關(guān)于x的一元線性回歸的數(shù)據(jù)結(jié)構(gòu)式。通常假定

在對(duì)未知參數(shù)作區(qū)間估計(jì)或假設(shè)檢驗(yàn)時(shí)，還需要假定誤差服從正態(tài)分布，即顯然假定（2）比假定（1）強(qiáng)

49從散點(diǎn)圖我們發(fā)現(xiàn)12個(gè)點(diǎn)基本在一條直線附近，這說明由于0,1均未知，需要我們從收集到的數(shù)據(jù)(xi,yi)，i=1,2,…,n，出發(fā)進(jìn)行估計(jì)。在收集數(shù)據(jù)時(shí)，我們一般要求觀察獨(dú)立地進(jìn)行，即假定y1,y2,,yn,相互獨(dú)立。綜合上述諸項(xiàng)假定，我們可以給出最簡單、常用的一元線性回歸的數(shù)學(xué)模型：50由于0,1均未知，需要我們從收集到的數(shù)據(jù)(xi,yi§9.2一元線性回歸1.本節(jié)考慮的模型是其中都是未知參數(shù),為回歸系數(shù),分別是直線的截距和斜率。稱為Y關(guān)于x的經(jīng)驗(yàn)回歸函數(shù)

。方程

稱為Y關(guān)于x的經(jīng)驗(yàn)線性回歸方程，或經(jīng)驗(yàn)回歸方程，其相應(yīng)的圖形稱為經(jīng)驗(yàn)回歸直線。

此模型稱為一元線性回歸模型，基于此種模型的統(tǒng)計(jì)分析稱為一元線性回歸分析.51§9.2一元線性回歸1.本節(jié)考慮的模型是其中都是未知參2.下面用最小二乘法來求對(duì)于自變量x和因變量y的n對(duì)觀察值的最小二乘估計(jì)其中是對(duì)觀察時(shí)的隨機(jī)誤差.

的估計(jì)。522.下面用最小二乘法來求對(duì)于自變量x和因變量y的n對(duì)觀察值使得成立的

和

稱為和的最小二乘估計(jì)。

53使得成立的和稱為和的最小二乘估計(jì)。16于是得方程組54于是得方程組17解得，

記于是

55解得，記于是18例9.2.1設(shè)某化學(xué)過程的得率Y與該過程的溫度x有關(guān).現(xiàn)作了10次測(cè)量，其數(shù)據(jù)如下表所示.x/℃38434954606671778288y/%20.420.922.523.024.224.326.226.628.028.9解故于是得線性回歸方程56例9.2.1設(shè)某化學(xué)過程的得率Y與該過程的溫度x有關(guān).現(xiàn)作了由此給出回歸方程為:

例2

使用例1種合金鋼強(qiáng)度和碳含量數(shù)據(jù)求回歸方程。解57由此給出回歸方程為:例2使用例1種合金鋼強(qiáng)度和,.58,.21殘差顯然殘差的平方和定理9.2.2

是

的無偏估計(jì)。

59殘差顯然殘差的平方和定理9.2.2是的無偏估計(jì)。22例：求出例9.2.1中誤差方差的無偏估計(jì)

解 例9.2.1中已求出

所以60例：求出例9.2.1中誤差方差的無偏估計(jì)解 例9.定理9.2.3 對(duì)一元線性回歸模型（9.2.3），若進(jìn)一步假定隨機(jī)誤差，則有(1).(2)RSS與和相互獨(dú)立.61定理9.2.3 對(duì)一元線性回歸模型（9.2.3），若進(jìn)一步假4回歸方程的顯著性檢驗(yàn)

在使用回歸方程作進(jìn)一步的分析以前，首先應(yīng)對(duì)回歸方程是否有意義進(jìn)行判斷。如果1=0，那么不管x如何變化，E(y)不隨x的變化作線性變化，那么這時(shí)求得的一元線性回歸方程就沒有意義，稱回歸方程不顯著。如果10，E(y)隨x的變化作線性變化，稱回歸方程是顯著的。綜上，對(duì)回歸方程是否有意義作判斷就是要作如下的顯著性檢驗(yàn)：H0：1=0vsH1：10拒絕H0表示回歸方程是顯著的。624回歸方程的顯著性檢驗(yàn)在使用回歸方程作進(jìn)一步需要檢驗(yàn)假設(shè)方法：63需要檢驗(yàn)假設(shè)方法：26t檢驗(yàn)法64t檢驗(yàn)法27例9.2.3試說明例9.2.1中的線性回歸效果是否顯著解 要在水平

下檢驗(yàn)如下假設(shè)故查表知

因?yàn)?/p>

24.1260>3.3554，

所以拒絕，線性回歸效果是顯著的.65例9.2.3試說明例9.2.1中的線性回歸效果是否顯著解 5.回歸系數(shù)的置信區(qū)間的置信水平為

的置信區(qū)間為例9.2.4求例9.2.1中回歸