第六章回歸分析-yj

6-1第六章回歸分析(regressionanalysis)

6-2表達(dá)變量之間的關(guān)系

問題：

測(cè)量與數(shù)據(jù)處理的目的不是被測(cè)量的估計(jì)值，而是尋找兩個(gè)或多個(gè)變量之間的內(nèi)在關(guān)系。目的被測(cè)量的估計(jì)值及其精度變量間的關(guān)系及其精度第五、六章的比較

第六章回歸分析6-3可由回歸分析得到表達(dá)變量之間的關(guān)系

散點(diǎn)圖、表格、曲線

簡(jiǎn)單明了，但不能深刻反映變量間的內(nèi)在關(guān)系，且使用不方便。數(shù)學(xué)表達(dá)式形式嚴(yán)密，能充分表達(dá)變量間的關(guān)系問題：

測(cè)量與數(shù)據(jù)處理的目的不是被測(cè)量的估計(jì)值，而是尋找兩個(gè)或多個(gè)變量之間的內(nèi)在關(guān)系。第六章回歸分析大綱要求理解回歸分析的基本概念。掌握一元線性回歸方法。了解兩個(gè)變量都具有誤差時(shí)的線性回歸方程。了解一元線性回歸方法。了解多元線性回歸方法。6-46-5第一節(jié)回歸分析的基本概念一、函數(shù)與相關(guān)1.函數(shù)關(guān)系（確定性關(guān)系）（functionrelation）

如以速度作勻速運(yùn)動(dòng)的物體，走過的距離與時(shí)間之間，有如下的函數(shù)關(guān)系

定義:可以用明確的函數(shù)關(guān)系式精確地表示出來如電路中的歐姆定律:I=V/R。等等6-6第一節(jié)回歸分析的基本概念一、函數(shù)與相關(guān)定義：這些變量之間既存在著密切的關(guān)系，又不能由一個(gè)（或幾個(gè)）自變量的數(shù)值精確地求出另一個(gè)因變量的數(shù)值，而是要通過試驗(yàn)和調(diào)查研究，并從統(tǒng)計(jì)的角度，才能確定它們之間的關(guān)系。

2.相關(guān)關(guān)系（隨機(jī)性關(guān)系）（correlationrelation）如人的身高(y)與體重(x)之間的關(guān)系如零件加工誤差和直徑之間的關(guān)系如某種高檔消費(fèi)品的銷售量與城鎮(zhèn)居民收人之間的關(guān)系6-73、函數(shù)與相關(guān)的關(guān)系

函數(shù)和相關(guān)雖然是兩種不同類型的變量關(guān)系，但它們之間并無(wú)嚴(yán)格的界限。

一方面由于測(cè)量誤差的原因，使確定的關(guān)系以相關(guān)關(guān)系表現(xiàn)出來。另一方面，當(dāng)對(duì)事物內(nèi)部規(guī)律性了解得更加深刻的時(shí)候，相關(guān)關(guān)系又能轉(zhuǎn)化為確定性關(guān)系。一、函數(shù)與相關(guān)第一節(jié)回歸分析的基本概念6-8二、回歸分析的主要內(nèi)容

3、

進(jìn)行因素分析，確定各因素的影響程度。例如對(duì)于共同影響一個(gè)變量的許多變量（因素）中，找出哪些是重要因素，哪些是次要因素。

回歸分析是英國(guó)生物學(xué)家兼統(tǒng)計(jì)學(xué)家高爾頓（Galton）在1889年出版的《自然遺傳》一書中首先提出的，是處理變量之間相關(guān)關(guān)系的一種數(shù)理統(tǒng)計(jì)方法。本章主要內(nèi)容：1、從一組數(shù)據(jù)出發(fā)，確定這些變量之間的數(shù)學(xué)表達(dá)式----回歸方程或經(jīng)驗(yàn)公式。

2、對(duì)回歸方程的可信程度進(jìn)行統(tǒng)計(jì)檢驗(yàn)。

第一節(jié)回歸分析的基本概念6-9第五、六章的比較

目的被測(cè)量的估計(jì)值及其精度變量間的關(guān)系及其精度關(guān)系函數(shù)關(guān)系(如:y=y0(1+αt)相關(guān)關(guān)系(如:y=b0+b1x)第一節(jié)回歸分析的基本概念6-10第二節(jié)一元線性回歸

一、一元線性回歸方程

二、回歸方程的方差分析及顯著性檢驗(yàn)

三、重復(fù)試驗(yàn)情況

四、回歸直線的簡(jiǎn)便求法(自學(xué))

6-11一、一元線性回歸方程(onedimensionallinearregessionequation)第二節(jié)一元線性回歸6-12(一)回歸方程求法（1）建立回歸模型(回答“變量之間是什么樣的關(guān)系?”)回歸模型一元回歸線性回歸非線性回歸線性回歸非線性回歸多元回歸一個(gè)自變量?jī)蓚€(gè)及兩個(gè)以上自變量回歸模型：描述因變量y如何依賴于自變量和誤差項(xiàng)的方程稱為回歸模型.一元線性回歸：確定兩個(gè)變量之間的線性關(guān)系，即直線擬合問題。第二節(jié)一元線性回歸6-13例：確定某段導(dǎo)線的電阻與溫度之間的關(guān)系：19.125.030.136.040.046.550.076.3077.8079.7580.8082.3583.9085.10散點(diǎn)圖：202530354045507678828084（1）建立回歸模型(一)回歸方程求法

例6-1第二節(jié)一元線性回歸6-14從散點(diǎn)圖可以看出：電阻與溫度大致成線性關(guān)系。設(shè)測(cè)量數(shù)據(jù)有如下結(jié)構(gòu)形式：式中，分別表示其它隨機(jī)因素對(duì)電阻影響的總和。（1）建立回歸模型(一)回歸方程求法

例6-11、誤差項(xiàng)是一個(gè)服從正態(tài)分布的隨機(jī)變量，且相互獨(dú)立。即假定：2、xi可以是隨機(jī)變量，也可是一般變量，不特別指出時(shí)，都做一般變量處理，即它是可以精確測(cè)量或嚴(yán)格控制的變量。一元線性回歸模型第二節(jié)一元線性回歸6-15(一)回歸方程求法

例6-1（1）建立回歸模型

一元線性回歸模型模型中，是的線性函數(shù)部分加上誤差項(xiàng)線性部分反映了由于的變化而引起的變化誤差項(xiàng)是隨機(jī)變量反映了除和之間的線性關(guān)系之外的隨機(jī)因素對(duì)的影響是不能由和之間的線性關(guān)系所解釋的變異性第二節(jié)一元線性回歸6-16(一)回歸方程求法

設(shè)b0和b1分別為

0和

的估計(jì)值，得到(經(jīng)驗(yàn)）回歸方程：

1、

圖解法（緊繩法）（了解）2、

分組法（平均值法）

（了解）3、

最小二乘法（2）求回歸方程

第二節(jié)一元線性回歸6-17：要求電阻y與溫度x的關(guān)系，即根據(jù)測(cè)量數(shù)據(jù)要求出β0和β的估計(jì)值。根據(jù)測(cè)量數(shù)據(jù)，可以得到7個(gè)測(cè)量方程。結(jié)合前面所學(xué)，未知數(shù)有兩個(gè)，而方程個(gè)數(shù)大于未知數(shù)的個(gè)數(shù)，適合于用最小二乘法求解。最小二乘法求回歸方程思路第二節(jié)一元線性回歸6-18最小二乘法求回歸方程對(duì)每一個(gè)xi，由右式可以確定一個(gè)回歸值

，因此有殘差方程：用矩陣形式，令第二節(jié)一元線性回歸6-19由最小二乘法，得到最小二乘法求回歸方程這里第二節(jié)一元線性回歸6-20第五、六章的比較

目的被測(cè)量的估計(jì)值及其精度變量間的關(guān)系及其精度關(guān)系函數(shù)關(guān)系(如:y=y0(1+αt)相關(guān)關(guān)系(如:y=b0+b1x)正規(guī)方程

第二節(jié)一元線性回歸6-21代入解得：式中：

l表示離差積之和回歸方程：

或者最小二乘法求回歸方程第二節(jié)一元線性回歸6-22最小二乘法求回歸方程ix/oCy/Ωx2/oC2xy/(ΩoC)y2/Ω2123456719.125.030.136.040.046.550.076.3077.8079.7580.8082.3583.9085.10364.81625.00906.011296.001600.002162.252500.001457.3301945.0002400.4752908.8003294.0003901.3504255.0005821.6906052.8406360.0626528.8406781.5227039.2107242.010Σ246.7566.009454.0720161.95545825.974表

6.1第二節(jié)一元線性回歸6-23最小二乘法求回歸方程N(yùn)=7x/oCy/Ωx2/oC2xy/(ΩoC)y2/Ω2Σ246.7566.009454.0720161.95545825.974第二節(jié)一元線性回歸6-24（二）回歸方程的穩(wěn)定性

穩(wěn)定性是指回歸值的波動(dòng)大小，用表示。波動(dòng)越小，穩(wěn)定性越好。

目的被測(cè)量的估計(jì)值及其精度變量間的關(guān)系及其精度關(guān)系函數(shù)關(guān)系(如:y=y0(1+αt)相關(guān)關(guān)系(如:y=b0+b1x)正規(guī)方程(ATA)X=ATL(XTX)b=XTY

精度估計(jì)觀測(cè)量yσ2

=Σvi2/(N-t)σ2

=Q/(N-2)

y作為直接觀測(cè)量，它的一次性測(cè)量的離散度用殘余標(biāo)準(zhǔn)差σ表示。第二節(jié)一元線性回歸6-25（二）回歸方程的穩(wěn)定性

穩(wěn)定性是指回歸值的波動(dòng)大小，用表示。波動(dòng)越小，穩(wěn)定性越好。

回歸方程：

有：

根據(jù)隨機(jī)誤差傳遞與合成公式：

第二節(jié)一元線性回歸6-26(二)回歸方程的穩(wěn)定性

是觀測(cè)量y的標(biāo)準(zhǔn)差

第二節(jié)一元線性回歸6-27因此，有

（二）回歸方程的穩(wěn)定性

回歸系數(shù)b0的方差不僅與觀測(cè)量y的方差σ有關(guān)，而且還與自變量x的取值范圍、數(shù)據(jù)個(gè)數(shù)N有關(guān)：x取值范圍越大，b0的離散度越小。

N越大，σ2bo越小?；貧w系數(shù)b1的方差與觀察量y的方差σ、自變量x的取值范圍有關(guān)。

第二節(jié)一元線性回歸6-28第五、六章的比較

目的被測(cè)量的估計(jì)值及其精度變量間的關(guān)系及其精度關(guān)系函數(shù)關(guān)系(如:y=y0(1+αt)相關(guān)關(guān)系(如:y=b0+b1x)正規(guī)方程(ATA)X=ATL(XTX)b=XTY精度估計(jì)觀測(cè)量y

σ2

=Σvi2/(N-t)σ2

=Q/(N-2)估計(jì)量第二節(jié)一元線性回歸6-29回歸值的波動(dòng)大小不僅與殘余標(biāo)準(zhǔn)差σ有關(guān)，而且還取決于試驗(yàn)次數(shù)N及自變量x取值范圍。

（二）回歸方程的穩(wěn)定性

第二節(jié)一元線性回歸6-30提高回歸方程穩(wěn)定性的方法(1)提高觀測(cè)數(shù)據(jù)y本身的精度(2)盡可能增大觀測(cè)數(shù)據(jù)中自變量的取值范圍(3)增加觀測(cè)次數(shù)第二節(jié)一元線性回歸(4)用回歸方程進(jìn)行預(yù)報(bào)時(shí)，x盡量不超出取值范圍6-31第五、六章的比較

目的被測(cè)量的估計(jì)值及其精度變量間的關(guān)系及其精度關(guān)系函數(shù)關(guān)系(如:y=y0(1+αt)相關(guān)關(guān)系(如:y=b0+b1x)正規(guī)方程(ATA)X=ATL(XTX)b=XTY精度估計(jì)觀測(cè)量y

σ2

=Σvi2/(N-t)σ2

=Q/(N-2)估計(jì)量a、b估計(jì)量？第二節(jié)一元線性回歸6-32二、回歸方程的方差分析及顯著性檢驗(yàn)

第二節(jié)一元線性回歸6-33問題：這回歸直線是否真正符合y與x之間的客觀規(guī)律？回歸直線的預(yù)報(bào)精度如何?二、回歸方程的方差分析及顯著性檢驗(yàn)方差分析法，顯著性檢驗(yàn)

回歸方程當(dāng)我們得到一個(gè)實(shí)際問題的回歸方程后，還不能馬上就用它去作分析和預(yù)測(cè)，因?yàn)榛貧w方程是否真正描述了變量y與x之間的統(tǒng)計(jì)規(guī)律性，還需運(yùn)用統(tǒng)計(jì)方法進(jìn)行檢驗(yàn)。第二節(jié)一元線性回歸6-34（一）回歸問題的方差分析

觀測(cè)值之間的差異來源于兩個(gè)方面自變量x取值的不同,及x,y間的線性關(guān)系;其它因素(如x對(duì)y的非線性影響、測(cè)量誤差等)的影響.第二節(jié)一元線性回歸6-35離差平方和的分解圖示n個(gè)觀測(cè)值之間的差異性可用離差（實(shí)際觀測(cè)值與均值之差來表示）平方和S表示，稱為總變差(x,y)第二節(jié)一元線性回歸6-36三個(gè)平方和的關(guān)系

殘余平方和：000=0第二節(jié)一元線性回歸6-37三個(gè)平方和的關(guān)系S=Q+U其中U—回歸平方和，反映總變差中由于x和y的線性關(guān)系而引起y變化的部分。Q—?dú)堄嗥椒胶停从乘杏^測(cè)點(diǎn)到回歸直線的殘余誤差，即其它因素對(duì)y變差的影響。第二節(jié)一元線性回歸6-38三個(gè)平方和的自由度因?yàn)镹個(gè)變量

有且只有一個(gè)約束條件三.自由度及其確定

P.86因?yàn)?，只有一個(gè)x是自由變量。因?yàn)関S=vU+vQ

。第二節(jié)一元線性回歸6-39自由度計(jì)算公式在總的偏離中除了對(duì)線性影響之外的其它因素而引起變化的大小在總的偏差中因和的線性關(guān)系而引起變化的大小總偏差平方和

回歸平方和殘余平方和意義反映N個(gè)觀測(cè)值之間的變差三個(gè)平方和的意義第二節(jié)一元線性回歸6-401、計(jì)算檢驗(yàn)統(tǒng)計(jì)量2、在給定顯著性水平α下，由分布表查得臨界值Fα(1,N-2);3、若F>Fα(1,N-2)，則認(rèn)為該回歸效果顯著。反之，則不顯著。即基本思路：方程是否顯著取決于U和Q的大小，U越大，Q越小，說明y與x的線性關(guān)系愈密切。（二）回歸方程顯著性檢驗(yàn)—F檢驗(yàn)法第二節(jié)一元線性回歸6-41給定顯著水平

，一般取=0.01或0.05，0.1當(dāng)時(shí)，則認(rèn)為回歸是高度顯著的（或稱在0.01水平上顯著）；當(dāng)時(shí)，認(rèn)為回歸是顯著的（或稱在0.05水平上顯著）；當(dāng)時(shí)，認(rèn)為在0.1水平上顯著；當(dāng)時(shí)，回歸不顯著，此時(shí)y對(duì)x的線性關(guān)系不密切。第二節(jié)一元線性回歸6-42（三）殘余方差與殘余標(biāo)準(zhǔn)差殘余平方和Q除以它的自由度vQ所得的商稱為殘余方差。殘余標(biāo)準(zhǔn)差：它是排除了x

對(duì)y的線性影響后，衡量y隨機(jī)波動(dòng)的特征量。第二節(jié)一元線性回歸可用于衡量所有的隨機(jī)因素對(duì)y的一次性觀測(cè)的平均變差的大小，殘余標(biāo)準(zhǔn)差越小，回歸直線的精度越高。6-43(四）方差分析表

來源平方和自由度方差F顯著度回歸

1——?dú)堄郚-2————總計(jì)N-1——Fα(1,N-2)——第二節(jié)一元線性回歸6-44方差分析(例題)

來源平方和自由度方差F顯著度回歸60.574

1——1180α=0.01殘余0.25750.0514————總計(jì)60.8315——Fα(1,N-2)——Fα(1,5)=16.20F>Fα(1,5)：回歸方程可信賴程度為99%以上，為高度顯著的。第二節(jié)一元線性回歸6-45小結(jié)對(duì)N個(gè)觀測(cè)值與其算術(shù)平均值之差的平方和進(jìn)行分解S=Q+U；從量值上區(qū)別對(duì)Ｎ個(gè)觀測(cè)值的影響因素；用F檢驗(yàn)法對(duì)所求回歸方程進(jìn)行顯著性檢驗(yàn)。

方差分析法第二節(jié)一元線性回歸6-46三、重復(fù)試驗(yàn)情況第二節(jié)一元線性回歸6-47(一)重復(fù)試驗(yàn)的意義“回歸方程顯著”：只表明因素x的一次項(xiàng)對(duì)y的影響顯著；但并沒有告訴我們影響y的是否還有其它不可忽略的因素？x和y是否確為線性關(guān)系?并不表明線性方程是擬合得最好的方程.第二節(jié)一元線性回歸6-48

為檢驗(yàn)一個(gè)回歸方程擬合的好壞，可通過重復(fù)試驗(yàn)，獲得誤差平方和QE和失擬平方和QL，然后用QE對(duì)QL進(jìn)行F檢驗(yàn)。(二)重復(fù)試驗(yàn)回歸直線的求法2、重復(fù)試驗(yàn)回歸直線的求法1）設(shè)N個(gè)試驗(yàn)點(diǎn)，每個(gè)試驗(yàn)點(diǎn)重復(fù)m次試驗(yàn)，則將這m次試驗(yàn)取平均值，然后再按照前面的方法進(jìn)行擬合，見表6－5和表6－6。2）方差分析第二節(jié)一元線性回歸6-49(二)重復(fù)試驗(yàn)回歸直線的求法設(shè)有N個(gè)試驗(yàn)點(diǎn)，每個(gè)試驗(yàn)點(diǎn)重復(fù)m次試驗(yàn)，則將這m次試驗(yàn)取平均值，然后再按照前面的最小二乘方法進(jìn)行擬合。例6-3

用標(biāo)準(zhǔn)壓力計(jì)對(duì)某固體壓力傳感器進(jìn)行檢定，檢定數(shù)據(jù)如表。表中xi為標(biāo)準(zhǔn)壓力，yij為傳感器輸出電壓，為四次讀數(shù)的平均值。試對(duì)儀器定標(biāo)，并分析儀器的誤差。第二節(jié)一元線性回歸6-50(二)重復(fù)試驗(yàn)回歸直線的求法ixiyi1

yi2yi3yi412345678910110123456789102.789.7016.6023.5430.4437.3544.2851.1958.0664.9271.732.809.7616.7123.5630.5137.4544.3551.2558.0864.9671.732.809.7816.7023.5830.5437.4244.3051.1858.1264.9471.752.869.7816.7623.7130.6437.5044.3851.2558.1465.0071.752.81009.755016.692523.597530.532537.430044.327551.217558.100064.955071.7400第二節(jié)一元線性回歸6-51(二)重復(fù)試驗(yàn)回歸直線的求法ixyx2y2xy12345678910110123456789102.81009.755016.692523.597530.532537.430044.327551.217558.100064.955071.740001491625364964811007.896195.1600278.6396556.8420932.23361401.00491964.92732623.23233375.61004219.15205146.62760.00009.750033.385070.7925122.1300187.1500265.9650358.5225464.8000584.5950717.4000Σ55411.157538526601.32542814.4950第二節(jié)一元線性回歸6-52(二)重復(fù)試驗(yàn)回歸直線的求法N=11xyx2y2xyΣ55411.157538526601.32542814.4950第二節(jié)一元線性回歸6-53總的離差平方和(三)方差分析第二節(jié)一元線性回歸6-54反映模型不當(dāng)所引起的波動(dòng)(三)方差分析離差平方和:誤差平方和:失擬平方和:回歸平方和:第二節(jié)一元線性回歸6-55(三)方差分析(F檢驗(yàn))2.若F1>Fα(vQL,vQE)，說明：1)

影響y的除x外，至