第一節(jié)一元線性回歸分析

1、第一節(jié)第一節(jié) 一元線性回歸分析一元線性回歸分析第二節(jié)第二節(jié) 多元線性回歸分析多元線性回歸分析第三節(jié)第三節(jié) 幾類(lèi)一元非線性回歸幾類(lèi)一元非線性回歸第六章回歸分析第六章回歸分析一、一元線性回歸模型一、一元線性回歸模型二、未知參數(shù)的估計(jì)二、未知參數(shù)的估計(jì)三、參數(shù)估計(jì)量的分布三、參數(shù)估計(jì)量的分布第第6.1節(jié)一元線性回歸分析節(jié)一元線性回歸分析四、參數(shù)四、參數(shù) 的顯著性檢驗(yàn)的顯著性檢驗(yàn)五、預(yù)測(cè)五、預(yù)測(cè)變量之間的關(guān)系變量之間的關(guān)系確定性關(guān)系確定性關(guān)系相關(guān)關(guān)系相關(guān)關(guān)系2rs 確定性關(guān)系確定性關(guān)系身高和體重身高和體重相關(guān)關(guān)系相關(guān)關(guān)系相關(guān)關(guān)系的特征是相關(guān)關(guān)系的特征是:變量之間的關(guān)系很難用一變量之間的關(guān)系很難用一種精

2、確的方法表示出來(lái)種精確的方法表示出來(lái).0、回歸分析的基本思想、回歸分析的基本思想確定性關(guān)系確定性關(guān)系和和相關(guān)關(guān)系相關(guān)關(guān)系的聯(lián)系的聯(lián)系由于存在測(cè)量誤差等原因由于存在測(cè)量誤差等原因,確定性關(guān)系在實(shí)際確定性關(guān)系在實(shí)際問(wèn)題中往往通過(guò)相關(guān)關(guān)系表示出來(lái)問(wèn)題中往往通過(guò)相關(guān)關(guān)系表示出來(lái);另一方面另一方面,當(dāng)對(duì)當(dāng)對(duì)事物內(nèi)部規(guī)律了解得更加深刻時(shí)事物內(nèi)部規(guī)律了解得更加深刻時(shí),相關(guān)關(guān)系也有可相關(guān)關(guān)系也有可能轉(zhuǎn)化為確定性關(guān)系能轉(zhuǎn)化為確定性關(guān)系.回歸分析回歸分析處理變量之間的相關(guān)關(guān)系的一處理變量之間的相關(guān)關(guān)系的一種數(shù)學(xué)方法種數(shù)學(xué)方法,它是最常用的數(shù)理統(tǒng)計(jì)方法它是最常用的數(shù)理統(tǒng)計(jì)方法.線線 性回歸分析性回歸分析非線性回歸分

3、析非線性回歸分析回回歸歸分分析析一元線性回歸分析一元線性回歸分析多元線性回歸分析多元線性回歸分析 ()()yx設(shè)隨機(jī)變量因變量 和普通變量 自變量 之設(shè)隨機(jī)變量因變量 和普通變量 自變量 之間存在著相關(guān)關(guān)系間存在著相關(guān)關(guān)系xy1x2x1c2c)(2x .,)( 的分布函數(shù)的分布函數(shù)的的所對(duì)應(yīng)所對(duì)應(yīng)時(shí)時(shí)確定的值確定的值取取表示當(dāng)表示當(dāng)yxxxyf. )(yey的數(shù)學(xué)期望的數(shù)學(xué)期望考察考察)()(xyexy 的的回回歸歸函函數(shù)數(shù)關(guān)關(guān)于于 xy問(wèn)題的分析問(wèn)題的分析一、一元線性回歸的數(shù)學(xué)模型一、一元線性回歸的數(shù)學(xué)模型)()(xyexy 2, ( ), () .ceec因因?yàn)闉閷?duì)對(duì)隨隨機(jī)機(jī)變變量量當(dāng)當(dāng)時(shí)

4、時(shí)達(dá)達(dá)到到最最小小2( ),( ) .xxye yx 所所以以在在一一切切 的的函函數(shù)數(shù)中中以以回回歸歸函函數(shù)數(shù)作作為為的的近近似似 均均方方誤誤差差為為最最小小( ).x 在在實(shí)實(shí)際際問(wèn)問(wèn)題題中中 一一般般未未知知回歸分析的任務(wù)回歸分析的任務(wù)根據(jù)試驗(yàn)數(shù)據(jù)估計(jì)回歸根據(jù)試驗(yàn)數(shù)據(jù)估計(jì)回歸函數(shù)函數(shù);討論回歸函數(shù)中參數(shù)的點(diǎn)估計(jì)討論回歸函數(shù)中參數(shù)的點(diǎn)估計(jì)、區(qū)間估計(jì)區(qū)間估計(jì);對(duì)回歸函數(shù)中的參數(shù)或者回歸函數(shù)本身進(jìn)行假設(shè)對(duì)回歸函數(shù)中的參數(shù)或者回歸函數(shù)本身進(jìn)行假設(shè)檢驗(yàn)檢驗(yàn);利用回歸函數(shù)進(jìn)行預(yù)測(cè)與控制等等利用回歸函數(shù)進(jìn)行預(yù)測(cè)與控制等等.回歸問(wèn)題的一般提法回歸問(wèn)題的一般提法., 212121果果的的獨(dú)獨(dú)立立觀觀察察

5、結(jié)結(jié)處處對(duì)對(duì)分分別別是是在在設(shè)設(shè)的的一一組組不不完完全全相相同同的的值值對(duì)對(duì)yxxxyyyxxxxnnn.),( ,),(),(2211是一個(gè)樣本是一個(gè)樣本稱(chēng)稱(chēng)nnyxyxyx).,( ,),(),( 2211nnyxyxyx對(duì)應(yīng)的樣本值記為對(duì)應(yīng)的樣本值記為).(xxy 的的回回歸歸函函數(shù)數(shù)關(guān)關(guān)于于利利用用樣樣本本來(lái)來(lái)估估計(jì)計(jì)求解步驟求解步驟1.推測(cè)回歸函數(shù)的形式推測(cè)回歸函數(shù)的形式方法一根據(jù)專(zhuān)業(yè)知識(shí)或者經(jīng)驗(yàn)公式確定方法一根據(jù)專(zhuān)業(yè)知識(shí)或者經(jīng)驗(yàn)公式確定;方法二作散點(diǎn)圖觀察方法二作散點(diǎn)圖觀察.例例1為研究某一化學(xué)反應(yīng)過(guò)程中為研究某一化學(xué)反應(yīng)過(guò)程中,溫度溫度x(oc)對(duì)產(chǎn)對(duì)產(chǎn)品得率品得率y(%)的影響

6、的影響,測(cè)得數(shù)據(jù)如下測(cè)得數(shù)據(jù)如下.溫度溫度x(oc)得率得率y(%)10011012013014015016017018019045 51 54 61 66 70 74 78 85 89用用matlab畫(huà)出散點(diǎn)圖畫(huà)出散點(diǎn)圖, ( ).xx 觀觀察察散散點(diǎn)點(diǎn)圖圖具具有有線線性性函函數(shù)數(shù)的的形形式式x=100:10:190;y=45,51,54,61,66,70,74,78,85,89;plot(x,y,.r)( )xx一元線性回歸問(wèn)題一元線性回歸問(wèn)題22 (,),.xynxx 假假設(shè)設(shè)對(duì)對(duì)于于 的的每每一一個(gè)個(gè)值值有有 都都是是不不依依賴(lài)賴(lài)于于 的的未未知知參參數(shù)數(shù) 2.建立回歸模型建立回歸模型

7、(),yx記記那那么么220, ( ,).,.yxnx 是是不不依依賴(lài)賴(lài)于于 的的未未知知參參數(shù)數(shù)一元線性回歸模型一元線性回歸模型的線性函數(shù)的線性函數(shù)x隨機(jī)誤差隨機(jī)誤差二、未知參數(shù)的估計(jì)二、未知參數(shù)的估計(jì)2211,()min()nniiiiiiyxyx 20, ( ,).yxn1122(,),(,),(,),nnx yx yx y對(duì)于樣本它滿(mǎn)足對(duì)于樣本它滿(mǎn)足20,( ,),.iiiiiyxn 各各 相相互互獨(dú)獨(dú)立立21 2(,), , .iiynxin于于是是 1. ( , )的最小二乘估計(jì)的最小二乘估計(jì)使得下式成立的使得下式成立的( , )的估計(jì)的估計(jì) 稱(chēng)為其最小二乘估稱(chēng)為其最小二乘估計(jì)計(jì).

8、, 求求q的最小值可以利用微分法的最小值可以利用微分法21 ( ,)() ,niiiqyx 設(shè)設(shè)求求偏偏導(dǎo)導(dǎo)可可得得120 ( ,) ()niiiqyx 111211120 ( ,) ()() ()()niiiinniiiinnniiiiiiiqx yxnxyxxxy 正規(guī)方程組正規(guī)方程組, 01211 niiniiniixxxn121()(),()niiiniixx yyxx ,yx1111,.nniiiixx yynn其其中中由于由于則方程組的解為則方程組的解為112211 ,()()(),(),(nniiiiiinniiiiyxxx yyxx yxxxx的的最最小小二二乘乘估估計(jì)計(jì)量量為

9、為度度函函數(shù)數(shù)為為的的獨(dú)獨(dú)立立性性可可得得到到聯(lián)聯(lián)合合密密根根據(jù)據(jù)nyyy,212211122exp()niiilyx 2211122() exp().nniiiyx 2. ( , )的最大似然估計(jì)的最大似然估計(jì)取取最最大大值值等等價(jià)價(jià)于于l21( ,)()niiiqyx .取最小值 這又回到參數(shù)最小二乘估計(jì)的情形取最小值 這又回到參數(shù)最小二乘估計(jì)的情形yx yx稱(chēng)稱(chēng)其其為為 關(guān)關(guān)于于 的的線線性性回回歸歸方方程程,yx由由于于()yyxx).,(yx幾幾何何中中心心回回歸歸直直線線通通過(guò)過(guò)散散點(diǎn)點(diǎn)圖圖的的注注參數(shù)的最小二乘估計(jì)和最大似然估計(jì)等價(jià)參數(shù)的最小二乘估計(jì)和最大似然估計(jì)等價(jià).得到參數(shù)的

10、估計(jì)后，我們就可以得到得到參數(shù)的估計(jì)后，我們就可以得到 回歸方程回歸方程23. 未未知知參參數(shù)數(shù)的的估估計(jì)計(jì)20, ( ,).yxn2222() ()( )( )e yxede2,( ).xxy顯然越小 用回歸函數(shù)作為 的近顯然越小 用回歸函數(shù)作為 的近似導(dǎo)致的均方誤差就越小似導(dǎo)致的均方誤差就越小2211(yy )(y)nneiiiiiiqx記記它稱(chēng)為殘差平方和它稱(chēng)為殘差平方和22211()niiiyxn 則則的的估估計(jì)計(jì)為為 2211(yy )()nneiiiiiiqyyxx2221112(yy)()(yy)()nnniiiiiiixxxx121()()()niiiniixx yyxx 由于

11、 的估計(jì)為，則由于 的估計(jì)為，則22211()()nneiiiiqyyxx因而因而22221111()()nniiiiyyxxnn 例例2(p1932(p193例例6.2)6.2)設(shè)設(shè)父父親親和和他他們們長(zhǎng)長(zhǎng)子子的的身身高高分分別別為為1 212(,)(, ,),iixyi 其其觀觀測(cè)測(cè)數(shù)數(shù)據(jù)據(jù)為為x父父親親身身高高y長(zhǎng)長(zhǎng)子子身身高高65 63 67 64 68 62 70 66 68 67 69 7168 66 68 65 69 66 68 65 71 67 68 70yx求求 關(guān)關(guān)于于 的的線線性性回回歸歸方方程程解解yx 回回歸歸方方程程為為將觀測(cè)值代入正規(guī)方程將觀測(cè)值代入正規(guī)方程128

12、008118005341854107 求解得求解得35 820 476. . yx則則 關(guān)關(guān)于于 的的線線性性回回歸歸方方程程為為35 820 476. . yx112111() ()()nniiiinnniiiiiiinxyxxx y 這個(gè)例子表明：高個(gè)子的先代會(huì)有高個(gè)子的后代，但這個(gè)例子表明：高個(gè)子的先代會(huì)有高個(gè)子的后代，但后代的增高并不與先代的增高等量。例如父親身高超后代的增高并不與先代的增高等量。例如父親身高超過(guò)祖父身高過(guò)祖父身高6in,則兒子的身高超過(guò)父親的身高大約為則兒子的身高超過(guò)父親的身高大約為3in稱(chēng)這種現(xiàn)象為向平常高度的回歸，回歸一詞即來(lái)源于此稱(chēng)這種現(xiàn)象為向平常高度的回歸，回

13、歸一詞即來(lái)源于此.這種提法最早是由高登提出的，一直沿用至今這種提法最早是由高登提出的，一直沿用至今.當(dāng)時(shí)高當(dāng)時(shí)高登、皮爾遜、登、皮爾遜、lee研究了研究了1078個(gè)家庭，得到的回歸方程個(gè)家庭，得到的回歸方程為：為：0 51633 73.yx三、參數(shù)估計(jì)的分布三、參數(shù)估計(jì)的分布1. 的分布的分布1122111()()() ()()nniiiniiiiinniiiiixx yyxxyayxxxx 為了對(duì)參數(shù)估計(jì)量進(jìn)行檢驗(yàn)，需要討論它們的分布為了對(duì)參數(shù)估計(jì)量進(jìn)行檢驗(yàn)，需要討論它們的分布21() ,()iiiniixxayxx 其其中中顯顯然然相相互互獨(dú)獨(dú)立立，而而且且2(,)iiynx 因因而而 服

14、服從從正正態(tài)態(tài)分分布布，其其期期望望值值為為12111() ()()niinniiiiiniiiixx xea eyaxxx 22221222111() () ()niniiinniiiiixxda dyxxxx 221 ( ,/() )niinxx 則則2. 的的分分布布2111() ()()niiniiixx xyxynxx 因因而而 服服從從正正態(tài)態(tài)分分布布，其其期期望望值值為為11 ()niieeyexxxn 22111() ()()niiniiixx xddynxx 22211()niixnxx 22212211()() )niiniixxxnxx 22211 ( ,)()niixn

15、nxx 則則0003. ,= xxyx對(duì)對(duì)回回歸歸方方程程的的分分布布0100221111()() ()()()niniiiinniiiiixx xxx xyxyynxxxx 02111()() =()()niiniiixxxxynxx 0y因因而而服服從從正正態(tài)態(tài)分分布布，其其期期望望值值為為000 ()eyexx2002111()() () =()()niiniiixxxxd ydynxx 220212211() ()=()() )niiniixxxxnxx 220211()=()()niixxnxx 22000211() (,()()niixxynxnxx 則則2222112221122

16、122221222212222111()() )() ()() () () () (1)()(1)()4. nniiiinniiiiniiiniiniiniiyyxxnneyyeyne ydyeyn dyeyxnxnnxnxnxx 由由于于的的分分布布2222112212222112221() ()()() ()()()()nniiiiniininiiiniiexxxxedexxxxxxxx 222211()() (2)nniiiieyyxxn而有而有2221222111221122* () =()()niiinniiiiinyxnnyyxxnn 設(shè)設(shè)22* e 則則222nen 故故定理定理

17、 6.16.1(,)iiy x假假設(shè)設(shè)滿(mǎn)滿(mǎn)足足線線性性回回歸歸模模型型的的條條件件，則則22222*()()nn 222*,. 而而且且分分別別與與獨(dú)獨(dú)立立，其其中中是是的的修修正正估估計(jì)計(jì)證明證明 參見(jiàn)下一節(jié)多元回歸理論參見(jiàn)下一節(jié)多元回歸理論四、參數(shù)四、參數(shù) 的顯著性檢驗(yàn)的顯著性檢驗(yàn)12,.ny yy相相互互獨(dú)獨(dú)立立根據(jù)前三小節(jié)的理論，給定一組觀測(cè)值，就可以得根據(jù)前三小節(jié)的理論，給定一組觀測(cè)值，就可以得其相應(yīng)的回歸方程。但是二者是否具有此種相關(guān)關(guān)系，其相應(yīng)的回歸方程。但是二者是否具有此種相關(guān)關(guān)系，需要進(jìn)行必要的檢驗(yàn)需要進(jìn)行必要的檢驗(yàn).通常檢驗(yàn)一元線性回歸模型是否成立，需要檢驗(yàn)：通常檢驗(yàn)一元線

18、性回歸模型是否成立，需要檢驗(yàn)：(1) 給定給定x時(shí)，時(shí)，y服從正態(tài)分布且方差相等；服從正態(tài)分布且方差相等；(2) 對(duì)于給定的范圍，對(duì)于給定的范圍，y是是 x 的線性函數(shù)；的線性函數(shù)；(3)0.本本節(jié)節(jié)主主要要討討論論第第二二類(lèi)類(lèi)問(wèn)問(wèn)題題，也也就就等等價(jià)價(jià)于于 是是否否為為20 , ( ,).yxn設(shè)設(shè)0100: :, :.hh檢檢驗(yàn)驗(yàn)假假設(shè)設(shè)*2222(2)(2).eqnn ,eq并并且且相相互互獨(dú)獨(dú)立立 因因此此212*()().niitxxt n 20102*,()(),niihtxxt n 當(dāng)當(dāng)為為真真時(shí)時(shí)此此時(shí)時(shí)0h則則的的拒拒絕絕域域?yàn)闉?21 ( ,/() );niinxx 221

19、2*| |()()niitxxtn 00:,.h 拒拒絕絕認(rèn)認(rèn)為為回回歸歸效效果果顯顯著著00:,.h 接接受受認(rèn)認(rèn)為為回回歸歸效效果果不不顯顯著著回歸效果不顯著的原因分析回歸效果不顯著的原因分析;,)1( 不不可可忽忽略略的的因因素素及及隨隨機(jī)機(jī)誤誤差差外外還還有有其其他他除除取取值值的的影影響響xy;)()2(的的關(guān)關(guān)系系不不是是線線性性的的與與xye.)3(不不存存在在關(guān)關(guān)系系與與xy 檢驗(yàn)例檢驗(yàn)例2中的回歸效果是否顯著中的回歸效果是否顯著,取顯著性水平為取顯著性水平為0.05.解解0 05210.,n對(duì)對(duì) 查查表表得得0 05 20 0252102 2281.()().tnt查查表表得

20、得3 128.t 0 02510.()tt 00:,.h 拒拒絕絕認(rèn)認(rèn)為為回回歸歸效效果果顯顯著著例例3(p197例例6.3).00的的觀觀察察結(jié)結(jié)果果處處對(duì)對(duì)是是在在設(shè)設(shè)yxxy 20000, (0,).yxn000()yxx0y此式為的點(diǎn)估計(jì)（預(yù)測(cè)）此式為的點(diǎn)估計(jì)（預(yù)測(cè)）又因?yàn)橛忠驗(yàn)?000yyyx00yy且與相互獨(dú)立均服從正態(tài)分布，因而且與相互獨(dú)立均服從正態(tài)分布，因而00yy 亦亦服服從從正正態(tài)態(tài)分分布布，其其期期望望值值為為0000000()()e yyeyexxx五、預(yù)測(cè)五、預(yù)測(cè)2200021201() (,()()niixxynxnxxdy 又又0000()()d yydyd y故

21、故220211()(1+)()niixxnxx 22000211()(0,1+)()niixxyynnxx 22222*()(),nn 又又00yy 相相互互獨(dú)獨(dú)立立, ,則則2* 與與002021211*()(),()()niiyxtt nxxnxx 20121, |()p ttny 給給定定置置信信度度有有的的預(yù)預(yù)測(cè)測(cè)區(qū)區(qū)間間為為200221121*()()()niixxxtnnxx 200221121*()()()niixxxtnnxx 設(shè)設(shè) （)=)=01, y 于于是是給給定定置置信信度度的的預(yù)預(yù)測(cè)測(cè)上上下下限限為為1000()()y xyx2000()()yxyx012( )- ( )( )( ).xy xyxyxyx當(dāng)變動(dòng)時(shí)，可得曲線當(dāng)變動(dòng)時(shí)，可得曲線，則這兩條曲線形成帶狀域包含回歸曲線則這兩條曲線形成帶狀域包含回歸曲線例例4(p198例例6.4) (續(xù)例續(xù)例6.2)065 5 10 95 (1). ,.x設(shè)