線性回歸分析的基本步驟

1、.步驟一、建立模型知識(shí)點(diǎn)：1、總體回歸模型、總體回歸方程、樣本回歸模型、樣本回歸方程總體回歸模型： 研究總體之中自變量和因變量之間某種非確定依賴關(guān)系的計(jì)量模型。 Y X U特點(diǎn)：由于隨機(jī)誤差項(xiàng)U的存在，使得Y 和 X 不在一條直線 / 平面上。例 1：某鎮(zhèn)共有 60 個(gè)家庭，經(jīng)普查， 60 個(gè)家庭的每周收入（ X）與每周消費(fèi)（ Y）數(shù)據(jù)如下：每周收入（ X）每周消費(fèi)支出（Y）805560657075100657074808588120798490949814080939510310811311516010210711011611812518011011512013013514020012013

2、6140144145220135137140152157160162240137145155165175189260150152175178180185191作出其散點(diǎn)圖如下：200180160140Y 1201008060404080120160200240280X總體回歸方程（線） ：由于假定 EU0 ，因此因變量的均值與自變量.總處于一條直線上， 這條直線 E Y | X X 就稱為總體回歸線 （方程）。總體回歸方程的求法：以例 1 的數(shù)據(jù)為例1）對(duì)第一個(gè) Xi ，求出 E( Y| Xi ) 。每周收入（ X）每周消費(fèi)支出（ Y）E(Y| X)i805560657075651006570

3、7480858877120798490949889140809395103108113115101160102107110116118125113180110115120130135140125200120136140144145137220135137140152157160162149240137145155165175189161260150152175178180185191173由于E Y|Xi01Xi ，因此任意帶入兩個(gè)iiiX 和其對(duì)應(yīng)的E(Y| X) 值，即可求出0和1 ，并進(jìn)而得到總體回歸方程。如 將 X2 100,EY2 | X 2 77和X7 200,E Y7|X7 13

4、7 代 入E Yi | X i1X i 可得：770100101701370200110.6以上求出 0和1 反映了 E( Y| Xi ) 和 Xi 之間的真實(shí)關(guān)系，即所求的總體回歸方程為： E Y| Xi170.6X，其圖形為：iiY vs. X200180160140Y1201008060404080120160200240280X.樣本回歸模型：總體通常難以得到，因此只能通過抽樣得到樣本數(shù)據(jù)。如在例 1 中，通過抽樣考察，我們得到了20 個(gè)家庭的樣本數(shù)據(jù)：每周收入（ X）每周消費(fèi)支出（ Y）8055100657012079841408093160102107110180110200120

5、136220135137240137145260150152175那么描述樣本數(shù)據(jù)中因變量Y 和自變量X 之間非確定依賴關(guān)系的模型Y X ? e 就稱為樣本回歸模型。樣本回歸方程（線） ：通過樣本數(shù)據(jù)估計(jì)出? ，得到樣本觀測值的擬合?值與解釋變量之間的關(guān)系方程YX稱為樣本回歸方程。如下圖所示：Y vs. X180160140120Y1008060404080120160200240280X四者之間的關(guān)系：總體回歸模型建立在總體數(shù)據(jù)之上，它描述的是因變量Y 和自變量 X之間的真實(shí)的非確定型依賴關(guān)系；樣本回歸模型建立在抽樣數(shù)據(jù)基礎(chǔ)之.上，它描述的是因變量Y 和自變量 X 之間的近似于真實(shí)的非確定型

6、依賴關(guān)系。這種近似表現(xiàn)在兩個(gè)方面：一是結(jié)構(gòu)參數(shù)? 是其真實(shí)值的一種近似估計(jì)；二是殘差 e 是隨機(jī)誤差項(xiàng) U 的一個(gè)近似估計(jì)；：總體回歸方程是根據(jù)總體數(shù)據(jù)得到的，它描述的是因變量的條件均值E( Y| X) 與自變量X 之間的線性關(guān)系；樣本回歸方程是根據(jù)抽樣數(shù)據(jù)得到的，它描述的是因變量Y 樣本預(yù)測值的擬合值? 與自變量 X 之間的線性關(guān)Y系。：回歸分析的目的是試圖通過樣本數(shù)據(jù)得到真實(shí)結(jié)構(gòu)參數(shù)的估計(jì)值，并要求估計(jì)結(jié)果? 足夠接近真實(shí)值。由于抽樣數(shù)據(jù)有多種可能，每一次抽樣所得到的估計(jì)值? 都不會(huì)相同，即的估計(jì)量? 是一個(gè)隨機(jī)變量。因此必須選擇合適的參數(shù)估計(jì)方法，使其具有良好的統(tǒng)計(jì)性質(zhì)。2、隨機(jī)誤差項(xiàng)U

7、存在的原因：非重要解釋變量的省略人的隨機(jī)行為數(shù)學(xué)模型形式欠妥歸并誤差（如一國GDP的計(jì)算）測量誤差等3、多元回歸模型的基本假定隨機(jī)誤差項(xiàng)的期望值為零E (U i )0隨機(jī)誤差項(xiàng)具有同方差性Var ( ui )2i1,2, , n隨機(jī)誤差項(xiàng)彼此之間不相關(guān)Cov (ui, u j ) 0i j ; i , j 1,2, , n解釋就變量X1, X2, ···,Xk 為確定型變量，與隨機(jī)誤差項(xiàng)彼此不相關(guān)。.Cov( X ij , u j )0i1,2, kj1, 2, n解釋就變量X1, X2, ···,Xk 之間不存在精確的（完全的）線性

8、關(guān)系，即解釋變量的樣本觀測值矩陣X 為滿秩矩陣： rank ( X)= k+1<n隨機(jī)誤差項(xiàng)服從正態(tài)分布，即：ui N(0,2) ，i =1,2, ···,n步驟二、參數(shù)估計(jì)知識(shí)點(diǎn)：1、最小二乘估計(jì)的基本原理：殘差平方和最小化。2、參數(shù)估計(jì)量：?x i y i1x i2 一元回歸：?Y?X01 多元回歸： ?X X1X T Y3、最小二乘估計(jì)量的性質(zhì)（Gauss-Markov 定理）：在滿足基本假設(shè)的情況下， 最小二乘估計(jì)量? 是的最優(yōu)線性無偏估計(jì)量（ BLUE估計(jì)量）步驟三、模型檢驗(yàn)1、經(jīng)濟(jì)計(jì)量檢驗(yàn)（后三章容）2、統(tǒng)計(jì)檢驗(yàn)擬合優(yōu)度檢驗(yàn)知識(shí)點(diǎn)：擬合優(yōu)度檢驗(yàn)的

9、作用：檢驗(yàn)回歸方程對(duì)樣本點(diǎn)的擬合程度：擬合優(yōu)度的檢驗(yàn)方法：計(jì)算（調(diào)整的）樣本可決系數(shù)R2/R2R2RSS1ESS ， R21ESS / n k1TSSTSSTSS / n1.注意掌握離差平方和、 回歸平方和、 殘差平方和之間的關(guān)系以及它們的自由度。計(jì)算方法：通過方差分析表計(jì)算自由度方差來源符號(hào)計(jì)算公式( d.f.均方值 ( MSS)離差平方和TSSYi Y2n-1Yi Y2 / n-1回歸平方和RSSi2?YiYi?2kY/ kYi殘差平方和ESSii?2/? 2n- k-1Yi YiYi Yin- k-1例 2：下表列出了三變量（二元）模型的回歸結(jié)果：方差來源平方和（ SS）自由度均方值離差

10、平方和 TSS6604214回歸平方和 RSS65965殘差平方和 ESS1）樣本容量為多少？解：由于 TSS的自由度為 n-1 ，由上表知n-1 14，因此樣本容量n=15。2）求 ESS解：由于 TSS ESSRSS，故 ESSTSSRSS 773）ESS和 RSS的自由度各為多少？解：對(duì)三變量模型而言，k=2，故 ESS的自由度為n- k-1 12RSS的自由度為k24）求 R2和 R2.解： R2RSS659650.9988， R21ESS / n k10.9986TSS66042TSS / n1回歸方程的顯著性檢驗(yàn)（F 檢驗(yàn)）目的：檢驗(yàn)?zāi)Ｐ椭械囊蜃兞颗c自變量之間是否存在顯著的線性關(guān)系

11、步驟： 1、提出假設(shè)： H 0: 12.k0H 1: 至少有一j0 ,j 1,2,., k2、構(gòu)造統(tǒng)計(jì)量：FRSS / k F ( k, nk1)ESS / n k13、給定顯著性水平，確定拒絕域 FFk , n k 14、計(jì)算統(tǒng)計(jì)量值，并判斷是否拒絕原假設(shè)例 3：就例 2 中的數(shù)據(jù)，給定顯著性水平1% ，對(duì)回歸方程進(jìn)行顯著性檢驗(yàn)。解：由于統(tǒng)計(jì)量值RSS / k65965 / 2，F(xiàn)k15140.13ESS / n77/12又 F0.01 2,126.93 ，而 F5140.13F0.01 2,12 6.93故拒絕原假設(shè)，即在1%的顯著性水平下可以認(rèn)為回歸方程存在顯著的線性關(guān)系。附： R2與

12、F 檢驗(yàn)的關(guān)系：2RSSRSSR2由于 RTSSESS RSSRSS1 R2ESSFR2 / k又 FRSS / k1R2 / n k 1ESS / n k1解釋變量的顯著性檢驗(yàn)（t 檢驗(yàn)）目的：檢驗(yàn)?zāi)Ｐ椭械淖宰兞渴欠駥?duì)因變量存在顯著影響。.知識(shí)點(diǎn)：多元回歸： S ?ei2Ci，其中 C i 1,i1為 XX1中位于第 i +1行n k11,i 1i和 i +1 列的元素；e2X2e2一元回歸： S ?ii, S ?in n22n 220xi1xi變量顯著性檢驗(yàn)的基本步驟：1、提出假設(shè)： H 0 :i0H 1 :i02、構(gòu)造統(tǒng)計(jì)量： t?i t (nk1)S ?i3、給定顯著性水平，確定拒絕域

13、 t t / 2 (n k 1)4、計(jì)算統(tǒng)計(jì)量值，并判斷是否拒絕原假設(shè)例 4：根據(jù) 19 個(gè)樣本數(shù)據(jù)得到某一回歸方程如下：?58.90.2X10.1X2Yse(0.0092)(0.084)試在的顯著性水平下對(duì)變量 X和 X的顯著性進(jìn)行檢驗(yàn)。5%12解：由于 t / 2 (nk 1)t0.025 (16)2.12 ，故 t 檢驗(yàn)的拒絕域?yàn)閠 2.12 。對(duì)自變量 X 1而言，其 t 統(tǒng)計(jì)量值為 t?0.21，落入S ?21.74 2.120.00921拒絕域，故拒絕 1 0 的原假設(shè)，即在 5%的顯著性水平下，可以認(rèn)為自變量 X 1 對(duì)因變量有顯著影響；對(duì)自變量 X 2 而言，其 t 統(tǒng)計(jì)量值為

14、 t?0.12，未落入拒S ?1.19 2.120.0842絕域，故不能拒絕20 的原假設(shè)，即在5%的顯著性水平下，可以認(rèn)為自變量 X 2 對(duì)因變量Y 的影響并不顯著。.回歸系數(shù)的置信區(qū)間目的：給定某一置信水平1，構(gòu)造某一回歸參數(shù)i 的一個(gè)置信區(qū)間，使i 落在該區(qū)間的概率為1基本步驟：1、構(gòu)造統(tǒng)計(jì)量 t? t( n k 1)iiS ?i2、給定置信水平 1，查表求出水平的雙側(cè)分位數(shù) t / 2 ( nk 1)3、求出 i 的置信度為1的置信區(qū)間?t / 2?t /2 S?iS ? , iii例 5：根據(jù)例 4 的數(shù)據(jù)，求出 1 的置信度為 95%的置信區(qū)間。解：由于 t0.025 (16) 2

15、.12 ，故 1 的置信度為 95%的置信區(qū)間為：0.22.120.0092,0.22.12 0.00920.18,0.223、經(jīng)濟(jì)意義檢驗(yàn)?zāi)康模簷z驗(yàn)回歸參數(shù)的符號(hào)及數(shù)值是否與經(jīng)濟(jì)理論的預(yù)期相符。例 6：根據(jù) 26 個(gè)樣本數(shù)據(jù)建立了以下回歸方程用于解釋美國居民的個(gè)人消費(fèi)支出：?10.960.93X12.09X 2Yt ( 3.33) (249.06) ( 3.09) R2 0.9996其中： Y 為個(gè)人消費(fèi)支出（億元） ；X1 為居民可支配收入（億元） ；X2 為利率（ %）1）先驗(yàn)估計(jì)?1和 ?2 的符號(hào)；解：由于居民可支配收入越高，其個(gè)人消費(fèi)水平也會(huì)越高，因此預(yù)期自變量 X1 回歸系數(shù)的符

16、號(hào)為正；而利率越高，居民儲(chǔ)蓄意愿越強(qiáng)，消費(fèi)意愿相應(yīng)越低，因此個(gè)從消費(fèi)支出與利率應(yīng)該存在負(fù)相關(guān)關(guān)系，即?2 應(yīng)為負(fù)。.2）解釋兩個(gè)自變量回歸系數(shù)的經(jīng)濟(jì)含義；解： ?10.93 表示，居民可支配收入每增加1 億元，其個(gè)人消費(fèi)支出相應(yīng)會(huì)增加 0.93 億元，即居民的邊際消費(fèi)傾向MPC0.93 ；?2.09表示，利率提高 1 個(gè)百分點(diǎn)， 個(gè)人消費(fèi)支出將減少2.09 億元。2截距項(xiàng)表示居民可支配收入和利率為零時(shí)的個(gè)人消費(fèi)支出為-10.96億元，它沒有明確的經(jīng)濟(jì)含義。3）檢驗(yàn) 1 是否顯著不為1；（5%）解： 1）提出假設(shè)： H 0 : 11H 1 :112）構(gòu)造統(tǒng)計(jì)量： t?1 t( n1k1)S ?1

17、3）給定顯著性水平5% ，查表得 t / 2( n k 1) t0.025 (23)2.07 ，故拒絕域?yàn)?t2.074）計(jì)算統(tǒng)計(jì)量值：由于t( ?1 )?0.931S ?1S ?t ( ?1 )0.0037341249.061則 t?10.0712.07 ，落入拒絕域。故拒絕11 的原假設(shè)。S ?18.750.0037341即在 5%的顯著性水平下，可認(rèn)為邊際消費(fèi)傾向MPC顯著不為 1。4）檢驗(yàn)2 顯否顯著不為零； （5% ）解： 1）提出假設(shè)： H 0 :20H1:202）構(gòu)造統(tǒng)計(jì)量： t? t( n k1)2S ?23）給定顯著性水平5% ，查表得 t/ 2( nk 1)t0.025 (

18、23)2.07 ，故拒絕域?yàn)?t 2.074）計(jì)算統(tǒng)計(jì)量值：由于t ( ?2 ) 3.09 2.07，落入拒絕域，故拒絕原假設(shè)。即在5%的顯著性水平下，可以認(rèn)為2 顯著異于零。.5）計(jì)算 R2值；R 21ESS / nk11ESSn111R2n1解：由于TSS / n1TSSnk1nk 1261110.99960.9995726216）計(jì)算每個(gè)回歸系數(shù)的標(biāo)準(zhǔn)差；S ?0解：由于 t( ?i )?S ?S ?it (i)S ?i?i1iS ?2?0t ( ?0 )?1t ( ?1 )?2t ( ?2 )10.963.293.330.930.00373249.062.090.67643.097）給

19、出2 置信水平為95%的置信區(qū)間；解：由于 ?2.09 , S?0.6764 , t0.025(23)2.07，故 2置信水平為95%的置信區(qū)22間為2.092.07 0.6764 ,2.092.07 0.6764-3.49 , -0.698）對(duì)回歸方程進(jìn)行顯著性檢驗(yàn)；解：提出假設(shè)： H 0 :120H1: 1或 20構(gòu)造統(tǒng)計(jì)量 FRSS / k F ( k , nk1)ESS / n k1確定拒絕域： FF ( k.nk1) F0.05 (2, 23) 3.42計(jì)算統(tǒng)計(jì)量并進(jìn)行判斷：由于 FR 2 / k0.9996 / 228738.53.421 R2 / nk 10.0004 / 23故拒絕原假設(shè)，即在5%的顯著性水平下認(rèn)為回歸方程的線性關(guān)系顯著成立。步驟四：經(jīng)濟(jì)預(yù)測.點(diǎn)預(yù)測： Y?0 X 0? 可以看著是 Y 的條件均值 EY0|X0和個(gè)別值 Y0 的預(yù)測值，分別稱為均值預(yù)測和個(gè)值預(yù)測；性質(zhì)： Y0?是E Y0|X0和Y0 的一個(gè)無偏估計(jì)量。X 0?區(qū)間預(yù)測：均值 E Y0| X 0的區(qū)間預(yù)測?| X 0預(yù)測步驟： 1）確定統(tǒng)計(jì)量： tY0 EY0 t(nk 1)S?Y0其中 S?