第二章--一元線性回歸模型

1、計(jì)量經(jīng)濟(jì)學(xué)1第二章 一元線性回歸模型 建立模型是計(jì)量經(jīng)濟(jì)學(xué)的核心，我們首先介紹最簡單的模型一元線性回歸一元線性回歸模型，該模型的特點(diǎn)是只有兩個(gè)變量兩個(gè)變量（自變量和因變量），而且函數(shù)形式為線性。計(jì)量經(jīng)濟(jì)學(xué)2第一節(jié) 回歸分析和回歸方程2.1 2.1 回歸分析回歸分析 1.含義 經(jīng)濟(jì)變量之間的關(guān)系，大體可以分為兩種類型： 函數(shù)關(guān)系函數(shù)關(guān)系 隨機(jī)關(guān)系隨機(jī)關(guān)系 (相關(guān)關(guān)系相關(guān)關(guān)系) 隨機(jī)關(guān)系的基本特征是一個(gè)變量不能根據(jù)其他變量的數(shù)值,精確地、一一對應(yīng)地求出其數(shù)值，但我們可根據(jù)大量統(tǒng)計(jì)數(shù)據(jù)找出其數(shù)量變化方面的統(tǒng)計(jì)規(guī)律，這種統(tǒng)計(jì)規(guī)律即回歸關(guān)系，表示這種規(guī)律的數(shù)學(xué)公式稱為回歸方程，有關(guān)回歸關(guān)系的計(jì)算方法和理

2、論稱為回歸分析。計(jì)量經(jīng)濟(jì)學(xué)32.內(nèi)容(1)根據(jù)樣本觀察值確定樣本回歸方程(2)檢驗(yàn)樣本回歸方程對總體回歸方程的近似程度(3)利用樣本回歸方程分析總體的平均變化規(guī)律即:收集數(shù)據(jù)、參數(shù)估計(jì)、回歸模型的建立、檢驗(yàn)和預(yù)測。計(jì)量經(jīng)濟(jì)學(xué)4人均月收入人均月收入X人均月消費(fèi)支出Y條件均值條件均值E(Y)180155160165170175165200165170174180185188177220179184190194198189240180193195203208213215201260202207210216218225213280210215220230235240225300220236240244

3、245237320235237240252257260262249340237245255265275289261360250252275278280285291273某總體的家庭收支情況計(jì)量經(jīng)濟(jì)學(xué)5人均月收入X條件均值E(Y)180165200177220189240201260213280225300237320249340261360273人均月收入與人均月消費(fèi)支出條件均值計(jì)量經(jīng)濟(jì)學(xué)6 從散點(diǎn)圖散點(diǎn)圖(Scatterplot)可以看出，各個(gè)家庭的消費(fèi)支出存在差異，但是各組家庭的平均消費(fèi)支出隨著收入水平的提高也在不斷增加，消費(fèi)支出的條件均值都落在一條直線上，這條直線描述了家庭收入變化時(shí)，消

4、費(fèi)支出的平均變化規(guī)律平均變化規(guī)律。計(jì)量經(jīng)濟(jì)學(xué)72.1.1 總體回歸方程圖21中的直線稱作總體回歸直線，其對應(yīng)的線性方程 稱作總體線性回歸方程，系數(shù) 稱為總體回歸參數(shù)。iiiiXbbYXYE10)|(10,bbiiiXbbY10稱為總體回歸方程的隨機(jī)設(shè)定形式)()(10iiiiiXbbYYEY回歸分析的主要任務(wù)主要任務(wù)就是設(shè)法求出總體回歸參數(shù)的具體數(shù)值，進(jìn)而利用總體回歸方程描述和分析總體的平均變化規(guī)律計(jì)量經(jīng)濟(jì)學(xué)82.1.2 樣本回歸方程 從前面所舉的例子中可以看出，只有了解總體的概率分布，才能夠確定總體回歸方程，但是在現(xiàn)實(shí)的經(jīng)濟(jì)生活中，一般沒有辦法獲得總體的數(shù)據(jù)，只能從總體中得到樣本數(shù)據(jù)，利用樣

5、本信息對總體進(jìn)行推斷。設(shè)樣本回歸方程樣本回歸方程為：iiXbbY10其中的估計(jì)值為總體回歸參數(shù)1010,bbbb其隨機(jī)誤差形式隨機(jī)誤差形式為iiiiieXbbeYY10YX總體回歸方程樣本回歸方程計(jì)量經(jīng)濟(jì)學(xué)92.1.3 隨機(jī)干擾項(xiàng)產(chǎn)生原因1、模型中被忽略因素的影響2、模型函數(shù)形式設(shè)定誤差 如采用線性函數(shù)代替非線性函數(shù)3、數(shù)據(jù)的測量誤差 登記性誤差 代表性誤差4、隨機(jī)因素的影響計(jì)量經(jīng)濟(jì)學(xué)102.2 參數(shù)的最小二乘估計(jì)2.2.1 古典線性回歸模型的基本假設(shè)1、 零均值零均值假定假定：隨機(jī)誤差項(xiàng)的期望或均值為零 ，該假定表明，隨機(jī)誤差項(xiàng)對Y沒有任何影響0)(iE)()()(2常數(shù)iiVarYVar該

6、假定表明：給定X對應(yīng)的每個(gè)條件分布都是同方差的，每個(gè)Y值以相同的分布方式在它的期望值E(Y)附近波動2 、同方差同方差假定假定：每一個(gè)隨機(jī)誤差項(xiàng)的方差為常數(shù)，即:計(jì)量經(jīng)濟(jì)學(xué)113、無自相關(guān)假定無自相關(guān)假定：任意兩個(gè)隨機(jī)誤差項(xiàng)之間不相關(guān)，用數(shù)學(xué)形式表示為：0)()(),(jjiijiEEECov4、 解釋變量解釋變量與隨機(jī)誤差項(xiàng)隨機(jī)誤差項(xiàng)不相關(guān)假定，即0),(iiXCov該假定表明，解釋變量和隨機(jī)誤差項(xiàng)相互獨(dú)立，互不相關(guān)，它們獨(dú)自對因變量產(chǎn)生作用計(jì)量經(jīng)濟(jì)學(xué)122.2.2 普通最小二乘法1.基本原理基本原理：選擇參數(shù) 使得殘差平方和 最小10,bb2ie21022)()(iiiiiXbbYYYe由

7、于 2ie是10,bb的二次函數(shù)，非負(fù)且連續(xù)可微，要使殘差平方和最小即求其極值，分別用2ie對10,bb求偏導(dǎo)數(shù)，并令偏導(dǎo)數(shù)為020102()0iiieYbb Xb 20112()()0iiiieYbb XXb （2.2.1）(2.2.2)計(jì)量經(jīng)濟(jì)學(xué)13整理得：iiiXbbnXbbY1010)(210iiiiXbXbXY(2.2.3)(2.2.4)求解方程組nXi)4 . 2 . 2() 3 . 2 . 2(公式公式有210)(iiiiXbXbnYX210iiiiXbnXbnXYn計(jì)量經(jīng)濟(jì)學(xué)14 221)(iiiiiiXXnYXYXnb 22)(nXnXnnYXnYXiiiiii22)(XnX

8、YXnYXiii令YYyXXxiiii,221)()(iiiiiixyxXXYYXXbXbYb10斜率系數(shù)的離差形式計(jì)量經(jīng)濟(jì)學(xué)15例2.1 我國稅收預(yù)測模型iYiXiiYX2iY2iX1985204189641829552441656818035329619862091102022133238243722811040808041987214011963256008204579600143113369198823911492835692848571688122284518419892727169094611084374365292859142811990282218548523424567963

9、684344028304199129902161864637820894010046733792419923297266388782548610870209709583044199342553463414736767018105025119951395619945127467592397333932628612921864040811995603858478353090164364574443419676484199669106788546908535047748100460837322519978234744636131283426779875655447383691998926379396

10、735445148858031696303724816計(jì)量經(jīng)濟(jì)學(xué)16稅收收入對GDP的散點(diǎn)圖計(jì)量經(jīng)濟(jì)學(xué)1793.35098, 725619687132XXi4309,3362435882YYi2909688246iiYX0946. 093.350981472561968713430993.35089142909688246)(2221XnXYXnYXbiii5417.98793.350890946. 0430910XbYb計(jì)量經(jīng)濟(jì)學(xué)18從而得到我國稅收模型線性回歸方程iiXY0946. 05417.987估計(jì)出來的回歸(斜率)系數(shù)0946. 01b 它表明：國內(nèi)生產(chǎn)總值每增加一億元，我國稅收將

11、平均增加0.0946億元計(jì)量經(jīng)濟(jì)學(xué)192.3 普通最小二乘估計(jì)量的性質(zhì)和分布2.3.1 最小二乘估計(jì)量的性質(zhì)1、線性線性 即估計(jì)參數(shù) 因變量 的線性組合10,bbiYiiYkb1iiYwb02221)()()(iiiiiiiiiixxYYxxYYxXXYYXXb 0ix21iiixYxb).(2222122221222222111nnnnnixxxYxxxxYxxxxYxb計(jì)量經(jīng)濟(jì)學(xué)202iiixxkiiiYkb0)() 1 (22iiiiixxxxk22222221)()()2(iiiiiixxxxxk1)() 3(222iiiiiiixxxxxxk1)()4(iiiiiiiiixkkXxk

12、XxkXk同樣可以證明iiYwb0令則iikxnw1其中的性質(zhì)ik計(jì)量經(jīng)濟(jì)學(xué)2121021iiiiiiixXbbxxYxb帶入把總體線性回歸方程iiiXbbY10 0ix由于離差之和為零22iiiiiiixxXxXxxXx212101iiiiiiixxbxXbbxbiikb1同理可得iiwbb00計(jì)量經(jīng)濟(jì)學(xué)222.無偏性無偏性1100)(,)(bbEbbE)(101iiiiiXbbkYkbiiiiikXkbkb10即iiiikbkbb11001111)()()()(bkEbEkbEbEiiii因?yàn)樗?010bbbb、數(shù)的期望等于總體回歸參和參數(shù)估計(jì)值計(jì)量經(jīng)濟(jì)學(xué)233、最小方差性最小方差性 在

13、所有的線性無偏估計(jì)量中，最小二乘估計(jì)量的方差是最小的22112111)()()()(iikEbbEbEbEbVar由古典線性回歸模型的假定可知，對每一個(gè)隨機(jī)變量，有)( 0)(,)(22時(shí)當(dāng)jiEEjii)22(1121212222222121nnnnnnkkkkkkkE)(2)(2)()()(1121212222222121nnnnnnEkkEkkEkEkEk222222222221211)()()()(iinnxkEkEkEkbVar計(jì)量經(jīng)濟(jì)學(xué)24證最小方差，設(shè)證最小方差，設(shè)iiYcb*111010*1)()()(bcXcbcbXbbcYcEbEiiiiiiiiii0, 1, 0iiiii

14、cXcc為斜率系數(shù)的另外一個(gè)無偏估計(jì)量，從而有222*1)()(iiiccEbVar)(2)()(22222iiiiiiiiikkkckckkciiiiiikkckkc)(2)(22222010111)()(22222iiiiiiiiiiiiiiixxcXXcxxXXckkckkc 222222*1)(iiiikkkcbVar計(jì)量經(jīng)濟(jì)學(xué)252.3 .2 估計(jì)參數(shù)的概率分布00)(bbE2220)(iixnXbVar221)(ixbVar經(jīng)過前面的推導(dǎo)可得：11)(bbE由于估計(jì)參數(shù)10,bb都是iY的線性組合，它們的概率分布取決于iY分布此估計(jì)參數(shù)也服從正態(tài)是服從正態(tài)分布的，因而iY),(),

15、(221122200iiixbNbxnXbNb從而有計(jì)量經(jīng)濟(jì)學(xué)26 2.4 隨機(jī)誤差項(xiàng)方差的估計(jì)，機(jī)誤差項(xiàng)方差的方差表達(dá)式中都有隨，參數(shù)210bbie即總體方差， 只有知道總體方差才能計(jì)算出估計(jì)參數(shù)的方差，但是總體隨機(jī)誤差項(xiàng)無法觀測，因此只能 從它的估計(jì)值的殘差出發(fā)，對總體隨機(jī)誤差項(xiàng)進(jìn)行估計(jì)，可以證明22)(222neneEii計(jì)量經(jīng)濟(jì)學(xué)272.5 一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn) 2.5.1 擬合優(yōu)度檢驗(yàn)擬合優(yōu)度檢驗(yàn)：對樣本回歸直線和樣本觀測值之間擬合優(yōu)度的檢驗(yàn) 可以分解為兩個(gè)部分YYyii)()(YYYYYYiiii之差與擬合值觀測值是殘差部分，度量實(shí)際其中iiiiYYYYe之差，來自回歸部分和

16、觀測值均值度量回歸擬合值YYYYyiiiiiiyey(2.5.2)(2.5.1)從圖中可以看出，第i個(gè)因變量y的觀測值與樣本均值的總離差計(jì)量經(jīng)濟(jì)學(xué)28將公式（2.5.1）兩邊平方后再求和，有)(2)()()(222YYYYYYYYYYiiiiiii)( )(2)()()(222YYYYYYYYYYiiiiiiiiiiiiiiiieYXebebYXbbeYYYY1010)()(其中 由線性回歸模型的基本假定可知0, 0iiiXee0)(YYYYiii因此有(2.5.3)222)()()(YYYYYYiiii計(jì)量經(jīng)濟(jì)學(xué)29上式用文字表示即為：TSS(總離差平方和)RSS(殘差平方和)ESS(回歸平

17、方和)TSS-Total Sum of SquareRSS-Residual Sum of SquareESS-Explained Sum of Square 從等式中可以看出，如果回歸平方和ESS在總離差TSS平方和中占的比重越大，殘差平方和RSS就越小，22)(YYyTSSii22)(iiiYYeRSS22)(YYyESSii 那么模型的擬合誤差就越好，樣本回歸方程就越接近總體回歸方程計(jì)量經(jīng)濟(jì)學(xué)30為此提出擬合系數(shù)（判定系數(shù)）22222221)(1)()(iiiiiiyeYYeYYYYR總離差平方和回歸平方和擬合系數(shù)具有下面兩個(gè)性質(zhì)：0. 12R非負(fù)性，即動能完全解釋因變量的變說明自變量若

18、XRR, 110 . 222在線性關(guān)系之間完全不擬合，不存和說明若YXR, 02計(jì)量經(jīng)濟(jì)學(xué)31請大家注意回歸平方和2)(YYESSiiiXbbY10XbbY10iiixbXXbYY11)(樣本回歸方程2212122)()(iiiixbxbYYyESS從而有221222)(iiiiixbyYYeRSS計(jì)量經(jīng)濟(jì)學(xué)32現(xiàn)在可以回到例2.1中，計(jì)算該線性回歸模型的擬合系數(shù)2221222)()(iiiiyxbYYYYR837260012193.3509814725619687132222XnXxii762988544309143362435882222YnYyii9827. 07629885483726

19、001210946. 0222212iiyxbR左右的變動能解釋因變量說明自變量989827. 02YXR 擬合系數(shù)的經(jīng)濟(jì)意義擬合系數(shù)的經(jīng)濟(jì)意義線性回歸模型的擬合效果是比較好的計(jì)量經(jīng)濟(jì)學(xué)332.5.2 參數(shù)顯著性檢驗(yàn)在一元線性回歸模型中，還需要對回歸參數(shù)進(jìn)行檢驗(yàn)，也就是檢驗(yàn)是否顯著不為零10,bb為此提出假設(shè)0:, 0:10iibHbH備則假設(shè)原假設(shè)在前面已經(jīng)推導(dǎo)過回歸參數(shù)服從概率分布),(),(221122200iiixbNbxnXbNb從而可以構(gòu)造統(tǒng)計(jì)量) 1 , 0()(NbbbZiii1、檢驗(yàn)原理計(jì)量經(jīng)濟(jì)學(xué)34 但是由于總體方差和標(biāo)準(zhǔn)差未知，因此只能用其估計(jì)量進(jìn)行代替，此時(shí)Z不再服從正

20、態(tài)分布，而是服從t分布)2()(ntbsebbtiii計(jì)量經(jīng)濟(jì)學(xué)352、檢驗(yàn)步驟0:),2(02ibHntt拒絕原假設(shè)若0:, 0:110bHbHi)2()(2ntbsebbtiii對總體參數(shù)提出假設(shè)對原假設(shè)構(gòu)造統(tǒng)計(jì)量給定顯著性水平，查自由度為n-2的t分布表，得到臨界值)2(2nt0:),2(02ibHntt接受原假設(shè)若計(jì)量經(jīng)濟(jì)學(xué)36再次回到例2.1中，對模型的斜率系數(shù)進(jìn)行參數(shù)顯著性檢驗(yàn)221)(ixbVar)2()()()(2111111ntbsebbsebbbt現(xiàn)在已經(jīng)計(jì)算出0946. 01b還沒有計(jì)算出斜率參數(shù)的標(biāo)準(zhǔn)差，前面已經(jīng)證明斜率參數(shù)的方差這個(gè)公式中，總體隨機(jī)誤差項(xiàng)方差2未知，只

21、能用其估計(jì)2計(jì)量經(jīng)濟(jì)學(xué)37222nei7336.132147883726001210946. 076298854)(222122iiixbye2278.110123127336.1321478222nei5221103646.183726001216584.114259)(ixbVar003627. 0)()(11bVarbse09310.26003627. 00946. 0)()(111bsebbt計(jì)量經(jīng)濟(jì)學(xué)38分布表，得臨界值下，查在給定的顯著性水平t05. 0179. 2)12(09310.26025. 0tt 因此拒絕原假設(shè)，可以認(rèn)為自變量和因變量之間存在顯著的線性關(guān)系179. 221

22、42025. 02tnt計(jì)量經(jīng)濟(jì)學(xué)39第一次作業(yè)研究某國貨幣數(shù)量Y 和國民收入X 之間的關(guān)系，隨機(jī)抽取了12年進(jìn)行調(diào)查，得到右表中資料：(1)試建立貨幣數(shù)量Y 對國民收入X 之間的一元線性回歸模型；(2)計(jì)算線性回歸模型的擬合系數(shù)， 并解釋其經(jīng)濟(jì)意義；(3)在5%的顯著性水平下,計(jì)算斜率系數(shù)的 t檢驗(yàn)值，判斷其是否通過參數(shù)顯著性檢驗(yàn)。年份國民收入X(單位：千元)貨幣數(shù)量Y(單位：億元)15.05.02.02.025.55.52.52.536.06.03.23.247.07.03.63.657.27.23.33.367.77.74.04.078.48.44.24.289.09.04.64.699

23、.79.74.84.81010.010.05.05.01111.211.25.25.21212.412.45.85.8計(jì)量經(jīng)濟(jì)學(xué)402583. 8,23.876, 1 .992XXX11.426XY02. 4,86.207,24.482YYY4852.0221XnXYXnXYb回歸系數(shù)1b表明國民收入每增加1千元，貨幣數(shù)量平均增加0.4852萬元 0098. 010XbYb樣本回歸方程為iiXY4852. 00098. 0 計(jì)量經(jīng)濟(jì)學(xué)412567.14,8292.57222222YnYyXnXxiiii6141.13)(2212iixby9549.0222iiyyR左右的變動能解釋因變量說明自

24、變量49.959549. 02YXR 計(jì)量經(jīng)濟(jì)學(xué)426426. 0222iiiyye06426.0222nei0333. 0)(221ixbse5706.14)()(111bsebbt2281. 2)10()(025. 01tbt 斜率系數(shù)通過參數(shù)顯著性檢驗(yàn)。 計(jì)量經(jīng)濟(jì)學(xué)432.6 一元線性回歸模型的預(yù)測一元線性回歸模型的預(yù)測 點(diǎn)預(yù)測 總體均值的預(yù)測 總體個(gè)值的預(yù)測計(jì)量經(jīng)濟(jì)學(xué)44 對于一元線性回歸模型 iiXbbY10給定樣本以外的解釋變量的觀測值X0，可以得到被解釋變量的點(diǎn)預(yù)測值0 0 ，可以此作為其條件條件均值均值E(Y|X=X0)或個(gè)別值個(gè)別值Y0的一個(gè)近似估計(jì)。 注意：注意： 嚴(yán)格地說

25、，這只是被解釋變量的預(yù)測值的估計(jì)值，而不是預(yù)測值。 原因:（1）參數(shù)估計(jì)量不確定； （2）隨機(jī)項(xiàng)的影響2.6.1 點(diǎn)預(yù)測點(diǎn)預(yù)測計(jì)量經(jīng)濟(jì)學(xué)45 0 0是條件均值是條件均值E(Y|X=X0)或個(gè)值或個(gè)值Y0的一個(gè)無偏估計(jì)的一個(gè)無偏估計(jì)由下式給出對真均值的預(yù)測給定000,XYEXX 01000XbbXYE00100XXbbY來估計(jì)上式，給定用 0101000XbbbEXbEYE的一個(gè)無偏估計(jì)量是因此，000XYEY計(jì)量經(jīng)濟(jì)學(xué)4600,YXX要預(yù)測個(gè)值給定00100XbbY01000XbbYY預(yù)測為把010001000XbbXbbYY預(yù)測誤差 001100Xbbbb000YYE因此，的一個(gè)無偏估計(jì)量是因此，00YY計(jì)量經(jīng)濟(jì)學(xué)47由于 于是可以證明 2.6.2 總體均值預(yù)測值的置信區(qū)間總體均值預(yù)測值的置信區(qū)間 0100XbbY),(),(221122200iiixbNbxnXbNb 0101000XbbbEXbEYE 12010000,2bVarXbbCovXbVarYVar2210,ixXbbCov計(jì)量經(jīng)濟(jì)學(xué)48因此 222022022202iiiixXxXXxXYVar200222