雙變量線性回歸分析

1、第三部分 初計(jì)量經(jīng)濟(jì) （13周）經(jīng)典單方程計(jì)量經(jīng)濟(jì)模型：一元線形回歸模型經(jīng)典單方程計(jì)量經(jīng)濟(jì)模型：多元線形回歸模型經(jīng)典單方程計(jì)量經(jīng)濟(jì)模型：放寬基本假定模型第一章 一元線性回歸（雙變量）（1）回歸分析的基本概念（2）前提建設(shè)（3）參數(shù)估計(jì)：OLS的參數(shù)估計(jì)ML的參數(shù)估計(jì)（4）統(tǒng)計(jì)檢驗(yàn)（5）預(yù)測（6）時(shí)間案例與操作（7）思考與作業(yè)§1 經(jīng)典正態(tài)線性回歸模型（CNLRM）1、 一個(gè)例子XY8010012014016018020022024026055657980102110120135137150607084931071151361371451526574909511012014014015

2、517570809410311613014415216517875859810811813514515717518088113125140160189185115162191總計(jì)32546244570767875068510439661211均值657789101113125137174161173注 x表示收入，y表示支出。 條件分布：以X取定值為條件的Y的條件分布條件概率：給定X的Y的概率，記為P(Y|X)。例如，P(Y=55|X=80)=1/5；P（Y=150|X=260）=1/7。條件期望（conditional Expectation）：給定X的Y的期望值，記為E(Y|X)。例如，E

3、(Y|X=80)=55×1/560×1/565×1/570×1/575×1/565總體回歸曲線（Popular Regression Curve）（總體回歸曲線的幾何意義）：當(dāng)解釋變量給定值時(shí)因變量的條件期望值的軌跡。總結(jié)總體： 總體函數(shù)：PRF：Yi=b1+b2Xi+ui=E(Y|Xi)+ui 總體方程：PRF：Yi=b1+b2Xi=E(Y|Xi)樣本： 樣本函數(shù)：SRF：=+=+ 樣本方程：SRF：=+=2、 總體回歸函數(shù)（PRF）E(Y|Xi)=f(Xi)當(dāng)PRF的函數(shù)形式為線性函數(shù)，則有，E(Y|Xi)=b1+b2Xi其中b1和b2為未

4、知而固定的參數(shù)，稱為回歸系數(shù)。b1和b2也分別稱為截距和斜率系數(shù)。上述方程也稱為線性總體回歸函數(shù)。3、 PRF的隨機(jī)設(shè)定將個(gè)別的YI圍繞其期望值的離差(Deviation)表述如下：ui=Yi-E(Y|Xi) 或Yi=E(Y|Xi)+uiPRF：Yi=b1+b2Xi+ui=E(Y|Xi)+ui其中ui是一個(gè)不可觀測的可正可負(fù)的隨機(jī)變量，稱為隨機(jī)擾動(dòng)項(xiàng)或隨機(jī)誤差項(xiàng)。 4、 “線性”的含義“線性”可作兩種解釋：對變量為線性，對參數(shù)為線性。本課“線性”回歸一詞總是指對參數(shù)b為線性的一種回歸（即參數(shù)只以它的1次方出現(xiàn)）。模型對參數(shù)為線性？模型對變量為線性？是不是是LRMLRM不是NLRMNLRM注：L

5、RM線性回歸模型；NLRM非線性回歸模型。 看幾個(gè)例子：5、 隨機(jī)干擾項(xiàng)的意義（補(bǔ)充內(nèi)容）隨機(jī)擾動(dòng)項(xiàng)是從模型中省略下來的而又集體地影響著Y的全部變量的替代物。顯然的問題是：為什么不把這些變量明顯地引進(jìn)到模型中來？換句話說，為什么不構(gòu)造一個(gè)含有盡可能多個(gè)變量的復(fù)回歸模型呢？理由是多方面的：（1） 理論的含糊性（2） 數(shù)據(jù)的欠缺（3） 核心變量與周邊變量（4） 內(nèi)在隨機(jī)性（5） 替代變量（6） 省略原則（7） 錯(cuò)誤的函數(shù)形式總之把所有沒有模型中沒有包含，但有關(guān)的變量全部納入干擾項(xiàng)之中。6、 樣本回歸函數(shù)（SRF）（1）樣本回歸函數(shù)=+其中E(Y|Xi)的估計(jì)量；的估計(jì)量；的估計(jì)量。估計(jì)量（Esti

6、mator）：一個(gè)估計(jì)量又稱統(tǒng)計(jì)量，是指一個(gè)規(guī)則、公式或方法，是用已知的樣本所提供的信息去估計(jì)總體參數(shù)。在應(yīng)用中，由估計(jì)量算出的數(shù)值稱為估計(jì)值。樣本回歸函數(shù)的隨機(jī)形式為：SRF：=+=+其中表示（樣本）殘差項(xiàng)（residual）。（2）樣本回歸線的幾何意義 Xi X PRF:E(Y|Xi)=b1+b2XiSRF: =+ YE(Y|Xi)7、經(jīng)典線性回歸模型（CLRM）的基本假定：假定1：干擾項(xiàng)的均值為零。即，E(ui|Xi)=0假定2：同方差性或ui的方差相等。即，Var(ui|Xi)=s2假定3：各個(gè)干擾項(xiàng)無自相關(guān)。即，Cov(ui,uj|Xi,Xj)=0假定4：ui和Xi的協(xié)方差為零。即，

7、Cov(ui,Xi)=E(uiXi)=0假定5： 回歸模型對參數(shù)而言是線性的假定6：§2 估計(jì)問題（b和s2）一、 普通最小二乘法1、問題：PRF：Yi=b1+b2Xi+uiSRF：=+=+=-=-(+)minf(,)=minS2=minS-(+)22、正規(guī)方程（Normal equation）由=0，以及=0得到的方程組稱為正規(guī)方程。即， S=n+S S=S+S2二、 b的估計(jì)1、公式：解上述正規(guī)方程組得到和估計(jì)值：其中和是X和Y的樣本均值。定義離差：=-，=-。用小寫字母表示對均值的離差。2、對OLS估計(jì)量的說明(1）OLS估計(jì)量可由觀測值計(jì)算；(2) OLS估計(jì)量是點(diǎn)估計(jì)量；(

8、3)一旦從樣本數(shù)據(jù)得到OLS估計(jì)值，就可畫出樣本回歸線。3、樣本回歸線的性質(zhì)：（1） 通過Y和X的樣本均值：；（2） 估計(jì)的Y的均值等于實(shí)際的Y的均值：=；（3） 殘差的均值為零：E()=0；（4） 殘差與不相關(guān)：S=0；（5） 殘差與不相關(guān)：S=0。三、s2的估計(jì)四、最小二乘法估計(jì)的精度或標(biāo)準(zhǔn)誤差五、OLS的性質(zhì)（高斯馬爾可夫定理）（補(bǔ)充內(nèi)容）OLS估計(jì)量和是BLUE（Best Linear Unbiased Estimator）的。(1)線性：它是一個(gè)隨機(jī)變量，如因變量Y的線性函數(shù)。(2)無偏：它的均值等于真值，E()=b2(3)最小方差：在所有線性無偏估計(jì)量中OLS下的估計(jì)量有最小方差。

9、注：有最小方差的無偏估計(jì)量叫有效估計(jì)量。§3 擬合優(yōu)度檢驗(yàn)擬合優(yōu)度檢驗(yàn)是指樣本回歸線與樣本觀測值之間擬合程度的檢驗(yàn)。度量擬合程度的指標(biāo)是判定系數(shù)R2。YYi O Xi X=來自殘差(Yi)=總離差(-)=來自回歸SRF：+一、 平方和公式總平方和（TSS）：=實(shí)測的Y值圍繞其均值的總變異；解釋平方和（ESS）：=估計(jì)的Y值圍繞其均值的總變異；殘差平方和（RSS）：=未被解釋的圍繞回歸線的Y值的變異。二、 R2公式，或性質(zhì)：；三、 R2與相關(guān)系數(shù)r不同在回歸分析中，R2是一個(gè)比r更有意義的度量，因?yàn)榍罢吒嬖V我們在因變量的變異中由解釋變量解釋的部分占怎樣一個(gè)比例，因而對一個(gè)變量的變異在多

10、大程度上決定另一個(gè)變量的變異，提供了一個(gè)總的度量。§4 置信區(qū)間本節(jié)要解決的問題： OLS估計(jì)值是一個(gè)點(diǎn)估計(jì)值，它離真實(shí)值有多近？一、 區(qū)間估計(jì)的一些基本概念為了回答上述問題，我們試求兩個(gè)正數(shù)d和a，a位于0與1之間，使得隨機(jī)區(qū)間（-d,+d）包含的概率為1-a。用符號(hào)表示，Pr(-d+d)=1-a這樣的一個(gè)區(qū)間如果存在的話，就稱為置信區(qū)間（Confidence interval）；1-a稱為置信系數(shù)（Confidence coefficient）；a（0<a<1）稱為顯著(性)水平（Level of significance）；置信區(qū)間的端點(diǎn)稱為置信限（Confiden

11、ce limits）；-d為置信下限（Lower Confidence limit）；+d為置信上限（Upper Confidence limit）。二、回歸系數(shù)b1和b2的置信區(qū)間在ui的正態(tài)性假定下，OLS估計(jì)量和本身就是正態(tài)分布的，ÞÞ但是很少能知道，在實(shí)踐中用無偏估計(jì)量來代替，則統(tǒng)計(jì)量t服從自由度為n-2的t分布：其中表示估計(jì)量的標(biāo)準(zhǔn)差（）的估計(jì)值。由得：b2的顯著水平為a的置信區(qū)間為：同樣，b1顯著水平為a的置信區(qū)間為：三、s2的置信區(qū)間在正態(tài)性的假設(shè)下，變量服從自由度為n-2的分布。故可以用其來建立s2的置信區(qū)間。由得， s2顯著水平為a的置信區(qū)間為：§

12、;5假設(shè)檢驗(yàn)（）問題：某一給定的觀測或發(fā)現(xiàn)是否與某一聲稱的假設(shè)（stated hypothesis）相符？此處用“相符”一詞表示觀測的值與假設(shè)的值“足夠相近”，因而我們不拒絕所聲稱的假設(shè)。虛擬假設(shè)（Null hypothesis）：一種信以為真的、意在維護(hù)的或理論上的假設(shè)，并用H0表示。與之對立的假設(shè)稱為對立假設(shè)（alternative hypothesis），記為H1。對立假設(shè)可以是簡單的或復(fù)合的。例如，H1：b2=1是一個(gè)簡單假設(shè)，但是H1：b2¹1則是一個(gè)復(fù)合假設(shè)。方法：有顯著性檢驗(yàn)和置信區(qū)間兩種方法。一、 顯著性檢驗(yàn)1、 t檢驗(yàn)（檢驗(yàn)系數(shù)）方法：H0：；H1：如果H0為真，則

13、因?yàn)樗杂校瑥亩?，檢驗(yàn)的估計(jì)值是否在此區(qū)間，如果在則接受H0假設(shè)，否則拒絕H0假設(shè)。2、 置信區(qū)間方法H0：；H1：構(gòu)造一個(gè)b2的顯著水平為a的置信區(qū)間為：。若b2在假設(shè)H0：之下落入此區(qū)間，就不要拒絕H0假設(shè)，但落在區(qū)間之外，就拒絕H0假設(shè)。3、 t檢驗(yàn)方法的直接計(jì)算：H0：；H1：。計(jì)算 1-a接受域 -ta/2 O ta/2 t比較|與：|>（t值大）Û“統(tǒng)計(jì)量的值落入臨界域上Û統(tǒng)計(jì)量是統(tǒng)計(jì)上顯著的Û拒絕H0假設(shè)ÛPr(t)<a（P值?。?。二、s2檢驗(yàn)的顯著性（c2檢驗(yàn)）H0：；H1：。構(gòu)造s2顯著水平為a的置信區(qū)間：檢驗(yàn)s2的檢驗(yàn)值是否在此區(qū)間內(nèi)，在則接受，不在就拒絕。三、假設(shè)檢驗(yàn)中的兩類錯(cuò)誤第一類錯(cuò)誤：拒絕真實(shí)；第二類錯(cuò)誤：接受錯(cuò)誤。兩類錯(cuò)誤之間存在一種替代關(guān)系(Trade-off)。§6 F檢驗(yàn)（總顯著水平）算出F的估計(jì)值，與F分布表在選定顯著水平上讀出的F臨界值相比較；或查找F統(tǒng)計(jì)量的估計(jì)值的P值。§7