計量經濟學（第四版）課件：一元線性回歸分析基礎

計量經濟學（第四版）一元線性回歸分析基礎計量經濟學

一元線性回歸分析基礎28二月2024重點問題參數的最小二乘估計最小二乘估計的性質參數估計的檢驗預測一元線性回歸分析基礎28二月2024主要內容第一節(jié)模型的假定第二節(jié)參數的最小二乘估計第三節(jié)最小二乘估計量的性質第四節(jié)系數的顯著性檢驗第五節(jié)預測和預測區(qū)間一元線性回歸分析基礎28二月2024第一節(jié)模型的假定一、一元線性回歸模型

各種經濟變量之間的關系，可以劃分為兩種類型。一類是變量之間有惟一確定的關系，即函數關系，可表示為：

F(X1，X2，…，Xn，Y)=0(1—1)或Y=f(X1，X2，…，Xn)(1—2)

其中，最簡單的形式為一元線性函數關系

Y=PX(1—3)

另一類關系為不完全確定的相關關系,表示為：

F(X1，X2，…，Xn，Y，u)=0(1—4)一元線性回歸分析基礎28二月2024第一節(jié)模型的假定

或

Y=f(X1，X2，…，Xn，u)

(1—5)

其中最簡單的形式為一元線性回歸模型Y=β1+β2X+u(1—6)

計量經濟學只討論變量之間不完全確定的關系，如式(1—4)或式(1—5)所表示的關系。

如式(1—6)所表示的關系式，稱為一元線性回歸模型。

“一元”是指只有一個自變量X，這個自變量X可以解釋引起因變量Y變化的部分原因。因此，X稱為解釋變量，Y稱為被解釋變量，β1和β2為參數。一元線性回歸分析基礎28二月2024第一節(jié)模型的假定

“線性”一詞在這里有兩重含義。它一方面指被解釋變量Y與解釋變量X之間為線性關系，另一方面也指Y與參數β1、β2之間為線性關系。在數理統(tǒng)計學中，“回歸”通常指散布點分布在一條直線(或曲線)附近，并且越靠近該直線(或曲線)，點的分布越密集的情況?！澳Ｐ汀币辉~通常指滿足某些假設條件的方程或方程組。一元線性回歸分析基礎28二月2024第一節(jié)模型的假定二、誤差項的性質

與精密數學中的函數關系相比，回歸模型式(1—4),式(1—5),式(1—6)中的顯著特點是多了誤差項u。產生誤差項的原因主要有以下幾方面：1.忽略掉的影響因素造成的誤差2.模型關系不準確造成的誤差3.變量觀察值的計量誤差4.隨機誤差誤差項的存在是計量經濟學模型的特點，是計量經濟學模型與精密數學中完全確定的函數關系的主要區(qū)別。一元線性回歸分析基礎28二月2024第一節(jié)模型的假定三、經典假設條件

經典的一元線性回歸模型

Yt=β1+β2Xt+ut(t=1,2,…，n)(1—7)

通常要滿足五個假設條件：假設1誤差項ut的數學期望(均值)為零，即

E(ut)=0(t=1,2,…，n)(1—8)

假設2誤差項ut的方差與t無關，為一個常數，即

var(ut)=E((ut-E(ut))2)=E(ut2)

=σu2(t=1,2,…，n)

(1—9)

假設3不同的誤差項ut和us之間互相獨立，即

cov(ut,us)=E((ut-E(ut))(us-E(us)))=0(1—10)一元線性回歸分析基礎28二月2024第一節(jié)模型的假定

(t≠s;t=1,2,…,n;s=1,2,…,n)或

E(utus)=0

(1—11)

假設4解釋變量Xt與誤差項ut不相關，即

cov(Xt,ut)=E((Xt-E(Xt))(ut-E(ut)))

=E((Xt-E(Xt))ut)=0(t=1,2,…，n)(1—12)

假設5

ut為服從正態(tài)分布的隨機變量，即

ut～N(0,σu2)

以上五個假設條件稱為經典假設條件。綜上所述，一元線性回歸模型可以歸結為

Yt=β1+β2Xt+ut(t=1,2,…，n)

(1—13)一元線性回歸分析基礎28二月2024第一節(jié)模型的假定

E(ut)=0cov(ut,us)=0(t≠s；t,s=1,2,…,n)var(ut)=σu2

(常數)cov(Xt,ut)=0ut～N(0,σu2)一元線性回歸分析基礎28二月2024第二節(jié)參數的最小二乘估計一、擬合準則與最小二乘估計

擬合準則：1使達到最小值

2使達到最小值

3使達到最小值

4使達到最小值

第4種準則，由于逐項平方，不存在正負抵消的問題。它不僅考慮了所有點的影響，而且具有無偏性，是一個很好的準則。這個準則稱為最小二乘準則。用最小二乘準則尋找擬合直線的方法稱為最小二乘法。一元線性回歸分析基礎28二月2024第二節(jié)參數的最小二乘估計為簡化表達式，從本節(jié)起，在不會發(fā)生誤解的情況下，略去求和指標t求和的上下限。只要求和符號沒有上下限，就表示為從t=1到t=n求和。即用求和符號∑代替符號假設估計直線：Y=а*

+β*Xа*，β*為參數估計當X=XtYt=а*

+β*Xt(Xt,Yt)→(Xt,а*

+β*Xt)殘差：et=Yt-(а*

+β*Xt)誤差：ut=Yt-(а+βXt)殘差平方和：Q=∑et2=∑[Yt-(а*

+β*Xt)]2一元線性回歸分析基礎28二月2024第二節(jié)參數的最小二乘估計一元線性回歸分析基礎28二月2024第二節(jié)參數的最小二乘估計一元線性回歸分析基礎28二月2024第二節(jié)參數的最小二乘估計一元線性回歸分析基礎28二月2024第二節(jié)參數的最小二乘估計二、總體與樣本

在數理統(tǒng)計中，通常把研究對象的全體稱為總體。把總體中的每個元素稱為個體。從總體中隨機抽取的一組個體稱為樣本。抽取的個體數，稱為樣本容量。從總體中抽取樣本的過程稱為隨機抽樣。總體有限總體無限總體任何樣本都是有限的

一元線性回歸分析基礎28二月2024第三節(jié)最小二乘估計量的性質

一、線性特性

是指參數估計值β*1和β*2分別為觀察值Yt或擾動項ut的線性組合。

證：

β*2=∑Xtyt/∑Xt2

=∑Xt(Yt-)/∑X2t=∑（Xt/∑Xt2）Yt

令

bt=（Xt/∑Xt2）

得

β*2=∑btYt

即β*2

是Yt的線性組合一元線性回歸分析基礎28二月2024第三節(jié)最小二乘估計量的性質

β*2=∑btYt=∑bt(β1+β2Xt+ut)=β1∑bt+β2∑btXt+∑btut

其中：∑bt=∑(Xt/∑Xt2)=∑Xt/∑Xt2=0∑btXt=∑(Xt/∑Xt2)Xt=∑(Xt(Xt+)/∑Xt2)=1

所以

β*2=β2+∑btut即β*2也是ut的線性組合

一元線性回歸分析基礎28二月2024第三節(jié)最小二乘估計量的性質

β*1=-β1=(1/n)∑Yt-∑btYt=∑[(1/n)-bt]Yt令at=[(1/n)-bt]由于和bt均為非隨機變量，所以at也是非隨機變量。因此

β*1=∑atYt即β*1是Yt的線性組合。

一元線性回歸分析基礎28二月2024第二節(jié)參數的最小二乘估計

β*1=∑at(β1+β2Xt+ut)=β1∑at+β2∑atXt+∑atut其中：∑at=∑[(1/n)-bt]=1-∑bt=1∑atXt=∑[1/n-bt]Xt=(1/n)∑Xt-∑btXt=0所以β*1=β1+∑atut即β*1也是ut的線性組合一元線性回歸分析基礎28二月2024第三節(jié)最小二乘估計量的性質二、無偏性

指β*1和β*2

的期望值分別等于總體參數β1和β2。

即E(β*1)=β1E(β*2)=β2

E(β*2)=E(β2+∑btut)=β2+∑btE(ut)=β2

E(β*1)=E(β1+∑atut)=β1

一元線性回歸分析基礎28二月2024第三節(jié)最小二乘估計量的性質三、最優(yōu)性

指最小二乘估計β*1和β*2在各種線性無偏估計中，具有最小方差。1.先求β*1和β*2的方差

var(β*2)=var(∑btYt)=∑bt2var(β1+β2Xt+ut)=∑bt2var(ut)=∑(Xt/∑Xt2)2σ2=σ2/Xt2var(β*1)=var(∑atYt)=∑at2var(β1+β2Xt+ut)=∑at2var(ut)=∑[(1/n)-bt]2σ2

=σ2(1/n+2/∑Xt2)一元線性回歸分析基礎28二月2024第三節(jié)最小二乘估計量的性質2.證明最小方差性

假設β**2是其他方法得到的關于β2的線性無偏估計

β**2=∑ctYt

其中，ct=bt+dt，dt為不全為零的常數則容易證明var(β**2)≥var(β*2)

同理可證明β1的最小二乘估計量β*1具有最小方差。

高斯—馬爾可夫定理(Gauss-Markovtheorem)：

滿足性質1、2、3的最小二乘估計量是最優(yōu)線性無偏估計量（bestlinearunbiasedestimator：BLUE）一元線性回歸分析基礎28二月2024第四節(jié)系數的顯著性檢驗一、誤差項方差估計

對比總體回歸模型和樣本回歸模型，可以看出，殘差et可以看做誤差項ut的估計值。計算如下：一元線性回歸分析基礎28二月2024第四節(jié)系數的顯著性檢驗一元線性回歸分析基礎28二月2024第四節(jié)系數的顯著性檢驗二、參數估計的顯著性檢驗

在上一節(jié)中，已經證明，由于最小二乘估計β*1和β*2

具有線性特性，所以β*1和β*2均為Yt的線性組合。

因為Yt服從正態(tài)分布，所以作為Yt的線性組合的β*1和β*2也服從正態(tài)分布。由無偏性，證明了β*1和β*2的期望分別為總體參數β1和β2。在證明最優(yōu)性的過程中又得到β*1和β*2的方差。一元線性回歸分析基礎28二月2024第四節(jié)系數的顯著性檢驗因此，可以得到β*1和β*2的抽樣分布為

由于真實的σ2不知，用它的無偏估計量S2=∑et2/(n-2)替代時，可構造如下統(tǒng)計量：一元線性回歸分析基礎28二月2024

檢驗步驟：（1）對總體參數提出假設

H0：

2=0，H1：20（2）以原假設H0構造t統(tǒng)計量，并由樣本計算其值一元線性回歸分析基礎28二月2024第四節(jié)系數的顯著性檢驗（3）給定顯著性水平

，查t分布表，得臨界值

t/2(n-2)(4)比較，判斷

若

|t|>t/2(n-2)，則拒絕H0

，接受H1

；

若

|t|

t/2(n-2)，則拒絕H1

，接受H0

；

對于一元線性回歸方程中的

1，可構造如下t統(tǒng)計量進行顯著性檢驗：

一元線性回歸分析基礎28二月2024第四節(jié)系數的顯著性檢驗三、總體參數的置信區(qū)間

總體參數β1和β2的置信區(qū)間分別為

一元線性回歸分析基礎28二月2024第四節(jié)系數的顯著性檢驗四、決定系數

由樣本回歸模型和樣本回歸方程，可以得到

這個恒等式把被解釋變量的總偏差分解成相應的可解釋偏差(回歸偏差)和殘差(隨機偏差兩部分之和，如下圖：一元線性回歸分析基礎28二月2024第四節(jié)系數的顯著性檢驗

圖1—5被解釋變量偏差的分解

XtOXy·Yt一元線性回歸分析基礎28二月2024第四節(jié)系數的顯著性檢驗記總體平方和（TotalSumofSquares）回歸平方和（ExplainedSumofSquares）殘差平方和（ResidualSumofSquares

）TSS=ESS+RSS可以證明一元線性回歸分析基礎28二月2024第四節(jié)系數的顯著性檢驗由正規(guī)方程組一元線性回歸分析基礎28二月2024第四節(jié)系數的顯著性檢驗所以即TSS=ESS+RSS

Y的觀測值圍繞其均值的總離差(totalvariation)可分解為兩部分：一部分來自回歸線(ESS)，另一部分則來自隨機勢力(RSS)。在給定樣本中，TSS不變，

如果實際觀測點離樣本回歸線越近，則ESS在TSS中占的比重越大。一元線性回歸分析基礎28二月2024第四節(jié)系數的顯著性檢驗因此定義：表示擬合的程度，因此稱為決定系數(coefficientofdetermination)或擬合優(yōu)度。在相關分析中R2

也稱為復相關系數。

0≤R2≤1一元線性回歸分析基礎28二月2024第四節(jié)系數的顯著性檢驗五、相關分析

通常把相關分析作為回歸分析的補充分析方法。相關分析分為線性相關與非線性相關，如果樣本點集中分布在一條直線附近，則兩變量的關系稱為線性相關。當直線的斜率為正值，兩變量的關系稱為正線性相關。當直線的斜率為負值，兩變量的關系稱為負線性相關。如果樣本點集中分布在一條曲線附近，則兩變量的關系稱為非線性相關。一元線性回歸分析基礎28二月2024第四節(jié)系數的顯著性檢驗線性相關：通常用相關系數表示X和Y的相關程度rXY為X與Y的簡單相關系數(只有兩個變量相關的相關系數)，同時也是樣本相關系數

一元線性回歸分析基礎28二月2024第四節(jié)系數的顯著性檢驗總體相關系數-1≤ρ

≤1ρ=0，表示總體X與Y不相關；ρ≠0，表示總體X與Y在一定程度上相關；ρ=±1，表示總體X與Y完全正相關或完全負相關。

一元線性回歸分析基礎28二月2024第四節(jié)系數的顯著性檢驗X與Y總體是否相關的檢驗提出假設：

H0∶ρ=0H1∶ρ≠0構造統(tǒng)計量一元線性回歸分析