計(jì)量經(jīng)濟(jì)學(xué)（第四版）課件：一元線性回歸分析基礎(chǔ)

計(jì)量經(jīng)濟(jì)學(xué)（第四版）一元線性回歸分析基礎(chǔ)計(jì)量經(jīng)濟(jì)學(xué)

一元線性回歸分析基礎(chǔ)28二月2024重點(diǎn)問題參數(shù)的最小二乘估計(jì)最小二乘估計(jì)的性質(zhì)參數(shù)估計(jì)的檢驗(yàn)預(yù)測(cè)一元線性回歸分析基礎(chǔ)28二月2024主要內(nèi)容第一節(jié)模型的假定第二節(jié)參數(shù)的最小二乘估計(jì)第三節(jié)最小二乘估計(jì)量的性質(zhì)第四節(jié)系數(shù)的顯著性檢驗(yàn)第五節(jié)預(yù)測(cè)和預(yù)測(cè)區(qū)間一元線性回歸分析基礎(chǔ)28二月2024第一節(jié)模型的假定一、一元線性回歸模型

各種經(jīng)濟(jì)變量之間的關(guān)系，可以劃分為兩種類型。一類是變量之間有惟一確定的關(guān)系，即函數(shù)關(guān)系，可表示為：

F(X1，X2，…，Xn，Y)=0(1—1)或Y=f(X1，X2，…，Xn)(1—2)

其中，最簡單的形式為一元線性函數(shù)關(guān)系

Y=PX(1—3)

另一類關(guān)系為不完全確定的相關(guān)關(guān)系,表示為：

F(X1，X2，…，Xn，Y，u)=0(1—4)一元線性回歸分析基礎(chǔ)28二月2024第一節(jié)模型的假定

或

Y=f(X1，X2，…，Xn，u)

(1—5)

其中最簡單的形式為一元線性回歸模型Y=β1+β2X+u(1—6)

計(jì)量經(jīng)濟(jì)學(xué)只討論變量之間不完全確定的關(guān)系，如式(1—4)或式(1—5)所表示的關(guān)系。

如式(1—6)所表示的關(guān)系式，稱為一元線性回歸模型。

“一元”是指只有一個(gè)自變量X，這個(gè)自變量X可以解釋引起因變量Y變化的部分原因。因此，X稱為解釋變量，Y稱為被解釋變量，β1和β2為參數(shù)。一元線性回歸分析基礎(chǔ)28二月2024第一節(jié)模型的假定

“線性”一詞在這里有兩重含義。它一方面指被解釋變量Y與解釋變量X之間為線性關(guān)系，另一方面也指Y與參數(shù)β1、β2之間為線性關(guān)系。在數(shù)理統(tǒng)計(jì)學(xué)中，“回歸”通常指散布點(diǎn)分布在一條直線(或曲線)附近，并且越靠近該直線(或曲線)，點(diǎn)的分布越密集的情況?！澳Ｐ汀币辉~通常指滿足某些假設(shè)條件的方程或方程組。一元線性回歸分析基礎(chǔ)28二月2024第一節(jié)模型的假定二、誤差項(xiàng)的性質(zhì)

與精密數(shù)學(xué)中的函數(shù)關(guān)系相比，回歸模型式(1—4),式(1—5),式(1—6)中的顯著特點(diǎn)是多了誤差項(xiàng)u。產(chǎn)生誤差項(xiàng)的原因主要有以下幾方面：1.忽略掉的影響因素造成的誤差2.模型關(guān)系不準(zhǔn)確造成的誤差3.變量觀察值的計(jì)量誤差4.隨機(jī)誤差誤差項(xiàng)的存在是計(jì)量經(jīng)濟(jì)學(xué)模型的特點(diǎn)，是計(jì)量經(jīng)濟(jì)學(xué)模型與精密數(shù)學(xué)中完全確定的函數(shù)關(guān)系的主要區(qū)別。一元線性回歸分析基礎(chǔ)28二月2024第一節(jié)模型的假定三、經(jīng)典假設(shè)條件

經(jīng)典的一元線性回歸模型

Yt=β1+β2Xt+ut(t=1,2,…，n)(1—7)

通常要滿足五個(gè)假設(shè)條件：假設(shè)1誤差項(xiàng)ut的數(shù)學(xué)期望(均值)為零，即

E(ut)=0(t=1,2,…，n)(1—8)

假設(shè)2誤差項(xiàng)ut的方差與t無關(guān)，為一個(gè)常數(shù)，即

var(ut)=E((ut-E(ut))2)=E(ut2)

=σu2(t=1,2,…，n)

(1—9)

假設(shè)3不同的誤差項(xiàng)ut和us之間互相獨(dú)立，即

cov(ut,us)=E((ut-E(ut))(us-E(us)))=0(1—10)一元線性回歸分析基礎(chǔ)28二月2024第一節(jié)模型的假定

(t≠s;t=1,2,…,n;s=1,2,…,n)或

E(utus)=0

(1—11)

假設(shè)4解釋變量Xt與誤差項(xiàng)ut不相關(guān)，即

cov(Xt,ut)=E((Xt-E(Xt))(ut-E(ut)))

=E((Xt-E(Xt))ut)=0(t=1,2,…，n)(1—12)

假設(shè)5

ut為服從正態(tài)分布的隨機(jī)變量，即

ut～N(0,σu2)

以上五個(gè)假設(shè)條件稱為經(jīng)典假設(shè)條件。綜上所述，一元線性回歸模型可以歸結(jié)為

Yt=β1+β2Xt+ut(t=1,2,…，n)

(1—13)一元線性回歸分析基礎(chǔ)28二月2024第一節(jié)模型的假定

E(ut)=0cov(ut,us)=0(t≠s；t,s=1,2,…,n)var(ut)=σu2

(常數(shù))cov(Xt,ut)=0ut～N(0,σu2)一元線性回歸分析基礎(chǔ)28二月2024第二節(jié)參數(shù)的最小二乘估計(jì)一、擬合準(zhǔn)則與最小二乘估計(jì)

擬合準(zhǔn)則：1使達(dá)到最小值

2使達(dá)到最小值

3使達(dá)到最小值

4使達(dá)到最小值

第4種準(zhǔn)則，由于逐項(xiàng)平方，不存在正負(fù)抵消的問題。它不僅考慮了所有點(diǎn)的影響，而且具有無偏性，是一個(gè)很好的準(zhǔn)則。這個(gè)準(zhǔn)則稱為最小二乘準(zhǔn)則。用最小二乘準(zhǔn)則尋找擬合直線的方法稱為最小二乘法。一元線性回歸分析基礎(chǔ)28二月2024第二節(jié)參數(shù)的最小二乘估計(jì)為簡化表達(dá)式，從本節(jié)起，在不會(huì)發(fā)生誤解的情況下，略去求和指標(biāo)t求和的上下限。只要求和符號(hào)沒有上下限，就表示為從t=1到t=n求和。即用求和符號(hào)∑代替符號(hào)假設(shè)估計(jì)直線：Y=а*

+β*Xа*，β*為參數(shù)估計(jì)當(dāng)X=XtYt=а*

+β*Xt(Xt,Yt)→(Xt,а*

+β*Xt)殘差：et=Yt-(а*

+β*Xt)誤差：ut=Yt-(а+βXt)殘差平方和：Q=∑et2=∑[Yt-(а*

+β*Xt)]2一元線性回歸分析基礎(chǔ)28二月2024第二節(jié)參數(shù)的最小二乘估計(jì)一元線性回歸分析基礎(chǔ)28二月2024第二節(jié)參數(shù)的最小二乘估計(jì)一元線性回歸分析基礎(chǔ)28二月2024第二節(jié)參數(shù)的最小二乘估計(jì)一元線性回歸分析基礎(chǔ)28二月2024第二節(jié)參數(shù)的最小二乘估計(jì)二、總體與樣本

在數(shù)理統(tǒng)計(jì)中，通常把研究對(duì)象的全體稱為總體。把總體中的每個(gè)元素稱為個(gè)體。從總體中隨機(jī)抽取的一組個(gè)體稱為樣本。抽取的個(gè)體數(shù)，稱為樣本容量。從總體中抽取樣本的過程稱為隨機(jī)抽樣。總體有限總體無限總體任何樣本都是有限的

一元線性回歸分析基礎(chǔ)28二月2024第三節(jié)最小二乘估計(jì)量的性質(zhì)

一、線性特性

是指參數(shù)估計(jì)值β*1和β*2分別為觀察值Yt或擾動(dòng)項(xiàng)ut的線性組合。

證：

β*2=∑Xtyt/∑Xt2

=∑Xt(Yt-)/∑X2t=∑（Xt/∑Xt2）Yt

令

bt=（Xt/∑Xt2）

得

β*2=∑btYt

即β*2

是Yt的線性組合一元線性回歸分析基礎(chǔ)28二月2024第三節(jié)最小二乘估計(jì)量的性質(zhì)

β*2=∑btYt=∑bt(β1+β2Xt+ut)=β1∑bt+β2∑btXt+∑btut

其中：∑bt=∑(Xt/∑Xt2)=∑Xt/∑Xt2=0∑btXt=∑(Xt/∑Xt2)Xt=∑(Xt(Xt+)/∑Xt2)=1

所以

β*2=β2+∑btut即β*2也是ut的線性組合

一元線性回歸分析基礎(chǔ)28二月2024第三節(jié)最小二乘估計(jì)量的性質(zhì)

β*1=-β1=(1/n)∑Yt-∑btYt=∑[(1/n)-bt]Yt令at=[(1/n)-bt]由于和bt均為非隨機(jī)變量，所以at也是非隨機(jī)變量。因此

β*1=∑atYt即β*1是Yt的線性組合。

一元線性回歸分析基礎(chǔ)28二月2024第二節(jié)參數(shù)的最小二乘估計(jì)

β*1=∑at(β1+β2Xt+ut)=β1∑at+β2∑atXt+∑atut其中：∑at=∑[(1/n)-bt]=1-∑bt=1∑atXt=∑[1/n-bt]Xt=(1/n)∑Xt-∑btXt=0所以β*1=β1+∑atut即β*1也是ut的線性組合一元線性回歸分析基礎(chǔ)28二月2024第三節(jié)最小二乘估計(jì)量的性質(zhì)二、無偏性

指β*1和β*2

的期望值分別等于總體參數(shù)β1和β2。

即E(β*1)=β1E(β*2)=β2

E(β*2)=E(β2+∑btut)=β2+∑btE(ut)=β2

E(β*1)=E(β1+∑atut)=β1

一元線性回歸分析基礎(chǔ)28二月2024第三節(jié)最小二乘估計(jì)量的性質(zhì)三、最優(yōu)性

指最小二乘估計(jì)β*1和β*2在各種線性無偏估計(jì)中，具有最小方差。1.先求β*1和β*2的方差

var(β*2)=var(∑btYt)=∑bt2var(β1+β2Xt+ut)=∑bt2var(ut)=∑(Xt/∑Xt2)2σ2=σ2/Xt2var(β*1)=var(∑atYt)=∑at2var(β1+β2Xt+ut)=∑at2var(ut)=∑[(1/n)-bt]2σ2

=σ2(1/n+2/∑Xt2)一元線性回歸分析基礎(chǔ)28二月2024第三節(jié)最小二乘估計(jì)量的性質(zhì)2.證明最小方差性

假設(shè)β**2是其他方法得到的關(guān)于β2的線性無偏估計(jì)

β**2=∑ctYt

其中，ct=bt+dt，dt為不全為零的常數(shù)則容易證明var(β**2)≥var(β*2)

同理可證明β1的最小二乘估計(jì)量β*1具有最小方差。

高斯—馬爾可夫定理(Gauss-Markovtheorem)：

滿足性質(zhì)1、2、3的最小二乘估計(jì)量是最優(yōu)線性無偏估計(jì)量（bestlinearunbiasedestimator：BLUE）一元線性回歸分析基礎(chǔ)28二月2024第四節(jié)系數(shù)的顯著性檢驗(yàn)一、誤差項(xiàng)方差估計(jì)

對(duì)比總體回歸模型和樣本回歸模型，可以看出，殘差et可以看做誤差項(xiàng)ut的估計(jì)值。計(jì)算如下：一元線性回歸分析基礎(chǔ)28二月2024第四節(jié)系數(shù)的顯著性檢驗(yàn)一元線性回歸分析基礎(chǔ)28二月2024第四節(jié)系數(shù)的顯著性檢驗(yàn)二、參數(shù)估計(jì)的顯著性檢驗(yàn)

在上一節(jié)中，已經(jīng)證明，由于最小二乘估計(jì)β*1和β*2

具有線性特性，所以β*1和β*2均為Yt的線性組合。

因?yàn)閅t服從正態(tài)分布，所以作為Yt的線性組合的β*1和β*2也服從正態(tài)分布。由無偏性，證明了β*1和β*2的期望分別為總體參數(shù)β1和β2。在證明最優(yōu)性的過程中又得到β*1和β*2的方差。一元線性回歸分析基礎(chǔ)28二月2024第四節(jié)系數(shù)的顯著性檢驗(yàn)因此，可以得到β*1和β*2的抽樣分布為

由于真實(shí)的σ2不知，用它的無偏估計(jì)量S2=∑et2/(n-2)替代時(shí)，可構(gòu)造如下統(tǒng)計(jì)量：一元線性回歸分析基礎(chǔ)28二月2024

檢驗(yàn)步驟：（1）對(duì)總體參數(shù)提出假設(shè)

H0：

2=0，H1：20（2）以原假設(shè)H0構(gòu)造t統(tǒng)計(jì)量，并由樣本計(jì)算其值一元線性回歸分析基礎(chǔ)28二月2024第四節(jié)系數(shù)的顯著性檢驗(yàn)（3）給定顯著性水平

，查t分布表，得臨界值

t/2(n-2)(4)比較，判斷

若

|t|>t/2(n-2)，則拒絕H0

，接受H1

；

若

|t|

t/2(n-2)，則拒絕H1

，接受H0

；

對(duì)于一元線性回歸方程中的

1，可構(gòu)造如下t統(tǒng)計(jì)量進(jìn)行顯著性檢驗(yàn)：

一元線性回歸分析基礎(chǔ)28二月2024第四節(jié)系數(shù)的顯著性檢驗(yàn)三、總體參數(shù)的置信區(qū)間

總體參數(shù)β1和β2的置信區(qū)間分別為

一元線性回歸分析基礎(chǔ)28二月2024第四節(jié)系數(shù)的顯著性檢驗(yàn)四、決定系數(shù)

由樣本回歸模型和樣本回歸方程，可以得到

這個(gè)恒等式把被解釋變量的總偏差分解成相應(yīng)的可解釋偏差(回歸偏差)和殘差(隨機(jī)偏差兩部分之和，如下圖：一元線性回歸分析基礎(chǔ)28二月2024第四節(jié)系數(shù)的顯著性檢驗(yàn)

圖1—5被解釋變量偏差的分解

XtOXy·Yt一元線性回歸分析基礎(chǔ)28二月2024第四節(jié)系數(shù)的顯著性檢驗(yàn)記總體平方和（TotalSumofSquares）回歸平方和（ExplainedSumofSquares）殘差平方和（ResidualSumofSquares

）TSS=ESS+RSS可以證明一元線性回歸分析基礎(chǔ)28二月2024第四節(jié)系數(shù)的顯著性檢驗(yàn)由正規(guī)方程組一元線性回歸分析基礎(chǔ)28二月2024第四節(jié)系數(shù)的顯著性檢驗(yàn)所以即TSS=ESS+RSS

Y的觀測(cè)值圍繞其均值的總離差(totalvariation)可分解為兩部分：一部分來自回歸線(ESS)，另一部分則來自隨機(jī)勢(shì)力(RSS)。在給定樣本中，TSS不變，

如果實(shí)際觀測(cè)點(diǎn)離樣本回歸線越近，則ESS在TSS中占的比重越大。一元線性回歸分析基礎(chǔ)28二月2024第四節(jié)系數(shù)的顯著性檢驗(yàn)因此定義：表示擬合的程度，因此稱為決定系數(shù)(coefficientofdetermination)或擬合優(yōu)度。在相關(guān)分析中R2

也稱為復(fù)相關(guān)系數(shù)。

0≤R2≤1一元線性回歸分析基礎(chǔ)28二月2024第四節(jié)系數(shù)的顯著性檢驗(yàn)五、相關(guān)分析

通常把相關(guān)分析作為回歸分析的補(bǔ)充分析方法。相關(guān)分析分為線性相關(guān)與非線性相關(guān)，如果樣本點(diǎn)集中分布在一條直線附近，則兩變量的關(guān)系稱為線性相關(guān)。當(dāng)直線的斜率為正值，兩變量的關(guān)系稱為正線性相關(guān)。當(dāng)直線的斜率為負(fù)值，兩變量的關(guān)系稱為負(fù)線性相關(guān)。如果樣本點(diǎn)集中分布在一條曲線附近，則兩變量的關(guān)系稱為非線性相關(guān)。一元線性回歸分析基礎(chǔ)28二月2024第四節(jié)系數(shù)的顯著性檢驗(yàn)線性相關(guān)：通常用相關(guān)系數(shù)表示X和Y的相關(guān)程度rXY為X與Y的簡單相關(guān)系數(shù)(只有兩個(gè)變量相關(guān)的相關(guān)系數(shù))，同時(shí)也是樣本相關(guān)系數(shù)

一元線性回歸分析基礎(chǔ)28二月2024第四節(jié)系數(shù)的顯著性檢驗(yàn)總體相關(guān)系數(shù)-1≤ρ

≤1ρ=0，表示總體X與Y不相關(guān)；ρ≠0，表示總體X與Y在一定程度上相關(guān)；ρ=±1，表示總體X與Y完全正相關(guān)或完全負(fù)相關(guān)。

一元線性回歸分析基礎(chǔ)28二月2024第四節(jié)系數(shù)的顯著性檢驗(yàn)X與Y總體是否相關(guān)的檢驗(yàn)提出假設(shè)：

H0∶ρ=0H1∶ρ≠0構(gòu)造統(tǒng)計(jì)量一元線性回歸分析