海歸講授博士高級計(jì)量經(jīng)濟(jì)學(xué)

2009級博士高級計(jì)量經(jīng)濟(jì)學(xué)學(xué)習(xí)指南

第一部分條件期望與條件方差

第二部分古典假設(shè)與最小二乘

第三部分最小二乘的有限樣本

第四部分最小二乘的大樣本性質(zhì)

第五部分非球型擾動(dòng)與廣義回歸模型

第六部分異方差與自相關(guān)

第七部分工具變量和兩階段最小二乘

第八部分廣義矩估計(jì)

第九部分極大似然估計(jì)

第十部分檢驗(yàn)與推斷（Wald檢驗(yàn)、LM檢驗(yàn)和LR檢驗(yàn)）

第十一部分模型的設(shè)定和檢驗(yàn)

（第十二部分上機(jī)操作）

第一部分條件期望與條件方差

在正式進(jìn)入計(jì)量經(jīng)濟(jì)學(xué)的學(xué)習(xí)之前，需要對條件期望以及條件方差熟練掌

握，它們將在以后的學(xué)習(xí)中經(jīng)常遇到。

一、條件期望

1、條件均值的定義

條件均值的定義為：

[yf{y\x)dy...若歹是連續(xù)的

m(x)E[y|x]=<v

2>仁(川丹……若丁是離散的

、y

應(yīng)當(dāng)指出的是，條件期望是誰的函數(shù)。

2、條件均值的性質(zhì)

條件均值有幾個(gè)簡單而有用的性質(zhì)：

(1)迭代期望律(LawofIteratedexpectations,LIE)

條件期望的條件期望等于無條件期望。

E[y]=Ex[E[y\x]],其中，記號4”表示關(guān)于x值的期望。

Interpretation:theexpectationofYcanbecalculatedbyfirstconditioningonX,

findingE(Y|X)andthenaveragingthisquantitywithoverX.

Proof:

離散情形：

Weneedtoshow:E^y^=^E[y\X=x\Px^X=x)

X

WhereE\Y\X=x\=YjyPY\x{y\x)-

y

Wehave

ZE[y|X=x]&(X=x)=ZyZ?ix3x)?(x)=ZyR(y=y)=E(y).

xyxy

ContinuousCase:

??,J(g)=Jg/。)公，andE(y|x)=|x)辦

xy

EX[E[Y\X=x)]=J[E(yIX=x)]/(x)&

=J[yf[y\x')dyf(x)dx

x\y7

=\\y.f^y\x')dyf(x}dx

xy

=\\y.f\y\xYf{x}dxdy

xy

=為力=JW(y)4=E(y)

xjy

Q.E.D.

迭代期望律的一般表述方式

E(y|x)=E(E3w)|x)

其中，x=g(w),x是W的子集，g《)為非隨機(jī)函數(shù)。

語義：若已知w的結(jié)論，我們也就知道x的結(jié)論。

記:〃](w)=E(y|w),〃2(X)三E(ylx)

則:〃2(X"E3X)=￡(〃/W)[X)

Proof需要較多的測度論的知識，這里只是加以說明證明的思路。

E[E(y|叫x]中,卬的信息多于X。因此，當(dāng)〃[(w)三E(y|w)時(shí)，運(yùn)用x

的信息，也可描述〃2(x)三E(川X)。例如，叩和x分別為天平的祛碼，w

為1克的集合，x為5克的集合，因此，有x=g(w)。當(dāng)我們用”的信息

描述卜時(shí)，也可以用x的信息加以描述。

E(y|x)=E(E(y|x,z)|x)

另外，E3x)=E(￡(y|x)[w)也成立。

(2)E[g{y}h(x)|y]=g(y)E[h(x)\y]

(3)E[g(y)〃(x)]=E{gO*[〃(x)3}

―恒一冽切=E(E[g(yM(x)I刃)=E{g(y)磯〃(x)|y]}

(4)E[ax+6y|z]=aE[x|z]+hE[y\z]

更為一般的情形：

設(shè)，q(x),a2(x),…,%(*)和，(x)為X的標(biāo)量函數(shù)，乂，歹2,…,均為隨機(jī)變量，

那么：

(G\G

EZ.(x)乃+6(x)1*=Z%(x)E?1x)+6(x)

\;=1)j=l

(5)E{E[X[O*]|Q,}=￡[X|O]，。，表示/時(shí)刻的信息集。

(6)對于任何二元變量的分布，Cov(x,y)=Con(x,E[y]刃)

=j(x-￡(x))E[y|x]X(x)t&

X

證明：Cov(x,y)=Exy-ExEy

=E[E(xy|x)]-ExEy=E[xE(y\x)]-ExE[E(y\x)]

=Cov(x,E[y\x^

=E{(x-Ex)[E(y|x)-E(E(y\x))]}

=E[(x-Ex)E(y|x)]-E[(x-Ex)Ey]=E[(x-Ex)E(y\x)]

=E^x))E[y\x\fx^dx

X

從這個(gè)公式中，我們需要理解線性回歸中的兩個(gè)古典假設(shè)：

E(u|x)=0=>Cov(x,u)=0

由此，零均值假定(在著給定的條件下，〃，的條件均值為零)(強(qiáng)外生)，與

隨機(jī)擾動(dòng)項(xiàng)與解釋變量不相關(guān)的假定(弱外生)，這將在以后的學(xué)習(xí)中經(jīng)常提及。

(7)若定義〃三y—E(y|x),在假設(shè)E|g：(x)M<8,./=1,2,3,…”和

E(|")<oo條件下，有E(g(x)〃)=O。其中,g(x)為任意函數(shù)。特殊情形，

￡,(7/)=0,Cov(x,〃)=0。

證明：

E(-x)=-—E(川x))|x)

=E(y|x)-E(E(y|x)|x)

=E(y|x)—后3*)=0

又E(g(x)〃)=E(E(g(x)〃)|x)=E(g(x)E(〃|x))=E(g(x)O)=O

E(M)=E(y-E(y|x))=E(y)-E(E(y|x))=E(y)-E(y)=O

Cov(x,/z)=E(x//)-E(x)￡*(A)

=E(x〃)-E^E^x/j,|x)j=￡(x￡(//|x))=E(xO)=0

3、條件方差的定義

條件方差的定義為：

Var[y\x\=o-=E^[y-E[y\x\^\x=￡：(/|x)-(^[y|x])2

它的簡化公式為：Var^y\x)=E^y-1|x])'

可認(rèn)為是：分組條件下的集中程度的度量，或者，分組條件下的差異程度的

度量。同理，條件期望為總體分組條件下的分門別類地求期望(學(xué)校教師的平均

年齡=各院系教師平均年齡的平均)。

(1)Par((a(x)y+6(x))|x)=Var^y\x)

證明：(作業(yè)？？)

(2)?個(gè)重要的方差分解定理：

在一個(gè)聯(lián)合分布中有，Var[j^]=[H川x]]+Ex[@尸[.x]]

它表示，在一個(gè)二元分布中，y的方差可分解為條件均值函數(shù)的方差加上條

件方差的期望。

將此式變形即可得到：Ex\Var[y\x]]=3-卜]-幺々[司p|x]]

它表示從平均意義上看，在條件約束下，條件化減少了變量的方差。我們有

清楚的結(jié)論：〉的條件方差不大「丁的無條件力.差。

證明

%r(y)=E(y—E(y))'=E(y—E3x)+E3x)—E3)2

=E(y-E(y|x))2+E(E(y|x)—￡3)2

+2.((石3*))(￡(yIx)-E(y)))

=E(W(x))=O

=后(7-￡(田工))，￡(￡3*)-后3)2

=E(E(%)-E(E(M*)))2

____________A____________

=E(E(y一E(y|x)『|x)+￡(E(y|x)—E3)：

、、，/v

=E(S?*))=y?r(E(y\X))

=￡'(Fhr(^|x))+Far(￡'(y|x))

=

(3)Var(y\x)=E\Var{y|x,z)|x]+Var[E{y\x,z)\x]

證明：

利用性質(zhì)：川頤川x,z)[x]=E{y\x),E[E(/|x,%)[x]=E(y2\x)

則：Var(y|x,z)=E(y21x,z)-(E(y\x,z))2

E\Var{y\x,z)\x]-E(￡(/|x,z)-(E(j^|x,z))2)|x

=￡(/|x)-￡,(￡(y|x,z)2|x)

Var[E(j^|x,z)\x]=E(E(y\x,z)2\x)-(￡(E(y|x,z)|x))2

=E(E(y|x,Z>|x)-(E(y|x))2

=>E\Var(y|x,z)|x]+Var[E{y|x,z)|x]

=E(必|x)-E(E(y|KZ)2|x)+E(E3*,z)2|x)-(E(y|x)y=E(/|x)-(E(y|x)『

小結(jié)：

1、方差分解定理可以表述為：Var[y]=Varx[f[^|-v]]+Ex[par[j^|x]]

它表示，在一個(gè)二元分布中，y的方差可分解為條件均值函數(shù)的方差加上條件方差的期

望。

在方差分解定理的公式中，及0習(xí)是y的方差，也就是回歸式中的總離差平方和TSS。

條件均值的方差必々[E[y|x]]是回歸式中的回歸平方和ESS；條件方差的期望

是回歸的殘差平方和RSS。(注意總體與樣本的區(qū)別)

2、依據(jù)方差分解定理，可以構(gòu)造R2統(tǒng)計(jì)量：

r2ESSVarx\_E[y\x'\\

~7SS~-Var[y]

3、對方差分解定理進(jìn)行簡單的擴(kuò)展，得到如下的表達(dá)式:

Var(y\X)=E[Var(y\X,z)\X]+Var[E(y\X,z)\X]

=>Var(y\X)>E[Var(y\X,z)\X]

兩邊取期望，由迭代期望定理得到：

nE\Var{y\X)]>E{E[Var(y\X,z)\X]}=E\Var{y\X,z)]

由于回歸方程的總離差平方和TSS是不變的，因此，上式說明，在回歸式中增加新的

變量會(huì)使得可決系數(shù)增大。

第二部分古典假設(shè)與最小二乘

一、背景

本部分開始我們正式進(jìn)入計(jì)量經(jīng)濟(jì)學(xué)的學(xué)習(xí)。在計(jì)量經(jīng)濟(jì)學(xué)中，我們考察經(jīng)

濟(jì)變量之間的相互關(guān)系，最基本的方法是回歸分析?；貧w分析是計(jì)量經(jīng)濟(jì)學(xué)的主

要工具，也是計(jì)量經(jīng)濟(jì)學(xué)理論和方法的主要內(nèi)容。本部分從多元回歸模型入手，

對古典假設(shè)進(jìn)行復(fù)習(xí)，然后就最小二乘估計(jì)法的算法、雙殘差回歸和模型擬合優(yōu)

度的一些問題進(jìn)行探討。

二、知識要點(diǎn)

1、回歸模型

2、古典假設(shè)

3、最小二乘法

4、雙殘差回歸

5、方差分解和擬合優(yōu)度

參考章節(jié)：Chapter2,Chapter3

三、要點(diǎn)細(xì)綱

1、回歸模型

一般的，我們可以將回歸模型寫為條件期望和條件異方差的和，即：

y=E(y|X)+S(X)￡0對于S(X)￡的討論構(gòu)成條件異方差自回歸模型，我們這里僅

考慮當(dāng)條件方差為常數(shù)1時(shí)的情形，即：y=E(y\X)+￡o

當(dāng)￡(y|X)取不同的形式時(shí)，也就構(gòu)成了不同的模型，包括：線性、非線性

和非參數(shù)等。我們這里主要討論的是線性模型（一元或多元）：E[y\X]=XP，則總

體回歸方程可表不為：y=Xp+so其中:

B。

為X2jA

溝…*丁

T表示樣本數(shù)量，左表示解釋變量個(gè)數(shù)（包含了常數(shù)項(xiàng)），當(dāng)k=2時(shí)就是一

元線性回歸模型。

而￡=佃叼…丹）[為表示的是隨機(jī)擾動(dòng)項(xiàng)，包含了除了解釋變量以外

的其他影響因素。若遺漏變量，則這個(gè)變量也將被擾動(dòng)項(xiàng)所包含。

這里有個(gè)回歸和投影的概念，簡單的說回歸是相對總體而言，而投影是相對

樣本而言，線性投影總是存在的，而且是唯一的。

2、古典假設(shè)

在初級計(jì)量經(jīng)濟(jì)學(xué)中，我們可以看到對于回歸模型的假設(shè)條件包括：

（1）零均值，即E（￡j|X）=0nCoM/,￡j|X）=0；

（2）同方差與無自相關(guān)假定，即隨機(jī)擾動(dòng)項(xiàng)的方差及z?U|X）=b2/r；

（3）隨機(jī)擾動(dòng)項(xiàng)與解釋變量不相關(guān)，即CM%與|X）=0；

（4）無多重共線性，即各解釋變量之間線性無關(guān)，Rmk（X）=k；

（5）正態(tài)性假定，即弓?N（0,cr2）。

在格林（W.Greene）教材上將以上假設(shè)條件總結(jié)為：①線性；②滿秩；③

解釋變量的外生性；④球形擾動(dòng)；⑤數(shù)據(jù)生成過程的外生性；⑥正態(tài)性。

比較這些假定可以發(fā)現(xiàn)，原來初等計(jì)量上的（1）和（3）假定沒有了，新的

假定是解釋變量的外生性和數(shù)據(jù)生成過程的外生性。由之前條件期望的部分，我

們已經(jīng)看到初級計(jì)量中的（1）和（3）假設(shè)是重復(fù)的，它們都是屬于外生性條件。

格林教材上的假設(shè)也就把它們合二為一了。學(xué)習(xí)中需要理解和掌握格林教材中的

這些假設(shè)條件。

對于線性假定，兩個(gè)層面，一是指參數(shù)線性，而不是解釋變量的線性。這里，

某些非參數(shù)線性的模型，可以通過對解釋變量和被解釋變量進(jìn)行一定的線性變

形，可以轉(zhuǎn)換為參數(shù)線性模型，比如對數(shù)線性模型、半對數(shù)線性模型、超對數(shù)線

性模型等；另一是指有利于推導(dǎo)參數(shù)估計(jì)量的統(tǒng)計(jì)分布以及進(jìn)行推斷分析。

第二，滿秩性條件，它是為了保證條件期望的唯一性，參數(shù)可求解，同時(shí)，

此項(xiàng)假設(shè)在本課程的學(xué)習(xí)過程，將會(huì)在多處（特別是在某些推導(dǎo)過程中）涉及。

第三，外生性條件，表示隨機(jī)擾動(dòng)項(xiàng)中不包含有解釋變量的任何信息。注意,

外生性條件的不同表述方式和內(nèi)涵。外生性條件的違反將影響到參數(shù)估計(jì)的一致

性問題。

第四，球形擾動(dòng)，是指隨機(jī)擾動(dòng)項(xiàng)的方差-協(xié)方差矩陣為同方差和無自相關(guān)

同時(shí)成立時(shí)的情況。違反此假設(shè)條件，被稱為非球形擾動(dòng)，將會(huì)影響到參數(shù)估計(jì)

的有效性問題。

第五，數(shù)據(jù)生成過程的外生性條件指變量數(shù)據(jù)的生成過程是獨(dú)立的，不受其

他變量和擾動(dòng)項(xiàng)的影響。

第六，正態(tài)性條件，它主要與我們的統(tǒng)計(jì)檢驗(yàn)和推斷有關(guān)，但在大樣本的條

件下，根據(jù)中心極限定理這個(gè)條件是可以放寬的。

在后期的學(xué)習(xí)過程中，將逐漸放寬這些假設(shè)條件，從而對于這些假定的進(jìn)行

深入理解。

3、最小二乘法

以估計(jì)的殘差平方和最小的原則確定樣本回歸函數(shù)，稱為最小二乘準(zhǔn)則。在

古典假定下的最小二乘法，也稱為普通最小二乘估計(jì)（簡記為OLS）。

對于多元回歸模型，

殘差平方和S=e”=（Y-X"（Y-XR）

=Y'Y-p'X'Y-Y'Xp+p'X'Xp

=Y'Y-2p'X'Y+p'X'Xp

我們的目標(biāo)是使得回歸的殘差平方和達(dá)到最小，即：

minS

則它的一階條件為：^=-2X'Y+2X'Xp

印

化簡得：X'Y=X'Xp—p=(X'X)-1X'Y

以上是屬于初中級計(jì)量中的做法。

而在本課程的學(xué)習(xí)中，,我們需要從矩條件對最小..乘進(jìn)行理解。

關(guān)于矩將在后面部分中詳細(xì)提到，這里只是應(yīng)用該知識點(diǎn)。

由外生性條件IX]=0可得：

E[X%]=0

從而：E[XTf：]^E[XT(y-Xp)]^Q

1T

用樣本矩替代總體矩，則可以得到：-XT(y-Xh)^O.

n

所以有:片6=(*X)

1、注意x「x的意義。若記0為參數(shù)估計(jì)量的方差-協(xié)方差矩陣的估計(jì)，則有

(1)s2(x，x)'=0

(3)s2(x'X[為對稱陣，對角線元素是々力2,…”的方差，非對角線元素為相應(yīng)

的協(xié)方差；

2、應(yīng)用?？梢栽诙鄠€(gè)場合應(yīng)用。例如，檢驗(yàn)?zāi)承┗貧w系數(shù)是否滿足某些約束，如夕2+四=4。

注意，這種情形是否可以采用Wald檢驗(yàn)統(tǒng)計(jì)量？

通常情形采用t-檢驗(yàn)統(tǒng)計(jì)量進(jìn)行檢驗(yàn)。

H。：氏

仁他+幻-3+四)=(>+4)-"

?(('+優(yōu))—(++夕3))

____________('+4)_.___________

新行(&)+Jar(4)+2coy低,")

,V-1

其中：K/r(b2),@r伍3),C。v(62，b3)分別為s2(X7■x)中相應(yīng)位置上的元素。

當(dāng)t-值大于2,拒絕”o,否則，接受“°。

4、最小二乘估計(jì)的一些性質(zhì)

代數(shù)性質(zhì)

(1)殘差平方和等于0,即Z,e,=0；

(2)回歸線經(jīng)過均值點(diǎn)，即歹=*%；

(3)回歸的預(yù)測值的平均值等于實(shí)際值的均值，即;=亍。

但注意這些代數(shù)性質(zhì)只有在回歸方程中包含了常數(shù)項(xiàng)下才成立。

投影及投影定理

/矩陣的定義與作用；矩陣的定義與作用；兩者的區(qū)別與聯(lián)系

定理3.1-3.3以及推論3.3.1-3.3.2的理解與把握。

5、雙殘差回歸

對于雙殘差回歸，首先考察它的由來，然后進(jìn)一步討論由它引申出的一些性

質(zhì)。

(1)殘差的定義

由e=Y-Xb,可以得到：e=Y-X(X'X)_,X'Y=(I-X(X'X)',X')Y=MY

其中M=I-X(X，X)"X，，它是一個(gè)對稱事等矩陣，存在M=M\M2=M的

性質(zhì)。因此MY表示了Y對X回歸得到的殘差。

(2)雙殘差回歸

我們記：Y=Xp+￡=X[0[+X2p2+￡

兩邊同時(shí)左乘X；和X；,并用矩陣表示可以得到：

X；XjX；XzX；Y

利用分塊矩陣求逆的公式可以得到：

,,1

bj=(X；X1)-X；Y-(X；X1)-X'1X2b2=(X；XiyX；(Y-X2b2)

再帶回到方程中，并整理可以得到：

1

b2=[X2'(I-%(XJ*)-'Xf)X/]*[X2'(I-%(X尸XJ)Y]

,

=(X2'M1X2)-(X2'M1Y)=(X1X；尸X；Y*

1,

其中：M,=I-X1（X1'X1）-XI,Xj=MjX2,Y*=M[Y

對上式進(jìn)行理解：Y*表示了Y對X1回歸得到的殘差e「X；表示了X：對X1

回歸得到的殘差e?,即：b?=包&）-%2&。它表示的是殘差對殘差e?回歸的

參數(shù)估計(jì)。進(jìn)一步理解：殘差與中扣除了Y中包含的X,的信息;殘差e2扣除了X2

中包含的X1的信息。因此雙殘差（e「e?）回歸僅反應(yīng)了，在扣除了X1的影響,

X?對Y的作用情況，同樣說明了系數(shù)燈表示的是變量X?與Y的偏相關(guān)。

同樣，E的表示與與一樣，它們是一種對稱的關(guān)系。

（3）經(jīng)濟(jì)解釋與實(shí)際應(yīng)用

雙殘差回歸得到的偏回歸系數(shù)與統(tǒng)計(jì)中的偏相關(guān)系數(shù)是密切聯(lián)系的，但不是

嚴(yán)格意義上的偏相關(guān)系數(shù)。所謂偏相關(guān)系數(shù)，就是扣除了中間變量影響后的相關(guān)

系數(shù)。它與簡單相關(guān)系數(shù)的一個(gè)主要區(qū)別在于，通常情況下，簡單相關(guān)系數(shù)不僅

包含了兩個(gè)變量之間的直接相關(guān)關(guān)系，還包括了變量間的間接相關(guān)關(guān)系（通過中

間變量的相關(guān)性傳導(dǎo)）。一種極端的情況是：變量間的相關(guān)關(guān)系完全是由間接相

關(guān)關(guān)系引起的。如果是這樣，那么在控制了中間變量的影響之后，兩個(gè)關(guān)注變量

之間就表現(xiàn)為不相關(guān)。又或者說，兩個(gè)變量之間的簡單相關(guān)關(guān)系是一種負(fù)相關(guān)的

關(guān)系，但是在控制了中間變量影響后就可能表現(xiàn)為正相關(guān)。

舉例來說，假設(shè)回歸方程為y=X￡+Zy+￡,要計(jì)算歹與Z之間的偏相關(guān)系

數(shù)，具體的計(jì)算步驟如下：

（1）y對X進(jìn)行回歸，得到回歸殘差％=吸CM^I-X（X'XY'X'）

（2）Z對X進(jìn)行回歸，得到殘差Z*=MZ

（3）y與Z之間的偏相關(guān)系數(shù)就是以與Z*之間的簡單相關(guān)系數(shù)?？梢院唵?/p>

的寫成平方形式為：

片=一（Z』）—（殘差的均值為零，上下N消去，可證明）

'（Z-N）

在計(jì)量經(jīng)濟(jì)學(xué)中有關(guān)注變量和控制變量的說法，就是對應(yīng)了以上的原理。不

妨假設(shè)在一個(gè)典型的線性回歸方程y=工典+乜氏+￡中，變量集工是我們的關(guān)

注變量集，相應(yīng)的％就是我們的控制變量集。估計(jì)系數(shù)a表示的就是在控制了

變量集式后，X2對丁的影響。也就是通常說的，在其他變量保持不變的情況下，

起的變化引起的歹的變化。很顯然，在不同的情況下，我們可以改變我們的控

制變量集，來看我們的關(guān)注變量系數(shù)是否發(fā)生顯著的變化，這在實(shí)證中是很重要

步驟和思想?？刂谱兞康膖值大小可以不必過于在意。

小結(jié)：

雙殘差回歸思想的理解和具體步驟

Y=XP+E=X1P1+X2p2+s

b2=(X2,M]X2)“(X"MiY)

=(X；，X；)“X；Y*

,-1,

其中:Mj=I-X1(X1X1)X1.Xj=M1X2,Y*=M]Y

假設(shè)現(xiàn)在要求的是系數(shù)02

(1)X2對X1進(jìn)行回歸，得到回歸的殘差記為e?。

(2)Y對X1進(jìn)行回歸，得到回歸的殘差記為與

(3)e1對e?回歸,得到的參數(shù)估計(jì)bzKez&y&a就是&的估計(jì)值。

殘差齒中扣除了Y中包含的X1的信息；殘差e2扣除了X?中包含的X1的信息。因此

雙殘差(e「e2)回歸僅反應(yīng)了，在扣除了X1的影響，X2對Y的作用情況，同樣說明了

系數(shù)b?表示的是變量X2與Y的偏相關(guān)。

同樣，乩的表示與b?一樣，它們是一種對稱的關(guān)系。

雙殘差回歸得到的偏回歸系數(shù)與統(tǒng)計(jì)中的偏相關(guān)系數(shù)是密切聯(lián)系的，但不是嚴(yán)格意義上

的偏相關(guān)系數(shù)。所謂偏相關(guān)系數(shù)，就是扣除了中間變量影響后的相關(guān)系數(shù)。它與簡單相關(guān)系

數(shù)的一個(gè)主要區(qū)別在于，通常情況下，簡單相關(guān)系數(shù)不僅包含了兩個(gè)變量之間的直接相關(guān)關(guān)

系，額包括了變量間的間接相關(guān)關(guān)系(通過中間變量的相關(guān)性傳導(dǎo))。一種極端的情況是：

變量間的相關(guān)關(guān)系完全是由間接相關(guān)關(guān)系引起的。如果是這樣，那么在控制了中間變量的影

響之后，兩個(gè)關(guān)注變量之間就表現(xiàn)為不相關(guān)。又或者說，兩個(gè)變量之間的簡單相關(guān)關(guān)系是一

種負(fù)相關(guān)的關(guān)系，但是在控制了中間變量影響后就可能表現(xiàn)為正相關(guān)。

在計(jì)量經(jīng)濟(jì)學(xué)中有關(guān)注變量和控制變量的說法，就是對應(yīng)了以上的原理。不妨假設(shè)在一

個(gè)典型的線性回歸方程y=四+*2耳+￡中，變量集X?是我們的關(guān)注變量集，相應(yīng)的

X,就是我們的控制變量集。估計(jì)系數(shù)與表示的就是在控制了變量集式后，X2對丁的影響。

也就是通常說的，在其他變量保持不變的情況下，丫2的變化引起的V的變化。很顯然，在

不同的情況下，我們可以改變我們的控制變量集，來看我們的關(guān)注變量系數(shù)是否發(fā)生顯著的

變化，這在實(shí)證中是很重要步驟和思想。控制變量的t值大小可以不必過于在意。

6、方差分解和擬合優(yōu)度

(1)方差分解

在初等計(jì)量中：考慮一個(gè)線性回歸方程式：y^Xb+e^y+e

方程兩邊同取平均值，為歹=用+巨=5+0

兩式相減得到：y-y=(X-X)b+(e-e)=(y-^)+(e-e)

E(必_歹)2=3—刃’3—刃=[5—另+(e—初'[()一))+(e—?jiǎng)?chuàng)

;=1

=[(y-J)V—例+Ke—e)/(e-e)]+2(y-討(e—e)

=Z(Z-J)2+E(e,-e)2(二倍交叉項(xiàng)為零)

z=I/=1

也就是：TSS=RSS+ESS,即：總離差平方和=殘差平方和十回歸平方和。

于是可以得到可決系數(shù)斤=箜，它可以用來判別模型的擬合優(yōu)度。

TSS

在格林教材中，對于可決系數(shù)的計(jì)算是用矩陣來表達(dá)的。記單位向量

,1

加=口1--1]，令矩陣/=(/-/(乃尸/)=(/-一力')，可以證明四°也是一-

77

個(gè)對稱事等矩陣。

對任意的列向量有如下結(jié)論成立：

(Q)M^y=y-y

(b)y'M°y=(y-y)\y-J7)=-p)2

/=!

則M°y=M°y+M°eny'M°y=y'M°y+e'M°e=b'X'M°Xb+e'e

RSS歹M陟_HX'MOXb_]e'e

定義可決系數(shù)代

Tssy'M°y~y'M°y~y'M°y

而由前面條件期望部分的方差分解定理:

Var(y)=E\Var(y\X)]+Var[E(y\X)]

它同樣表示了：總離差平方和=回歸平方和+殘差平方和

因此有：小—“("切.......①

TSSVar(y)

擴(kuò)展方差分解定理，得到：

Var(y\X)=E\Var(y\X,z)\X]+Var[E{y\X,z)\X]

nVar{y\X)>E\Var(y\X,z)\X]

兩邊取期望，由迭代期望定理得到：

=>E[Var(y\X)]>E{E[Var(y\X,z)\X]}=E\Var{y\X,z)]

結(jié)合①式，上式說明在回歸式中增加新的變量會(huì)使得可決系數(shù)增大。

(2)兩個(gè)重要的定理

定理①：記是y對X回歸的殘差平方和，而〃勿是y對X和z回歸的殘

差平方和。那么有=e，e—c2(z：z*)MeZ。

其中：c是歹對X和z的回歸中z的參數(shù)估計(jì)，z*=[/-X(X，X)TX[z。

這個(gè)定理說明的是在一個(gè)線性回歸模型中增加新的解釋變量，總是可以使模

型的殘差平方和減小，或者至少不增大。

由于總離差平方和TSS是不變的，上述結(jié)論意味這可決系數(shù)火2的增大。于

是得到書上的定理0。

定理。：記尺之是y對X和z回歸的可決系數(shù)，而&是y只對X回歸的可決

系數(shù)，蟲表示在控制了X之后，丁與z的偏相系數(shù)。則有：%=底+(1-對).匕。

由該定理也說明了，增加新的解釋變量會(huì)使得可決系數(shù)增大。

小結(jié)：

方差分解定理可以表述為：

幺廠3=Varx\_Eyy|x]]+Ex\yar[y[x]]

它表示，在一個(gè)二元分布中，y的方差可分解為條件均值函數(shù)的方差加上條件均值的期

望方差。

(1)在方差分解定理的公式中，是歹的方差，也就是回歸式中的總離差平方和

TSS。條件均值的方差&認(rèn)E[y|x]]是回歸式中的回歸平方和ESS；條件方差的期望

紇是回歸的殘差平方和RSS。由此，可以構(gòu)造R2統(tǒng)計(jì)量為：

*ESS_的國川可]

一'TSS-—Var[y]~

(2)對方差分解定理進(jìn)行簡單的擴(kuò)展，得到如下的表達(dá)式：

Var{y\X)=E\Var(y\X,z)\X]+Var[E(y\X,z)\X]

nVar(y\X)>E[Var(y\X,z)\X]

兩邊取期望，山迭代期望定理得到：

nE\Var{y\X)]>E[E\yar{y\X,z)\X]}^仇幺r(川X,z)]

由于回歸方程的總離差平方和TSS是不變的，因此，上式說明，在回歸式中增加新的

變量會(huì)使得可決系數(shù)增大。

四、思考題

1、闡述雙殘差回歸的步驟和其中體現(xiàn)的統(tǒng)計(jì)思想。

2、證明在線性回歸中增加新的解釋變量會(huì)使得可決系數(shù)增大。即上述定理0

3、定義M=I-X(XX)"X',M,=I-X1(X；X1)-'X；,X1是X中的部分解釋變

量。證明：MM,=M

第三部分最小二乘（OLS）的有限樣本性質(zhì)

一、背景

OLS是最基本也是最常用的一個(gè)回歸估計(jì)方法，其思想十分簡單，就是使

回歸的殘差平方和達(dá)到最小。需要注意的是，應(yīng)用OLS離不開相應(yīng)的假設(shè)條件,

也就是所謂的古典假設(shè)。在這些假設(shè)條件下，OLS估計(jì)具有一系列優(yōu)良的性質(zhì)。

這個(gè)部分主要闡述對古典假設(shè)條件和理解并討論在該條件下OLS所具有的優(yōu)良

性質(zhì)。

二、知識要點(diǎn)

1、對古典假設(shè)的理解

2、自變量的隨機(jī)和非隨機(jī)問題

3、OLS在古典假設(shè)下的無偏性和有效性

蓼考早下

Chapter4.1—4.6>Chapter4.8

三、要點(diǎn)細(xì)綱

1、對古典假設(shè)的理解

最小二乘有限樣本性質(zhì)的推導(dǎo)是在古典假設(shè)下得到的，因此需要注意的是,

?旦古典假設(shè)不能得到滿足，OLS的一系列有限樣本的優(yōu)良性質(zhì)就不在具備了。

計(jì)量經(jīng)濟(jì)學(xué)中的假設(shè)很多，從現(xiàn)實(shí)角度出發(fā)，假設(shè)條件應(yīng)該是越弱要好的。

這意味著模型的假設(shè)條件在現(xiàn)實(shí)中越容易得到滿足，但是古典假設(shè)是?個(gè)很強(qiáng)的

假設(shè)，雖然有其合理性，但是某些假設(shè)需要被放寬或者舍棄。在Greene書中P10

的六點(diǎn)假設(shè)中，與有限樣本性質(zhì)最密切相關(guān)，也是最強(qiáng)的兩個(gè)假設(shè)條件是：

A3：自變量的強(qiáng)外生性假定，即E（￡|X）=O

A6：隨機(jī)擾動(dòng)項(xiàng)服從正態(tài)分布，即￡N（0,4）

其中，強(qiáng)外生性條件E（￡|X）=O不僅意味這￡與X是不相關(guān)的，即

E（X￡）=O,也意味著￡與X的任何函數(shù)形式/（X）是不相關(guān)的。

（參見條件期望定理：若￡=y-以用丫），那么對于任意X的函數(shù)/（X）,

有E"（x）￡]=o）

證明：???E(sIX)=E[(y-E(y\X))\X]=E(y|%)-￡(y|^)=0

E[f(X)￡]=E(E[f(X)s|X])=E(f(X)E[S\X])=0

其次，隨機(jī)擾動(dòng)項(xiàng)服從正態(tài)分布也是一個(gè)過強(qiáng)的，不夠?qū)嶋H的假設(shè)條件，

但是改假設(shè)是有限樣本性質(zhì)的核心內(nèi)容，是進(jìn)行構(gòu)造統(tǒng)計(jì)量進(jìn)行假設(shè)檢驗(yàn)和統(tǒng)計(jì)

推斷的基礎(chǔ)。

當(dāng)然，在隨機(jī)擾動(dòng)項(xiàng)不服從正態(tài)分布的情況下，必須利用漸進(jìn)理論討論估

計(jì)量的大樣本性質(zhì)。這是書中第五章的內(nèi)容。

2、自變量X的隨機(jī)與非隨機(jī)問題的討論

一個(gè)一般性的回歸式為：

丫=/。)+￡

其中X=a，/…4)是一個(gè)左維的向量，/()的函數(shù)形式可以是線性的，

也可以是非線性的。在初等計(jì)量的課程中，我們通常把X看作是非隨機(jī)的變量,

也就是說，向量X在回歸中是被作為常數(shù)處理的，不具備隨機(jī)變量的性質(zhì)。擾

動(dòng)項(xiàng)￡是唯一的隨機(jī)變量，由于￡的存在，使得Y成為一個(gè)隨機(jī)數(shù)。所有的分析

都是在以上的假定下展開的，初看來，這樣的假定使得對問題的分析變得相對簡

單化；但是，仔細(xì)推敲，就可以發(fā)現(xiàn)這樣的設(shè)定是不科學(xué)的，無論是解釋變量X

還是被解釋變量Y都沒有可能是一個(gè)非隨機(jī)的常量，這樣的假定與隨機(jī)抽樣的

假定是相違背的。

一個(gè)簡單的例子是，在截面數(shù)據(jù)中，在隨機(jī)抽樣的前提下，每個(gè)樣本是按

照一定的隨機(jī)原則被抽中的，當(dāng)這個(gè)樣本被抽中時(shí)，用來描述樣本特質(zhì)(或者說

是樣本的某個(gè)屬性)的X和Y也就被選定了。也就是說，屬性X和Y也是從其

自身的分布總體中抽出的樣本，其本身也是一個(gè)隨機(jī)變量。在時(shí)間序列數(shù)據(jù)中，

由于時(shí)間序列只是樣本的一次實(shí)現(xiàn)，沒有實(shí)施隨機(jī)抽樣的可能，因此很容易被認(rèn)

為是非隨機(jī)的。但是，由于隱藏在時(shí)間序列數(shù)據(jù)背后的數(shù)據(jù)生成過程(DGP)是

未知的，所有的時(shí)間序列數(shù)據(jù)都是這個(gè)未知總體的一個(gè)樣本實(shí)現(xiàn)，因此，時(shí)間序

列數(shù)據(jù)也必定是一個(gè)隨機(jī)序列，而不是一個(gè)確定的常量。

對于X是否隨機(jī)問題爭論不影響OLS估計(jì)的性質(zhì)，其原因在于我們總是

在條件期望的背景下討論問題，而在X給定的情況下，X就可以被認(rèn)為是非隨

機(jī)的。下面結(jié)合OLS的有限樣本性質(zhì)對X的隨機(jī)和非隨機(jī)進(jìn)行比較分析，這部

分內(nèi)容需要認(rèn)真學(xué)習(xí)、理解、掌握。

3、OLS的有限樣本性質(zhì)

以下討論都基于回歸式N=皿+e

(1)無偏性

b=(XX尸X》=(XX)-1X'(X/3+￡)=￡+(XX)TX2

I、若看X為非隨機(jī)，則直接取無條件期望，有：

E⑸=E0+E[{X'XY'X's]=￡+(XN)TX'E(e)=p

II、若看X為隨機(jī)，則取條件期望得到：

1X)=4+E[(X'X)-'X21X]=夕+(XX)TX'E(sIX)=4

E3)=E[E("X)]=尸

(2)有效性

I、若看X為非隨機(jī)，則直接取方差得到：

Var(b)=Var(fi+(XX)-1X's)=(X/尸XVar(￡)[(X'Xy'X']'

={x'xy'x'a2x{x'xyx=o\x'xyx

IK若看X為非隨機(jī)，則取條件方差得到：

Var(bIX)=E[(b-仍(b-/J)'\X]=E[(X'Xy'X'ss'X[X'Xy'\X]

=(X'xy'X'E{ss'IX)X(XN)T

=(x'xy}x\(j2i)x(x'xy'

=a2(x'xy'

此時(shí)根據(jù)方差分解定理

Var(b)=E\Var(b\X)]+Var[E(b\X)]

得到無條件方差為：

Par(b)=E[cy\X'Xy']=cy2E[(X'Xy']

有效性的證明：

假設(shè)有另一個(gè)關(guān)于y的無偏估計(jì)6°=Q,C是一個(gè)Kx〃的矩陣，對應(yīng)于

b=(X'X)-'X》，A=(X'XY'X'也是一個(gè)Kxn的矩陣。

6°是￡的無偏估計(jì)，因此有：

E(b°|X)=E(Cy|X)=E(CXp+Cs\X)=/3

必有ex=/成立，且Var(b0\X)=a2C'C

令。=C-(XX)TX，nOy=b°-b,進(jìn)一步可以得到：

Var(b°\X)=cy2[(D+(X'Xy'X')(D+(X/尸X')']

又因?yàn)椋篊X=I=DX+(X'Xy'XX=DX+1=>DX=0

Var(b°\X)=a2(XX)-'+a2DO'=Var(b\X)+o2DD'>Var(b\X)

需要說明的一點(diǎn)是，在計(jì)量經(jīng)濟(jì)學(xué)中，多于估計(jì)量的性質(zhì)，關(guān)注的最多的

就是無偏性和一致性，而有效性的地位要略低下。因?yàn)橛?jì)量經(jīng)濟(jì)學(xué)總是在尋求無

偏估計(jì)的基礎(chǔ)上不斷的放寬假設(shè)條件，然后在新的條件下，在保證無偏性或是一

致性的前途下改進(jìn)估計(jì)量的有效性。

(3)最小均方誤差預(yù)測

這是在不知道估計(jì)量是否無偏的情況下，根據(jù)均方誤差最小原則進(jìn)行的求

解，得到一個(gè)最優(yōu)估計(jì)的過程。其本質(zhì)上就是最小二乘的估計(jì)原理?？梢宰C明在

該原則下求出的參數(shù)估計(jì)量表達(dá)式就是OLS表達(dá)式。需要注意的是，有效性的

證明是在無偏性的前提下進(jìn)行的。也就是說，有效性比較的是兩個(gè)無偏估計(jì)量的

方差大小，如果是有偏的估計(jì)量，那么就需要在偏離程度和方差大小兩者之間做

出權(quán)衡。，這最就是小均方誤差原則體現(xiàn)的思想。

(4)方差的無偏估計(jì)

是對隨機(jī)擾動(dòng)項(xiàng)￡的方差，進(jìn)行的估計(jì)。要求估計(jì)量必須是無偏的。實(shí)際

上就是對自由度進(jìn)行了調(diào)整。在證明中需要用到有關(guān)矩陣的跡(trace)的性質(zhì)，

列舉如下：

跡就是矩陣主對角線的元素之和，矩陣A的跡用符號行(⑷來表示。一個(gè)

標(biāo)量(數(shù))的跡就是它本身。

tr(A+8)="(/)+/r(5)

tr(AB)=tr(BA)

證明：

e=My=M(Xp+￡)=ME

nere=E'ME

上式兩邊同取x的條件期望，得到：

E[e，e|X]=E[#M￡|X]

由于1M￡是一個(gè)標(biāo)量，因此它的跡等于它本身，方程兩邊同取跡，并交換

和期望算子的位置，得到：

EW(e'e)|X]=￡[/r(E,ME)|X]=E[M療(眼|X]

M是關(guān)于X的矩陣，因此由條件期望的性質(zhì)可以提出，進(jìn)一步得到：

/r(￡[M(s,￡)|X])=/r(Mcr2I)=(T2/F(M)

,l,

/r(M)=tr\Yn-X(X'X)rX']=Zr(In)-/r[(XX)-XX]=Zr(In)-/r(Ik)=n-k

因此，有：

玩e'e|X]=(〃-攵)/=4=E[e'eI%_幻

所以"的無偏估計(jì)是_二Yq2

"ki=[

小結(jié)：

(1)在古典假設(shè)條件下，6的估計(jì)量8=(X'X)"(X'y)具有最小方差。

(2)在古典假設(shè)不成立的情況下，6的有效性會(huì)受到什么樣的影響。在這種情況下，如何

得到8的有效估計(jì)。

(1)Var{b|X)=E[(b-0)(b-夕)'|X]=E\{X'XY'X'se'X{X'X^\X]

=(XN)TX'E(￡￡'\X)X(XX)T

=(XN)TX，(cr2/)x(XX)T=/(XXL

此時(shí)根據(jù)方差分解定理

"(b)=E\Var(b\X)]+Var[E(b\X)]

得到無條件方差為：

Var[b}=E[o\X'XY']=cr2E[(X'Xy']

有效性的證明：

假設(shè)有另一個(gè)關(guān)于y的無偏估計(jì)C是一個(gè)Kx〃的矩陣，對應(yīng)于

b=(XX)-'Xf,A=(XN尸X'也是一個(gè)Kx〃的矩陣。

6°是尸的無偏估計(jì)，因此有：

E(b0|X)=E(Cy|X)=E(CXj3+Cs\X)=p

必有C￥=/成立，且及7廠(6°|入)=</℃

令。=C—(XN)TX'nDy=b°-b,進(jìn)一步可以得到：

Var(b°IX)=cr2[(Z)+X')(D+(X%)-1X'\]

又因?yàn)椋篊T=/=Z)X+(XN)TXX=Z)X+/n0X=O

Var(b°|X)=(?(x/尸+bPD，=Var(b\X)+<y2DD'>Var(b\X)

(2)當(dāng)古典假定不成立時(shí)，特別是存在非球形擾動(dòng)時(shí)，將影響到參數(shù)估計(jì)量6的有效性，

它將不再滿足最小方差性。當(dāng)存在這種情況時(shí);可以利用GLS得到6的有效估計(jì)。具體做

法為：

GLS的思想就是通過對總體方差協(xié)方差矩陣的分解，將回歸的殘差轉(zhuǎn)變成滿足古典假

定的殘差，然后使用OLS估計(jì)。由于。是一個(gè)正定的對稱矩陣，由矩陣代數(shù)的知識，我們

知道Q可以寫成如下形式：

C=CAC

其中C的每一列是Q的特征向量，A是Q的特征根組成的對角矩陣。

令P'=CA1,貝ij有￡11=P'P,在古典回歸方程兩邊同乘P,得到：

Py=PXp+PE

或者寫成:

y*=X*p+￡*

可以看出，E（￡*￡：）=P/CP'nMi,顯然滿足古典假定，因此可以用OLS對該

式進(jìn)行估計(jì)。得到如下結(jié)果：

B=（X：X*）“（X：y*）=（XPPX）」（XPPy）=（xg“x）“（xg“y）

由此得到的6將是有效的。實(shí)際問題中，我們需要對。進(jìn)行估計(jì)，只要滿足條件

4口今。，也就是說，只要0是。的一致估計(jì)，那么所得到的參數(shù)估計(jì)也將是一致的。

對矩陣的一個(gè)合理的一致估計(jì)是：cr2n=-y?,2=一66'。其中3對普通最小二

〃;=!〃

乘估計(jì)的殘差。

四、思考題

1、關(guān)于參數(shù)。有兩個(gè)相互獨(dú)立的無偏估計(jì)量自，a，它們的方差分別為％,

V2o問：當(dāng)q,C2為何值時(shí)，線性組合。=?；?。2。是關(guān)于參數(shù)。的最小方差無

偏估計(jì)？

解：根據(jù)已知條件有：E（a）=e，E（R）=e，幺?a）=w，Var（ei）^v2

#=GR+c2a是無偏的，則有：￡1（，）=E（Ga+c2a）=（G+C2）。=。

所以：q+0?=1

因?yàn)樽?、。相互?dú)立，所以

Var(ff)=Var(c]3]+c202)=Var{c}0})+Var(c1O1)=cfv}+c}v2

2

代入G+c2=1,可得：c；w+0；畤=0；匕+(1一仇)2嶺=(匕+v2)c1-2V2C1+V2

（、22

匕?*2/、V2

=&+%)c；_2—G+=(巧+嶺)q------J

匕+匕、匕+匕,匕+匕L匕+彩匕+%

。具有最小方差性，得到：C,=」一0?=1-----—

W+匕匕+嶺

2、證明在古典假定下，利用OLS對線性回歸方程估計(jì)得到的結(jié)果，是回

歸參數(shù)的最小方差無偏估計(jì)。

3、對于自變量X是隨機(jī)或非隨機(jī)的爭論，你有什么看法，在X隨機(jī)和非

隨機(jī)這兩個(gè)不同的假設(shè)條件下，參數(shù)的估計(jì)致和估計(jì)的方差有什么不同？闡述其

中體現(xiàn)的思想。

第四部分最小二乘(OLS)的大樣本性質(zhì)

一、背景

在有限樣本條件下，OLS估計(jì)的一系列優(yōu)良特性都是建立在嚴(yán)格的古典假

定上的。顯然，在現(xiàn)實(shí)生活中，嚴(yán)格的古典假定并不都能得到滿足。大樣本性質(zhì)

就是在古典假定中的殘差服從正態(tài)分布這一假定不成立的條件下，利用大數(shù)定律

和中心極限定理對估計(jì)量漸進(jìn)性質(zhì)的討論。

二、知識要點(diǎn)

1、矩估計(jì)、樣本矩代替總體矩

2、基本的大數(shù)定律和中心極限定理

3、大樣本OLS估計(jì)的推導(dǎo)和性質(zhì)

參考章節(jié)

Chapter5.1—5.2,AppendixD

三、要點(diǎn)細(xì)綱

1、矩估計(jì)、樣本矩和總體矩

矩估計(jì)的方法是由英國統(tǒng)計(jì)學(xué)家K.Pearson提出的。其基本的思想就是替換，

即在確定總體的參數(shù)估計(jì)值時(shí)，基于樣本矩依概率收斂于相應(yīng)的總體矩，樣本矩

的函數(shù)依概率收斂于相應(yīng)總體矩的函數(shù)。因而，可以用樣本矩估計(jì)(替換)總體

矩，通過求解方程組的辦法來得到相應(yīng)的參數(shù)估計(jì)。

(1)總體矩和樣本矩的概念

①總體矩

§定義設(shè)X為隨機(jī)變量，c為常數(shù)，k是正整數(shù)，則E(X-c)*稱為X關(guān)于c

點(diǎn)的k階總體矩。特別的，有以下兩種請況：

A、c=0,這時(shí)，從=￡型稱為X的k階總體原點(diǎn)矩；

B、c=EX,這時(shí)，9=E(X-EX)*稱為X的k階總體中心矩。

可以看出，一階原點(diǎn)矩為隨機(jī)變量的期望，二階中心矩為隨機(jī)變量的方差。

§擴(kuò)展關(guān)于偏度和峰度

A、偏度：偏度衡量的是一個(gè)隨機(jī)變量的分布是否是對稱分布，這里的對稱

指的是關(guān)于其均值(期望)對稱。偏度是用隨機(jī)變量的三階中心矩來衡量的，其

公式為：匕=E(X-EX)3。如果匕＞0,則稱分布為右偏(或者正偏)，如果匕＜0,

則稱分布為左偏(或者負(fù)偏)。

遵循可比性的原則，將度量的單位標(biāo)準(zhǔn)化得到“偏度系數(shù)”的表達(dá)式如下所

示：

匕=E-y

'v3[E(X-EX)2^

B、峰度：峰度衡量的是一個(gè)隨機(jī)變量的分布在均值附近的陡峭程度如何(注

意:這里的陡峭程度有一個(gè)對比的標(biāo)準(zhǔn)——