計(jì)量經(jīng)濟(jì)學(xué)中相關(guān)證明

課本中相關(guān)章節(jié)的證明過程

第2章有關(guān)的證明過程

2.1一元線性回歸模型

有一元線性回歸模型為：y,=?o+?\xt+u,

上式表示變量y,和為之間的真實(shí)關(guān)系。其中)，,稱被解釋變量(因變量)，為稱解釋變量(自變量)，〃，稱

隨機(jī)誤差項(xiàng)，％稱常數(shù)項(xiàng)，4稱回歸系數(shù)(通常未知)。上模型可以分為兩部分。(1)回歸函數(shù)部分，

E(j/)=?o+?iX/,

(2)隨機(jī)部分，〃…

圖2.8真實(shí)的回歸直線

這種模型可以賦予各種實(shí)際意義，收入與支出的關(guān)系；如脈搏與血壓的關(guān)系；商品價(jià)格與供給量的關(guān)

系：文件容量與保存時(shí)間的關(guān)系；林區(qū)木材采伐量與木材剩余物的關(guān)系：身高與體重的關(guān)系等。

以收入與支出的關(guān)系為例。

假設(shè)固定對(duì)一個(gè)家庭進(jìn)行觀察，隨著收入水平的不同，與支出呈線性函數(shù)關(guān)系。但實(shí)際上數(shù)據(jù)來自各

個(gè)家庭，來自各個(gè)不同收入水平，使其他條件不變成為不可能，所以由數(shù)據(jù)得到的散點(diǎn)圖不在一條直線上

(不呈函數(shù)關(guān)系)，而是散在直線周圍，服從統(tǒng)計(jì)關(guān)系。隨機(jī)誤差項(xiàng)〃，中可能包括家庭人口數(shù)不同，消費(fèi)

習(xí)慣不同，不同地域的消費(fèi)指數(shù)不同，不同家庭的外來收入不同等因素。所以，在經(jīng)濟(jì)問題上“控制其他

因素不變”實(shí)際是不可能的。

回歸模型的隨機(jī)誤差項(xiàng)中一股包括如下幾項(xiàng)內(nèi)容，(1)非重要解釋變量的省略，(2)人的隨機(jī)行為,

(3)數(shù)學(xué)模型形式欠妥，(4)歸并誤差(糧食的歸并)(5)測(cè)量誤差等。

回歸模型存在兩個(gè)特點(diǎn)。(1)建立在某些假定條件不變前提下抽象出來的回歸函數(shù)不能百分之百地

再現(xiàn)所研究的經(jīng)濟(jì)過程。(2)也正是由于這些假定與抽象，才使我們能夠透過復(fù)雜的經(jīng)濟(jì)現(xiàn)象，深刻認(rèn)

識(shí)到該經(jīng)濟(jì)過程的本質(zhì)。

通常，線性回歸函數(shù)E(y,)=%+4M是觀察不到的，利用樣本得到的只是對(duì)E(yf)=%+4%的估計(jì)，

即對(duì)街和4的估計(jì)。

在對(duì)回歸函數(shù)進(jìn)行估計(jì)之前應(yīng)該對(duì)隨機(jī)誤差項(xiàng)，〃做出如下假定。

(1)如是一個(gè)隨機(jī)變量，4的取值服從概率分布。

(2)E(uf)=0。

(3)D(M,)=E[u,-EQ,)F=E3)2=?2。稱u,具有同方差性。

(4)%為正態(tài)分布(根據(jù)中心極限定理)。以上四個(gè)假定可作如下表達(dá)：s?N(0.？？)。

(5)Cov(??iij)=E[(w,-E(w,j)(Uj-E(M;))]=E(M?W；)=0,(i?J)。含義是不同觀測(cè)值所對(duì)應(yīng)的18機(jī)項(xiàng)相

互獨(dú)立。稱為4的非自相關(guān)性。

(6)為是非隨機(jī)的。

(7)COV(M；,Xi)=E[(w；-EQ』))i,Xi-E(x,))]=E[w,(xt-E(H)]=E[w,-xt-mE(x,j]=E(w,M)=0.

見與即相互獨(dú)立。否則，分不清是誰對(duì)H的貢獻(xiàn)。

(8)對(duì)于多元線性回歸模型，解釋變量之間不能完全相關(guān)或高度相關(guān)(非多重共線性)。

在假定(1),(2)成立條件下有E(y)=E(%+?]%+%)=.%+?|即。

2.2最小二乘估計(jì)(0LS)

對(duì)于所研究的經(jīng)濟(jì)問題，通常真實(shí)的回歸直線是觀測(cè)不到的,收集樣本的目的就是要對(duì)這條真實(shí)的回

歸直線做出估計(jì)。

圖2.9

怎樣估計(jì)這條直線呢？顯然綜合起來看，這條直線處于樣本數(shù)據(jù)的中心位置最合理。怎樣用數(shù)學(xué)語言

描述“處于樣本數(shù)據(jù)的中心位置”？設(shè)估計(jì)的直線用

yt=8o+x,

表示。其中力稱必的擬合值（fittedvalue）,瓦和自分別是％和2的估計(jì)量。觀測(cè)值到這條直線的縱

向距離用力表示，稱為殘差。

y'=%+%=/（）+自必+力

稱為估計(jì)的模型。假定樣本容量為兀（1）用“殘差和最小”確定直線位置是一個(gè)途徑。但很快發(fā)現(xiàn)計(jì)算

“殘差和”存在相互抵消的問題。（2）用“殘差絕對(duì)值和最小”確定直線位置也是一個(gè)途徑。但絕對(duì)值

的計(jì)算比較麻煩。（3）最小二乘法的原則是以“殘差平方和最小”確定直線位置。用最小二乘法除了計(jì)

算比較方便外，得到的估計(jì)量還具有優(yōu)良特性（這種方法對(duì)異常值非常敏感）。設(shè)殘差平方和用0表示，

Q=EG7T尸二

j=l1=1J=1

則通過。最小確定這條直線,即確定瓦和總的估計(jì)值。以瓦和A為變量,把?？醋魇峭吆虯的函數(shù)，

這是一個(gè)求極值的問題。求。對(duì)方0和A的偏導(dǎo)數(shù)并令其為零，得正規(guī)力程，

T

C7^~二2g（yr-A）-自巧）（T）=0（2.7）

明0/=!

L"2=2g（%-瓦-自修）（-X）=0（2.8）

瞅1=1

下面用代數(shù)和矩陣兩種形式推導(dǎo)計(jì)算結(jié)果。

首先用代數(shù)形式推導(dǎo)。由（2.7）、（2.8）式得，

T-,

（￡（））一瓦一自/）=0⑵9）

T

IZ（X-瓦e）M=0（2.10）

/=1

（2.9）式兩側(cè)用除T,并整理得.

Bo=A而⑵ID

把（2.11）式代入（2.10）式并整理，得，

T-

一田一65一初*"°⑵⑵

i=i

TT

Z（）',一力為一自一工）為二0（2.13）

f?l1=1

(2.14)

Z區(qū)7M

因?yàn)?雙月-田=°，（蒼-￡）=0,［采用離差和為零的結(jié)論：^（xz-x）=0,Z（K—y）=0］。

所以，通過配方法，分別在（2.14）式的分子和分母上減2工（），,-田和-X）得,

B=一刃

即有結(jié)果：

Bo=y-Pxx這是觀測(cè)值形式。如果以離差形式表示，就更加簡(jiǎn)潔好記。

瓦=/一廂

矩陣形式推導(dǎo)計(jì)算結(jié)果:

由正規(guī)方程,

_x

2(.v;-AP\i)1)=。

常2空「獷布……

瓦7+A（缶芍）=￡>,

BofX]+B\(￡巧2)=^x,y,

?=1i=]i=l

-TE^]poi_rx>q

A=T

力」A/2”

‘DXN~E"

72/2-（1＞，）2

丁?/一（?，）2［一2＞，丁

7ZaZB

、72?/一（2＞，）2

T。

注意：關(guān)鍵是求逆矩陣￡十。它等于其伴隨陣除以其行列式，伴隨陣是其行列式對(duì)應(yīng)的代數(shù)

余子式構(gòu)成的方陣的轉(zhuǎn)置。

寫成觀測(cè)值形式。

,Z（巧一4）（力一刃

廣一亦工廠

l-瓦=y-^x

如果，以離式形式表示更為簡(jiǎn)潔:

Jro.M

瓦=y-P^

2.3一元線性回歸模型的特性

1.線性特性（將結(jié)果離差轉(zhuǎn)化為觀測(cè)值表現(xiàn)形式）

2.無偏性

為_Za_Z（x,-x）

2%=z=o

其中:

02=02包5叫

故有:

3.有效性

首先討論參數(shù)估計(jì)量的方差。

。2

Var（M=

即：2#

同理有：

顯然各自的標(biāo)準(zhǔn)誤差為:

陽慶）=I；2陽A）=。

￡2

標(biāo)準(zhǔn)差的作用：衡量估計(jì)值的精度。

由于。為總體方差，也需要用樣本進(jìn)行估計(jì)。

證明過程如下：

因此有：Y=仇+02叉+正

那么：（匕一丫）=g=（4+尸2X,+%）-3+%x+萬）

根據(jù)定義：ei=%一瓦片,

（實(shí)際觀測(cè)值與樣本回歸線的差值）

則有:

兩邊平方，再求和：

對(duì)上式兩邊取期望有：

X君

其中:

故有:也,=（〃-1）。2

關(guān)于的計(jì)算:

關(guān)于R?<R?的證明:

鏟=1一

當(dāng)Z=l=a=l

當(dāng)左>1=a>1,當(dāng)04R2<1時(shí)，有:

關(guān)于R2可能小于0的證明。

YX+u

設(shè):t=^2tt

則有:

=0

S2

那么

?”=。

但：EG0°,因?yàn)闆]有明存在。

同時(shí)，還有：

其中:

N（,-a）=一碇=>一〃;'=0

xe0

和Sft=

則：

考慮到:

若定義

可能小于Oo

參考書：

DennisJ.AignerBasicEconometrics,Prentice-Hall,EnglewoodCliffs,N.J.1971,pp85-88

第二章

2.1簡(jiǎn)單線性回歸最小二乘估計(jì)最小方差性質(zhì)的證明

AA

對(duì)于OLS估計(jì)式4和尸2,已知其方差為

這里只證明Vag）最小，Vari氏）最小的證明可以類似得出。

設(shè)A的另一個(gè)線性無偏估計(jì)為,即

叫*kj,kj=~~7

其中z%

因?yàn)榉惨彩茿的無偏估計(jì)，即4區(qū)）二人，必須有

Z叱=0,Z叫吊=1

同時(shí)W〃O；）=Wz?Z喇）

=［因?yàn)檠尽ǎㄘ埃?4］

=

Z嗎耳-y2-（yx2）2

上式最后一項(xiàng)中乙七（乙X）

=0（因?yàn)閆叱=°,Z叱Xj=l）

（嗎一4）29力/苫?"

所以（乙七）

而b2N0,因?yàn)?*4,則有（叫一為此

只有叱=4時(shí)，%"￡；）=V。武夕2）,由于￡；是任意設(shè)定的夕2的線性無偏估計(jì)式，這表明夕2的OLS估

計(jì)式具有最小方差性。

2.2n-2最小二乘估計(jì)的證明

用離差形式表示模型時(shí)

而且

AA

RI此令=x-y=（%一斤）一（四一AX

2＞；=￡［（/一萬）一（4一4）巾2

則有

取的期望

a2(〃，一詞2]二a2〃；一〃(萬)2]

式中(D

E*E電一而==4

⑵

一2￡[(尾一尾)2(/_2)為J=_2)])?(Z菁場(chǎng)一萬Z%)】

⑶一乙琴——

反2片)=(〃-1)/+cr2-2b2=(n-2)cr2

所以

如果定義n-2.

七")=h1<7

其期望值為

2

這說明〃-2是。的無偏估計(jì)。

第二章

3.1多元線性回歸最小二乘估計(jì)無偏性的證明

因?yàn)镻=(XfX)1XY=(X'X尸X(XP+U)

對(duì)兩邊取期望，或)=0+(XWX'[E(U)]

=P[由假定1：E(U)=O]

A

即P是。的無偏估計(jì)。

3.2多元線性回歸最小二乘估計(jì)最小方差性的證明

設(shè)修為0的另一個(gè)關(guān)于Y的線性無偏估計(jì)式，可知

P=AY(A為常數(shù)矩陣)

由無偏性可得七底)=七(AY)=E1A(X0+U)J

所以必須有AX=I

A

要證明最小二乘法估計(jì)式的方差"小于其他線性去偏估計(jì)式的方差UoN"),只要證明協(xié)方差矩陣

之差

A

為半正定矩陣，則稱最小二乘估計(jì)P是P的最小方差線性無偏估計(jì)式。

因?yàn)閜#-p=AY-p=A(Xp+U)-p

所以仇(5-P)(P*邛)1=￡I(AU)(AU)']=?AUU'A')

A

由于p=(X,X)1XY=p+(XX)“XU

所以E[(r-P)(P*-P/]-￡[(P-P)(P-P)1=AA%2-(X'X)」『

由于

由線性代數(shù)知，對(duì)任一非奇異矩陣C,CC為半正定矩陣。如果令[A-(X'X)"X']=C

則CC=[A.(X%)“X][A.(X'X)"XT=AA<(X，X)“

由于半正定矩陣對(duì)角線元素非負(fù)，因此有AA'?(X'X)”之°

即(J=l,2,?.勺

A

這證明了乩的最小二乘估計(jì)從在用的所有無偏估計(jì)中是方差最小的估計(jì)式。

3.3殘差平方和Zd的均值為(〃一公°，的證明

由殘差向量的定義及參數(shù)的最小二乘估計(jì)式，有

可以記P=I?X（X'X）」X',則

容易驗(yàn)證，P為對(duì)稱等舞矩陣，即

殘差向量的協(xié)方差矩陣為

利用矩陣跡的性質(zhì)，有

兩邊取期望得

第五章

5.1在異方差性條件下參數(shù)估計(jì)統(tǒng)計(jì)性質(zhì)的證明

1、參數(shù)估計(jì)的無偏性仍然成立

設(shè)模型為匕=4+BX,+匕，i=l,2,…,〃（1）

用離差形式表示y.=Pixi+ui（其中/二匕一”）（2）

A

參數(shù)為的估計(jì)量42為

在證明中僅用到了假定￡（%%）=0.

2、參數(shù)估計(jì)的有效性不成立

假設(shè)（1）式存在異方差，且var（〃J=6=bX；則參數(shù)色的估計(jì)外的方差為

，駒2）落b0X；

一（Z百一百，①百WX"⑸

在上述推導(dǎo)中用了假定E（'M二°"*/。

下面對(duì)（2）式運(yùn)用加權(quán)最小二乘法（WLS）。設(shè)權(quán)數(shù)為Z,,對(duì)（2）式變換為

上短上+生

z

?4（6）

A

可求得參數(shù)的估計(jì)夕2,根據(jù)本章第四節(jié)變量變換法的討論，這時(shí)新的隨機(jī)誤差項(xiàng)均為同方差，即

var(—)=a2-

入,而△的方差為

八(y2

vaKAL=——-r

AA

為了便于區(qū)別，用（人）心表示加權(quán)最小二乘法估計(jì)的小，用（四）山表示OLS法估計(jì)的A。

比較（5）式與（7）式，即在異方差下用OLS法得到參數(shù)估計(jì)的方差與用WLS法得到參數(shù)估計(jì)的方差相比

較為

b9b,

—

var(A)gX

EE(X,.Y/y22\

(8)

%.火）［?］

」=生,2科="

4Zj，由初等數(shù)學(xué)知識(shí)有,因此（］0）式右端有

"I2

49⑨汨)

\Zj,(9)

從而，有

這就證明了在異方差下，仍然用普通最小二乘法所得到的參數(shù)估計(jì)值的方差不再最小。

5.2對(duì)數(shù)變換后殘差為相對(duì)誤差的證明

事實(shí)上，設(shè)樣本回歸函數(shù)為

尸盧%

YA+BzX(10)

其中6二工一丫為殘差，取對(duì)數(shù)后的樣本回歸函數(shù)為

lny=d,+d2InX+e"

其中殘差為/=h】y-ln）\因此

*-YY+Y-YY-Y

e=\nY-\nY=ln(4)=ln(--J-)=ln(l+-

YYY(12)

對(duì)（12）式的右端，依據(jù)泰勒展式

y2V3y4\7n

ln(l+X)=X-+—-—+???+(-If-'—+

234n(13)

A

y-y

將（13）式中的X用Y替換，則e”可近似地表示為

A

*Y-Y