計量經(jīng)濟學中相關證明

課本中相關章節(jié)的證明過程

第2章有關的證明過程

2.1一元線性回歸模型

有一元線性回歸模型為：y,=?o+?\xt+u,

上式表示變量y,和為之間的真實關系。其中)，,稱被解釋變量(因變量)，為稱解釋變量(自變量)，〃，稱

隨機誤差項，％稱常數(shù)項，4稱回歸系數(shù)(通常未知)。上模型可以分為兩部分。(1)回歸函數(shù)部分，

E(j/)=?o+?iX/,

(2)隨機部分，〃…

圖2.8真實的回歸直線

這種模型可以賦予各種實際意義，收入與支出的關系；如脈搏與血壓的關系；商品價格與供給量的關

系：文件容量與保存時間的關系；林區(qū)木材采伐量與木材剩余物的關系：身高與體重的關系等。

以收入與支出的關系為例。

假設固定對一個家庭進行觀察，隨著收入水平的不同，與支出呈線性函數(shù)關系。但實際上數(shù)據(jù)來自各

個家庭，來自各個不同收入水平，使其他條件不變成為不可能，所以由數(shù)據(jù)得到的散點圖不在一條直線上

(不呈函數(shù)關系)，而是散在直線周圍，服從統(tǒng)計關系。隨機誤差項〃，中可能包括家庭人口數(shù)不同，消費

習慣不同，不同地域的消費指數(shù)不同，不同家庭的外來收入不同等因素。所以，在經(jīng)濟問題上“控制其他

因素不變”實際是不可能的。

回歸模型的隨機誤差項中一股包括如下幾項內容，(1)非重要解釋變量的省略，(2)人的隨機行為,

(3)數(shù)學模型形式欠妥，(4)歸并誤差(糧食的歸并)(5)測量誤差等。

回歸模型存在兩個特點。(1)建立在某些假定條件不變前提下抽象出來的回歸函數(shù)不能百分之百地

再現(xiàn)所研究的經(jīng)濟過程。(2)也正是由于這些假定與抽象，才使我們能夠透過復雜的經(jīng)濟現(xiàn)象，深刻認

識到該經(jīng)濟過程的本質。

通常，線性回歸函數(shù)E(y,)=%+4M是觀察不到的，利用樣本得到的只是對E(yf)=%+4%的估計，

即對街和4的估計。

在對回歸函數(shù)進行估計之前應該對隨機誤差項，〃做出如下假定。

(1)如是一個隨機變量，4的取值服從概率分布。

(2)E(uf)=0。

(3)D(M,)=E[u,-EQ,)F=E3)2=?2。稱u,具有同方差性。

(4)%為正態(tài)分布(根據(jù)中心極限定理)。以上四個假定可作如下表達：s?N(0.？？)。

(5)Cov(??iij)=E[(w,-E(w,j)(Uj-E(M;))]=E(M?W；)=0,(i?J)。含義是不同觀測值所對應的18機項相

互獨立。稱為4的非自相關性。

(6)為是非隨機的。

(7)COV(M；,Xi)=E[(w；-EQ』))i,Xi-E(x,))]=E[w,(xt-E(H)]=E[w,-xt-mE(x,j]=E(w,M)=0.

見與即相互獨立。否則，分不清是誰對H的貢獻。

(8)對于多元線性回歸模型，解釋變量之間不能完全相關或高度相關(非多重共線性)。

在假定(1),(2)成立條件下有E(y)=E(%+?]%+%)=.%+?|即。

2.2最小二乘估計(0LS)

對于所研究的經(jīng)濟問題，通常真實的回歸直線是觀測不到的,收集樣本的目的就是要對這條真實的回

歸直線做出估計。

圖2.9

怎樣估計這條直線呢？顯然綜合起來看，這條直線處于樣本數(shù)據(jù)的中心位置最合理。怎樣用數(shù)學語言

描述“處于樣本數(shù)據(jù)的中心位置”？設估計的直線用

yt=8o+x,

表示。其中力稱必的擬合值（fittedvalue）,瓦和自分別是％和2的估計量。觀測值到這條直線的縱

向距離用力表示，稱為殘差。

y'=%+%=/（）+自必+力

稱為估計的模型。假定樣本容量為兀（1）用“殘差和最小”確定直線位置是一個途徑。但很快發(fā)現(xiàn)計算

“殘差和”存在相互抵消的問題。（2）用“殘差絕對值和最小”確定直線位置也是一個途徑。但絕對值

的計算比較麻煩。（3）最小二乘法的原則是以“殘差平方和最小”確定直線位置。用最小二乘法除了計

算比較方便外，得到的估計量還具有優(yōu)良特性（這種方法對異常值非常敏感）。設殘差平方和用0表示，

Q=EG7T尸二

j=l1=1J=1

則通過。最小確定這條直線,即確定瓦和總的估計值。以瓦和A為變量,把。看作是瓦和A的函數(shù)，

這是一個求極值的問題。求。對方0和A的偏導數(shù)并令其為零，得正規(guī)力程，

T

C7^~二2g（yr-A）-自巧）（T）=0（2.7）

明0/=!

L"2=2g（%-瓦-自修）（-X）=0（2.8）

瞅1=1

下面用代數(shù)和矩陣兩種形式推導計算結果。

首先用代數(shù)形式推導。由（2.7）、（2.8）式得，

T-,

（￡（））一瓦一自/）=0⑵9）

T

IZ（X-瓦e）M=0（2.10）

/=1

（2.9）式兩側用除T,并整理得.

Bo=A而⑵ID

把（2.11）式代入（2.10）式并整理，得，

T-

一田一65一初*"°⑵⑵

i=i

TT

Z（）',一力為一自一工）為二0（2.13）

f?l1=1

(2.14)

Z區(qū)7M

因為2雙月-田=°，（蒼-￡）=0,［采用離差和為零的結論：^（xz-x）=0,Z（K—y）=0］。

所以，通過配方法，分別在（2.14）式的分子和分母上減2工（），,-田和-X）得,

B=一刃

即有結果：

Bo=y-Pxx這是觀測值形式。如果以離差形式表示，就更加簡潔好記。

瓦=/一廂

矩陣形式推導計算結果:

由正規(guī)方程,

_x

2(.v;-AP\i)1)=。

常2空「獷布……

瓦7+A（缶芍）=￡>,

BofX]+B\(￡巧2)=^x,y,

?=1i=]i=l

-TE^]poi_rx>q

A=T

力」A/2”

‘DXN~E"

72/2-（1＞，）2

丁?/一（?，）2［一2＞，丁

7ZaZB

、72?/一（2＞，）2

T。

注意：關鍵是求逆矩陣￡十。它等于其伴隨陣除以其行列式，伴隨陣是其行列式對應的代數(shù)

余子式構成的方陣的轉置。

寫成觀測值形式。

,Z（巧一4）（力一刃

廣一亦工廠

l-瓦=y-^x

如果，以離式形式表示更為簡潔:

Jro.M

瓦=y-P^

2.3一元線性回歸模型的特性

1.線性特性（將結果離差轉化為觀測值表現(xiàn)形式）

2.無偏性

為_Za_Z（x,-x）

2%=z=o

其中:

02=02包5叫

故有:

3.有效性

首先討論參數(shù)估計量的方差。

。2

Var（M=

即：2#

同理有：

顯然各自的標準誤差為:

陽慶）=I；2陽A）=。

￡2

標準差的作用：衡量估計值的精度。

由于。為總體方差，也需要用樣本進行估計。

證明過程如下：

因此有：Y=仇+02叉+正

那么：（匕一丫）=g=（4+尸2X,+%）-3+%x+萬）

根據(jù)定義：ei=%一瓦片,

（實際觀測值與樣本回歸線的差值）

則有:

兩邊平方，再求和：

對上式兩邊取期望有：

X君

其中:

故有:也,=（〃-1）。2

關于的計算:

關于R?<R?的證明:

鏟=1一

當Z=l=a=l

當左>1=a>1,當04R2<1時，有:

關于R2可能小于0的證明。

YX+u

設:t=^2tt

則有:

=0

S2

那么

?”=。

但：EG0°,因為沒有明存在。

同時，還有：

其中:

N（,-a）=一碇=>一〃;'=0

xe0

和Sft=

則：

考慮到:

若定義

可能小于Oo

參考書：

DennisJ.AignerBasicEconometrics,Prentice-Hall,EnglewoodCliffs,N.J.1971,pp85-88

第二章

2.1簡單線性回歸最小二乘估計最小方差性質的證明

AA

對于OLS估計式4和尸2,已知其方差為

這里只證明Vag）最小，Vari氏）最小的證明可以類似得出。

設A的另一個線性無偏估計為,即

叫*kj,kj=~~7

其中z%

因為凡也是A的無偏估計，即4區(qū)）二人，必須有

Z叱=0,Z叫吊=1

同時W〃O；）=Wz?Z喇）

=［因為丫〃（匕）=4］

=

Z嗎耳-y2-（yx2）2

上式最后一項中乙七（乙X）

=0（因為Z叱=°,Z叱Xj=l）

（嗎一4）29力/苫?"

所以（乙七）

而b2N0,因為%*4,則有（叫一為此

只有叱=4時，%"￡；）=V。武夕2）,由于￡；是任意設定的夕2的線性無偏估計式，這表明夕2的OLS估

計式具有最小方差性。

2.2n-2最小二乘估計的證明

用離差形式表示模型時

而且

AA

RI此令=x-y=（%一斤）一（四一AX

2＞；=￡［（/一萬）一（4一4）巾2

則有

取的期望

a2(〃，一詞2]二a2〃；一〃(萬)2]

式中(D

E*E電一而==4

⑵

一2￡[(尾一尾)2(/_2)為J=_2)])?(Z菁場一萬Z%)】

⑶一乙琴——

反2片)=(〃-1)/+cr2-2b2=(n-2)cr2

所以

如果定義n-2.

七")=h1<7

其期望值為

2

這說明〃-2是。的無偏估計。

第二章

3.1多元線性回歸最小二乘估計無偏性的證明

因為P=(XfX)1XY=(X'X尸X(XP+U)

對兩邊取期望，或)=0+(XWX'[E(U)]

=P[由假定1：E(U)=O]

A

即P是。的無偏估計。

3.2多元線性回歸最小二乘估計最小方差性的證明

設修為0的另一個關于Y的線性無偏估計式，可知

P=AY(A為常數(shù)矩陣)

由無偏性可得七底)=七(AY)=E1A(X0+U)J

所以必須有AX=I

A

要證明最小二乘法估計式的方差"小于其他線性去偏估計式的方差UoN"),只要證明協(xié)方差矩陣

之差

A

為半正定矩陣，則稱最小二乘估計P是P的最小方差線性無偏估計式。

因為p#-p=AY-p=A(Xp+U)-p

所以仇(5-P)(P*邛)1=￡I(AU)(AU)']=?AUU'A')

A

由于p=(X,X)1XY=p+(XX)“XU

所以E[(r-P)(P*-P/]-￡[(P-P)(P-P)1=AA%2-(X'X)」『

由于

由線性代數(shù)知，對任一非奇異矩陣C,CC為半正定矩陣。如果令[A-(X'X)"X']=C

則CC=[A.(X%)“X][A.(X'X)"XT=AA<(X，X)“

由于半正定矩陣對角線元素非負，因此有AA'?(X'X)”之°

即(J=l,2,?.勺

A

這證明了乩的最小二乘估計從在用的所有無偏估計中是方差最小的估計式。

3.3殘差平方和Zd的均值為(〃一公°，的證明

由殘差向量的定義及參數(shù)的最小二乘估計式，有

可以記P=I?X（X'X）」X',則

容易驗證，P為對稱等舞矩陣，即

殘差向量的協(xié)方差矩陣為

利用矩陣跡的性質，有

兩邊取期望得

第五章

5.1在異方差性條件下參數(shù)估計統(tǒng)計性質的證明

1、參數(shù)估計的無偏性仍然成立

設模型為匕=4+BX,+匕，i=l,2,…,〃（1）

用離差形式表示y.=Pixi+ui（其中/二匕一”）（2）

A

參數(shù)為的估計量42為

在證明中僅用到了假定￡（%%）=0.

2、參數(shù)估計的有效性不成立

假設（1）式存在異方差，且var（〃J=6=bX；則參數(shù)色的估計外的方差為

，駒2）落b0X；

一（Z百一百，①百WX"⑸

在上述推導中用了假定E（'M二°"*/。

下面對（2）式運用加權最小二乘法（WLS）。設權數(shù)為Z,,對（2）式變換為

上短上+生

z

?4（6）

A

可求得參數(shù)的估計夕2,根據(jù)本章第四節(jié)變量變換法的討論，這時新的隨機誤差項均為同方差，即

var(—)=a2-

入,而△的方差為

八(y2

vaKAL=——-r

AA

為了便于區(qū)別，用（人）心表示加權最小二乘法估計的小，用（四）山表示OLS法估計的A。

比較（5）式與（7）式，即在異方差下用OLS法得到參數(shù)估計的方差與用WLS法得到參數(shù)估計的方差相比

較為

b9b,

—

var(A)gX

EE(X,.Y/y22\

(8)

%.火）［?］

」=生,2科="

4Zj，由初等數(shù)學知識有,因此（］0）式右端有

"I2

49⑨汨)

\Zj,(9)

從而，有

這就證明了在異方差下，仍然用普通最小二乘法所得到的參數(shù)估計值的方差不再最小。

5.2對數(shù)變換后殘差為相對誤差的證明

事實上，設樣本回歸函數(shù)為

尸盧%

YA+BzX(10)

其中6二工一丫為殘差，取對數(shù)后的樣本回歸函數(shù)為

lny=d,+d2InX+e"

其中殘差為/=h】y-ln）\因此

*-YY+Y-YY-Y

e=\nY-\nY=ln(4)=ln(--J-)=ln(l+-

YYY(12)

對（12）式的右端，依據(jù)泰勒展式

y2V3y4\7n

ln(l+X)=X-+—-—+???+(-If-'—+

234n(13)

A

y-y

將（13）式中的X用Y替換，則e”可近似地表示為

A

*Y-Y