清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模

清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模2024/3/26清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模多元線性回歸模型是我們課程的重點(diǎn)，原因在于：

多元線性回歸模型應(yīng)用非常普遍；原理和方法是理解更復(fù)雜計(jì)量經(jīng)濟(jì)學(xué)模型的基礎(chǔ)；內(nèi)容較為豐富。從而，我們應(yīng)不遺余力地學(xué)，甚至是不遺余力地背?。?！清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模本章主要內(nèi)容多元線性回歸模型的描述參數(shù)的OLS估計(jì)OLS估計(jì)量的有限樣本性質(zhì)參數(shù)估計(jì)量的方差-協(xié)方差矩陣和隨機(jī)誤差項(xiàng)方差2的估計(jì)單方程模型的統(tǒng)計(jì)檢驗(yàn)多元線性回歸模型實(shí)例清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸?！?.1多元線性回歸模型的描述清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模1、多元線性回歸模型的形式由于在實(shí)際經(jīng)濟(jì)問(wèn)題中，一個(gè)變量往往受到多個(gè)原因變量的影響；“從一般到簡(jiǎn)單”的建模思路。所以，在線性回歸模型中的解釋變量有多個(gè)，至少開始是這樣。這樣的模型被稱為多元線性回歸模型。多元線性回歸模型參數(shù)估計(jì)的原理與一元線性回歸模型相同，只是計(jì)算更為復(fù)雜。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模

以多元線性回歸模型的一般形式——K元線性回歸模型入手進(jìn)行講解，其模型結(jié)構(gòu)如下：Y=x1

1

+x2

2+…+xk

k

+(1)

其中，Y是被解釋變量（因變量、相依變量、內(nèi)生變量），x是解釋變量（自變量、獨(dú)立變量、外生變量），

是隨機(jī)誤差項(xiàng)，

i,i=1,…,k是回歸參數(shù)。線性回歸模型的意義在于把Y分成兩部分：確定性部分和非確定性部分。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模

在研究中，我們根本無(wú)法了解式（1）所示的總體模型的特征，而只能通過(guò)樣本特征來(lái)近似考察。設(shè)經(jīng)過(guò)n次試驗(yàn)，得到n個(gè)樣本，如下所示：

y1

x11x12

…x1k

y2

x21x22

…x2k

……yn

xn1xn2

…xnk

從而得到表達(dá)式如下：Yi=xi1

1

+xi2

2+…+xik

k

+i(2)其中，式（1）稱為總體線性模型；式（2）稱為樣本線性模型。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模

在計(jì)量經(jīng)濟(jì)學(xué)分析中，通常會(huì)借助矩陣工具，在此亦將多元線性模型表示成矩陣形式，以便于下一步的數(shù)學(xué)運(yùn)算。（3）

寫成一般形式為：

Y

=X

+

(4)

針對(duì)式（4），在這里主要講參數(shù)估計(jì)和統(tǒng)計(jì)推斷，但在此之前，我們要先回顧一下什么模型才是多元線性回歸模型，即了解線性回歸模型的6大假設(shè)，這一點(diǎn)十分重要。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模（1）線性性。即要求模型關(guān)于參數(shù)是線性的，關(guān)于擾動(dòng)項(xiàng)是可加的。

（2）滿秩。說(shuō)明解釋變量之間是線性無(wú)關(guān)的，這一假設(shè)很重要，在后面會(huì)經(jīng)常受到。（3）回歸性。x與

不相關(guān)。（4）x的DGP是外生的。x相對(duì)于y是外生的，是非隨機(jī)的。（5）球形擾動(dòng)。同方差性和非自相關(guān)性。（6）正態(tài)假設(shè)。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模2、多元回歸方程及偏回歸系數(shù)的含義稱為多元回歸方程（函數(shù)）。

多元回歸分析（multipleregressionanalysis）是以多個(gè)解釋變量的固定值為條件的回歸分析，并且所獲得的是諸變量X值固定時(shí)Y的平均值。諸

i稱為偏回歸系數(shù)（partialregressioncoefficients）。在經(jīng)典回歸模型的諸假設(shè)下，對(duì)（1）式兩邊求條件期望得E（Y|X1,X2,…Xk)=

x1

1

+x2

2+…+xk

k

清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模偏回歸系數(shù)的含義如下：

1度量著在X2,X3,…,Xk保持不變的情況下，X1每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化，或者說(shuō)

1給出X1的單位變化對(duì)Y均值的“直接”或“凈”（不含其他變量）影響。其他參數(shù)的含義與之相同。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模例：

其中，Ct=消費(fèi)，Dt=居民可支配收入Lt=居民擁有的流動(dòng)資產(chǎn)水平β2的含義是，在流動(dòng)資產(chǎn)不變的情況下，可支配收入變動(dòng)一個(gè)單位對(duì)消費(fèi)額的影響。這是收入對(duì)消費(fèi)額的直接影響。收入變動(dòng)對(duì)消費(fèi)額的總影響=直接影響+間接影響。（間接影響：收入

流動(dòng)資產(chǎn)擁有量

消費(fèi)額）但在模型中這種間接影響應(yīng)歸因于流動(dòng)資產(chǎn)，而不是收入，因而，β2只包括收入的直接影響。在下面的模型中：這里，β是可支配收入對(duì)消費(fèi)額的總影響，顯然β和β2的含義是不同的。偏回歸系數(shù)bj就是xj本身變化對(duì)y的直接（凈）影響。

清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模

需要說(shuō)明的是，如果令x1≡1，則

1便是常數(shù)項(xiàng)。習(xí)慣上把常數(shù)項(xiàng)看成為一個(gè)虛變量的系數(shù)，在參數(shù)估計(jì)過(guò)程中該虛變量的樣本觀測(cè)值始終取1。通常，一定要假設(shè)在模型中有常數(shù)項(xiàng)，即盡量讓模型包含常數(shù)項(xiàng)，以中心化誤差。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸?！?.2

參數(shù)的OLS估計(jì)參數(shù)的OLS估計(jì)

附錄：極大似然估計(jì)和矩估計(jì)

投影和投影矩陣

分塊回歸和偏回歸

偏相關(guān)系數(shù)

清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模我們的模型是：

殘差為：一、參數(shù)的OLS估計(jì)普通最小二乘估計(jì)原理：使樣本殘差平方和最小Y=x1

1

+x2

2+…+xk

k

+

關(guān)鍵問(wèn)題是選擇的估計(jì)量b（或），使得殘差平方和最小。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模要使殘差平方和于是得到關(guān)于待估參數(shù)估計(jì)值的K個(gè)方程（即正規(guī)方程組）：為最小，則應(yīng)有：清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模按矩陣形式，上述方程組可表示為：清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模即清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模

上述結(jié)果，亦可從矩陣表示的模型出發(fā)，完全用矩陣代數(shù)推導(dǎo)出來(lái)。

其中：殘差可用矩陣表示為：清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模殘差平方和

清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模注意到上式中所有項(xiàng)都是標(biāo)量，且與采用標(biāo)量式推導(dǎo)所得結(jié)果相同。因?yàn)閤是滿秩的（假設(shè)2），所以（X‘X）-1存在。所以，得到

的估計(jì)為用向量展開或矩陣微分法（前導(dǎo)不變后導(dǎo)轉(zhuǎn)置），我們可得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組：令故清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模注：這只是得到了求極值的必要條件。到目前為止，仍不能確定這一極值是極大還是極小。接下來(lái)考察求極值充分條件。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模

注意到上述條件只是極小化問(wèn)題的必要條件，為了判斷充分性，我們需要求出目標(biāo)函數(shù)的Hessian矩陣

：如果這個(gè)Hessian矩陣是正定的，則可以判斷所得到的解是唯一的最小二乘解。顯然，根據(jù)正定矩陣的定義或者正定矩陣的判斷準(zhǔn)則，可知當(dāng)矩陣的滿秩條件滿足時(shí)，矩陣是正定的，因此最小二乘解的充分性成立。從而，OLS估計(jì)量為：清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模樣本回歸線的數(shù)值性質(zhì)需要注意的是，上述命題成立的前提是線性模型中包含常數(shù)項(xiàng)，也就是第一個(gè)解釋變量是“啞變量”形式。這樣一個(gè)思考題目就是，當(dāng)線性模型中不包含常數(shù)項(xiàng)時(shí)，結(jié)論是什么樣的？清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模（3）的證明方法1因?yàn)棣瞖i=0，所以對(duì)兩邊求和即可。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模附錄：極大似然估計(jì)清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸?；貞浺辉€性回歸模型清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模

將該或然函數(shù)極大化，即可求得到模型參數(shù)的極大或然估計(jì)量。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模

由于或然函數(shù)的極大化與或然函數(shù)的對(duì)數(shù)的極大化是等價(jià)的，所以，取對(duì)數(shù)或然函數(shù)如下：清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模同理，分析多元線性回歸模型Y的隨機(jī)抽取的n組樣本觀測(cè)值的聯(lián)合概率

清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模對(duì)數(shù)似然函數(shù)為參數(shù)的極大似然估計(jì)

結(jié)果與參數(shù)的普通最小二乘估計(jì)相同

清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模附錄：矩估計(jì)(MomentMethod,MM)矩估計(jì)是基于實(shí)際參數(shù)滿足一些矩條件而形成的一種參數(shù)估計(jì)方法。隨機(jī)變量的均值和方差如何得到？

例：總體：E（Y-μ）=0樣本矩（用樣本矩估計(jì)總體矩）：滿足相應(yīng)的矩條件：清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模同理，方差的估計(jì)量是樣本的二階中心矩。現(xiàn)在，考慮一元線性回歸模型中的假設(shè)條件：其所對(duì)應(yīng)的樣本矩條件分別為：清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模可見，與OLS估計(jì)量的正規(guī)方程組是相同的。多元線性回歸模型矩估計(jì)的矩條件通常是這樣構(gòu)造的：對(duì)于多元線性回歸模型Y=Xβ+ε兩邊分別左乘，即得到上式稱為總體回歸方程的一組矩條件?，F(xiàn)在，我們隨機(jī)抽取樣本，用樣本矩代替總體矩，得到：清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模解此正規(guī)方程組即得參數(shù)的估計(jì)量，這種估計(jì)方法稱為矩估計(jì)。其參數(shù)估計(jì)結(jié)果與OLS一致。樣本形式：用每個(gè)解釋變量分別乘以模型的兩邊，并對(duì)所有樣本點(diǎn)求和，即得到：

清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模對(duì)每個(gè)方程的兩邊求期望，有：

清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模得到一組矩條件求解這組矩條件，即得到參數(shù)估計(jì)量與OLS、ML估計(jì)量等價(jià)清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模矩方法是工具變量方法(InstrumentalVariables,IV)和廣義矩估計(jì)方法(GeneralizedMomentMethod,GMM)的基礎(chǔ)在矩方法中關(guān)鍵是利用了如果某個(gè)解釋變量與隨機(jī)項(xiàng)相關(guān)，只要能找到1個(gè)工具變量，仍然可以構(gòu)成一組矩條件。這就是IV。如果存在＞k+1個(gè)變量與隨機(jī)項(xiàng)不相關(guān)，可以構(gòu)成一組方程數(shù)＞k+1的矩條件。這就是GMM。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模廣義矩估計(jì)中，矩條件的個(gè)數(shù)大于參數(shù)個(gè)數(shù)，會(huì)出現(xiàn)什么問(wèn)題呢？

過(guò)度識(shí)別則必須想辦法調(diào)和出現(xiàn)在過(guò)度識(shí)別系統(tǒng)中相互沖突的估計(jì)。那如何解決呢？

廣義矩估計(jì)的思想是使得樣本矩與總體矩的加權(quán)距離（即馬氏距離）最小。主要是考慮到不同的矩所起的作用可能不同。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模注意：GMM估計(jì)是一個(gè)大樣本估計(jì)。在大樣本的情況下，GMM估計(jì)量是漸進(jìn)有效的，在小樣本情況下是無(wú)效的。所以，只有在大樣本情況下，才能使用GMM方法進(jìn)行參數(shù)估計(jì)。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模二、投影和投影矩陣

——OLS估計(jì)的幾何性質(zhì)獲得最小二乘估計(jì)以后，可以獲得下述最小二乘殘差：將最小二乘估計(jì)的表達(dá)式代入，得到：

其中定義的矩陣在回歸分析中是非常基礎(chǔ)和重要的。顯然，這個(gè)矩陣是對(duì)稱冪等矩陣：

其次，還有一些重要的性質(zhì)需要注意，例如對(duì)稱冪等矩陣的特征根非0即1(對(duì)稱矩陣的特征根均為實(shí)數(shù))，因此矩陣具有性質(zhì)：矩陣的跡等于矩陣的秩。

清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模顯然，矩陣M的作用是，它乘積作用在某個(gè)向量y上，就可以得到這個(gè)向量y基于數(shù)據(jù)變量的最小二乘回歸的殘差向量，因此經(jīng)常將這個(gè)矩陣稱為“殘差生成矩陣”(residualmaker)。這里需要注意M的定義和所作用的變量，是所作用變量關(guān)于M定義中數(shù)據(jù)矩陣的回歸殘差。即清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模顯然，X基于自己的線性回歸的最小二乘殘差一定為零，則必然有(即使驗(yàn)證也十分顯然)：根據(jù)此性質(zhì)，我們來(lái)考察最小二乘估計(jì)的性質(zhì)。已知：這說(shuō)明最小二乘回歸將變量y分解成為兩個(gè)部分，一個(gè)部分是擬合值，另一個(gè)部分是殘差e，由于

清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模這說(shuō)明最小二乘回歸與殘差是正交的。因此，這樣的分解是正交分解，也就是說(shuō)最小二乘的擬合值向量和殘差向量是正交的(意味著這兩個(gè)向量之間的夾角為垂角)。這時(shí)也可以得到：這里矩陣也是一個(gè)對(duì)稱冪等矩陣，我們稱其為投影矩陣(projectmatrix)，它是由矩陣X構(gòu)成的，并且它如果乘積作用到向量y上，則可以得到y(tǒng)基于變量X的最小二乘回歸的擬合值。這也是向量y在矩陣X的各列生成的線性空間上的投影。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模注釋：假設(shè)y在矩陣X的各列生成的線性空間上的投影是yp，則yp的定義是：且選擇使得

由于上述向量之間的模與最小二乘距離是一致的，因此投影值便是最小二乘估計(jì)的擬合值，即清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模為了更好地理解上述定義和公式，我們將一些有用的結(jié)論歸納為下述命題：命題1在線性模型的最小二乘估計(jì)中，可以得到：（1）P+M=I（顯然）（2）PM=MP=0，即矩陣P與M是正交的。

證明：因?yàn)镻=I-M，所以PM=（I-M）M=M-M2=0

（3）矩陣P具有自投影不變性，即PX=X。（4）向量y可以通過(guò)投影進(jìn)行正交分解，即分解為投影和殘差：y=Py+My。

證明：y=Iy=（P+M）y=Py+My，投影和殘差是正交的

清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模（5）平方和分解公式成立：

證明：因?yàn)樗?/p>

（6）殘差平方和可以表示為：

證明：因?yàn)閑=My，且M是對(duì)陣冪等矩陣，所以

清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模（7）殘差平方和也可以表示為：

證明：根據(jù)（5）式，可得而且可推知，又因?yàn)閑=y-Xb，則有

清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模三、分塊回歸與偏回歸

（partitionedregressionandpartialregression

）通常在進(jìn)行線性回歸時(shí)我們假定了完全的回歸變量，但事實(shí)上我們只對(duì)其中的部分變量感興趣。這時(shí)我們就需要考慮將一部分變量從回歸變量中刪除所導(dǎo)致的結(jié)果。假設(shè)回歸方程中涉及到兩部分變量X1和X2，這時(shí)有：由于X=（X1，X2），k1k2清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模請(qǐng)問(wèn)：根據(jù)模型得到的b1，是否與根據(jù)模型得到的b1相等？思考清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模則有：清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模從而，正規(guī)方程組X‘Y=X’Xb變成：從而得到清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模上述四塊矩陣可以通過(guò)下述分塊逆矩陣公式得到：利用該公式可得到：清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模以上結(jié)果也可以直接計(jì)算得到：

由正規(guī)方程組得到：根據(jù)第一個(gè)方程得到清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模上述解的公式表明，系數(shù)的最小二乘估計(jì)是y基于X1的回歸系數(shù)，減去一個(gè)修正向量。上述獲得參數(shù)估計(jì)的過(guò)程具有典型的統(tǒng)計(jì)意義，首先，是被解釋變量中剔除變量X2的剩余部分；其次，將剩余部分基于X1再進(jìn)行回歸，因此，參數(shù)估計(jì)是剔除變量X2所剩余的部分。一種特殊情形是，這時(shí)，正好是y基于X1的回歸系數(shù)。更為一般的結(jié)果可以由下述定理給出：清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模定理1：正交分塊回歸

在變量y基于兩部分變量X1和X2進(jìn)行多元線性回歸時(shí)，如果這兩個(gè)變量之間是正交的，則X1和X2的回歸系數(shù)可以通過(guò)單獨(dú)進(jìn)行y基于X1的回歸系數(shù)和基于X2的回歸系數(shù)得到。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模上述結(jié)論對(duì)于回歸分析來(lái)說(shuō)是一個(gè)基礎(chǔ)結(jié)論，非常重要?？梢赃M(jìn)一步歸納成為下述定理：定理（Frisch-WaughTheorem）：在向量Y基于兩部分變量X1和X2的最小二乘回歸中，系數(shù)最小二乘估計(jì)的部分估計(jì)可以通過(guò)Y基于變量X1的殘差，再基于X2的每列基于變量X1回歸的殘差，進(jìn)行回歸的回歸系數(shù)得到。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模這個(gè)過(guò)程一般被稱為變量X1作用的“擠出”或者“分離”過(guò)程。出于這個(gè)原因，多元回歸系數(shù)經(jīng)常被稱為偏回歸系數(shù)(partialregressioncoefficients)。對(duì)于這個(gè)情形的一種特例，我們考慮向量Y基于一組變量X和一個(gè)附加變量Z的最小二乘回歸問(wèn)題。這時(shí)最小二乘系數(shù)表示為b和c。這種情形下的結(jié)果可以由下述推論得到：

清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模

例子：這個(gè)命題的一個(gè)直接應(yīng)用是，可以考慮采用時(shí)間趨勢(shì)脫離后的殘差向量進(jìn)行替代，以求出包含時(shí)間變量的多元回歸系數(shù)。這與將時(shí)間T作為解釋變量放入模型中的效果是等同的。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模例子：在下列模型中Earnings=a+b*education+c*age+d*age2+e第二個(gè)系數(shù)b如何得到？清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模作為這些結(jié)論的一個(gè)應(yīng)用，我們考慮矩陣X的第一列全為1的包含常數(shù)項(xiàng)的情形。清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模通常將

稱為中心化矩陣。從矩陣結(jié)構(gòu)可以看出，其與變量X無(wú)關(guān)，只是一個(gè)數(shù)據(jù)轉(zhuǎn)換工具，其中的矩陣Jn被稱為列求和矩陣。例子：

中心化矩陣是對(duì)稱冪等矩陣嗎？其是否滿秩？

清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模四、偏回歸與偏相關(guān)系數(shù)

（partialregressionandpartialcorrelation