線性回歸模型的矩陣方法

1、經(jīng)濟類核心課程計量經(jīng)濟學PowerPoint Presentation by Lu Shiguang 2012 All Right Reserved, Hunan Institute of Engineering編輯編輯ppt1第四章 線性回歸模型的矩陣方法教師：盧時光編輯編輯ppt2本章介紹用矩陣代數(shù)符號來表示經(jīng)典線性回歸模型。本章除矩陣模型之外，不涉及新概念。矩陣代數(shù)最大的優(yōu)越性在于，它為處理任意多個變量的回歸模型提供了一種簡潔的方法。本章需要具有行列式和矩陣代數(shù)的數(shù)學基礎，請各位同學自行復習相關知識。在本章的講授過程中所遇到的有關矩陣計算的定理和結(jié)論，不再一一證明，請自行參考有關書籍。編

2、輯編輯ppt34.1 k變量的線性回歸模型如果我們把雙變量和三變量的回歸模型進行推廣，則包含應變量Y和k-1個解釋變量X2，X3，Xk的總體回歸函數(shù)（PRF）表達為：其中，1截距， 2 到k是偏斜率（回歸）系數(shù)，u是隨機干擾項，i是第i次觀測，n為總體大小?？傮w回歸函數(shù)如同以前那樣解釋：給定了X2，X3，Xk的固定值（在重復抽樣中）為條件的Y的均值或期望值。PRF還可以表達為：niuXXXYikikiii, 2 , 1 33221nknknnnkkkkuXXXYuXXXYuXXXY3322122323222121131321211編輯編輯ppt4上述表達式，如果寫出矩陣的形式：這樣，我們把下述

3、方程表達稱之為：一般（k變量）線性模型的矩陣表現(xiàn)：如果矩陣和向量的各個維數(shù)或階不會引起誤解，則可以簡單寫作：y ：對應變量Y觀測值的n1列向量。X：給出對k-1個變量X2至Xk的那次觀測值的nk矩陣，其全為1的列表示截距項。此陣又稱為數(shù)據(jù)矩陣。：未知參數(shù)1 到k的k1列向量。u ： n個干擾ui的n1列向量。uXY 1112121222212121nnknnkknuuuXXXXXXYYY111 nkknnuXYuXY 編輯編輯ppt54.2 經(jīng)典回歸模型的假定的矩陣表達1. 殘差期望為零2. 同方差性和無序列相關性u是列向量u的轉(zhuǎn)置或者一個行向量。做向量乘法：0)(iuE000)()()()(

4、2121nnuEuEuEuuuEE u) (2121nnuuuuuuEEuu編輯編輯ppt6由于同方差性和無序列相關性，我們得到干擾項ui的方差-協(xié)方差矩陣。此陣的主對角線（由左上角到右下角）上的元素給出方差，其他元素給出協(xié)方差。注意方差-協(xié)方差矩陣的對稱性。其中I是一個恒等矩陣。Iuu2222222122212121212212221212121100010001000000)()()()()()()()()()(nnnnnnnnnnuEuuEuuEuuEuEuuEuuEuuEuEuuuuuuuuuuuuuuuEE編輯編輯ppt73.X是非隨機的。我們的分析是條件回歸分析，是以各個X變量的固

5、定值作為條件的。4.無多重共線性無多重共線性是指矩陣X是列滿秩的，即其矩陣的秩等于矩陣的列數(shù)，意思是，X矩陣的列是線性獨立的。存在一組不全為零的數(shù)12k，使得：用矩陣來表示：5.向量u有一多維正態(tài)分布，即：02211kikiiXXX0X),(2I0uN編輯編輯ppt84.3 OLS估計我們先寫出k變量樣本回歸函數(shù)：如同前面的分析，我們也是從殘差平方和的最小化來進行的：uXy33221用矩陣來表達：ikikiiiuXXXY22222121212332212)(innnkikiiiiuuuuuuuuuuXXXYuuuuu最小化：等于求用矩陣來表達，編輯編輯ppt9為了使得殘差平方和 盡可能的小，我

6、們?nèi)匀皇菍?shù)1 到k微分，并令微分的結(jié)果表達式為零，同樣得到最小二乘理論的正則方程：k個未知數(shù)的k個聯(lián)立方程。為其自身；（實數(shù)）其轉(zhuǎn)置為一標量以及；這里用到矩陣的性質(zhì)：XyyXXXXXyXyyXyXyuuXyu)(2)()(2iu0)( )(20)( )(20) 1( )(2211222112221112kikikiikiikikiiikikiiiXXXYuXXXYuXXYu編輯編輯ppt10整理后：注意(XX)矩陣的特點：1.主對角線是元素的平方和；2.因為X2i與X3i之間的交叉乘積就是之間X3i與X2i的交叉乘積，因此矩陣的對稱的；3.它的階數(shù)是（kk），就是k行與k列。y X X)(

7、X 1112121222212123223222232233221223232222133221nknkknkkiikiikikikiiiiiikiiiikikikikiikikiiikiikiiiiikikiiYYYXXXXXXXXXXXXXXXXXXXXXnYXXXXXXXYXXXXXXXYXXXn寫出矩陣的形式：編輯編輯ppt11上述方程是用矩陣符號來表示的OLS理論的一個基本結(jié)果。上述方程也能夠通過uu對的微分直接求得，請大家自行參考相關文獻。yXX)(XyXX)(XIIX)(XX)(XyXX)(XX)(XX)(XX)(XX)(XyXX)(X1 -1 -1 -1 -1 -1 -或階的恒

8、等矩陣，故得：為存在，用它前乘兩邊：的逆矩陣，因此，如果未知量是更為簡潔地：kk編輯編輯ppt12一個例子： 收入-消費0.507924.454520550011100.00003030.005152-0.005152-0.975760.00003030.005152-0.005152-0.97576)(2055001110)(3220001700170010)(1111)( 1 1 1 11111)(211 -321321232132121XXyXXXyXXX根據(jù)矩陣求逆法則：，帶入數(shù)據(jù)：iiinniiinnYXYYYYYXXXXXXXnXXXXXXXXY1X7080651009012095

9、140110160115180120200140220155240150260編輯編輯ppt13 的方差-協(xié)方差矩陣矩陣方法不僅能使我們導出 的任意元素 的方差公式，還求出 的任意兩元素 和 的協(xié)方差。我們需要用這些方差和協(xié)方差來做統(tǒng)計推斷。定義：參考相關資料，上述方差-協(xié)方差矩陣可以從下述公式計算：jii)var(),cov(),cov()var(),cov(),cov(),cov()var()cov(var)()()cov(var122121211kkkkEEE12)()cov(varXX編輯編輯ppt14其中 是ui的共同方差，而 就是出現(xiàn)在OLS估計量方程中的逆矩陣。和前面一樣， 用其

10、無偏估計量 來替代： 的計算原理上 可以從估計的殘差中算出，但實踐中更愿意按照下述方法直接得到?；仡櫍?1)(XX22knknuiuu 22uu uu kiikiiiiiiiiiiiiiixyxyyuxyxyyuxyuESSTSSuKRSS2222332222222222變量模型，有：推廣到在三變量回歸模型中：在雙變量回歸模型中：）（編輯編輯ppt15 一項被稱為均值校正值。因此：一旦得到 則 就容易計算?；氐轿覀兊睦又校?2222:YnxyxyESSYnyTSSkiikiiiyXyy用矩陣符號來表示：2YnyXyyuuuu 21591.4283737.337373.337205500111

11、05091. 04545.241321002knuuuu編輯編輯ppt164.4 用矩陣來表示判定系數(shù)R22222332222332222222222/RYnYnRyxyxyxyRkyxyxyRyxRTSSESSRikiikiiiiiiiiiiiyyyX利用前面的分析：變量的情形：得到推廣到在三變量回歸模型中：在雙變量回歸模型中：定義為：判定系數(shù)9224. 0123210 132100831.131409 20550011105079. 03571.242222YnYnRYnyyyXyyyX利用前面的例子：編輯編輯ppt174.5 關于個別回歸系數(shù)的假設檢驗的矩陣表達我們曾經(jīng)假設每一個ui都服

12、從均值為0和不變方差的正態(tài)分布。用矩陣符號來表示，為：其中，u和0都是n1列向量，I是nn恒定矩陣，0是零向量。在k階回歸模型中，我們可以證明：由于實際的 未知，我們使用估計量 ，就要用到從正態(tài)分布到t分布的的轉(zhuǎn)換，這樣 每一個元素都遵循n-k個自由度的t分布。利用t分布來檢驗關于真值 的假設，并建立它的置信區(qū)間，具體的方法我們在前面已經(jīng)討論過，這里不再重復。),(2I0uN)(,12XXN22)(iiiset編輯編輯ppt184.6 檢驗總體回歸的總顯著性：用矩陣表示的方差分析方差分析（ANOVA）用以（1）檢驗回歸估計的總顯著性，即檢驗全部（偏）回歸系數(shù)同時為零的虛擬假設。（2）評價一個解釋變量的增量貢獻。方差分析很容易推廣到k變量情形。假定干擾ui是正態(tài)分布的，并且虛擬假設：則可以證明：是服從自由度為（k-1, n-k）的F分布。0:320kH)/()() 1/()(2knkYnFyXyyyX編輯編輯ppt19在前面的討論中，我們發(fā)現(xiàn)F與R2之間存在緊密聯(lián)系，因此，上面的方差分析