小樣本最小二乘法PPT演示文稿

1、1第二章 小樣本最小二乘法2一、古典線性回歸模型的假定ordinary least squareols最小二乘法（ ，）是線性回歸模型最基本的估計(jì)方法。古典線性回歸模型的假定如下：i1i12i2kikipopulationyxxxin假定2.1 線性假定 總體（）模型為： （ 1， ， ） （2.1）1kinik regression coefficients為樣本容量，表示觀察值序號(hào)， 表示解釋變量個(gè)數(shù)。， 為未知參數(shù)，即總體回歸系數(shù)（）為擾動(dòng)項(xiàng)，表示除了模型中的解釋變量以外，影響被解釋變量的其余因素。若有常數(shù)項(xiàng)，則令第一個(gè)變量恒為13data generating process dgp

2、總體模型也稱“數(shù)據(jù)生成過(guò)程”（ ，）一般小寫(xiě)字母表示列向量，大寫(xiě)字母表示矩陣。iiiyxin（2.1）簡(jiǎn)寫(xiě)成 （ 1， ， ） （2.2）12n12n12nyyyyxxxxyx定義，數(shù)據(jù)矩陣，則（2.2）簡(jiǎn)寫(xiě)成 （2.3）假定2.2 嚴(yán)格外生性i1nexx0i1n， ， ， ， （2.4）iiiijkxcov(x )0jk這意味著擾動(dòng)項(xiàng) 均值獨(dú)立于解釋變量的所有觀察值，而不僅僅是同一期或同一個(gè)觀察值 ，由均值獨(dú)立，得出 與所有解釋變量不相關(guān)，即， ，4 i e00定理 ，即擾動(dòng)項(xiàng)的無(wú)條件期望為 ixixee exe00證明：根據(jù)迭代期望定理，xye xy0xyx y 定義：若隨機(jī)變量 ， 滿足

3、 ，則稱 ， 正交。（注意，而向量正交指的是向量的內(nèi)積為0，0）定理：解釋變量與擾動(dòng)項(xiàng)正交 jkijkijkijkicov xe xe xee x證明：0， 2.3rank xk假定 不存在嚴(yán)格多重共線性，即數(shù)據(jù)矩陣列滿秩， 1r xr xxxxkxx由公式 ，可得的秩為 ，即滿秩矩陣，故存在。xx x或由前面練習(xí)可知， 為列滿秩可得為正定矩陣，而正定矩陣可逆5假定2.4 球型擾動(dòng)項(xiàng) 即擾動(dòng)項(xiàng)滿足同方差、無(wú)自相關(guān)。22n2varxexi00 （2.5）211222x0 xxx0何謂“球型”，看二次型可知conditional heteroskedasticity若對(duì)角線元素不相等，是為條件異方

4、差（ ）0autocorrelation若非對(duì)角線元素不為 ，是為自相關(guān)（）即擾動(dòng)項(xiàng)之間有相關(guān)關(guān)系6ols二、的推導(dǎo)iiiiresidualeyx為未知總體參數(shù)，而 為其某個(gè)估計(jì)值，記第個(gè)數(shù)據(jù)的擬合誤差（即殘差，）為 iiiiiiiyxyyxe有兩種表達(dá)方式，12neeeeyx殘差用向量表示， n2ii=1sum of squared residualsssre所謂最小二乘法是尋找能使殘差平方和（ ，）達(dá)到最小的那個(gè)7 n2ii=1ssree eyxyxyxyxyyyxx yx xyyyxx x 因此殘差平方和是 的二次函數(shù)，2 ssr為尋找的極值點(diǎn)，需要對(duì) 求導(dǎo)，為此先介紹向量求導(dǎo)法則k12

5、kiii=1aaaaaa設(shè)有列向量 ，則12k12kaaaaaaaa 就有 （2.6）812kaaaaa同理可驗(yàn)證 2 （2.7）對(duì)列向量求導(dǎo)，結(jié)果還是列向量，稱為梯度向量。ssr2x y2x x0函數(shù)求極值的必要條件是 （2.8）x xx y 可得正規(guī)方程組：（2.9）1ols x xx y 解出 的估計(jì)量（2.10）9olsxyxx0由的條件（2.8）可得x yx0x e0 exols表示殘差向量 與解釋變量 正交，這是的特征之一多元函數(shù)存在極小值的充分條件是函數(shù)對(duì)自變量列向量求二階導(dǎo)數(shù)所得的矩陣（海賽矩陣）為正定矩陣。2ssrx x 海賽矩陣為2前面已證其為正定矩陣。olsyxeye y

6、xfitted values估計(jì)量 求出后，被解釋變量分解為 稱為被解釋變量的擬合值（ ）10yeyexex e00 而 也與 正交，因?yàn)楣时唤忉屪兞渴潜环纸獬上嗷フ坏膬蓚€(gè)部分。 2i2n22ii=1vare1sen-k關(guān)于擾動(dòng)項(xiàng)的方差，由于擾動(dòng)項(xiàng) 不可觀測(cè)，故殘差 視為 的實(shí)現(xiàn)值（相當(dāng)于變量的抽樣實(shí)現(xiàn)值）故使用如下統(tǒng)計(jì)量作為方差的無(wú)偏估計(jì) （2.11） 2212ne sn-knn-kneeekxe 0n-k可以證明為什么除以而非 ，稱為自由度，因?yàn)?個(gè)殘差須滿足 個(gè)正規(guī)方程，所以自由度減少為112ssstandard error of the regression稱 為回歸方程的標(biāo)準(zhǔn)誤差（

7、 ）ols三、的幾何解釋xye yxxy yxe12所謂做回歸分析，是指將被解釋變量分解成兩部分，其一是由解釋變量來(lái)解釋的部分（即擬合值或模型值），其二是由眾多次要因素決定的殘差部分。yxeye yxxxxx若模型設(shè)定為線性模型，則可表為 于是模型擬合值 是 之列向量的線性組合，也即屬于由 的列向量所生成的空間（ 列空間）yye做回歸分析自然希望模型的解釋力度越大越好，也即中的 部分盡量大，從而殘差 盡量小。向量的大小由長(zhǎng)度或模來(lái)衡量。1312nn2ii=1aaaaanormaa aa定義：設(shè)向量 ，定義 的模（）或長(zhǎng)度為 （2.12）aba bcosab定理（余弦法則）：兩個(gè)向量 、 之間的

8、夾角 滿足 （2.13）夾角 反映兩向量的相關(guān)程度eyx目標(biāo)是殘差向量盡量小，也即 盡量小yyexe向量間滿足頭尾相連的加法準(zhǔn)則（如圖所示）即 14e那么在什么情況下最小呢？ex幾何知識(shí)告訴我們這將在 與 列空間正交（垂直）的情形下實(shí)現(xiàn)exx則 與 列空間中的一切向量（包括）正交a bcos2ab由向量正交定義或余弦法則（0）xe0x yx0 x yx x00x yx x0假定， x xx y1x xx yxyxprojection因此，線性組合被稱為 在 的列空間的正交投影（）15yxyxols可見(jiàn) 到 的投影就是 對(duì) 回歸的擬合值111px x xx yxxx xx yx x xxypy先

9、設(shè) 1pyxpx x xx可見(jiàn)可以將 視作一個(gè)算子或函數(shù)，作用于 （左乘）后生成投影，故稱矩陣 為投影矩陣111mix x xxeyxyx x xxyix x xxymy先設(shè) 而殘差 16myemresidual maker可見(jiàn)將作用于（左乘） 后即可生成殘差向量 ，故稱為殘差制造者（ ）myyx也是投影矩陣，左乘 相當(dāng)于把 投影到與列空間正交的補(bǔ)空間中去22ppppmmmm請(qǐng)驗(yàn)證 ， ，投影矩陣必有兩個(gè)性質(zhì)：冪等、對(duì)稱對(duì)稱性將保證投影是正交的，而冪等性使二次投影保持不變2p yp pyp xxpym，也一樣mppm請(qǐng)驗(yàn)證0xey上式表明 列空間與殘差 所在空間是正交的，輸入 可知17ypym

10、y顯然有 投影殘差 yyyppyymmyyyee 運(yùn)用上式，勾股定理也成立222yye即下面的表達(dá)式很有用e eym myymyyee y殘差平方和e ee yyxyyyx yyyyx mx0pe0故有 與emym xmxmmmx0可以把殘差表為總體擾動(dòng)項(xiàng) 的函數(shù) 因?yàn)?8ssre emmm mm也可把殘差平方和表為 的函數(shù)ny nyny r有 個(gè)觀測(cè)值，相當(dāng)于獨(dú)立抽樣，故均為自由的，故 屬于 維空間，。xxxk而 在列滿秩的基礎(chǔ)上由 的列向量生成的列空間的維數(shù)就是列向量的個(gè)數(shù)，故 的列空間的維數(shù)幾 何 知 識(shí) ： 線 性 空 間 的 維 數(shù) 等 于 相 互 正 交 的 子 空 間 的 維 數(shù)

11、 之 和nknk即， ，enk即殘差向量 所在空間的維數(shù) 2e enksnk故的自由度為 ， 除以 19四、擬合優(yōu)度nnnnn22222iiiiiii=1i=1i=1i=1i1nii1yyyyyyyyeolseye 若模型包含常數(shù)項(xiàng)，則被解釋變量的離差平方和可分解為（的結(jié)果有0，0）n2ii=1n2ii1 yye為回歸平方和，是可由模型解釋的部分為殘差平方和，是不能由模型解釋的部分nn22ii2i=1i1nn22iii=1i=1 yyer1yyyy定義：擬合優(yōu)度20coefficient of determination也稱判定系數(shù)（ ）22rr越大，則說(shuō)明擬合程度越好。若增加解釋變量則必然只

12、增不減，但卻會(huì)損失自由度，為此可通過(guò)對(duì)自由度相對(duì)平均化來(lái)對(duì)解釋變量過(guò)多進(jìn)行懲罰。n2i2i1n2ii=1en-kr1yyn-1故定義校正擬合優(yōu)度 2r缺點(diǎn)是有可能為負(fù)若回歸模型中不包含常數(shù)項(xiàng)，則離差形式的平方和分解公式不成立（為什么？）nii1e0因?yàn)?1 n2ii1nn22iii1i1 yyyyeyeyy2yee e yye eyeye0若回歸模型中不包含常數(shù)項(xiàng)，則有被解釋變量平方和的分解公式 因?yàn)?222uc2runcentered r y yye er1yyyyy可定義非中心 （ ）12ucyx x xx yryy可證 （練習(xí)）lm此結(jié)果在第四章在推導(dǎo)檢驗(yàn)時(shí)會(huì)用到22ols五、最小二乘法

13、（）的小樣本性質(zhì)11olsx xx yy、線性估計(jì)量：估計(jì)量 是 的線性組合1exex xx y x2、無(wú)偏性：先看條件期望11exxx xxexxxx1xxxexex0 由于有嚴(yán)格外生性嚴(yán)格外生性是必要條件 xxee exe然后得出無(wú)條件期望1ax xx為推導(dǎo)簡(jiǎn)便計(jì)，記 23111x xx yx xx xx xxa 123varxx x、 的方差矩陣varxvarxvar a xavarx a111222nai ax xxx xxx x證明的關(guān)鍵是球型擾動(dòng)項(xiàng)假定，否則將使用穩(wěn)健標(biāo)準(zhǔn)差4olsbest linear unbiased estimatorblue、高斯馬爾可夫定理：估計(jì)量是最佳線

14、性無(wú)偏估計(jì)量（ ，）最佳是指方差最小24naa預(yù)備定理：若 階對(duì)稱矩陣 是半正定的，則 的主對(duì)角線元素均為非負(fù) （練習(xí)）（使用反證法）olsvarxvarx證明：已證估計(jì)量 是線性無(wú)偏估計(jì)量，設(shè) 是任意一個(gè)線性無(wú)偏估計(jì)量，需要證明varxvarxvarxvarx即證為半正定矩陣，也即的主對(duì)角線元素小于等于的主對(duì)角線元素。k n1ccyayax xxdca因?yàn)?是線性估計(jì)量，故存在常數(shù)矩陣使得 。而，其中 。令 ，cyda yd xdxd則有 25exe dxdxdxdexexdx利用 的無(wú)偏性，有 dx0dx0比較兩邊，得 ，由于 不確定，故必有dxdd故 ddada 2122varxvarx

15、vardaxda varxdadadadx0ad0da0ddaaddx x注：由 得 和2611222varxvarxddx xx xdddd 由于為半正定矩陣故高斯馬爾可夫定理成立olsblueols注意，若沒(méi)有球型擾動(dòng)項(xiàng)假定，則估計(jì)量不是有其他更優(yōu)的線性無(wú)偏估計(jì)，參見(jiàn)第五章廣義225e sx、方差的無(wú)偏估計(jì)：22e eme sxexexn-kn-k1emxemxn-kn-k證明：，故只要證明即可 atrace a證明中需要“跡”運(yùn)算，定義方陣 的跡為主對(duì)角線元素之和，記做27 trace abtrace atrace btrace abtrace batrace kak trace a可以

16、證明以及，emxe tracemxe tracemx（）（）22trace e mxtrace mitrace m注：球型擾動(dòng)項(xiàng)1n11nktrace mtrace ix x xxtrace itrace x x xxntrace x x x xntrace in-k 回代即得2812varxsx xvariance-covariance matrix estimated因此， 的方差協(xié)方差矩陣的無(wú)偏估計(jì)為，t六、對(duì)單個(gè)系數(shù)的 檢驗(yàn)2nxxxn 0i假定2.5：在 給定的情況下，的條件發(fā)布為正態(tài)分布即，擾動(dòng)項(xiàng)實(shí)際上是眾多次要影響因素和測(cè)量誤差之和，根據(jù)中心極限定理可知擾動(dòng)項(xiàng)應(yīng)近似服從正態(tài)分布，

17、這是上面假定的理論基礎(chǔ)。0iiiinull hypothesish0對(duì)單個(gè)回歸系數(shù)進(jìn)行假設(shè)檢驗(yàn)，原假設(shè)（ ）： ，其中 為給定常數(shù)，通常 291iialternative hypothesish備擇假設(shè)（ ）：iiiwald test直觀上來(lái)說(shuō)， 的估計(jì)值 距離 較遠(yuǎn)，則應(yīng)拒絕原假設(shè)，否則就接受原假設(shè)，這類檢驗(yàn)稱為“沃爾德檢驗(yàn)”（ ）112nx xxaxn 0ix xxaxex0 由于，而 為 的線性函數(shù)，故 服從正態(tài)分布。且有1122varxxxxn 0xx及，故，0ii1112iiiiii12iiihixn 0x xx xx xiix x在原假設(shè)： 成立下，第 個(gè)分量，其中為的（ ， ）元

18、素，為 的方差。302iii12iizn 01x x若已知，則檢驗(yàn)統(tǒng)計(jì)量，22st而若未知，則需以 代替，于是引出 統(tǒng)計(jì)量 n22n1xn 0ixax axrank aaix xn預(yù)備定理 ：若，這意味著 的各分量相互獨(dú)立 ，且 為冪等矩陣，則二次型服從自由度為的分布。若 ，則，此特殊情形是熟知的 0iiiiiiiii12iiithttt n-ksesesx xestimated standard error定理（ 統(tǒng)計(jì)量的分布）：在假定2.12.5均滿足，且原假設(shè)“： ”也成立的情況下， 統(tǒng)計(jì)量。其中是 的估計(jì)標(biāo)準(zhǔn)誤差 31 2zn 01ykzyzt kky k證明：上章學(xué)過(guò)，若，而且 與相

19、互獨(dú)立，則，其中 為自由度。這是總體思路iii212iie ezqx x令，2iizn 01qn-kzq已知，下面將證明：（1） （2） 與 相互獨(dú)立iztt n-kqn-k于是根據(jù) 分布定義，就有ii12iit n-ksx x也即3222e emqm（1） （二次型）2nnn 0in 0i因?yàn)椋视?，m10已知為冪等矩陣，而冪等矩陣的特征值或 或 ，1x mxrank mtrace mn-k（ ）故非零特征值的個(gè)數(shù)即為秩。故有21mqn-k由預(yù)備定理 可得，1n11nn12n2nxxk xk xxxxn預(yù)備定理 ：對(duì)于 個(gè)隨機(jī)變量， ，若任意線性組合都服從一維正態(tài)分布，則 服從維正態(tài)分布。3

20、312n1m12n1mx xxnyyx xxyy預(yù)備定理3：若 服從 維正態(tài)分布，設(shè) ， ，分別是 的線性函數(shù)，則也服從多維正態(tài)分布。 iii12iii2 zqex xzqe是 的函數(shù)，而 是 的函數(shù)。因此，為了證明 與 相互獨(dú)立，只要證明 與 相互獨(dú)立即可。aeme由于 ， 均是多元狀態(tài)擾動(dòng)項(xiàng) 的線性函數(shù)，故根據(jù)預(yù)備定理3可得，的聯(lián)合分布也是多元正態(tài)分布ecove0因此為了證明 與 相互獨(dú)立，只要證明， 即可34covecovamcov am， 2e ame ae maemam 1122xxxmxxmxmx 00 （）f七、對(duì)假設(shè)檢驗(yàn)的 檢驗(yàn) 0hrrrmrmkrank rmrr對(duì)回歸方程的

21、所有參數(shù)的檢驗(yàn)，可以統(tǒng)一表為：其中 為 維列向量， 為矩陣， ，即行滿秩，表示 中沒(méi)有多余的方程02k102khh比如最常見(jiàn)的假設(shè)檢驗(yàn)“：0”為常數(shù)項(xiàng)。再比如格蘭杰因果檢驗(yàn)，再比如面板分析中的變系數(shù)檢驗(yàn)“：”等350hrr0直觀上看，由于 是 的估計(jì)量，因此若成立，則應(yīng)該比較接近于 向量，因此可以使用如下的沃爾德檢驗(yàn) 0112fhrrfrrr xxrrrmff mn-ks定理（ 統(tǒng)計(jì)量的分布） 在假定2.12.5均滿足，且原假設(shè)： 也成立的情況下，則 統(tǒng)計(jì)量， 2.1421122112se en-kfrrr x xrrrmw mfqn-ke en-kwrrr x xrrr證明：由于 ，可將 寫(xiě)

22、成其中，36 221 wm2 qn-k3 wq下面將證明： 已在前面證明 與 相互獨(dú)立w mff mn-kqn-k則根據(jù) 分布的定義有， 124mxnxxm預(yù)備定理 ：若 維隨機(jī)向量 服從正態(tài)分布，其中為非退化矩陣（滿秩），則二次型 01vrr hvrrrrr3vme v0令 在成立的情況下， 。由于 為正態(tài)分布，故根據(jù)預(yù)備定理 ， 為 維正態(tài)分布，且37 12var vvar rrvarrr x xr其方差為 1121214wrrr x xrrrvvar vvmrr x xr根據(jù)預(yù)備定理 ， 注：由于 行滿秩，故可逆 3 wqeewq是 的函數(shù)，而 是 的函數(shù)，由于 與 相互獨(dú)立，故 與 相互獨(dú)立38f八、 統(tǒng)計(jì)量的似然比原理表達(dá)式restricted olsrlsf使用約束條件下最小二乘法（ ，簡(jiǎn)記）可以得到 統(tǒng)計(jì)量的另一方便表達(dá)式。 min ssrmin yxyxs.t. rrrmrmkr rm考慮有約束的最小二乘問(wèn)題： 其中 為 維列向量， 為矩陣，行滿秩 lyx