第9章線性回歸模型的矩陣方法

1、第9章 線性回歸模型的矩陣方法122332323 9.1 (prf): 1,2,3, (9.1.1),(|,) (9.1.1) iiikkiikiikikkyxxxuinxxxye y xxxprf變量線性回歸模型變量總體回歸模型可以寫為：它給出以的固定值為條件的 的均值或期望值，即。方程即是下述方程組：1122133111212213322212233 . . kkkknnnkknny = + x+ x+ x+uy = + x+ x+ x+uy = + x+ x+ x+u（912）121311112223222223. .11 . .31 . . kknnnknknyxxxuyxxxu=+y

2、xxxu=+yxu方程（912）可以寫為下列矩陣形式：（91 ）（914） 11 1nn kkn y = x+u簡寫為：( )0ie u( )0eu2()0ije uuijij2()e uui 23,kxxx( )kx為了假設(shè)檢驗2(0,)iun向量u有一多維正態(tài)分布,即2( ,)nu0i標量符號矩陳符號 對每個i(3.2.1)其中u和0都是n1列向量且0是零向量 (3.2.5)(3.2.2)其中i是nn恒等矩陣 是非隨機的或固定的nk矩陣x是非隨機的,即它由固定數(shù)的一個集合構(gòu)成 x諸變量之間無準確的線性關(guān)系,即無多重共線性(7.1.7) 其中k是x中的列數(shù),且k小于觀測次數(shù)n(4.2.4)x

3、的秩是表9.1 關(guān)于經(jīng)典回歸模型的假定9.2 9.2 用矩陣表示的關(guān)于經(jīng)典線性回歸模型的假定用矩陣表示的關(guān)于經(jīng)典線性回歸模型的假定1122321112122212212212( )00 0nnnnnunneue uue ueue uuuu uu uuu uuu ueeuuueuu u u uu u = 0uu其中，是指2112122122212222 0 00000 000innnnnuvariance-covariance matrixe ue u ue u ue u ue ue u uee u ue u ue ue uuuu得干擾項 的（）：根據(jù)同方差性和無序列相關(guān)假定，有：方方差差- -

4、協(xié)協(xié)方方差差矩矩陣陣221 0 000 1 000 0 01i1223312 9.3 ls rf : iiikkiinokyxxxuyyyy = x+u估計變量的樣本回歸函數(shù)（s）矩陣形式為：即：1213111223222223111 1 11kknnknnkxxxuxxxuxxxunn kkny=x+ u2221221222221212ls iiiikkinninkouuyxxuuu uuuuuuu u uu u變量的估計量也是從殘差平方和最小化求得：就是使最小化，因為： y = x+uu = y-xu u = y-xy-x= y y-2 xy + xx xyy x其中，是一個標量，它的轉(zhuǎn)置

5、就是它本身。21221221212222 21 2 ikiiikkiiiikkiiuuyxxuyxxx將對 、 ， ，求偏微分得：212 2iikikkikikuyxxx令這些偏導(dǎo)數(shù)為零，整理得k個正規(guī)方程：1223321222323222132323333212233iikkiiiiiikikii iiiiikikii ikikiikiikkiki inxxxyxxx xx xx yxx xxx xx yxx xx xxx yllll l l l l l l l l l l l l l l l l l l l l l l l l ll寫成矩陣形式為：122332122232322213232

6、3333212233iikkiiiiiikikiiiiiiikikiiikikiikiikkikiinxxxyxxxxxxxyxxxxxxxyxxxxxxx yllll l l l l l l l l l l l l l l l l l l l l l l l l ll寫 成 矩 陣 形 式 為 ：1232221222222322313233323332122311 1iikiniiiiikiniiiiikikkknkikiikiikiknxxxxxxxxx xx xxxxxx xxx xxxxxx xx xxlllllll ll l l ll l ll l l ll l l l l l l

7、l lml123nyyyy m1232221222222322313233323332122311 1iikiniiiiikiniiiiikikkknkikiikiikiknxxxxxxxxx xx xxxxxx xxx xxxxxx xx xxlllllll ll l l ll l ll l l ll l l l l l l l lml12323213112223222122 32223123() 1 1 1 1 11 1 niikikiknnnknkkkknyyyynxxxx xxxxxxxxxxxxxx xxx xxxyxx 因為： mllllll l l l l l l ll l l

8、l l l l lll 22232233233223iiiikiiiiiikikikiikiikixx xx xxx xxx xxx xx xxlll l ll l l ll l l l l l l l ll -1-1-1 x x = x yx xx xx x = x xx y簡寫為：如果存在，則有： -1 . . 1 1 kkkknn = x xxyu u = y y -2 x y + x x即：（9311）這個結(jié)論也可以用矩陣方法直接推得： 2 -1u u-x y + 2x xx x = x y = x xx y令上式等于零，有：注注1 1121212212 var covvarcov,c

9、ov,cov,varcov, cov,cov,var kkkkkeee lll l l l l l l l l l l l l l l ll 的方差協(xié)方差矩陣122 iuxx其中，是 的共同方差。 -1-1-1-1-1-1 = xxx yy = x+u = xxx x+u= xxxx+ xxx u= + xxx u- = xx證明：把代入上式得：因此， var-cov (ab)beee -1-1-1-1x u =- =xxxuxxxu =xxxuu x xx根據(jù)定義有：（3）注： a , -1-1-1xxxxxx 2222 var-cov xee -1-1-1-1-1 = xxxuu x xx

10、uui = xxxix xx =xx非隨機，（3）可化簡為：的無偏估計量是：22 iunknknku u其中，代表自由度。22221223312233 iiiikikiiiikkiiiiiiuyy xy xyxxxuuyxx u uu u的簡便算法：證明：（1）得：12233122332233 kkkkkiikyxxxyxxxuyyxxx（2）（3）（4）（4）代入（2）得：（）22332223332233 (iikkikiiikkiiiikkixxxyyxxxxxxyxxx（） （） （） 2223323223322233 () () 0 () iiiiiiikkiiiiiiiikiiiii

11、iikkiiiiiikuuuu yxxxu yu xu xu xyuy yxxxyy xy xy（）ikix22222222 : i2iiii22iii2iynyyyyy2yyyy2yynyy2ynynyynynytssy y+y y 2證明： （）（）222233222ss ( ) iiiiiikikiiikikiyyy xy xy xy xy xnycorrection for meanesstssr其中被稱為均指校正值（）。 ( u uyxyx)y xyx)y yy x xy + xxy y xyy xxy = x+uy = x +uq) ()(（） y x = uu uy y xyu

12、xy y xyxu代入上式得：（）（1） -1-1y = x+uxx y = xx+xu = xxx yx y = xx xxx y +xu = x y +xuxu = 0q兩邊左乘得：將代入上式得：有：22 ss nyny u uy y xyesstssry yy y xy xy（2）（2）代入（1）得：于是有：（） olsblue -1-1 = x xx y x xxy估計量的性質(zhì)（1）是一個固定數(shù)矩陣，故 是 的線性函數(shù)，是一個線性估計量 rf: -1 y = x +u = x xxx +u回顧p（2）（2）代入 （1）得：（3） eee-1-1-1-1= x xx x + x xx u

13、= + x xx u = + x xxu = （4）對（4）兩邊取數(shù)學期望得：（ ） （ ）（ ）（5）可見，無偏性成立。 *-1*-1* =xxx +c yc =xxx +cx+u= +cx令為 的任意其他線性估計量，可以把它寫為：（6）其中 是一個常數(shù)矩陣。（2）代入（6），得； -1*-1*+ xxx u+cu cx = 0 = xxx u+cu（7）要求是 的一個無偏估計量，則必有：因而，（7）式變?yōu)椋海?） *-1-1-1*222 var-cov = e - - = exxx u+cuxxxu+cu var-cov =xx+cc = var-cov +cc根據(jù)定義有：利用矩陣求逆和轉(zhuǎn)

14、置的性質(zhì)化簡得： 2*ccvar-cov var-cov 是半正定矩陣， 主對角線元素 ，即最小方差性成立。 22233222 9.4 9.5 (1) 2iiiikiki2iry xy xy xrynynyk kk esstss xyy y矩陣表示的相關(guān)矩陣變量回歸模型共有個零階相關(guān)11121311213121222322123212312311 1kkkkkkkkkkkkrrrrrrrrrrrrrrrrrrrrrr系數(shù)，可以做成相關(guān)矩陣：212 9.6 , 1 ,iunnn nnu0iu0ixx個別回歸系數(shù)的假設(shè)檢驗回歸分析的目的既有估計，也有推斷，因而需要對 的分布作出假定。即假定：其中，

15、和都是列向量， 是恒等矩陣?？梢宰C明：實際 2 se iiiiin-kttt上，未知， 的每一個元素遵循個自由度的分布：這個值可以用來檢驗關(guān)于真 的假設(shè)，也可用來建立 的置信區(qū)間。 2ny x y 21nyk x ynk y y xy2ny y y變異來源平方和自由度均方和來自回歸(即來自x2，x3xk)k-1來自殘差n-k總計n-k y y- xy 9.7 檢驗回歸的總顯著性：方差分析222/1/1 1/nykrkforfrnknk x yy y-x y 0200300 9.9 1 . . kxxxyyxx令：（991）為預(yù)測 的平均預(yù)測值 時選取的諸 變量的值的向量。標量形式的復(fù)回歸估計式

16、為：用復(fù)回歸做預(yù)測：矩陣表示均值預(yù)測12233 . . . . . . . iiikkiiiiyxxxy x（992）矩陣形式為：（993）（992） 和 （993）給出的 y x對應(yīng)于的預(yù)測值。12001 . . () 2i3ikikiii xxxx =xxxx其中 如果 由（991）給出，則變?yōu)椋?yy . .（994）021000022210000() var()() . . var()() . .9 iyyxxxxxxxxxxxx估計值的方差為：（998）在未知的情況下，用替代，則有：（99 ）給定y0021210/20000/20021000020000 () ()()() var(

17、)1()var() aae y100 1- %yte yytyye yy xxxxxxxxxxxxxxxxx的平均響應(yīng)值的（） 置信區(qū)間為：其中即個值預(yù)測的方差：一、一、e(y0)的置信區(qū)間的置信區(qū)間易知 )()()()(00yeeeyexxx000)()()(20()x(xxx0000eeyvar0102000)()()(xxxxx)(xx)(x00eeyvar容易證明 ),(020xx)x(xx100ny) 1(knt)e(yy00010xx)x(x于是，得到(1-)的置信水平下e(y0)的置信區(qū)間置信區(qū)間：010000100)()()(22xxxxxxxxtyyety其中，t/2為(1-

18、)的置信水平下的臨界值臨界值。二、二、y0的置信區(qū)間的置信區(qū)間如果已經(jīng)知道實際的預(yù)測值y0，那么預(yù)測誤差為：000yye容易證明 0)()()()(100000000xxxxxxxeeeee)(1 ()()()(01022100200xxxxxxxxeeeevare0服從正態(tài)分布，即 )(1 (, 0(01020xxxxne)(1 (010220xxxxe構(gòu)造t統(tǒng)計量 ) 1(000kntyyte可得給定(1-)的置信水平下y0的置信區(qū)間置信區(qū)間： 010000100)(1)(122xxxxxxxxtyyty u u () n-k e思考題： 如何證明？2=2222332222121222222 ss ( ) iiiiiikikiiikikinnyyy xy xy xy xy xnyy xy xy x esstssr xy（？ 見教材）31313232331122122133112222332 () (nnkkkkknknkky xy xy xy xy xy xyxxxyxx22233) ()kknnnkknxyxxx注注2：2222 ()() iiiiiiiiiiiiiiiiiiiiy yyyyyyyy yyyyyy yyyyyy