應(yīng)用統(tǒng)計方法-課件yytjch

mm設(shè)A

(aij§3.3逐步回歸一．緊湊消去變換b

為m

維已知向量。且A

0，Im

為m

階為求

AX

b

的解并同時得到A1

，可利用矩陣變換法。由線性代數(shù)知識，將(

A，b，Im

)

(aij

)作為一個m

(2m

1)矩陣，以akk

(k

1，2，,m)為樞軸元素，作消去變換a1

a

a

/

aa1ik

kj

kkijijkj

kkkj(

j

1,2,,2m

1)

a

a

/

a

(i

k,i

1,2,,

m；)（3-49）1

00002

m1kkkjk12m2kkm

k

amm

bmamka

amja11

a1

ja

a21

2

ja1kaa1mab1b1000

a

a

a

ab0

1kk1k

kj1

ja11

jkk

a

a

a

/

aa2k

kj2

ja12

jkkkjkja1

a

/

akkmk

kjmjmja

/

aa1

a

a

a

/

a

a

0

m+1+k列經(jīng)過m

次變換后，變成?1m(a

)1(I

，X，A

)

ij這樣便得到了AX

b

的解及A1

。將變換后的第m

1

k

列元素放到第k

列上去,則第m

1

k

列經(jīng)變換（3-49）后的元素：a1k

,m1k

1/

akk得到緊湊消去變1從而，當(dāng)

A

為m

階方陣時，換（記為Tk

）如下：Tk

(

A)

(a1

)

?

Aij

mma1

a

im,

k1

im,

k1/

/

aaik

,1

kkm

kk

ik

kki不等于k時為0,等于k時為1得到緊湊消去從而，當(dāng)A

為m

階方陣時，變換（記為Tk

）如下：1Tk

(

A)

(a1

)

?

Aij

mm其中a

ij1/

//,

kia,

kia,

kia

k,

kia

kkkk,j

/1，ikijkk，kjik

kkkk，（3-50）此時也稱對矩陣A

施行了（k，k）緊湊消去變換。a1

a

a

a

/

aa1

a

/

aijijik

kj

kkkjkj

kk(

j

1,2,,2m

1)(i

k,i

1,2,,

m；)（3-49）2m

mm1

1

m2

2

l

l

b

l

b

l

b緊湊消去變換有如下性質(zhì)：Tk

(Tk

(

A))

A

；Ti

(Tj

(

A))

Tj

(Ti

(

A))

；TmTm1

T1(A)

A1

（A

為正定矩陣）。對正規(guī)方程（3-31）引入增廣矩陣（3-31）b

l

b

l

b

ll

ll

ll

lmy

（3-30）

l2

y

l11b1

l12bL2

Bllly1mblm

l1ylm1mmlmm2

lmm

lmy

2m

2

y

22211y1m11

1221

1 22

~2L

(

XX；X

Y

)

（3-51）對b矩0

陣yL

的b前1

xm1

列b2Xx2X的每b一m

x個m

主對角元實施一次消去變換，最后一列也作相應(yīng)的變化，則得下述結(jié)果：對矩陣L的去變換，最TmTm1

T1(L)

（(

X

X

)1；B?）其中B?

(以步回歸中的此時正規(guī)方程為

l11b1

l12b2

l13b3

增廣矩陣為增廣矩陣為l

l

lL

l22

23

21 2

yl31

l32

l33

l3

y

l12

l13

l1

y

l11對矩陣L

的第一個主對角元實施一次消去變換得

32

332322211(1)(1)2

y(1)3

y

11

12

13 1

y

l(1)

l

(1)

l

(1)31(1)

l

(1)

l

(1)lll

(1)

l

(1)

l

(1)

l

(1)

L

T

(L)

l(1)

l

(1)

xy?

b（3-54）(1)式中l(wèi)為因子1x的回歸系數(shù)，而左邊虛線框中的元素為)1111（1）

(l11

y

(l

)

akkik

kkij

ik

kj

kkiji

k,

j

ki

k,

j

k1

yi

1

k,

j

ka

/

a如果

僅取ax1a與/

ay

建,

立i

回

k歸,

j方程k

，則回歸方程為a1

1/

a

，/

a

，kj

kk0，（3-50）l1y

/

l11（3-53）1111111

(lll（1）)1

。1121

12

112222ll

(1)

l11l22

l21l12

l

l

/

l

l12

1112l

(1)

l /

l；21

1121l

(1)

l

/

l11(1)ll2

yl11l2

y

l21l1y

l21l1y

/

l11

l2

y；l

(1)1y

11

l

/

la

1y

aijiji

k,

j

ki

k,

j

ki

k,

j

ki

k,

j

k

aik

akj

/

akk

,1

aik

/

akk，1/

akk，akj

/

akk，（3-50）再對第二個主對角元施行消去變換，有2

2

1L（2）

T

(L(1)

)

T

T

(L)

21

22

(2)31

32

33 3

y23

2

y

(2)

11

12

13 1

ylll

(2)

l

(2)ll

(2)

(2)(2)

l

(2)

ll

(2)

l

(2)

l

(2)

l

(2)（3-55）如果僅取x1

、x2

與y

建立回歸方程，則回歸方程為01

y

1 2

y

2

l(2)

x

l

(2)

xy?

b

(2)（3-56）(2)為因子1x2(2)(2)

l22

l11

l12

(2)

l

(2)

l11

l12l1

y

2

ya

kkik

kkkj

kkkkik

kj式中l(wèi)(2a)、ij

liji

k,

j

ki

k,j

ki

k,j1

k、i

x

k的,j回

k歸系數(shù)，而

a

a

/

a

,1

21

1/

a22

，

l21

a

/

a

，a

/

a

，（3-50）（3-57）1111lll

ll(1)

(1)2

y

22(2)2

y

l21l1211

2

y

l21l1y

/

l11l22/

l

lll21

1

y11

2

y

ll

l

l

l11

2211ll12

(l2

y

21

1y

11l1yl

(l

l

l21l12

)

/

l11

l

l

/

l

)

11

l

(2)

l

(1)

l

(1)l

(1)

/

l

(1)

1y

1y

12

2

y

2212

2

yl1yl2212

21

1y12

11

2

y1y

l

l

l

l

l

1121

1221

1221

1121(1)2211

2222ll

l

l

l

/

l

l

ll

12l

l11l

12l

(1)

l

/

l；11l11(1)ll2

y(l11l22

l21l12

)l1l111l2

y

l11l2l12l21y

l21l12

l21l1y

/

l11

l2

y；l

1111(1)11

22

ll

ll21

1y2

y

ll2

y11 2

y

l21l1y/

l

l

l

l；3

3

2

1333231

21

11

1222

23 2

y

1

y

ll

(3)

l

(3)

(3)3

y(3)

l

(3)ll

(3

l

3)

l

(3)L（3）

T

(L(2)

)

T

T

T

(L)

l

(3)(l3()3)l

(3)取x1

、x2

x3

y0

1

y 1

2

y 2

3

y

l(3)

x

l(3)

x

l

(3)

xy?

b

(3)1

y

2

y式中l(wèi)

(3)、l(3)、l

(3)123x

、x

x(3)333131232221

11

12

13(3)(3)

l

(3)ll(3)

l

(3)lll

(3)

l

(3)l

(3)

l

l3

ylX

X

)1如將x3

剔除掉，用x1

、x2

與y

建立回歸方程，其形式為（3-56）。由于3

3

3T

(

L（3）)

T

T

(L(2)

)

L(2)又如對回歸方程（3-59）需將x1

剔除掉，即建（3）立x2

、x3與

y

的回歸方程，對L

的第一個主對角元再作一次消去變換，得T

(

L（3）)

T

T

(L(2)

)

T

T

T

T

(L)

T

T

(L)1

1

3

1

3

2

1

3

2=3332312322212

y

11

12

13 1

y(4)lll

(4)

(4)3

y(4)

l

(4)(4)

l

(4)

l

(4)lll

(4)

l

(4)

l

(4)

l

(4)

（3-61）于是x2

、x3與y

的回歸方程為0 2

y

2 3

y

3

l

(4)

x

l

(4)

xy?

b

(4)（3-62）2

y

3

y

2

3式中l(wèi)

(4)

、l

(4)

為因子x

、x

的回歸系數(shù)，且(4)

(4)1

22

23

22 23

32

33

l32

l33

lll

ll

(4)

l

(4)（3-63）綜上所述，若要將某個因子引入建立回歸方程，只需對當(dāng)前增廣矩陣的相應(yīng)主對角元作一次消去變換；建立起回歸方程后，若要將某個因子剔除回歸方程，只需對當(dāng)前增廣矩陣的相應(yīng)“主對角元”再作一次消去變換。逐步回歸主要是根據(jù)這一原理。二．逐步回歸的具體實現(xiàn)設(shè)影響因變量y

的因子共m

個：x1，x2

,，xm

。逐步回歸的基本思想是：根據(jù)因子對因變量y

的貢獻(xiàn)大?。ㄓ善貧w平方和度量）逐步將因子引入；在引入因子的同時，又將作用不顯著的因子剔除；這樣邊引入邊剔除，直到最終獲得較合理的回歸因子。衡量偏回歸平方和大小用F

檢驗：/(n

(k

1)

1)S

2F

Pii殘（3-64）/(n

(k

1)

1)S

2F

Pii殘（3-64）若Fi

F進(jìn)，則將第i

個因子引入；剔除變量仍用F

檢驗：/(n

k

1)S

2F

Pii殘（3-65）若Fi

F出,則將第i

個因子剔除,否則繼續(xù)引入。引進(jìn)和剔除因子都用F檢驗,其臨界值F進(jìn)、F出人為而定。為簡單起見,通常取這兩個值相等。為了使計算更有效，將正規(guī)方程（3-31）標(biāo)準(zhǔn)化r

b

r~~

~~~

~~~

~rm1b1

rm

2b2

r21b1

r22b212

211

1

r2mbm

r2

y

rmmbm

rmyb

r1mbm

r1y（3-66）其中ijlijr

iyliyr

（3-67）lii

l

jj

lii

l

yy(3-66)的解與正規(guī)方程(3-31)的解有如下關(guān)系：（3-68）b

~

l

/

l

（i

1，2，，m）i

bi

yy

ii以下計算均對方程（3-31）進(jìn)行。逐步回歸的具體實現(xiàn)步驟：第一步．建立增廣矩陣計算lij、liy、lyy以及rij、riynjl

1lij

(xl

i

x

)i

(xl

xnl

1i

x

)i

(

y

lliy

(xly(i，j

1，2，，m

）nlyyl

l

1(

y

y)2其中ni

lixnl

1x

1nyy

ll

11n再由（3-67）計算rij、riy

。得擴(kuò)充了的增廣矩陣yyyrrry

L

R（3-69）ii

jjijl

llijr

ii

yyiyl

lliyr

（3-67）其中mmR

rij

，ryy

1ry

(r1

y，r2

y，，rmy

)第二步．設(shè)已進(jìn)行了s

次消去變換，第s

步(k，k

)消去變換后矩陣L

變?yōu)?

s)k

ij

(m

1)(m

1)(

s) (

s

1)L

T

(L

)

(r)

（3-70）

rkkkkikkj

kkik

kj

kk

ijrij，(s1)(s1)(s1)(s)1/

r/

r

r

(s1)

/

r

(s1)，r

(s1)

r

(s1)

r

(s1)

/

r

(s1)，

i

k，j

ki

k，j

ki

k，j

ki

k，j

ki

kik

ky

iyky

kkiyr(

s)im

1r(

s

1)

r(

s

1)

r(

s

1)

/

r(

s

1)，i

kr(

s

1)

/

r(

s

1)，?

r(

s)

kk(i,

j

1，2，，m

）記{j}為第s

步消去變換后引入回歸方程的因子下標(biāo)集合,f

為{j}中元素個數(shù),{j}c

為未引入回歸方程的因子下標(biāo)集合,則經(jīng)過（3-70）得以下結(jié)果：~(

s) (

s)（1）bj

rjy

，j

{

j}；(

s)

2 (

s)jy

jj~(

s)j) /

r（2）

j

{j}，則P

(r~(

s)

2 (

s)jy

jjj) /

rj

{j}，則P

(r(

s

1)~(

s)jP為第j

個變量的偏回歸平方和，它表示剔除j第個因子將帶來的損失，~(

s

1)jP則表示下一步引~(

s) (

s)入第j

個因子所產(chǎn)生的供獻(xiàn)；（3）

S殘

ryy

。第三步，因子剔除00~(s)~(s)（1）選擇

j

使得Pjj{

j}

min{Pj};（2）計算F

~S

(

s)

/(n

f

1)P~(

s)j0;殘（3）若F

F出，則轉(zhuǎn)入第四步；否則進(jìn)行第s

+1步消去變換，剔除第

j0

個回歸因子。以s

+1代替s

，（

j0

，

j0

）代替（

k，k）,{

j}

{

j0

}代替{

j}，

f

1代替f

重復(fù)二、三兩步中的運算。第四步，引入回歸因子。第四步，引入回歸因子。設(shè)s

、{

j}、f

仍如步驟

2

中定義。0~(

s

1)j~(

s

1)k0

max

{P（1）選擇k

使得Pj{

j}c};（2）計算F

~S

(

s

1)

/(n

(

f

1)

1)P~(

s

1)k0殘其中0(s1)~（S

1)

~(s)

~(s1)S殘

ryy

S殘

Pk;（3）若F

F進(jìn)，則轉(zhuǎn)入第五步；否則進(jìn)行第

s

+1步消去變換，引入第k0

個回歸因子。以s

+1代替s

，（

k0

，k0

）代替（

k，k）,{j}{k0

}代替{j}f

1代替f

重復(fù)二至四步中的運算。第五步，這時既不能引進(jìn)變量，也不能剔除變量。最后得到的因子下標(biāo)集合記為{j}，則回歸方程為0j{

j}j

j

b?

xy?

b?其中jl

jjb~?(

s

)

bj

l

yy

/?

?b0

y

bj

x

jj{

j}~(

s)S

2殘殘~(

s)2回

yy

l

yy

S殘

S

l

（1

S）

S

l2總

yy例3-5

已知變量

y

隨4個自變量x1

，x2

，x3

，x4

變化，觀測數(shù)據(jù)如表

3-6。試用逐步回歸方法在四個變量中選出起重要作用的變量建立回歸方程，臨界值F進(jìn)

F出

2.5。x1x2x3x4111213141516yx1x2x3x4272829303132解：第一步，建立正規(guī)方程及增廣矩陣。均值、標(biāo)準(zhǔn)差、離差矩陣、相關(guān)矩陣如表3-7所示。表

3-7

均值，標(biāo)準(zhǔn)差，離差，相關(guān)系數(shù)表項目x1x2x3x4y均值22.343759.8150023.6250025.4687518.97188標(biāo)準(zhǔn)差

S6.926382.070349.058068.695515.49271x11487.219252.062408.125-81.156712.809lijx2x3252.026408.125132.875120.750120.7502543.500413.812244.625337.231351.362x4-81.156413.812244.6252343.9691133.422l

yy935.265x110.56702110.2098408-0.04346690.6043921r

(0)ijx2x30.56702110.209840810.20770630.207706310.74149130.10018650.95661790.2278097x4-0.0434660.74149130.100186510.765505834第二步，逐步計算。（1）s

0

,各變量的供獻(xiàn)為112

(0)(0)(1)1~P1

y22(0)

2

(0)2~(1)P2

y2

(0)(0)(1)3~/

rP

(r

(r) /

r

=0.365290；)

=0.051897；(0)

2

(0)~(1)(rP3

y

33

4 4

y

44

(r

) /

r

=0.915118

) /

r

=0.58599912這時不必要考慮剔除，僅考慮引入變量P~（1）

max{

P~(1)，P~(1)，P~(1)，P~(1)}(0)

~(1)~(0)

~(1)~(1)/

SF

(n

1

1)P由于F

F進(jìn)

2.5，故變量x2

影響顯著，可引入回歸方程。相關(guān)2

系數(shù)表3ijr

(0)S殘

1S殘0.56702110.2098408-0.043466210.20770630.5P670211

ry0y.20984P0810.74124913

殘0.10018654-0.004.3048664980.20770623

0.74149130.10018651802.60439210.95661790.22780970.7655058(

s)

2 (

s)jjjyj) /

rj

{j}，則P

(r~(

s

1)對x2

作消去變換得r(1)(k

2)見表

3-8。ij表3-8r

(1)

jiji123410.678487-0.5670210.092067-0.46390820.56702110.2077060.74149130.092067-0.2077060.956858-0.0538264-0.463908-0.741491-0.0538260.450190y0.0619700.9566180.0291140.056182~(2)1P

0.915118（已選）~P這時仍不必考慮剔除，僅考慮引入變量j

{

j}，則~(

s)jj(

s)

2jy(

s)) /

rP

(r~(

s)jj(

s)

2jyj) /

rj

{j}，則P

(r(

s

1)

rr

(2)kkrkjkkk~j

(1)ikijiji

k，j

k，j

0.00700i1

k，j

ki

k，j

k1)00886

(s0.00(s561)60

(s1)

P2（2）s

1r

(s1)(s)1/

rkk/

r/

rkk

，

r

(s1)

r

(s1)

/

r

(s1)，

i

k，j

k

0.0(s1)

rri

k

rkkkyik(siy1)Pk4kky，i

k(

s

1) (

s

1) (

s

1)(

s

1)(

s)r(3s)r

/

rr(

s

1)

/

r~((s2)1)，im

1

?

iy

ik(，2，，mi,

j

1）這時仍不必考慮剔除，僅考慮引入變量（未選量）~

~(2)

(2)4/

S殘

2.611F

(n

2

1)P~

~

~(2)4(2)

(1)其中

S殘

S殘

P

0.077872

。因為F

F進(jìn)

2.5，故應(yīng)將變量x4

引入回歸方程。4對x

作消去變換得r(2)

(k

4)

見表

3-9。ij表3-9r

(2)jiji1234y10.200443-1.3311000.0366011.0304700.11986321.3311002.2212800.296361-1.6470600.86408330.036601-0.2963610.9504220.1195620.0358314-1.030470-1.647060-0.1195622.2212800.124795（3）s

2~(3)1P~(2)2~(3)3P~(2)4

0.071677

P

0.001358

P

0.336130（已選）

0.007001（已選）r

(2)

jijij

j{{j}j}，，則則P~P~(

s(s)1)

((rr(

s()s))

)22//rr(

s()s)j

j

jyjy

jjjj1

2

3

4

y10.200443

0.036601

0.119863-1.331100

1.03047021.331100

0.296361

0.8640832.221280 -1.64706030.

036601

0.950422

0.035831-0.296361

0.1195624-1.030470 -0.119562

0.124795-1.647060

2.221280（3）s

2~(3)1P~(2)2

0.336130P（已選）~(3)P~(2)3

4

0.071677

0.001358

P

0.007001（已選）這時仍不必考慮剔除，僅考慮引入，這是因為逐步回歸中，可以嚴(yán)格證明第s

1

和s

2

步引入的變量，不可能在第s

3

步中被剔除（s

=0，1，2，3…）~

~31P（3）

(3)

~(3)1

max{

P

，P}（未選量）~1(3)

/

~(3)S殘

324.01F

(n

3

1)P~(3)1

S殘

P其中

~(3)

~(2)S殘

0.006195。因為F

F進(jìn)

2.5

，故應(yīng)將變量x1

引入回歸方程。1

ij對x

作消去變換得r(3)(k

1)見表

3-10。表3-10jr

(3)iji123414.988930-6.6407900.1825995.1409402-6.64079011.0609000.053015-8.4902003-0.182599-0.0530150.943739-0.06860145.140940-8.4902000.0686017.518870y0.5979890.0680960.0139440.741006（4）s

3

（第三步）~(3)1P（已選）~(3)2P~(4)30.0716770.000206P~(3)4

0.000419

0.073028P（已選）（已選）這時應(yīng)先考慮剔除~

~

~(3)(3)2 4(3)12P，P~（3）

min{P~~(3()3)，P

}F

n

1)P32( /

S殘

895因為F

F出

2.5，故應(yīng)將變量x2

剔除回歸方程。ij對x2

作消去變換得r(4)(k

2)，為使計算步驟與回歸方ij

ij引入的變量個數(shù)一致，這里r(4)可記為r(2)。事實上1

4

ij與直接引入x

、x

兩個變量所得的r(

2)

相同，見表

3-11。表3-11r

(2)

jiji1234y11.0018900.6003850.2146010.0435490.6388732-0.6003850.0904090.004819-0.7675830.0061563-0.2146010.0048190.943996-0.1095140.01427240.0435490.7675830.1095141.0018900.793275表3-11r

(

2)

jiji123411.0018900.6003850.2146010.0435492-0.6003850.0904090.004819-0.7675833-0.2146010.0048190.943996-0.1095144y0.0435490.6388730.7675830.0061560.1095140.0142721.0