矩陣論第五章廣義逆及最小二乘

1、第五章廣義逆及最小二乘解在應(yīng)用上見(jiàn)得最頻繁的、大約莫過(guò)于線性方程組了。作一番調(diào)查或整理一批實(shí)驗(yàn)數(shù)據(jù)，常常歸結(jié)為一個(gè)線性方程組：Ax=b然而是否是相容方程呢？倘若不是，又如何處理呢？最小二乘解是常見(jiàn)的一種處理方法。其實(shí)它不過(guò)是最小二乘法的代數(shù)形式而已。廣義逆從1935年Moore提出以后,未得響應(yīng)。據(jù)說(shuō):(S.L.Campbell&C.D.Meyer.JrGeneralizedInversesofLinearTransformations1979P9)原因之一，可能是他給出的定義，有點(diǎn)晦澀。其后，1955年P(guān)enrose給出了現(xiàn)在大都采用的定義以后，對(duì)廣義逆的研究起了影響，三十年來(lái)，廣義逆無(wú)論在

2、理論述是應(yīng)用上都有了巨大發(fā)展，一直成為了線性代數(shù)中不可缺少的內(nèi)容之一。為了討論的順利進(jìn)行，我們?cè)诘谝还?jié)中先給出點(diǎn)準(zhǔn)備，作出矩陣的奇值分解。5.1矩陣的酉交分解、滿秩分解和奇值分解在線行空間中，知道-個(gè)線性變換在不同基偶下的矩陣表示是相抵的或等價(jià)的。用矩陣的語(yǔ)言來(lái)說(shuō)，就是：若呦，倘有非異矩陣P(e),Q(nxn)存在，使B=PAQ則稱力與相抵的或等價(jià)的。利用初等變換容易證明秩為廠，則必有P,Q,使(I0)PAQ=reCmx(5.1-1)I。o丿其中人是廣階單位陣。在酉空間中，上面的說(shuō)法，當(dāng)然也成立，如果加上P,Q是酉交陣的要求，情形又如何呢？下面就來(lái)討論這個(gè)問(wèn)題。定理5.1.1(酉交分解)AeC

3、mxnf且秩為則xn),V(nxnUHU=Im,VHV=In,使UhAV=r(mxn)(5.12)(00丿其中為廠階非異下三角陣。證明：A的秩為故4有廠個(gè)線性無(wú)關(guān)列，不妨設(shè)前個(gè)列是線性無(wú)關(guān)的，因?yàn)樘热舴侨绱?，則經(jīng)過(guò)一系列的列交換，可以把它們調(diào)到前廣列，這無(wú)異于對(duì)A乘上某一排列陣，排列陣是酉交陣，而酉交陣的積仍是酉交陣，故不是普遍性。記A為A=(aL,a2-,ar,ar+l,-an)按Gram-schmidt正交化法，將aya2,ar標(biāo)準(zhǔn)正交化為如，叫時(shí)比=列,li,jr且均是勺,叫的線性組合,注意到貼就是的上的單位向量,故nu.=01zr更一般的有ucij=0ji,li1般的有n：cij=Oi

4、j,lim(5.14)記U=(ul,u2,-ur,ur+l-um)則U是酉交陣，且ZUUU(勺,勺，色)=UhA=如avuA吆(勺,勺，色)=UhA=0UrarUran1oJ(mxn)1(5.1-5)(mxn)1其中R是廠階非異上三角鎮(zhèn)，R是rx(n-r)型的陣。記B=(R,R)(rxn)則BH=IU(hXr)(5.1-6)按上述作法，注意此時(shí)是列滿秩的，可知酉交陣V(nxn),能使ArI(nxr)W丿其中是非異上三角鎮(zhèn)。于是于是BV=(Ar,O)(rxn)而是非異下三角鎮(zhèn)。Ar02,-2,.0是的非零特征值。證明:按酉交分解定理,有Umxn)V(nxn),使即故有A=U,1(0使即故有A=U

5、,1(00、3丿1(4o注意到：使H(4o注意到：使H陣，且正定，故有匕(廠X廠)v/vr=I,能使?”,=人.=她(揚(yáng)巫，QF其中有顯然有=D2其中有顯然有=D2入n0(礦1)側(cè):ypi(5.1-10)(5.1-11)于是于是BV=(Ar,O)(rxn)則由上式可知匕是廠階酉交陣O由(5.1-11)式有(5.1-12)(U由(5.1-11)式有(5.1-12)(Ur0V0)1。爲(wèi)乙=d令U2=于是于是BV=(Ar,O)(rxn)于是于是BV=(Ar,O)(rxn)則%各為加階，兀階酉交陣。取u=up2；v=vtK則有UHAV=U2則有UHAV=U2HUlHAVV2rurH。丿1Is于是于是B

6、V=(Ar,O)(rxn)urH/vi.o、,oo丿（證畢）(D0、（證畢）,00,通常稱J石為人的正奇值。這個(gè)定理說(shuō)明了：在酉空間中，任一矩陣都酉相抵于一-個(gè)實(shí)矩陣，其左上角為廠階對(duì)角陣，廠為A的秩,且其對(duì)角元式A的正奇值。這個(gè)事實(shí)當(dāng)然是引人注目的。順便提一下,這些定理在歐式空間中也成立，讀者仔細(xì)讀過(guò)證明后，便會(huì)了解這句話的根據(jù)。那時(shí)把”H”換成”八就行了。5.2廣義逆對(duì)廣義逆的研究，大致是源于對(duì)方程組Ax=b的解的表示法而興起。在一方程中，若AwC網(wǎng)且detAzO,有唯一解Abo但除此而外，就沒(méi)有類似的表示法了，于是就能產(chǎn)生了：有解、無(wú)解、有無(wú)窮多解等的討論。一般來(lái)說(shuō)，力的型是行數(shù)與列數(shù)未

7、必一-致的，問(wèn)題也就更顯得復(fù)雜了。這里我們先來(lái)尋求當(dāng)方程組Ax=b,AeCmxnxeCn,beCn有解時(shí)，是否有矩陣G,能將解表成Gb。在下一節(jié)中，再把解的含義推廣，使得任一方程組都有“解”，然后在統(tǒng)一的觀點(diǎn)下，將“解”表出。盡管近二三十年來(lái)，對(duì)廣義逆的研究已經(jīng)相當(dāng)深入。出于應(yīng)用上的需要，有各種廣義逆，但是我們這里只著重討論最主要而常見(jiàn)的一種f,至于其他一-些廣義逆，我們將出一些于本章習(xí)題中，有興趣的讀者不妨對(duì)之作一點(diǎn)簡(jiǎn)單的研討。定義(Penrose)AwC?則滿足下列四個(gè)方程的f,稱為A的廣義逆或moore-Penrose逆。1)A4+A=A(5.2-1)2)AW+=M(5.2-2)3)(A

8、A+)h=AA+(5.2-3)4)(A+A)h=A+A(5.2-4)從定義中可以看到，若人是可逆陣(此時(shí)自然有m=n則A是滿足這四個(gè)方程的，這就是說(shuō)包括了A這個(gè)特例。(3)(4)兩個(gè)方程，說(shuō)明了要求AT和A都是H陣。在實(shí)空間中，自然就要求其成為實(shí)對(duì)稱陣，把”H”換成”T”好了。首先要探討的是：對(duì)任-A是否有滿足定義的f存在。若有，又有多少？定理5.2.1滿足Penrose方程的/T存在且唯一。證明:注意到存在性：AG,力有奇值分解，即存在酉交陣證明:注意到VH丿故有可知D+=DA+=V5+0、oo,(D(5.2-5)VHV0丫,00,UHU(D30、0丿VHDD+D0=Ad+0、00丿d+dd

9、故有可知D+=DA+=V5+0、oo,(D(5.2-5)VHV0丫,00,UHU(D30、0丿VHDD+D0=Ad+0、00丿d+dd+0=u=V(T丿VH=UHUHU(D3(T丿(D30、0丿0、0丿VHVHVUH=VrD+,0(D+0丫,00丿0、UHUH/(D0、VHV5+oH99UUH3o丿3丿(DD+07nixjnUH7(DD+07nixjnUH7=u(DH00、0丿UH=A4+同可證。唯一性：若礦也滿足Penrose方程,B+=B+AB+=B+AA+AB+=B+(AA+)h(AB+)h=B+A+hAhB+hAh=B+A+h(AB+A)h=b+a+hah=BAA+)h=B+AA+=B

10、+AA+AA+=(B+A)h(A+A)hA+=AhB+hAhA+hA+=AhA+hA+=A+AA+故A+唯一。(證畢)證明了的存在唯一，似乎中和中的性質(zhì)幾乎-致罷？不然,f的性質(zhì)與想象的很不一樣，例如：若A=(0)Jxn注意到方程,可知A+=(0)(5.2-6)/nxm且除此之外，并無(wú)其他，這可是A沒(méi)有的性質(zhì)。又如：對(duì)A而言，若皆可逆，則(AB)=歹，然而對(duì)”而言，卻沒(méi)有這個(gè)性質(zhì)，及時(shí)(才)+也不必等于(A+)2,看一個(gè)例子就清楚了。不難驗(yàn)證,有宀一不難驗(yàn)證,有宀一中0、2(-1,0丿A2=A由此可見(jiàn)中，0、211,0丿（忙中、）心1,0（忙（刊由此可見(jiàn)關(guān)于f具有的通常用到的性質(zhì)，我們歸結(jié)成下

11、列兩個(gè)定理。定理5.2.2AeC,lxn,則(A+f=A(a+)h=(ah)+(3)(AA)+=rA+;eC,r=o二IIHoo(4)Ah=AhAA+=A+AAh(AHA)+=A+(AH)+A+=(AhA)+Ah=Ah(AAh)+=VhA+Uh,UhU=Im,VHV=InA+AB=A+ACAB=AC證明（7）各條，容易直接由Penrose方程得證，這里僅證(4)(6)(8)三條。ah=ah(a+)hah=Ah=A+AAh=AhAA=AhAALT(6)A+=A+AA+=(A+A)A+=Ah(A+)hA+=Ah(AAh)+=AAA+)h=AA+)hAh=(AhA)+Ah(8)A+AB=A+AC=A

12、A+AB=AA+AC=AB=ACAB=AC=A+AB=A+AC這個(gè)性質(zhì)實(shí)際是關(guān)于的消去律，常常用到。（證畢）從Penrose方程中的（1）和（2）,容易看出:AA+=AA+(5.2-7)2(A+A)=A+A(5.2-8)可見(jiàn)和都是幕等陣，是投影算子，同時(shí)述有(I-AA+)2=I-AA+(5.2-9)(Z-A+A)2=I-A+A(5.2-10)也都是投影算子。自然要問(wèn)它們各自是沿什么子空間投影的呢？為例，注意到AT是作用于空間C”的。由7?(A)=R(AA+A)cR(AA+)cR(A)故R(A)=R(AA+)(5.2-11)但Cm=R(A)R(A)y(5.2-12)而r（a）Y=k（ah）(5.

13、2-13)這是因?yàn)閦eCn=Az6R(A)ygVzeCnnvy,Az=0=0故有AHy=O=yeK(AH)反之亦然，故有(5.2-13)式。由此,得Cm=R(A)R(A)y=R(AA+)K(Ah)(5.2-14)可見(jiàn)AA+是沿子空間W)投影到R(A)的投影算子。xeR(A)xeK(AH)xeR(AHxeR(A)xeK(AH)xeR(AH)xeK(A)(兀AA+x=I。(5.2-15)/XAA+x=1(5.2-16)R(A)=R(AA+)=R(AAh)(5.2-17)7?(A+)=/?(Ah)/?=(A+A)=(5.2-18)R(I-AA+)=K(AA+)=KAH)=K(f)=/?(A)+(5.

14、2-19)R(I-A+A)=K(A+A)=K(A)=)+(5.2-20)證明：(1)xG/?(/!)3yGCAy=x而Ay=AA+Ay=AA+x=x又xeK(AH)Ahx=0=(A+)hAhx=0n=0同樣可證得(2)。已證R(A)=R(A4+)而RAA)=RAAHAAH)=RAAH)第一個(gè)等式是據(jù)定理5.2.2,(6),而第二個(gè)等式不過(guò)是R(A)=R(AA+)的特例。這就證明了(3)式。由有/?(A+)=/?A+(A+)+=R(A+A)又R(A+A)=R(心)=R(AH)=R(Ah(Ah)h)=R(AhA)這就證明了(4)式。至于(5),(6)兩式，容易由(3),(4)推出。(證畢)在定理5

15、.2.1中，借用奇值分解，我們構(gòu)造性地證明了的存在性。但是奇值分解的工作量不小，用起來(lái)不大方便?？墒嵌ɡ?.2.3中的R(A+)=R(AH)卻啟發(fā)了另外一個(gè)構(gòu)造”的方法,或許用時(shí)要方便一些。定理5.2.4(1)AGCmxn；r(A)=rA+=(x(l),兀，,x(r),0,Oh”,Ar，Ar(),w,w(2)，腫)1其中卅,兀，卅)是&中)的一個(gè)基;泌,，,葉是K()的一個(gè)基。気0、(2)若A=“心0)1則A+=抵0/證明：(1)注意到第一列塊矩陣是nxm型，而第二列是mxm型，故其積是nxm型的。又”(Ax,Ax，Ar，w，w，沙心)=(A+A/1,A+A?2)，-A+Ax(r),A+w(1

16、),A+vv(2)，-A+vv(/,_r)=(兀,x,，卅),o,0)因?yàn)椋啥ɡ?.2.3(2)有Ax=又由定理5.2.3有AA+wu)=0wu)gK(Ah)故A+wu)=A+AA+wu)=0wj)eKAh)所以只要證明Ar,Ar，Ar，淤),，尸)是C的一個(gè)基就好了。注意到Cm=R(A)K(AH)f所以只要證明:Ar,山,Ar是R(A)的一個(gè)基，也就是只要證明&在這組元上的表示法唯一就行了。ktAxg+k君gK(A)=/?(AW)+而肚+S+匕中)eK(Ah)故牌)+S+)e)A/?(Ah)+nk、=k?=-=kr=0這就證明了：A+=(x(l),兀，,卅),0,0)wxm(Ar(l),A

17、x，Ax?泌,腫)，W)一1(證畢)(證畢)例設(shè)A=(1A+I11丿Ax=AA+bAx=b(5.2-21)故AO是其解。當(dāng)b工R(A)時(shí)，就談不上是解，是否還有某種意義呢？下一節(jié)中再討論這個(gè)問(wèn)題。如果僅就表出=b的解而言，似乎無(wú)須用象Penrose方程這樣比較嚴(yán)格的條件來(lái)規(guī)定廣義逆，因?yàn)橹灰玫?5.2-21)式這種結(jié)果，只須Penrose方程中的第一個(gè)就行了。不錯(cuò)，確實(shí)如此。按某種需要，我們常常把滿足Penrose方程中某幾個(gè)方程的解，也稱為廣義逆。例如AS也可記為A(l,2,3,4)。同理，也可以有A(l,2),A(l,3)等等。由于的存在，所以這類廣義逆的存在是不成問(wèn)題的，但是未必唯一。

18、除此以外，還有其他的廣義逆,我們?cè)诹?xí)題中，將列出一些，希望借此能使讀者有些感性認(rèn)識(shí)，對(duì)于有興趣的讀者，則希望能引起深入鉆研的愿望。5.3方程組的最小二乘解上節(jié)中已經(jīng)討論過(guò)，若方程組Ax=bAeCmx,t當(dāng)beR(A)時(shí)，AO是它的解；而當(dāng)bR(A)時(shí)，沒(méi)有通常意義的解，即在空間中，沒(méi)有元兀，經(jīng)A作用后得到像為b。這番含意，通常說(shuō)成方程組是不相容的或矛炳的。在這個(gè)情況，可以記為VxeCAx-bd,然而可以提出，是否有兀，能使Ar最接近b呢?談到接近程度這類問(wèn)題，我們有凡屬這個(gè)工具來(lái)度量，所以上述問(wèn)題，可以譯成：是否有x能使|Ar-州最??？習(xí)慣上用2-范數(shù)即歐氏范數(shù)來(lái)度量。定義方程組Ax=b；Ae

19、C,xz,若兀滿足|Ax-Z?|?=niin|Ay-Z?|2;VyeCn(5.3_1)則稱x為Ax=b的最小二乘解。在所有最小二乘解中，長(zhǎng)度最小的解,稱為極小最小二乘解。按此，當(dāng)然可以理解為，若x滿足VyeC”;|Ay-|Ar-址(5.3-2)則兀是最小二乘解。定義中未曾提及方程組的相容性，不過(guò)，顯然是包括bwR(A)這種情況的，因?yàn)樵谕ǔＲ饬x下的解x,必有|心_地=0,又由于范數(shù)非負(fù)，所以是必須滿足(5.3-1)或(5.32)的。問(wèn)題倒是在于若bR(A),是否總有最小二乘解呢？倘若回答是肯定的，那么我們就可以把解的含義推廣為：解，包含在通常意義下的解和最小二乘解，或者更簡(jiǎn)潔地說(shuō)，解是指最小二

20、乘解?，F(xiàn)在來(lái)探討Ax=b；AeCw,xn；bwC,bR(A)是否總有最小二乘解。注意到Cm=R(A)R(A)=R(A)K(AH)(vR(A)1=K(AH)(5.3-3)故必存在bwR(A)；wK(A“)，使b=q+且vb”0=0(5.34)由此，3xeCn,Ax=b對(duì)這樣的兀，有II做|L=II也-+)|L=|L(5.35)若yWC”，令y=兀+z貝I|Ay-bf=Ax-b+|Az+(Ax-b)Az+(Az)H(Ax-b)十吐+WII；因?yàn)?Ax-b)HAz=(Az)Ax-b)=zHAAx-b)=O.而Ax-b=Ax-(bl+b2)=b2eK(AH)這就是說(shuō)，當(dāng)取得兀，使Ax-beK(AH),則滿足VyeC|Ay-fe|2|Ax-t|2反乙由b的直和分解的唯一性，可知，若|Ax-b|2為最小，貝IJ必有Ax-beK(AH)。于是，實(shí)際上已證明了下述定理：定理531方程組Ax=b,AgC,nxn,常有最小二乘解，兀為其