第四章矩陣分解

第四章矩陣分解矩陣分析第四章矩陣分解§4.1:矩陣的滿秩分解§4.2:矩陣的正交三角分解§4.3:矩陣的奇異值分解§4.4:矩陣的極分解§4.5:矩陣的譜分解矩陣分解前言矩陣分解定義:將一個(gè)已知矩陣表示為另一些較為簡單或較為熟悉的矩陣的積(或和)的過程稱為矩陣分解.例:(1)對任意n階正規(guī)矩陣A,存在酉陣U∈Un×n使A=Udiag(λ1,…,λn)U*,其中λ1,…,λn為A的所有特征值的任一排列.(2)對任意n階正定矩陣A,存在可逆陣Q∈Cnn×n使A=Q*Q,或存在唯一正定陣B使A=BB.矩陣分解意義:有利于研究已知的矩陣.例如,利用正定陣A的平方根B為正定陣可證:對任意Hermite陣H,AH或HA都有實(shí)特征值.1(AH～(A1/2)-1AHA1/2=A1/2HA1/2∈Hn×n)2初等變換與初等矩陣(p73)三類初等變換:(行(列)變換←→左(右)乘)(1)將矩陣A的兩行互換等價(jià)于用第一類初等矩陣P(i,j)左乘A;(2)將矩陣A的第i行乘以k≠0等價(jià)于用第二類初等矩陣P(i(k))=diag(1,…,1,k,1,…,1)左乘A.(3)將矩陣A的第j行乘以k≠0后再加到第i行等價(jià)于左乘第三類初等矩陣P(i,j(k)).P(i,j)=1?????????????????10111011初等變換與初等矩陣舉例1??147??147??01??258?=?369?;???????10??369??258????????147??1??174??258??01?=?285????????369??10??396???????1??147??147???????0.2??258?=?0.411.6?;??1??369??369???????147??1??147/9????????258??1?=?258/9??369??1/9??361???????----i----j1?P(i,j(k))=1??????????1k1---???---???1?ij31??123??123?????????41??456?=?0?3?6?;?1??789??789???????3??120??123??1???????456??1?=?45?6??789??1??78?12???????4初等變換與初等矩陣的性質(zhì)3類初等矩陣都是可逆的(行列式不為0).將A依次作初等矩陣P1,…,Pr對應(yīng)的行(列)初等變換等價(jià)于左(右)乘A以可逆矩陣Pr…P1(P1…Pr).可適當(dāng)選第一類初等矩陣的乘積P使PA(AP)的行(列)是A的行(列)的任意排列;可適當(dāng)選第三類初等矩陣P(i,j(k))中的k使P(i,j(k))A的(i,j)元變?yōu)?;可適當(dāng)選第二類初等矩陣P(i(k))中的k使P(i(k))A的非零(i,i)元變?yōu)?.存在初等矩陣的乘積P和Q,使PAQ=,其中r=rankA.初等變換與初等矩陣的性質(zhì)續(xù)命題:設(shè)A∈Crm×n前r列線性無關(guān),則用初等行變換可把A變?yōu)镋r??0?1??D??=??0??????11*****??*?*??*?????一般地,?A∈Crm×n都存在m,n階可逆陣P和Q使PAQ=5證:因前r列線性無關(guān),故用第一類初等矩陣左乘可使A的(1,1)元≠0.再用第二類初等矩陣左乘可使a11=1;最后用若干第三類初等矩陣左乘可使A的第一列=e1.因前2列線性無關(guān),故新的第2列與e1線性無關(guān)且≠0,故用第一類行變換可使(2,2)元≠0,…可使A的第2列=e2.….可使A的第r列=er.此時(shí)空白處必為0元.安徽大學(xué)章權(quán)兵1矩陣分析§4.1:矩陣的滿秩分解1?A=??2?0?0000??1??1?,沒有P∈C33×3使PA=???0??0000??1??1??00??0??0010??1??1?=??20??0??0100??0?0??1.0??定義:對任意矩陣A∈Crm×n,A=BC稱為A的一個(gè)滿秩分解,如果B∈Crm×r,C∈Crr×n.例:1??1?0?1212313??1??2?=?1?1??0??1???12???01????14???=?1?11?1???0012???13???01????10115???1??1?AP(2,3)=??2?0?100??100??10.50???????PAQ=P(2,1(0.5))AP(2,3)=?0.510???210?=?010??001??000??000???????m=3,n=4,r=2.注:可能存在不僅是常數(shù)差別的兩個(gè)實(shí)質(zhì)不同的滿秩分解.矩陣滿秩分解的存在定理定理4.1.1:任意矩陣A∈Crm×n,都有滿秩分解:A=BC,B∈Crm×r,C∈Crr×n.證:由初等矩陣性質(zhì)知:存在可逆陣P∈Cmm×m和Q∈Cnn×n,使PAQ=從而AEr??0?0??Er?=?0??0???Er?-1??(Er=P?0????(Er?0)存在定理中矩陣B,C的決定對于A的前r列線性無關(guān)的情形:EPA=?r?0D??Er?=(Er0??0????D)EA=P?1?r?0D?Er??1??=P??(Er0??0?D)=BC其中0)E?B=P?1?r?;C=(Er?0?D)Q-10)=BC,其中B=P-1?Er??0?,C=???(ErQ-1滿足所要求的條件.C是PA的前r行(即所有非0行)組成的矩陣,B和C的秩顯然都是r.10矩陣B的進(jìn)一步?jīng)Q定對于A的前r列線性無關(guān)的情形:要求PA的前r列化為(Er,0)T,故有B=P-1(Er,0)T?PB=(Er,0)T=PA1,其中,A1為A前r列組成的子矩陣,由此推出B=A1.(參看P.183-184定理的證明及例4.1.1,例4.1.2)對下例,A的第1,3兩列也線性無關(guān).令A(yù)1為A第1,3兩列組成的子矩陣,并將A的第1,3兩列化為(E2,0)T,C為所得矩陣的前2行.則不難看出也有A=BC和B=A1.求矩陣滿秩分解的初等變換方法再以A=?1?1123??232?為例作說明如下:?011?1???①用初等行變換把A前兩列變?yōu)?E20)T1123??1123??1014??11??????????1014??1232?→?011?1?→?011?1?=?12??011?1???011?1??011?1??0000??01??????????a1a2②用初等行變換把A的1,3兩列變?yōu)?E20)T?1123??112????1232?→?011?011?1??011???3??1?105??12???????1?105??1?→?011?1?=?13???011?1??1??0000??01???????a1a3安徽大學(xué)章權(quán)兵2矩陣分析關(guān)于矩陣滿秩分解的注矩陣滿秩分解不唯一;但同一矩陣的兩個(gè)滿秩分解的因式矩陣之間存在密切關(guān)系(見定理4.1.2).A∈Crm×n?r=rankA≤min{m,n}A的秩等于它的行秩,列秩或行列式秩.A的行(列)秩是它的行(列)最大線性無關(guān)組的行(列)數(shù);A的行列式秩是其非0子式的最大階數(shù).A=BC?rankA≤rankB且rankA≤rankCrankA=rankA*13引理4.3.1引理4.3.1:對任意矩陣A∈Crm×n有rank(AA*)=rank(A*A)=rankA*=rankA=r.證:因方程組Ax=0的解空間維數(shù)等于n-rankA,(*)故為了證明rank(A*A)=rankA只須證明下列兩個(gè)方程組有相同的解空間即可Ax=0⑴⑵A*Ax=0顯然,x滿足⑴?x滿足⑵.x滿足⑵?x*A*Ax=0,即(Ax,Ax)=0?Ax=0,即x滿足⑴.注:利用A的任意性以A*代A由(*)得rankA=rankA*=rank((A*)*A*)=rank(AA*)同一矩陣兩個(gè)滿秩分解間的關(guān)系定理4.1.2:若A=BC=B1C1均為A∈Crm×n的滿秩分解,則存在θ∈Crr×r,使得B=B1θ,C=θ-1C1.證:若A=BC=B1C1,則BCC*=B1C1C*.由p.190引理4.3.1知:rank(CC*)=rankC=r,從而CC*∈Crr×r為可逆矩陣,且滿足B=B1C1C*(CC*)-1.由上式推出r≥rank(C1C*)≥rankB=r,即rank(C1C*)=r.進(jìn)而θ=C1C*(CC*)-1∈Crr×r,滿足B=B1θ.同理可證C=(B*B)-1B*B1C1=θ′C1,θ′∈Crr×r.因此,BC=B1C1?B1θθ′C1=B1C1?B1*B1θθ′C1C1*=B1*B1C1C1*引理4.3.1?θθ′=E?θ′=θ-1定理4.1.2的補(bǔ)充命題:設(shè)A=B1C1為A∈Crm×n的滿秩分解,則A=BC是A的滿秩分解,當(dāng)且僅當(dāng)?θ∈Crr×r,B=B1θ,C=θ-1C1.證:必要性由定理4.1.2給出.充分性.若存在θ使(*)成立,則B,C給出A的滿秩分解：BC=B1C1=A.(*)§4.2:矩陣的正交三角分解滿秩矩陣的分解行(列)滿秩矩陣的分解一般矩陣的分解滿秩矩陣的正交三角分解定理4.2.1:?A∈Cnn×n都可唯一地分解為A=UR(或A=LU),其中U∈Un×n,R(L)為正線上(或下)三角矩陣.證:(存在性)令A(yù)=(α1,…,αn),則α1,…,αn線性無關(guān),用Schmidt方法從α1,…,αn得標(biāo)準(zhǔn)正交組ν1,…,νn滿足α?α1=C11ν11αn2=C21ν1+C22ν22i,Cii=‖βi‖>0n=Cn1ν+Cn2ν+...+CnnνC21C22于是其中,U=(ν1,…,νn)為酉矩陣,R為正線上三角矩陣.C11?A=(α1,...,αn)=(ν1,...,νn)?????Cn1??Cn2???Cnn??=UR,安徽大學(xué)章權(quán)兵3矩陣分析β1=α1,β2=α2-((α2,β1)/(β1,β1))β1,β3=α3-((α3,β1)/(β1,β1))β1-((α3,β2)/(β2,β2))β2,...νi=(1/‖βi‖)βi,βi=‖βi‖νi,i=1,2,…α1=β1=‖β1‖ν1;C11=‖β1‖>0α2=((α2,β1)/(β1,β1))β1+β2=C21ν1+‖β2‖ν2;C22=‖β2‖>0正交三角分解唯一性證明定理4.2.1:?A∈Cnn×n都可唯一地分解為A=UR(或A=LU),其中U∈Un×n,R(L)為正線上三角矩陣.(唯一性)設(shè)還有U′∈Un×n和正線上三角矩陣R′使A=U′R′.則有UR=U′R′?U′*U=R′R-1=W矩陣W=U′*U∈Un×n,且W=R′R-1仍然是正線上三角矩陣.(正線上三角陣的逆和積仍是正線上三角陣)于是,由p.162的引理3.9.1知W=E.即(U′)*U=R′R-1=E.由此式立即推出:U=U′E=U′&R′=ER=R.得證唯一性.α3=C31ν1+C32ν2+‖β3‖ν3;...C33=‖β3‖>0正交三角分解下三角情形的證明定理4.2.1:?A∈Cnn×n都可唯一地分解為A=LU,其中U∈Un×n,L為正線下三角矩陣.證:?A∈Cnn×n?AT∈Cnn×n.存在唯一的U′∈Un×n和正線上三角矩陣R,使AT=U′R.于是A=(AT)T=(U′R)T=RTU′T=LU,其中,U=U′T∈Un×n,L=RT為正線下三角矩陣.列(行)滿秩矩陣的正交三角分解定理4.2.2:?A∈Crm×r(Crr×n)都可唯一地分解為A=UR(A=LU),其中U∈Urm×r(Urr×n),R(L)為r階正上線(下)三角矩陣.(定理4.2.1為m=n=r時(shí)的特例)證:(存在性)令A(yù)=(α1,…,αr),則α1,…,αr線性無關(guān),用Schmidt方法求得標(biāo)正組ν1,…,νr滿足α?αr2α1=C11ν1=C21ν1+C22ν22i,Cii>0.r=Cr1ν1+Cr2ν+...+Crrν因此A=UR,其中U=(ν1,…,νr)∈Urm×r,R=C11?????C21C22Cr1??Cr2???Crr?定理4.2.2唯一性證明定理4.2.2:?A∈Crm×r都可唯一地分解為A=UR,其中U∈Urm×r,R為r階正線上三角矩陣.(唯一性)設(shè)還有U′∈Urm×r和正線上三角矩陣R′∈Cr×r使A=U′R′.則有R*R=A*A=(R′)*R′,于是由定理3.9.1⑹,A*A是正定Hermite矩陣.故A*A可唯一地表示為乘積R*R,其中R為正線上三角陣.因此必有R=R′.進(jìn)而,由UR=U′R′給出U=U′,得證唯一性.一般矩陣的正交三角分解定理4.2.3:?A∈Crm×n可分解為A=U1R1L2U2,其中U1∈Urm×r,U2∈Urr×n,R1和L2分別為r階正線上三角和下三角矩陣.證:由矩陣的滿秩分解知:存在列滿秩矩陣B和行滿秩矩陣C使A=BC.存在U1∈Urm×r和r階正上線上三角矩陣R1使得B=U1R1.存在r階正線下三角矩陣L2和U2∈Urr×n使得C=L2U2.從而A=U1R1L2U2滿足條件.安徽大學(xué)章權(quán)兵4矩陣分析用UR(LU)分解方法解方程組例4.2.1:用UR(LU)方法解方程組Ax=b(*)?2?1?1?其中??3????1A=?1??2?11?1?101??0?,b=?2????1????.???§4.3:矩陣的奇異值分解引理4.3.1:對任意矩陣A∈Crm×n有rank(AA*)=rank(A*A)=rankA*=rankA=r.引理4.3.2:?A∈Cm×n,AA*∈Cm×m與A*A∈Cn×n均為半正定Hermite矩陣.證:由(A*A)*=A*A和?x∈Cn,x*A*Ax=(Ax,Ax)≥0得證:A*A∈Cn×n為半正定Hermite矩陣.同理可證:AA*∈Cm×m為半正定Hermite矩陣.解:令A(yù)=(α1,α2,α3),易見α1,α2,α3線性無關(guān),用Schmidt方法得標(biāo)準(zhǔn)正交組ν1,ν2,ν3如教本所示.則A=UR,R為正線上三角矩陣,U=(ν1,ν2,ν3)∈U34×3于是R=U*A,代入(*)式得URx=b?Rx=U*b?x=R-1U*b最后求得x=(-5/2,-1/2,3)T.AA*∈Cm×m與A*A∈Cn×n的特征值定理4.3.1:?A∈Cm×n,AA*∈Cm×m與A*A∈Cn×n的非零特征值(正特征值)全同.證法1:不難驗(yàn)證下列矩陣等式:AA*0??EmA??AA*?*???=??A0??En??A*?????因S=???Em定理4.3.1的另一證法證法2:設(shè)λ≠0是AA*的非零特征值:AA*x=λx,λ≠0,x≠0則A*x≠0,A*A(A*x)=λ(A*x)所以λ也是A*A的非零特征值.同理可證：A*A的任一非零特征值也是AA*的非零特征值.AA*A??EmA??0?=???En??A*A*A??????0??A*A??0??10??AA*0?A??0?0?=S?*???S~?*???*?*?En?可逆,故?A*0??AAA??AAA????*)=0與det(λE-A*A)=0有相同非零解,從而det(λE-AA得證AA*與A*A有相同的非零特征值.奇異值的概念定義4.3.1:?A∈Crm×n,AA*∈Cm×m或A*A∈Cn×n的正特征值的算術(shù)平方根稱為A的正奇異值(簡稱奇異值,共有r個(gè)記為α1,…,αr).例:求A=??1?0??10??1?∈C0??3×22正規(guī)矩陣的奇異值定理4.3.2:正規(guī)矩陣的奇異值是其非零特征值的模.證:設(shè)A為正規(guī)矩陣,則有U∈Un×n使A=Udiag(λ1,…,λn)U*A*=Udiag(λ1,...,λn)U*從而AA*=Udiag(|λ1|2,…,|λn|2)U*得證A的正奇異值是A的非零特征值的模.的奇異值.解:A*A=??1?21??1??,det(λE-A)=λ2-3λ+1的兩個(gè)根:(3±√5)/2均為正,A的奇異值為:α1=((3+√5)/2)1/2;α2=((3-√5)/2)1/2.例4.3.1:見P.191.安徽大學(xué)章權(quán)兵5矩陣分析矩陣的酉等價(jià)關(guān)系定義:設(shè)A,B∈Cm×n,若有S∈Cmm×m,T∈Cnn×n使B=SAT,則稱B與A等價(jià);若有U∈Um×m,V∈Un×n使B=UAV,則稱B與A酉等價(jià).不難證明Cm×n中的等價(jià)或酉等價(jià)關(guān)系R是等價(jià)關(guān)系.?A∈Cm×n,ARA：A=EmAEn(ARB?BRA)：A=UBV?B=U*AV*,U*∈Um×m,V*∈Un×n(ARB&BRC?ARC)：A=UBV&B=U′CV′?A=UU′CV′V注1:A與B酉等價(jià)當(dāng)且僅當(dāng)它們有相同的奇異值.注2:?A∈Cm×n的酉等價(jià)類中有一個(gè)最簡單形狀的矩陣(見定理4.3.3).(A∈Crm×n等價(jià)于diag(Er,0)=PAQ)奇異值分解定理1定理4.3.3:令α1,…,αr為A∈Crm×n的全部正奇異值;?=diag(α1,…,αr),則有U∈Um×m,V∈Un×n使U*AV=?0?0??=D∈Cm×nr0???(*)U滿足U*AA*U是對角矩陣,V滿足V*A*AV是對角矩陣.(A=UDV*稱為A的奇異值分解式)證:因AA*為m階半正定矩陣,故有U∈Um×m使20??0???分塊U=(U1,U2),則U1∈Urm×r,U2∈Um-rm×(m-r)U*AA*U=diag(α12,…,αr2,0,…0)=?0?對角陣次酉陣奇異值分解定理1續(xù)2??0?U1*??U1*AA*U1U1*AA*U2?0??U1*???=?*?AA*(U1,U2)=?*?(AA*U1,AA*U2)=?**U2?0??U2???U2AA*U1U2AA*U2?奇異值分解定理1續(xù)令V1=(v1,…,vr),則v1,…,vr為標(biāo)準(zhǔn)正交組.將此標(biāo)正組擴(kuò)大為Cn的標(biāo)正基:v1,…,vr,vr+1,…,vn,令V=(v1,…,vn)=(V1,V2)∈Un×n,其中V2=(vr+1,…,vn).易見0=V1*V2=?-1U1*AV2?U1*AV2=0綜合以上得U*AVU1*AV2??U*??U*AV=?1*?A(V1,V2)=?1*1?UAVU*AV??U?22??21?2??U*AA*U1??1=?1?0?0???2??1?=?0??0??0???0??=??0??00????比較(1,1)塊得?2=U1*AA*U1比較(2,2)塊得0=U2*AA*U2=(U2*A)(U2*A)*?U2*A=0.(?M∈Cm×n,MM*=0?0=tr(MM*)=Σ2i,j|mij|i,j,mij=0?M=0)令V1=A*U1?-1∈Cn×r則V1*V1=?-1U1*AA*U1?-1=?-1?2?-1=E?V1∈Urn×r奇異值分解定理2定理4.3.4:令α1,…,αr為A∈Crm×n的全部正奇異值;?=diag(α1,…,αr),則有U1∈Urm×r,V1∈Urn×r使A=U1ΔV1.證:由定理4.3.3直接推出A=U??0?00??V??*關(guān)于奇異值分解定理的注(1)定理4.3.3的證明同時(shí)給出了因子矩陣U,V的求法.(U(V)是使AA*(A*A)酉相似對角化的變換矩陣)(2)矩陣U,V的列分別是AA*,A*A的對應(yīng)特征向量.證:只證U(類似可證V).U*AA*U=diag(λ1,…,λm),λi為AA*的特征值.令U=(u1,…,um),則(AA*u1,…,AA*um)=AA*(u1,…,um)=(u1,…,um)diag(λ1,…,λm)=(λ1u1,…,λmum)??i,AA*ui=λiuiA*A=VD*U*UDV*=Vdiag(λ1,…,λm)V*??i,A*Avi=λivi=(U1,U2)??0?00V1*??*??V??2V*?=(U1?,0)?1*?=U1?V1*?V??2?安徽大學(xué)章權(quán)兵6矩陣分析奇異值分解例1例4.3.1:求A=1??0?0?2??0?0??奇異值分解例2例:求A=解:AA*=1??2?000??0??的奇異值分解式.的奇異值分解式.解:AA*=diag(5,0,0),σ(AA*)={5,0,0},Δ=(√5).U1∈U13×1是AA*對應(yīng)于5的單位特征向量x=(1,0,0)T,U=E3.V1=A*U1?-1=??1?200?1?0?????0??0????0?1??2?2?*?4?,σ(AA)={5,0},r=1,Δ=(√5).?U1∈U12×1是AA*對應(yīng)于5的單位特征向量x=(1/√5,2/√5)TV1=A*U1?-1=?00??1?2???0???0???1525()=15151????2???,V=151??2?2??1??()=15151??0?0?2??1???1???0???=?0??2?0????0????所以A的奇異值分解式是A=UDV*=?0?0?1?0100??5?0??0?1??0??0???0??0???15?251251?????=?0?5??0???(5)(1525)=U1V1*所以A的奇異值分解式是?15*=?A