矩陣分析 第二章

1、第2章 范數(shù)理論及其應(yīng)用 2.1向量范數(shù)及l(fā)p范數(shù)定義：如果V是數(shù)域K上的線性空間，且對(duì)于V的任一向量x，對(duì)應(yīng)一個(gè)實(shí)數(shù)值|x|，它滿足以下三個(gè)條件：1)非負(fù)性： |x|³0,且|x|=0Û x=0;2)齊次性：|k×x|=|k|×|x|， kÎK；3)三角不等式：|x+y|£|x|+|y|.則稱|x|為V上向量x的范數(shù)，簡稱為向量范數(shù)?？梢钥闯龇稊?shù)|×|為將V映射為非負(fù)數(shù)的函數(shù)。注意：2)中|k|當(dāng)K為實(shí)數(shù)時(shí)為絕對(duì)值， 當(dāng)K為復(fù)數(shù)域時(shí)為復(fù)數(shù)的模。雖然向量范數(shù)是定義在一般的線性空間上的，但是由于前面的討論，我們知道任何n維線性

2、空間在一個(gè)基下都代數(shù)同構(gòu)于常用的n維復(fù)(或?qū)?列向量空間，因此下面我們僅僅討論n維復(fù)(或?qū)? 列向量空間就足夠了。下面討論如下：1.設(shè)|×|為線性空間Vn的范數(shù)，任取它的一個(gè)基x1,x2,xn,則對(duì)于任意向量x,它可以表示為 x=x1x1+x2x2+xnxn其中，(x1,x2,xn)T為x的坐標(biāo)。由此定義Cn(或Rn)中的范數(shù)如下： |x|C =j(x)=|x1x1+x2x2+xnxn|則容易驗(yàn)證|x|C確實(shí)為Cn中的范數(shù).2.反之, 若|x|C為Cn中的范數(shù)，定義Vn的范數(shù)如下： |x|=f(x)=|x|C其中x=x1x1+x2x2+xnxn。則容易驗(yàn)證 f(x)確實(shí)為Vn的范數(shù)。

3、這個(gè)例子充分說明了一般線性空間的范數(shù)和n維復(fù)(或?qū)?列向量空間的范數(shù)之間的關(guān)系。這也是為我們只討論n維復(fù)(或?qū)?列向量空間的范數(shù)的理由.范數(shù)首先是一個(gè)函數(shù)，它將線性空間的任意向量映射為非負(fù)實(shí)數(shù)。范數(shù)與函數(shù)性質(zhì)1. 范數(shù)是凸函數(shù)，即 | (1-l)x+ly|£(1-l)|x|+l|y|其中 0£ l £ 1。向量的范數(shù)類似于向量長度。性質(zhì)2. (范數(shù)的乘法)若|×|為線性空間V上的向量范數(shù)，則k|×| 仍然為向量范數(shù), 其中k > 0.性質(zhì)3. 設(shè)|×|comp為Rm上的范數(shù)，且對(duì)xÎ (R+)m為單調(diào)增加的(即,若x,

4、yÎ(R+)m,且xi£yi,那么|x|comp£|y| comp成立.),那么，對(duì)于給定的m個(gè)n維線性空間V上的范數(shù)|×|i,i=1,2,m,我們可以定義一個(gè)復(fù)合范數(shù)為 |x|=|U(x)| comp ,其中，U(x)=( |x|1,|x|2, ,|x|m)T.證明：非負(fù)性和齊次性是顯然的，僅需證明三角不等式。|x+y|=| U(x+y)| comp £|U(x)+U(y)| comp(因U(x+y) £U(x)+U(y)£|U(x)| comp+| U(y)| comp=|x|+| y|例如. 若|×|f和|&

5、#215;|g為線性空間V上的兩個(gè)向量范數(shù)，則(1). |×|f + |×|g 為V上向量范數(shù)。(2). max |×|f , |×|g 為V上向量范數(shù)。(3) (|×|f )2 + (|×|g)21/2為V上向量范數(shù)。性質(zhì)4. (范數(shù)的合成)設(shè)n維線性空間V= V1ÅV2ÅÅVm,且|×|i,i=1,2,m,為線性子空間Vi上的范數(shù)，而|×|comp為Rm上的范數(shù)，且對(duì)xÎ (R+)m為單調(diào)增加的(即,若x,yÎ(R+)m,且xi£yi,那么|x|com

6、p£|y| comp成立.),則對(duì)任意xÎV,存在唯一的分解 x=x1+x2+xm其中xiÎVi,這時(shí)定義x的范數(shù)為|x|=|U(x)|comp,其中，U(x)=( |x1|1,|x2|2, ,|xm|m)T.證明類似于性質(zhì)3.(略)定義: 線性空間V的閉凸集W若滿足,xÎW,則l×xÎW,其中|l|£1，那么W為均衡閉凸集。性質(zhì)5. (范數(shù)與凸集,又稱為范數(shù)的幾何性質(zhì)) 若|×|為線性空間V上的向量范數(shù)，集合W=x: |x|£ 1為V上均衡閉凸集。反之，若W為V上的均衡閉凸集，且W含有內(nèi)點(diǎn)，即包含一個(gè)小

7、的單位球。則可以定義函數(shù)P(x)如下：當(dāng)x¹0時(shí)，P(x)= min l > 0:x/lÎW 當(dāng)x=0時(shí)，P(x)=0.則P(x)為V上的范數(shù)。證明：1). 顯然 P(x) ³ 0, 且P(0)=0. 下面我們證明若P(x)=0, 則x=0;用反證法， 設(shè)x¹0， 則由P(x)的定義，任給l>P(x)=0, 則有x/lÎW。 因?yàn)閃為有界集。即存在常數(shù)M>0 使得 對(duì)任意yÎW, |y|£M. 其中 |×|為某一給定的范數(shù)。令y=x/l,則得到|x/l|£M,即|x|£l

8、15;M,由于l為任意大于0的數(shù)，若令l®0 則有|x|=0。因|×|為范數(shù)，從而 x=0. 這樣，我們就證明了1).2). 若x=0, 則P(k x)=|k|P(x)顯然成立。假設(shè)x¹0, 由于x/P(x)ÎW,且任何l³P(x), x/lÎW;而任何l< P(x), x/lÏW.顯然 k x/P(kx)ÎW, 則(k/|k|)×x / P(kx)/|k| ÎW注意k/|k|的幅度為1,從而由W的均衡性， 我們有x / P(kx)/|k|ÎW， 這樣由定義有P(x)£

9、P(kx)/|k|, 即 |k|×P(x)£P(kx). (©)同樣由于x/P(x)ÎW,注意到k/|k|的幅度為1，從而(kx)/(|k| P(x) )ÎW,由定義有 P(kx)£ |k|×P(x) (ª)聯(lián)合(©)和(ª)， 我們有P(kx)=|k| P(x).(3). 設(shè)x¹0,y¹0, 則x/P(x)ÎW, y/P(y)ÎW,令l=P(y)/(P(x)+P(y), 由于W為凸集，從而(x+y)/(P(x)+P(y)=(1-l)× x/P(

10、x)+l× y/(P(y)ÎW,這樣有P(x+y)的定義，我們有 P(x+y)£P(x)+P(y).當(dāng)x和y有一個(gè)或全部為0時(shí)，顯然三角不等式仍然成立。聯(lián)合1), 2)和3), 從而P(x)為范數(shù)。這個(gè)性質(zhì)說明了范數(shù)和均衡凸集之間的一一對(duì)應(yīng)關(guān)系。 均衡凸集與范數(shù)例1: 向量的p范數(shù)： |x|p=|x1|p+|x2|p+|xn|p1/p取p=1,2,和¥便分別得到1范數(shù)，2范數(shù)和¥范數(shù)。即 |x|1=|x1|+|x2|+|xn| |x|2=|x1|2+|x2|2+|xn|21/2 |x|¥=maxi |xi|其中|×|2范數(shù)為

11、由內(nèi)積導(dǎo)出的范數(shù)。Holder不等式 p,q>1, 1/p+1/q =1.例2. 若A為可逆變換，|×|為線性空間V的范數(shù)，則|x|a=|Ax|仍為V的范數(shù).例3.(加權(quán)范數(shù))設(shè)A為實(shí)對(duì)稱正定矩陣，對(duì) xÎRn,定義|x|=(xTAx)1/2稱為加權(quán)范數(shù)。范數(shù)有無窮多， 但它們彼此等價(jià)。即定理(范數(shù)的等價(jià)定理)：設(shè)|x|a和|x|b為有限維線性空間的任意兩個(gè)范數(shù)，則存在與x無關(guān)的兩個(gè)大于0常數(shù)c1,c2使得下面式子成立： c1|x|b £ |x|a £ c2|x|b證明思路 1)范數(shù)等價(jià)為等價(jià)關(guān)系,滿足傳遞性;2)任意范數(shù)為坐標(biāo)函數(shù)的連續(xù)函數(shù)；3)

12、在單位超球面上有大于零的極大極小值, 與2-范數(shù)等價(jià)。利用范數(shù)等價(jià)證明:向量收斂的兩個(gè)定義一致性.即：向量序列x(n)收斂于x指每個(gè)分量數(shù)列xi(n) -xi收斂于0。向量序列x(n)收斂于x指范數(shù)數(shù)列|x(n)-x|收斂0。矩陣范數(shù)定義2.3 設(shè)AÎCm´n,定義一個(gè)實(shí)值函數(shù)|A|,它滿足以下三個(gè)條件： 1)非負(fù)性： |A|³0,且|A|=0Û A=0;2)齊次性：|k×A|=|k|×|A|， kÎC；3)三角不等式：|A+B|£|A|+|B|.則稱|A|為A的廣義矩陣范數(shù)。很明顯矩陣按廣義范數(shù)收斂和分量收斂是等

13、價(jià)的。即：1.矩陣序列A(n)收斂于A指矩陣的每個(gè)元素?cái)?shù)列aij(n)- aij收斂于0。2.矩陣序列A(n)收斂指矩陣的廣義范數(shù)數(shù)列 |A(n) - A | 收斂于0。廣義矩陣范數(shù)可以看成將矩陣按列寫成向量的形式，然后定義的向量范數(shù)。A=a1,a2,an,寫成vec(A)=這樣，對(duì)vec(A)定義向量范數(shù)，就可以得到相應(yīng)的廣義矩陣范數(shù)了。這樣所有已經(jīng)討論的關(guān)于向量范數(shù)的性質(zhì)和構(gòu)造方法都可以用來構(gòu)造相應(yīng)的廣義矩陣范數(shù)了。若對(duì)Cm´n ,Cn´l ,Cm´l的同類廣義矩陣范數(shù)|.|有4). 相容性：|AB|£|A|×|B|則稱|A|為A的矩陣范數(shù)

14、。%對(duì)于方陣可以有如下定義的相容性：若對(duì)Cn´n 的廣義矩陣范數(shù)|.|,若有4)¢. 相容性：|AB|£|A|×|B|則稱|A|為A的矩陣范數(shù)?？梢妼?duì)于方陣的廣義矩陣范數(shù)的相容性定義，不需要討論這個(gè)廣義矩陣范數(shù)的定義規(guī)則是否可以應(yīng)用于其他維數(shù)大小的矩陣。這個(gè)是很好理解的，畢竟方陣是線性空間中變換的矩陣表示形式，而一般矩陣是兩個(gè)不同線性空間之間線性映射的矩陣表示性質(zhì)。性質(zhì)：若|×|為Cn´n的相容的矩陣范數(shù)，則|X|a=|SXS-1|仍為相容的矩陣范數(shù)。%向量范數(shù)和矩陣范數(shù)的相容性：定義2.4 對(duì)于Cm´n上的矩陣范數(shù)|.|M

15、和Cm與Cn的同類范數(shù)|.|V,如果 |Ax|V£|A|M |x|V,任給AÎCm´n，xÎCn則稱矩陣范數(shù)|.|M和向量范數(shù)|.|V相容。(在這個(gè)定義中，同類的向量范數(shù)|.|V不一定就是由矩陣范數(shù)|.|M導(dǎo)出來的)定理(存在性) 任給|.|M是Cm´n上的矩陣范數(shù)，存在Cm和Cn上的同類向量范數(shù)滿足|Ax|Vm£|A|M |x|Vn,任給AÎCm´n，xÎCn證明：任取Cn中不為0的向量a,定義|x|Vm=|x×aH|M , xÎCm;設(shè)|.|N為和|.|M同類的為Cn´n

16、的矩陣范數(shù)，定義 |y|Vn=|y×aH|N, yÎCn;易驗(yàn)證 |x|Vm, |y|Vn分別為Cm,Cn的向量范數(shù)。從而利用矩陣范數(shù)相容性可得任給yÎCn, |Ay|Vm=|Ay×aH|M=|A(y×aH)|M £|A|M|y×aH|N=|A|M|y|Vn從而成立結(jié)論。(此處，實(shí)際上定義的同類向量范數(shù)為|x|=|x×aH|,和x的維數(shù)無關(guān)。而右邊就是那個(gè)同類的矩陣范數(shù)| |M。）例：Frobenius范數(shù)或稱F-范數(shù)和|.|2范數(shù)相容. |A|F=Tr(AHA)1/2=(å |aij|2)1/2從屬(算

17、子)范數(shù)定義:設(shè)Cm與Cn的同類范數(shù)|.|，對(duì)于Cm´n上的矩陣A定義函數(shù)： |A|=是Cm´n上矩陣范數(shù),且與已知的向量范數(shù)相容.稱為之由向量導(dǎo)出的范數(shù),從屬范數(shù)或算子范數(shù)。這時(shí)我們實(shí)際上將A看作線性映射的矩陣表示.定理 設(shè)A=(aij) ÎCm´n,x=(x1,x2,xn)TÎCn則從屬于向量x的三種范數(shù)|x|1,|x|2和|x|¥的矩陣范數(shù)依次是：1）|A|1=(列范數(shù))2）|A|2=，其中l(wèi)1為AHA的最大特征值;3) |A|¥=(行范數(shù))必須特別注意，所有廣義矩陣范數(shù)都是相互等價(jià)的。范數(shù)的應(yīng)用1矩陣非奇異性條件定理

18、：設(shè)AÎCn´n,且對(duì)Cn´n的某矩陣范數(shù)|.|滿足|A|<1,則矩陣I-A非奇異，且有1) |(I-A)-1|£ |I|/(1-|A|)2) |I-(I-A)-1|£|A|/(1-|A|)證明需要利用給定矩陣范數(shù)存在和它相容的向量范數(shù)。 逆矩陣的攝動(dòng)定理2.8 設(shè)矩陣A，BÎCn´n, A非奇異，且對(duì)Cn´n的某矩陣范數(shù)|.|滿足|A-1B|<1,則1) 矩陣A+B非奇異;2) F=I-(I+A-1B)-1,|F|£ | A-1B |/(1-| A-1B |)3) |A-1-(A+B)-1|/| A-1| £|A-1B|/(1-|A-1B|)特別地 設(shè)B=dA, cond(A)=|A|×| A-1|則有|A-1-(A+dA)-1|/| A-1| £其中 Cond(A)稱為A的條件數(shù)，反映矩陣的攝動(dòng)對(duì)其逆的影響。矩陣的譜半徑及其性質(zhì)定義 設(shè)AÎCn´