第5章向量范數(shù)與矩陣范數(shù)21

1、1將實(shí)數(shù) 5.1 5.1向量和矩陣的范數(shù)向量和矩陣的范數(shù) 向量范數(shù)概念是三維歐氏空間中向量長度概念的推廣，在數(shù)值分析中起著重要作用. 定義定義1 1niiiTyxxyyx1),(（或 ）.TnTnyyyyxxxx),(,),(2121nRnC設(shè)（或復(fù)數(shù) ）niiiHyxxyyx1),(稱為向量 的數(shù)量積數(shù)量積. yx,22112212),(niixxxx2112212),(niixxxx將非負(fù)實(shí)數(shù) 或稱為向量 的歐氏范數(shù)歐氏范數(shù) . x 定理定理1 1 關(guān)于范數(shù)，成立如下定理.),CR,nnyx或（設(shè)則 ；時(shí)成立當(dāng)且僅當(dāng) 0 , 0),( .1xxx3為實(shí)數(shù), ),(),( .2yxyx);,

2、(),( (),(),( .3xyyxxyyx或);,(),(),( .42121yxyxyxx 5.5. (Cauchy-Schwarz不等式) ,),(22yxyx等號(hào)當(dāng)且僅當(dāng) 與 線性相關(guān)時(shí)成立； xy）；為復(fù)數(shù)或 ),(),( (yxyx 6.6. 三角不等式 .222yxyx4 也可以用其他辦法來度量向量的“大小”. 向量的歐式范數(shù)可以看成是對 中向量“大小”的一種度量.nR 例如，對于 可以用一個(gè) 的函數(shù),R),(221Txxxx 來度量 的“大小”，而且這種度量“大小”的方法計(jì)算起來比歐氏范數(shù)方便. iixxN2,1max)(x 一般要求度量向量“大小”的函數(shù) 滿足正定性、齊次性

3、和三角不等式. )( xN5），正定條件當(dāng)且僅當(dāng)() 0 0(0 . 1xxxF ),C(R , .2nnxxxx或），三角不等式( .3yxyx（5.1）則稱 是 (或 )上的一個(gè)向量范數(shù)(或模). nR)(xNnC 由(3) 定義定義2 2如果向量 (或 )的某nxRnC個(gè)實(shí)值函數(shù) ，滿足條件：xxN)(向量的范數(shù)). yyxyyxx6. .4yxyx（5.2）. xxyxxyy從而有 幾種常用的向量范數(shù). 1. 向量的 -范數(shù)(最大范數(shù))： .max1inixx 2. 向量的1-范數(shù)： .11niixx7 可以證明向量函數(shù) 是 上向量的范數(shù),pxxN)(nR 3. 向量的2-范數(shù)： .)

4、(),(1212212niixxxx也稱為向量 的歐氏范數(shù). x,)(/11pnipipxx 4. 向量的 -范數(shù)： p且容易說明上述三種范數(shù)是 -范數(shù)的特殊情況.pHlder不等式：11111nnnpqpqkkkkkkka bab Minkowski不等式：111111nnnppppppkkkkkkkabab 其中1,)111ppq 8如果 例例1 1計(jì)算向量 的各種范數(shù). Tx)3 ,2, 1 ( 解解 .14, 3,621xxx 定義定義3 3設(shè) 為 中一向量序列， )(kxnR,R*nx .),(*,),(*2*1)()(2)(1)(TnTknkkkxxxxxxxx),2, 1(lim

5、*)(nixxikik則稱 收斂于向量 ，)(kx*x.lim*)(xxkk記記為 9 定理定理2 2( 的連續(xù)性)( xN為 上任一向量范數(shù)nR則 是 的分量)(xNxnxxx,21xxN)( 設(shè)非負(fù)函數(shù)的連續(xù)函數(shù). 證明證明,11niiiniiieyyexx設(shè)),0 ,0 , 1 ,0(ie其中 只須證明當(dāng) 時(shí) . yx )()(yNxN事實(shí)上 yxyNxN)()(yx niiiieyx1)(10niiiieyx1即 ,( 0)()(）時(shí)當(dāng)yxyxcyNxN其中 .1niiec,1niieyx11的任意兩種范數(shù)， 定理定理3 3設(shè) 為 上向量tsxx,nR則存在常數(shù),0,21cc 證明證明

6、 只要就 證明上式成立即可，即證明xxs存在常數(shù) 使 ,0,21cc.0R ,21xxcxxcnt且對一切考慮泛函 .R,0)(ntxxxf(向量范數(shù)的等價(jià)性),21stsxcxxc有 nxR使得對一切12 由于 為 上的連續(xù)函數(shù)，所以 于 上達(dá)到最大最小值，)(xfS)(xfS記 則 是一個(gè)有界閉集. ,R, 1nxxxSS即存在 使得Sxx ,.)(max)(,)(min)(21cxfxfcxfxfSxSx 設(shè) 且nxR,0 x,Sxx則從而有 ,21cxxfc（5.3）顯然 上式為 ,0,21cc13,21cxxct即 .R ,21ntxxcxxc對一切 定理3不能推廣到無窮維空間. 由

7、定理3可得到結(jié)論：如果在一種范數(shù)意義下向量序列收斂時(shí)，則在任何一種范數(shù)意義下該向量序列均收斂. 14 定理定理4 4,0*lim*lim)()(xxxxkkkk 證明證明,0*lim*lim)()(xxxxkkkk而對于 上任一種范數(shù)，nR *)()(1xxxxckk于是又有 .0*lim0*lim)()(xxxxkkkk 其中為向量的任一種范數(shù). 顯然，使 , 0,21cc由定理3，存在常數(shù) ,*)(2xxck15 5.2 向量范數(shù)概念可以推廣到矩陣. 視 中的矩陣為 中的向量，nnR2Rn則由 上的2范數(shù)2Rn可以得到 中矩陣的一種范數(shù) nnR,)(211,2,njijiFaAAF稱為 的

8、Frobenius范數(shù). A 顯然滿足正定性、齊次性及三角不等式. FA 定義定義4 4如果矩陣 的某個(gè)非負(fù)的nnA R實(shí)值函數(shù) , AAN)(矩陣的范數(shù))滿足條件 16正定條件),( ) 0 0(0 . 1AAA ( R , .2齊次條件);ncAccA三角不等式);( .3BABA（5.4） . .4BAAB則稱 是 上的一個(gè)矩陣范數(shù)(或模). )( ANnnR 上面定義的 就是 上的一個(gè)矩陣范數(shù). FAAF)(nnR 由于在大多數(shù)與估計(jì)有關(guān)的問題中，矩陣和向量會(huì)同時(shí)參與討論，所以希望引進(jìn)一種矩陣的范數(shù)，它和向量范數(shù)相聯(lián)系而且和向量范數(shù)相容的.17 . xAAx（5.5） 定義定義5 5設(shè)

9、 , ，nxRnnA R給出一種向量范數(shù) (如 或)，相應(yīng)地定義一個(gè)矩陣的非負(fù)函數(shù)vx2,1v即對任何向量 及 都成立nnA RnxR(矩陣的算子范數(shù)) . max 0vvxvxAxA（5.6）可以驗(yàn)證 滿足定義4，所以 是 上矩陣的一個(gè)范數(shù)，稱為 的算子范數(shù). vAvAnnRA18 定理定理5 5設(shè) 是 上一個(gè)向量范數(shù)，vxnR則 是vAnnR . vvvxAAx（5.7） 證明證明由(5.7)，有 vvvBxAABx 上矩陣的范數(shù)，且滿足相容條件 由(5.6)相容性條件(5.7)是顯然的.現(xiàn)只驗(yàn)證定義4中條件(4). . vvvxBA當(dāng) 時(shí)，有 0 x . vvvvBAxABx19故 vv

10、xvxABxAB0max 顯然這種矩陣范數(shù) 依賴于具體的向量范數(shù) .vAvx也就是說，給出一種具體的向量范數(shù) ，相應(yīng)地就可得到一種矩陣范數(shù) . vxvA 定理定理6 6 設(shè) , ，則nxRnnA R的行范數(shù)),稱為AaAnjijni( max 1. 11. vvBA的列范數(shù)),稱為AaAniijnj( max 2. 11120. )( 3. max2范數(shù)）的2(稱為AAAAT其中 表示 的最大特征值. )(maxAATAAT 證明證明 1. 設(shè) , 不妨設(shè) . 0),(1Tnxxx0A,max1inixxt則 只就1，3給出證明，2同理. 記 ,max11njijnianjjijnixaAx1

11、1maxnjjijixa1max.max1njijiat21這說明對任何非零 ，nxR . xAx（5.8） 接下來說明有一向量 , 00 x 設(shè) ，njjia10取向量 , Tnxxx),(10).,2, 1()sgn(0njaxjij有 . 00 xAx使 其中 顯然 , 10 x且 的第 個(gè)分量為 ，0Ax0injjinjjjiaxa1100這說明 22njjijnixaAx110max 3. 由于對一切 ,Rnx從而 的特征值為非負(fù)實(shí)數(shù)，AAT.021n（5.9） 為對稱矩陣，設(shè) 為 的相應(yīng)于(5.9)的特征向量且 ，又設(shè) 為任一非零向量，AAATnuuu,21ijjiuu),(nxR

12、,1niiiucx),(22AxAxAx設(shè)為 于是有 njjia10.,0),(xAxAT23其中 為組合系數(shù)，則 ic),(),(2222xxxAxAxAxT 另一方面，取 ，則上式等號(hào)成立，故 1ux 2202maxxAxAx 例例2 2設(shè) ，計(jì)算 的各種范數(shù). 4321AA 解解 niiniicc12112.1. )(max1AAT,642,31max1A24,477.54)3()2(12222FA,743,21maxA.46.522115)(max2AAAT 對于復(fù)矩陣(即 )定理6中的第1,2項(xiàng)顯然也成立，3應(yīng)改為nnAC2/102maxxxAxAxAHHHx. )(maxAAH25

13、 定義定義6 6 設(shè) 的特征值為 , nnA R), 2 , 1(niiiniA1max)(為 的譜半徑譜半徑. A 定理定理7 7設(shè) ,nnA R則 , AA )(即 的譜半徑不超過 的任何一種算子范數(shù)(對 亦對). AAFA稱 (特征值上界) 證明證明設(shè) 是 的任一特征值， 為相應(yīng)的特征向量，Ax則 ，xAx由相容性條件 (5.7) 得 xxAx,xA 注意到 , 即得 0 xA26 定理定理8 8如果 為對稱矩陣，nnA R 定理定理9 9如果 ，1B則 為非奇異矩陣，BI ,11)(1BBI其中是指矩陣的算子范數(shù). ).(2AA則 且 證明證明若 , 0)det( BI使 , , 00

14、 xBx100 xBx用反證法. 0)(xBI則有非零解，00 x即存在 又由 ，有 IBIBI1)(1B故 ，000 xBBxx與假設(shè)矛盾. 27,)()(11BIBIBI從而 ,)()(11BIBIBI.11)(1BBI285.3 5.3 誤差分析誤差分析 5.3.1 5.3.1 矩陣的條件數(shù)矩陣的條件數(shù) 考慮線性方程組 ,bAx 其中設(shè) 為非奇異矩陣， 為方程組的精確解. Ax 由于 (或 )元素是測量得到的，或者是計(jì)算的結(jié)果，Ab在第一種情況 (或 )常帶有某些觀測誤差.Ab 在后一種情況 (或 )又包含有舍入誤差. Ab 因此我們處理的實(shí)際矩陣是 (或 ). AAbb29 下面研究數(shù)

15、據(jù) (或 )的微小誤差對解的影響. Ab即考慮估計(jì) ，yx 其中 是 的解. ybyAA)( 例例3 3.220001.111121xx（6.1）記為 , 它的精確解為bAx .)0,2(Tx 設(shè)有方程組 現(xiàn)在考慮常數(shù)項(xiàng)的微小變化對方程組解的影響，即考察方程組 ,0001.220001.111121xx（6.2）30也可表示為 ,bbxxA)( 方程組(6.2)的解為 .)1 , 1(Txx,xxy為(6.1)的解. x,)0001.0,0(Tb 其中 可以看到(6.1)的常數(shù)項(xiàng) 的第2個(gè)分量只有 的微小變化，方程組的解卻變化很大. 這樣的方程組稱為病態(tài)方程組. b100001 以下給出病態(tài)性

16、的定義.31 矩陣的“病態(tài)”性質(zhì)是矩陣本身的特性，下面希望找出刻畫矩陣“病態(tài)”性質(zhì)的量. 設(shè)有方程組 bAx（6.3）其中 為非奇異陣， 為(6.3)的準(zhǔn)確解. Ax 定義定義7 7如果矩陣 或常數(shù)項(xiàng) 的微小變化，引起方Ab程組 解的巨大變化，bAx 組為“良態(tài)良態(tài)”方程組方程組， 稱為“良態(tài)良態(tài)”矩陣矩陣. A矩陣 稱為“病態(tài)病態(tài)”矩陣矩陣(相對于方程組而言)，否則稱方程A則稱此方程組為“病態(tài)病態(tài)”方程組方程組，32 設(shè) 是精確的， 有誤差 ，解為 , Abbxx,1bAx.1bAx（6.4）由(6.3) ,xAb).0(1bbAx設(shè)（6.5）于是由(6.4)及(6.5)，得 則利用bAx

17、,)(bbxxA有從而33 定理定理1010設(shè) 是非奇異陣， ，且 A0 bAx,)(bbxxA則 .1bbAAxx 上式給出了解的相對誤差的上界，常數(shù)項(xiàng) 的相對誤差在解中可能放大 倍. bAA1 現(xiàn)設(shè) 是精確的， 有微小誤差(擾動(dòng)) , 解為 ,bAAxx則 ,)(bxxAA34.)()(xAxAA（6.6） 如果不對 加以限制， 可能奇異，而 AAA),(1AAIAAA 由定理9知，當(dāng) 時(shí)， 存在. 11AA11)(AAI,)()(111xAAAAIx由(6.6)式可推出 因此利用定理9的結(jié)果，有 .)(111AAxAAx35設(shè) ，即得 11AA.111AAAAAAAAxx（6.7） 定理

18、定理1111設(shè) 為非奇異矩陣， ，且A0 bAx,)(bxxAA如果 ，則(6.7)式成立. 11AA 如果 充分小，且在條件 下，(6.7)式A11AA說明矩陣 的相對誤差 在解中可能放大 倍. AAA /AA136 量 愈小，由 (或 )的相對誤差引起的解的相對誤差就愈??；AA1Ab 量 愈大，解的相對誤差就可能愈大. AA1 所以量 實(shí)際上刻畫了解對原始數(shù)據(jù)變化的靈敏程度，即刻畫了方程組的“病態(tài)”程度， AA1 定義定義8 8設(shè) 為非奇異陣，A)2, 1(或v為矩陣 的條件數(shù)條件數(shù). AvvvAAAcond1)(稱數(shù) 矩陣的條件數(shù)與范數(shù)有關(guān). 由上面討論知，當(dāng) 的條件數(shù)相對的大，即A1)

19、(Acond37時(shí)，(6.3)是“病態(tài)”的(即 是“病態(tài)”矩陣，或者說 是壞條件的，相對于解方程組).AA 當(dāng) 的條件數(shù)相對的小，則(6.3)是“良態(tài)”的(或者說 是好條件的). AA 方程組病態(tài)性質(zhì)是方程組本身的特性. 的條件數(shù)愈大，方程組的病態(tài)程度愈嚴(yán)重，也就愈難用一般的計(jì)算方法求得比較準(zhǔn)確的解. A 常用的條件數(shù)有 (1) ;)(1AAAcond38 當(dāng) 為對稱矩陣時(shí) A,)(12nAcond其中 為 的絕對值最大和絕對值最小的特征值. n,1A 條件數(shù)的性質(zhì)： 1. 對任何非奇異矩陣 ，都有 . A1)(vAcondvvvAAAcond1)( (2) 的譜條件數(shù) A.)()()(min

20、max2212AAAAAAAcondTT事實(shí)上， ; 11vAA39 3. 如果 為正交矩陣，則 ; A1)(2Acond如果 為非奇異矩陣， 為正交矩陣，AR.)()()(222AcondARcondRAcond;)()(vvAcondcAcond 2. 設(shè) 為非奇異陣且 (常數(shù))，則 A0c則 40 例例4 4,1211111131211211nnnnnHn計(jì)算 的條件數(shù). 3H 解解 ,.514131413121312113H已知希爾伯特（Hilbert）矩陣 .18018030180192363036913H41 (1) 計(jì)算 條件數(shù) 3H)(3Hcond,408,6/11133HH所

21、以 .748)(3Hcond 同樣可計(jì)算 ,109 .2)(76Hcond 當(dāng) 愈大時(shí)， 矩陣病態(tài)愈嚴(yán)重. nnH (2) 考慮方程組 ,)60/47,12/13,6/11(3bxHT設(shè) 及 有微小誤差(取3位有效數(shù)字)有 3Hb.1085. 9)(87Hcond42,783.008.183.1200.0250.0333.0250.0333.0500.0333.0500.000.1332211xxxxxx（6.8）簡記為 .)(33bbxxHH 方程組 與(6.8)的精確解分別為： bxH3,) , 1, 1, 1 (Tx.)491002798. 1,487967062. 0,08951253

22、8. 1 (Txx于是 ,)4910. 0,5120. 0,0895. 0(Tx%,02. 01018. 0333HH43 這就是說 與 相對誤差不超過 ，而引起解的相對誤差超過 . 3Hb%30%50%,182. 0bb%.2 .51xx 由上討論，要判別一個(gè)矩陣是否病態(tài)需要計(jì)算條件數(shù).)(1AAAcond 而計(jì)算 是比較費(fèi)勁的，最好在計(jì)算中能發(fā)現(xiàn)病態(tài)情況.1A (1) 如果在 的三角約化時(shí)(尤其是用主元素消去法解 時(shí))出現(xiàn)小主元，對大多數(shù)矩陣來說， 是病態(tài)矩陣. AbAx A44 對于病態(tài)方程組可采用高精度的算術(shù)運(yùn)算(采用雙倍字長進(jìn)行運(yùn)算), 或者采用預(yù)處理方法. (2) 系數(shù)矩陣的行列式值相對說很小，或系數(shù)矩陣某些行近似線性相關(guān)，這時(shí) 可能病態(tài). A (3) 系數(shù)矩陣 元素間數(shù)量級(jí)相差很大，并且無一定規(guī)則， 可能病態(tài). AA 用選主元素的消去法不能解決病態(tài)問題.bAx 即將求解 轉(zhuǎn)化為一等價(jià)方程組 .;1xQyPbPAQy45選擇非奇異矩陣 使 QP,).()(AcondPAQcond 一般選擇 為對角陣或