向量,矩陣范數(shù),矩陣的條件數(shù)

1、9 向量，矩陣范數(shù)，矩陣的條件數(shù)向量，矩陣范數(shù)，矩陣的條件數(shù)9.1 向量，矩陣范數(shù)向量，矩陣范數(shù)一、復(fù)向量空間一、復(fù)向量空間二、向量范數(shù)的抽象定義：二、向量范數(shù)的抽象定義：三、向量序列的極限三、向量序列的極限1、矩陣范數(shù)的一般定義、矩陣范數(shù)的一般定義四、矩陣的范數(shù)四、矩陣的范數(shù) 2、矩陣的算子范數(shù)、矩陣的算子范數(shù) vvRxxvxxAAANn 0max)(滿足相容條件：滿足相容條件： ；vvvxAxA )1(。),()2(nnvvvRBABAAB （誘導(dǎo)范數(shù)）（誘導(dǎo)范數(shù)）； njijnixaxxAA110maxmax)1(； niijnjxaxxAA111101maxmax)2(。)(max)3

2、(max2202AAxxAATx 3、矩陣范數(shù)公式、矩陣范數(shù)公式4、矩陣范數(shù)的等價(jià)性、矩陣范數(shù)的等價(jià)性定理定理24，則則設(shè)設(shè)nnRA ， |1) 1 (2AnAAn。 |1) 2(1AnAAn證明：利用定義及證明：利用定義及向量范數(shù)的等價(jià)性向量范數(shù)的等價(jià)性定義定義25 （矩陣的譜半徑）（矩陣的譜半徑）nnRA 設(shè)設(shè)的特征值為的特征值為|max)(1iniA 稱稱為為A的譜半徑。的譜半徑。定理定理25（特征值界）（特征值界），設(shè)設(shè)nnRA )1(，則則|)(AA | A其其中中為滿足矩陣、為滿足矩陣、向量相容性條件的矩陣范數(shù)（算子范數(shù)）。向量相容性條件的矩陣范數(shù)（算子范數(shù)）。nnRA 設(shè)設(shè))2(

3、為對(duì)稱矩陣，則為對(duì)稱矩陣，則。)(|2AA 五五. .譜半徑譜半徑1.1.譜半徑定義：譜半徑定義： nii3 , 2 , 1 2. 特征值界特征值界證明證明（1），0 x，使使xxA ，|xA ，即即|A 。所所以以|)(AA 設(shè)設(shè) 為為A的任一特征值，于是，存在的任一特征值，于是，存在 |xAxx 且且定理定理26| 設(shè)設(shè)為矩陣的算子范數(shù)，為矩陣的算子范數(shù)， , 1| B且且為為非非奇奇異異則則BI 矩陣，且有估計(jì)矩陣，且有估計(jì)。|11|)(|1BBI 證明證明 ： 注注：1）由于矩陣的）由于矩陣的2范數(shù)與譜半徑有關(guān)，常稱范數(shù)與譜半徑有關(guān)，常稱“2”范數(shù)為譜模。范數(shù)為譜模。3. 矩陣范數(shù)估計(jì)

4、矩陣范數(shù)估計(jì)若若 為為A的特征值，的特征值， (2)則則 為為A2 的特征根，的特征根，2 。)(|2AA 又又A為對(duì)稱矩陣，則為對(duì)稱矩陣，則ATA=A2,且且ATA也是也是對(duì)稱的，對(duì)稱的，設(shè)設(shè)|)(0 A是是實(shí)實(shí)數(shù)數(shù)，0 最最大大特特征征根根，必必是是220A #)(|)()(|0202maxmax2。AAAAAT 注注：2）譜模（范數(shù)）是對(duì)稱矩陣）譜模（范數(shù)）是對(duì)稱矩陣A特征值的上界。特征值的上界。有非零解，記為有非零解，記為 ，00 xxB 由由于是，于是，1|0000 xxxxB這與題設(shè)予盾。這與題設(shè)予盾。,)1(為為非非奇奇異異陣陣證證BI 0 xBI則則用反證法。用反證法。,為為奇

5、奇異異陣陣設(shè)設(shè)BI 0 x|,|00 xxB 得得|,|00 xBxB 而而|max|xxBB ，1|00 xxB|max)(1iniA IBIBI 1)(11)()( BIBIBI|)(|)(|11 BIBIBI所所以以。即即|11|)(|1BBI (2) 證估計(jì)式證估計(jì)式IBIBBI 11)()(|)(|1 BIBI|,)(|11 BIB, 1|)(|)|1(1 BIB。同同理理可可得得|11|)(|1BBI 。|11|)(|1BBI 9.2 矩陣的條件數(shù)，病態(tài)方程組矩陣的條件數(shù)，病態(tài)方程組設(shè)有線性方程組設(shè)有線性方程組，bxA Ab誤差：舍入誤差；觀察誤差誤差：舍入誤差；觀察誤差而需處理的

6、實(shí)際而需處理的實(shí)際矩陣是矩陣是，AA ，bb 由此，需要研究方程組數(shù)據(jù)由此，需要研究方程組數(shù)據(jù)A,b的微小誤差的微小誤差（擾動(dòng)）（擾動(dòng)）對(duì)解對(duì)解x的影響，的影響， 即考慮方程組即考慮方程組估計(jì)問題。估計(jì)問題。bbyAA )(向量是向量是的解的解 y和和x的差的的差的問題：?jiǎn)栴}：1）方程組是否有解？）方程組是否有解？2）解的精確度如何？）解的精確度如何？例例12 設(shè)有方程組設(shè)有方程組 220001. 111121xx，或或記記為為bxA 精確解精確解。 02x討論討論方程組方程組， 0001. 00220001. 111121yyxxy 11得得常數(shù)項(xiàng)相對(duì)誤差：常數(shù)項(xiàng)相對(duì)誤差：，4105 . 0

7、| bb 解的相對(duì)誤差為：解的相對(duì)誤差為：。5 . 0| xx 說明說明：由于常數(shù)項(xiàng)微小誤差引起解的相對(duì)誤差較大，：由于常數(shù)項(xiàng)微小誤差引起解的相對(duì)誤差較大， 是常數(shù)項(xiàng)是常數(shù)項(xiàng)相對(duì)誤差的相對(duì)誤差的10000倍，也就是說，此方程組倍，也就是說，此方程組解解對(duì)方程組的數(shù)據(jù)對(duì)方程組的數(shù)據(jù)A，b非常敏感，這樣的方程就是非常敏感，這樣的方程就是病態(tài)方程組病態(tài)方程組。 對(duì)于什么樣的方程組是對(duì)于什么樣的方程組是病態(tài)方程組，若按以上例子來討論太麻煩，因此我們從原方程出病態(tài)方程組，若按以上例子來討論太麻煩，因此我們從原方程出發(fā)發(fā)討論刻劃方程組病態(tài)的量，即討論刻劃方程組病態(tài)的量，即擾動(dòng)分析擾動(dòng)分析。1. 實(shí)例實(shí)例

8、0001. 00b 11x 即即bbyAA )(， 11022. 擾動(dòng)分析擾動(dòng)分析是是精精確確解解。，設(shè)設(shè)xAbxA 1。的的解解記記為為xxybbyA bbxxA )(即即，bxA )(，即即)(1bAx ，|1bAx ，又又|xAxAb ，即即|1bAx 由（由（9.2）式及（）式及（9.3）式得）式得結(jié)論結(jié)論：b擾動(dòng)對(duì)解的影響。擾動(dòng)對(duì)解的影響。定理定理27nnRA )1(為非奇異矩陣，為非奇異矩陣，x為精確解，為精確解，。0 bxA，設(shè)設(shè)bbxxA )()2(則則b微小誤差微小誤差(擾動(dòng)、攝動(dòng)擾動(dòng)、攝動(dòng))引起解引起解x的相的相xbb 引引起起解解的的誤誤差差的的擾擾動(dòng)動(dòng)常常向向量量)1，

9、bbxAxA ，得得由由bxA )2.9()3.9(|xx |bb |1AA 對(duì)誤差有估計(jì)對(duì)誤差有估計(jì)式：式：.|1bbAAxx 上式說明，常數(shù)項(xiàng)上式說明，常數(shù)項(xiàng)b微小誤差引起解的相對(duì)誤差可能是微小誤差引起解的相對(duì)誤差可能是|bb 倍倍。的的|1AA 即上式的不等號(hào)中的等號(hào)可以成立。即上式的不等號(hào)中的等號(hào)可以成立。說明：說明：bxxAA )( 則則有有，或或bxAAxAA )()(，xAxAA)()( )(1AAIAAA 其其中中定理定理26知知及及由由1|11 AAAA ，又又1111)()( AAAIAA |11|11|)(|1111AAAAAAI 由（由（9.4）式有）式有xAAAx)(

10、)(1 所以所以，|1|11AAxAA xAA 引引起起解解的的誤誤差差的的擾擾動(dòng)動(dòng)系系數(shù)數(shù)矩矩陣陣)2是是精精確確解解。，設(shè)設(shè)xAbxA 1。的的解解記記為為xxybyAA )(，得得由由bxA )4.9(才有解。才有解。非奇異時(shí)，方程組非奇異時(shí)，方程組因?yàn)橐驗(yàn)?4 . 9(AA ,|應(yīng)當(dāng)相當(dāng)小應(yīng)當(dāng)相當(dāng)小另外另外A 實(shí)實(shí)際際意意義義，否否則則解解得得的的方方程程組組沒沒有有為了滿足以上限制，設(shè)為了滿足以上限制，設(shè)。1|1 AA AAI 1 非奇異，且非奇異，且AAI 1 ，xAAAAI)()(111 |)()(|111xAAAAIx |)(|11 AAI |)(|)(|111xAAAAI |

11、)(|11 AAI 。則則|1|11AAAAAAxx 定理定理28則矩陣則矩陣A微小誤差引起解的相對(duì)誤差有估計(jì)式：微小誤差引起解的相對(duì)誤差有估計(jì)式：。|1|11AAAAAAxx (1)(1)由定理由定理28，當(dāng)當(dāng) 充分小充分小, ,即即A 時(shí)時(shí)，|1|1 AA A的相對(duì)的相對(duì)的的或或由由愈愈小小時(shí)時(shí)當(dāng)當(dāng)量量bAAA,|)2(1 攝動(dòng)引起解的相對(duì)誤差就愈??；攝動(dòng)引起解的相對(duì)誤差就愈??；引起的解的相對(duì)誤差就可能愈大。因此，引起的解的相對(duì)誤差就可能愈大。因此，在某種程度上刻畫了解對(duì)問題數(shù)據(jù)在某種程度上刻畫了解對(duì)問題數(shù)據(jù)敏感程度。也可以敏感程度。也可以說成用說成用來描述方程組本身的一種性質(zhì)，它影響到解

12、的來描述方程組本身的一種性質(zhì)，它影響到解的結(jié)論：結(jié)論：A擾動(dòng)對(duì)解的影響擾動(dòng)對(duì)解的影響nnRA )1(為非奇異矩陣，為非奇異矩陣，x為精確解，為精確解，；0 bxA；設(shè)設(shè)bxxAA )()2( ；設(shè)設(shè)|1|)3(1 AA 說明：說明：可能被放大可能被放大倍。倍。|1AA |xx 誤差引起解的誤差引起解的相對(duì)誤差相對(duì)誤差愈大時(shí)，愈大時(shí)，當(dāng)量當(dāng)量|1AA |1AA 量量|1AA 可靠程度?？煽砍潭?。定義定義16，數(shù)，數(shù)，設(shè)設(shè) 1ARAnn)21(|)(1等等， vvvAAACond稱為矩陣稱為矩陣A的的條件條件數(shù)數(shù)（Condition Number）。）。A的的譜譜條件數(shù)（即取條件數(shù)（即取 ），又記

13、為，又記為 k（A）：2212|)()(AAACondAk )()(11maxmax AAAATT 。)()(minmaxAAAATT 當(dāng)當(dāng)A為對(duì)稱正定矩陣時(shí)，為對(duì)稱正定矩陣時(shí)，其中其中A特征值為特征值為，021 n 11max( AAT 。nACond 12 3. 矩陣的條件數(shù)矩陣的條件數(shù)2 1max TAA )1minAAT TAAmin1 注：注：是是則則有有022221 n 的特征根，且的特征根，且AAAT 2條件數(shù)性質(zhì)條件數(shù)性質(zhì)；1)()1( vACond事實(shí)上，事實(shí)上，由于由于vvvAAACond|)(1 。特特例例：1)( ICond，0)2(1 A；vvACondACond)(

14、)( (3) A為正交矩陣，則為正交矩陣，則；1)(2 ACond(4)設(shè)設(shè)A為非奇異矩陣，為非奇異矩陣，P為正交矩陣，則為正交矩陣，則；1|1 vvIAA事實(shí)上，事實(shí)上，由于由于|)(|)(1 AAACondv ；vACond)( |1|1 AA |1 AA；222)()()(ACondAPCondpACond 事實(shí)上，事實(shí)上，由于由于，1 AAT2122|)( AAACond所所以以22|TAA )()(maxmaxTTAAAA ；1maxmax II 事實(shí)上，事實(shí)上，由于由于 2122|)( APAPAPCond )()()(11maxmax APAPAPAPTT 2122|)( APA

15、PAPCond )()()(11maxmax APAPAPAPTT 相相似似矩矩陣陣特特征征值值相相同同 ，同同理理，22)(ACondPACond 1 APAPAPAPT（5）A為對(duì)角方陣為對(duì)角方陣。iiiiaaACondminmax)( )()()(111maxmax APAPAPAPTT ；11maxmax1)( AAAAPPTTT 221211maxmax)(ACondAAAAAATT 相相似似矩矩陣陣特特征征值值相相同同 APAPT)( TAPAP)(相似相似相似相似 TAPAP 相似相似相似相似TAAAATAAAAT)(1 AAT (4)設(shè)設(shè)A為非奇異矩陣，為非奇異矩陣，P為正交矩

16、陣，則為正交矩陣，則；222)()()(ACondAPCondpACond 事實(shí)上，事實(shí)上，由于由于 111maxmax1)( AppAAAppPPTTT 注注:2、由性質(zhì)（、由性質(zhì)（4）知用正交變換約化矩陣是合理的。）知用正交變換約化矩陣是合理的。例例，若若1004 , 3 , 2 , 11 . 0 iaii有有對(duì)對(duì)bxA 1001 . 0)det( A（計(jì)算機(jī)判斷結(jié)果）。（計(jì)算機(jī)判斷結(jié)果）。bx10 而而有精確解。有精確解。4. 病態(tài)方程組病態(tài)方程組定義定義17，設(shè)設(shè)bxA nnRA 為非奇異矩陣。當(dāng)為非奇異矩陣。當(dāng)A的的條件數(shù)條件數(shù))(ACond相對(duì)的大相對(duì)的大)1)( ACondbxA

17、 則稱則稱是是病態(tài)方程組病態(tài)方程組或或A是病態(tài)的是病態(tài)的，當(dāng)，當(dāng)A的條件數(shù)的條件數(shù))(ACond相對(duì)的小，相對(duì)的小，；1)(2 ACond(3) A為正交矩陣，則為正交矩陣，則bxA 是好條件的。是好條件的。1、由性質(zhì)、由性質(zhì)(3)知正交矩陣方程組知正交矩陣方程組3 、用條件數(shù)，即積、用條件數(shù)，即積 作為方程組作為方程組好條件或壞條件好條件或壞條件|1AA 的一種的一種度量度量。而不能用行列式的值來刻畫方程組條件的好壞。而不能用行列式的值來刻畫方程組條件的好壞。奇奇異異bxA （或（或壞條件的壞條件的），），bxA 稱稱方程組方程組（或（或好條件好條件，或，或A是良態(tài)的是良態(tài)的）。）。是是良態(tài)

18、良態(tài)；222)()()()4(ACondAPCondpACond （1）條件數(shù)與）條件數(shù)與A及及1 A有關(guān)，因此方程組是有關(guān)，因此方程組是病態(tài)的或良態(tài)病態(tài)的或良態(tài)無關(guān)。無關(guān)。 （2）矩陣的條件數(shù)愈大，方程組病態(tài)程度愈嚴(yán)重，也就愈難用）矩陣的條件數(shù)愈大，方程組病態(tài)程度愈嚴(yán)重，也就愈難用普通計(jì)算方法求得比較精確的解。普通計(jì)算方法求得比較精確的解。例例15看課本。例看課本。例15是是 Hilbert 矩陣（著名的病態(tài)矩陣（著名的病態(tài)矩陣矩陣）。）。例例13 設(shè)有方程組設(shè)有方程組 220001. 111121xx，或或bxA 。計(jì)計(jì)算算 )(ACond解解 1110001.10001.01,0001.

19、11111AA 容易計(jì)算容易計(jì)算41100001. 2|0001. 2| AA， 所以所以。41104|)( AAACond說明說明：的的，只與，只與A有關(guān)，也即是方程組本身固有的，與解有關(guān)，也即是方程組本身固有的，與解 的方法的方法bxA 因此因此, ,該方程組是該方程組是病態(tài)方程組。病態(tài)方程組。5. 事后誤差估計(jì)事后誤差估計(jì) 為計(jì)算近似解。用計(jì)算剩余為計(jì)算近似解。用計(jì)算剩余*xAbr 向向量量來檢驗(yàn)計(jì)算解的精度，是否來檢驗(yàn)計(jì)算解的精度，是否bxAxr 就就是是很很小小，*一個(gè)較好的近似解呢？一個(gè)較好的近似解呢？定理定理29 （事后誤差估計(jì)）（事后誤差估計(jì)）（1）設(shè)設(shè)A為非奇異矩陣，為非奇異

20、矩陣，；是是精精確確解解，即即0 bxAx，*xAbr 相對(duì)誤差有估計(jì)式相對(duì)誤差有估計(jì)式。|)(|*brACondxxx *,1xxAbxA是是精精確確解解，設(shè)設(shè) ( 2 ) 設(shè)設(shè) 是方程組一個(gè)近似解，是方程組一個(gè)近似解，*x則近似解則近似解 的的*x證明證明，得得由由rAxAbAxbAxx111*)(* rAxx1* ，得得由由bxA xAb |，|1bAx ，所所以以|*1brAAxxx 。即即|)(|*brACondxxx 該結(jié)論說明，近似解該結(jié)論說明，近似解精度精度(誤差界誤差界)不僅依賴于剩余不僅依賴于剩余“大小大小”，而且依賴于，而且依賴于A的條件數(shù)，當(dāng)?shù)臈l件數(shù)，當(dāng)A是病態(tài)時(shí)，即使有很是病態(tài)時(shí)，即使有很小小當(dāng)原方程是好條件的當(dāng)原方