曲線擬合及線性最小二乘問題

1、1 線性最小二乘問題線性最小二乘問題一、一、最小二乘最小二乘問題問題的一般提法的一般提法 ix()if x1x1f2x2fmxmf在實(shí)際應(yīng)用中，經(jīng)常遇到下列在實(shí)際應(yīng)用中，經(jīng)常遇到下列數(shù)據(jù)處理數(shù)據(jù)處理問題：?jiǎn)栴}：已知函數(shù)已知函數(shù) 在在m個(gè)點(diǎn)上的數(shù)據(jù)表，尋求其個(gè)點(diǎn)上的數(shù)據(jù)表，尋求其近似函數(shù)近似函數(shù)。( )f x1122( )( )( )( )nnF xxxx 設(shè)設(shè) 的的近似函數(shù)近似函數(shù)為為( )f x其中其中 是某是某函數(shù)族函數(shù)族中的已知中的已知線性無(wú)關(guān)線性無(wú)關(guān)函數(shù)。函數(shù)。1( )niix 第第五五章章 曲線擬合曲線擬合與線性最小二乘與線性最小二乘問題問題 /*Curve Fitting and

2、Linear Least Square Problem*/稱為稱為殘向量殘向量尋求一組常數(shù)尋求一組常數(shù) ，要求，要求12(, )iin 111222()()()()()()mmmrf xF xrf xF xrrf xF x 的的2-范數(shù)達(dá)到最小。范數(shù)達(dá)到最小。2minr 如果如果m=n，且，且以及以及0r 即多項(xiàng)式即多項(xiàng)式插值插值1( )iixx 11()x A 21()x 1()nx 12()x 22()x 2()nx 1()mx 2()mx ()nmx 記記1fb 2fmf12(,)Tnx 則得到則得到最小二乘最小二乘問題：?jiǎn)栴}：2222minm nrbAxAR 上述問題的解也稱為方程組上

3、述問題的解也稱為方程組 的的最小二乘最小二乘解解Axb 當(dāng)當(dāng) 時(shí)稱之為時(shí)稱之為超定超定（或（或矛盾矛盾）方程組。）方程組。mn 二二、最小二乘最小二乘問題解的存在性、唯一性問題解的存在性、唯一性1Def設(shè)設(shè) ，若存在，若存在 精確精確地滿足地滿足m nAR nxR Axb ，則稱該方程組是，則稱該方程組是相容相容的。的。1 1 .ThAxb 方程組方程組 相容（有解）相容（有解）的的充要條件是充要條件是()(, )rank ArankA b AFG 引理引理1.10()rank Ar 設(shè)設(shè) ，且，且m nAR ,m rFR 則總存在分解則總存在分解其中其中,()()r nGRrank Fran

4、k Gr 滿秩滿秩分解分解證明：證明： 記記12,nAa aa 不妨不妨假設(shè)假設(shè) 的前的前 列列 線性無(wú)關(guān)線性無(wú)關(guān) Ar12,ra aa11221 2;, ,jjjrjraaaajn 令令1212,;,rnFa aaGg gg其中其中121 2, (, , )Tjjjrjgjn 1 2;, ,jjaFgjn 1212,nnAa aaFg FgFg12,nF g gg FG (滿秩分解滿秩分解)對(duì)任何秩為對(duì)任何秩為 的矩陣，存在排列陣的矩陣，存在排列陣 ，使得，使得 的的前前 列線性無(wú)關(guān)，從而由列線性無(wú)關(guān)，從而由知：知：rPAPr11APFG 1,m rFR 其中其中111,()()r nGRr

5、ank Frank Gr 111AFG P FG 1,FF 其中其中11,()( )GG Prank Frank Gr 因此，對(duì)任何因此，對(duì)任何 階矩陣總存在階矩陣總存在滿秩滿秩分解分解mn 1 2 .ThnR 二乘二乘解解的充要條件是的充要條件是 為方程組為方程組 的解。的解。 ;m nAxb AR 是方程組是方程組 的的最小最小TTA AxA b 證明證明：略：略 稱稱 為方程組為方程組 的的法方程組法方程組TTA AxA b Axb 推論推論1.1 若若 ，則方程組有，則方程組有唯一唯一()rankAn nm 的最小二乘解的最小二乘解: :1()TTA AA b 1 3 .Th;m nA

6、xb AR 方程組方程組 必存在必存在最小二乘解最小二乘解。證明：證明： 記記0( )rank Ar 則存在則存在滿秩滿秩分解分解AFG 法法方程組可寫成：方程組可寫成：TTTTG F FGxG F b 可以驗(yàn)證可以驗(yàn)證11() ()TTTTxGGGF FF b 是是法法方程組的一個(gè)解，故是原方程組的一個(gè)方程組的一個(gè)解，故是原方程組的一個(gè)最小二乘解最小二乘解推論推論1.2 若若 ，則方程組，則方程組rankArn 有有無(wú)窮無(wú)窮多個(gè)多個(gè)最小二乘解最小二乘解。Axb 2Def方程組方程組 的所有的所有最小二乘解最小二乘解中中2-范數(shù)最小范數(shù)最小Axb 者者稱為方程組的稱為方程組的極小極小最小二乘解

7、最小二乘解。1 4 .ThAxb 方程組方程組 存在唯一的存在唯一的極小極小最小二乘解最小二乘解, ,且可以表示為且可以表示為11() ()TTTTxGGGF FF b 其中其中 為為滿秩滿秩分解分解AFG 證明證明：略：略 例例1 1：求下列方程組的求下列方程組的最小二乘解最小二乘解111x2x3x 4 2 36 01 1234 447 1解：解：34( )( , )rank Arank A bTA A 2123277038 38 2343 43 TA b 26 4928 757887697x 平方根平方根法法解：解：例例2 2：求一個(gè)形如求一個(gè)形如 ( ( 為常數(shù)為常數(shù)) )的經(jīng)驗(yàn)公的經(jīng)驗(yàn)

8、公 式，使它能和下表給出的數(shù)據(jù)相擬合式，使它能和下表給出的數(shù)據(jù)相擬合: : byax ( , )a b x 2.2 2.6 3.4 4.0 y 65 61 54 50對(duì)對(duì) 兩邊取對(duì)數(shù)得兩邊取對(duì)數(shù)得 byax lnlnlnyabx ln ,ln ,lnYy Xx ca 令令YcbX0.7885 0.9555 1.22381.3863 4.1744 4.1109 3.9890 3.9120 iXiY此時(shí)此時(shí)12( )1,( )xxX寫出寫出法方程組法方程組TTA AxA b 其中其中1121122213231424()()()()()()()()XXXXAXXXX 1 0.78851 0.9555

9、1 1.22381 1.3836 12344.17444.11093.98903.9120YYbYY 4.04.351416.18634.35144.946717.5139cb 4.52860.4431cb 92.6247,0.4431caeb 2 廣義逆矩陣與最小二乘解廣義逆矩陣與最小二乘解/*Generalized Inverse Matrix and Least Squares Solution */一、一、廣義逆廣義逆的定義的定義廣義逆矩陣廣義逆矩陣是通常意義下的逆矩陣的是通常意義下的逆矩陣的推廣推廣1234()()()()()()HHAXAAPXAXXPAXAXPXAXAP 之為之為

10、Penrose方程方程方程（方程（P1P4) )稱稱設(shè)設(shè) ，滿足下列矩陣方程組的解，滿足下列矩陣方程組的解 ，m nAC XA稱為矩陣稱為矩陣 的的Moore-Penrose廣義逆矩陣廣義逆矩陣, ,記作記作A 3Def2 1 .Thm nAC 設(shè)設(shè) ，則方程組（，則方程組（P1P4) )有唯一解。有唯一解。首先證明解的首先證明解的存在性存在性：證明：證明： 記記0( )rank Ar 則存在則存在滿秩滿秩分解分解 和和非奇異非奇異矩陣矩陣AFG 令令11() ()HHHHXGGGF FF 易驗(yàn)證它滿足方程易驗(yàn)證它滿足方程（P1P4) )，故存在性得證，故存在性得證其次證明解的其次證明解的唯一

11、性唯一性：11() ()HHHHAGGGF FF MP廣義逆廣義逆()()TTAXAAXAXXAXAXXAXA 若若 ，則，則Penrose方程變?yōu)榉匠套優(yōu)閙 nAR 若若m=n，且，且 非奇異非奇異，則，則A1AA 11() ()TTTTAGGGF FF Axb 方程組方程組 的的極極小最小二乘解小最小二乘解xA b 定理定理1.4二、二、廣義逆廣義逆的分類的分類4Def僅滿足第（僅滿足第（Pi) )個(gè)方程的個(gè)方程的 階矩陣階矩陣 ，稱，稱nm X為矩陣為矩陣 的的 廣義逆；記作廣義逆；記作A i ( ) iXA 僅滿足（僅滿足（Pi) )和（和（Pj) )個(gè)方程的個(gè)方程的 階矩陣階矩陣 ，

12、稱為，稱為n m X矩陣矩陣 的的 廣義逆；記作廣義逆；記作A , i j ( , )i jXA 僅滿足（僅滿足（Pi) )、（、（Pj) )和（和（Pk) )個(gè)方程的個(gè)方程的 階矩陣階矩陣nm X ，稱為矩陣，稱為矩陣 的的 廣義逆；記作廣義逆；記作A , ,i j k ( , , )i j kXA 廣義逆廣義逆矩陣共有矩陣共有 種種1234444415CCCC三、三、廣義逆廣義逆矩陣矩陣 的性質(zhì)的性質(zhì)A 2 3 .Thm nAC 的的廣義逆廣義逆矩陣矩陣 具有下列性質(zhì)：具有下列性質(zhì)：A ();()() ;()()HHTTAA AAAAAFG ()()HHA XAAXA XXA XA XXAXA ()A 根據(jù)定義，根據(jù)定義，滿足下列滿足下列是是方程的方程的解解11() ()HHHHAGGGF FF 將將 代代入易驗(yàn)證成立入易驗(yàn)證成立XA ( )()()()rank Arank Arank A Arank AA ()();()()HHHHAA