第7章 曲線擬合最小二乘法

1、Ch.7 離散數(shù)據(jù)的曲線擬合離散數(shù)據(jù)的曲線擬合引言 曲線擬合問題仍然是已知仍然是已知 x1 xm ; y1 ym, 求一個簡單易求一個簡單易算的近似函數(shù)算的近似函數(shù) P (x) 來擬合這些數(shù)據(jù)來擬合這些數(shù)據(jù)。但是但是 m 很大；很大； yi 本身是測量值，不準(zhǔn)確，即本身是測量值，不準(zhǔn)確，即 yi f (xi)這時沒必要取這時沒必要取 P (xi) = yi , 而要使而要使 i=P (xi) yi 總體上總體上盡可能地小。盡可能地小。這種構(gòu)造近似函數(shù)這種構(gòu)造近似函數(shù) 的方法稱為的方法稱為曲線擬合曲線擬合，P (x) 稱為稱為擬合函數(shù)擬合函數(shù)稱為稱為“殘殘差差”常見做法：常見做法：u使使 最小最

2、小|)(|max1iimiyxP 較復(fù)雜，較復(fù)雜，u使使 最小最小 miiiyxP1|)(|不可導(dǎo)，求解困難不可導(dǎo)，求解困難u使使 最小最小 miiiyxP12|)(|“使使 i =P (xi) yi 盡可能地小盡可能地小”有不同的準(zhǔn)有不同的準(zhǔn)則則一一 最小二乘法求解矛盾方程組最小二乘法求解矛盾方程組設(shè)線性方程組設(shè)線性方程組1(1,2,)nijjija xbiN或或 (1)Axb當(dāng)線性方程組當(dāng)線性方程組(1)的系數(shù)矩陣和增廣矩陣的秩不相等時的系數(shù)矩陣和增廣矩陣的秩不相等時, 方程方程組無解組無解, 這時稱方程組為矛盾方程組這時稱方程組為矛盾方程組.引理引理1: 設(shè)設(shè) n 元實函數(shù)元實函數(shù) 在點

3、在點 的的某個鄰域內(nèi)連續(xù)某個鄰域內(nèi)連續(xù), 且有一階連續(xù)偏導(dǎo)數(shù)且有一階連續(xù)偏導(dǎo)數(shù), 若若(1)其中其中1212(),(,) ,(,)TTijNnnnAaxxxxbb bb12( ,)nf x xx012(,)nP a aa0|0(1,2, )Pkfknx(2) 矩陣矩陣引理引理2: 設(shè)非齊次線性方程組設(shè)非齊次線性方程組(1) 的系數(shù)矩陣的系數(shù)矩陣 A: r ( A ) = n , 則則 是正定是正定(負(fù)定負(fù)定) 矩陣矩陣. 0000000002222112122221222222212|PPPnPPPnPPPnnnfffxxxxxfffMxxxxxfffxxxxx 則則 是是 n 元函數(shù)元函數(shù)

4、的極小的極小(極極大大) 值值.12(,)nf a aa12(,)nf x xx 矩陣矩陣 是對稱正定矩陣是對稱正定矩陣; n階線性方程組階線性方程組 有唯一解有唯一解. TA ATTA AxA b矛盾方程組在某種意義下的解矛盾方程組在某種意義下的解: 證證: (1) 顯然顯然 是對稱矩陣是對稱矩陣TA A因為因為 r (A)=n , 所以所以Ax=0有唯一零解有唯一零解, 故故 有有于是于是 , 因此因此 是正定矩陣是正定矩陣.0 x0Ax TA A()()0TTTAxAxxA A x因為因為 是正定矩陣是正定矩陣, 所以所以 . 故故 有唯一解有唯一解 TA A()Tr A AnTTA A

5、xA b說明說明: 引理引理2 說明在說明在r (A)=n的條件下的條件下, 無論方程組無論方程組(1)是否有解是否有解, n階方程組階方程組 都有唯一解都有唯一解. TTA AxA b由于矛盾方程組由于矛盾方程組(1)的精確解不存在的精確解不存在, 故轉(zhuǎn)化為尋求某種意義故轉(zhuǎn)化為尋求某種意義下的解下的解. 令令1(1,2,)niijjija xbiN稱稱 為偏差為偏差i工程中許多問題歸結(jié)為偏差平方和工程中許多問題歸結(jié)為偏差平方和Th1. 設(shè)矛盾方程組設(shè)矛盾方程組(1)的系數(shù)矩陣的系數(shù)矩陣 A的秩為的秩為n , 則二次函數(shù)則二次函數(shù)22111()NNniijjiiijQa xb 達到最小達到最小

6、, 這一條件稱為最小二乘原則這一條件稱為最小二乘原則. 按最小二乘原則選擇按最小二乘原則選擇未知數(shù)未知數(shù) 的一組取值的方法稱為求解矛盾方程組的一組取值的方法稱為求解矛盾方程組的最小二乘法的最小二乘法. 符合條件的符合條件的 的一組取值稱為矛盾的一組取值稱為矛盾方程組的最小二乘解方程組的最小二乘解.12,nx xx12,nx xx將將Q看作關(guān)于看作關(guān)于 的的n 元二次函數(shù)元二次函數(shù), 記為記為 求求(1)的最小二乘解就是求該二次函數(shù)的最小值點的最小二乘解就是求該二次函數(shù)的最小值點.12,nx xx12( ,)nQf x xx21211(,)()NnnijjiijQf x xxa xb 證證: Q

7、為為 的二次函數(shù)的二次函數(shù), 且有連續(xù)的且有連續(xù)的1、2階偏導(dǎo)數(shù)階偏導(dǎo)數(shù). 必存在最小值必存在最小值, 且方程組且方程組 的解就是其最小值點的解就是其最小值點. TTA AxA b12,nx xx111222111111221121212()2()2()2(,)2(,)()nnnkjjkjjN kN jjNjjjknjjjnjjjkkN kkkN knN jjNjQaa xbaaxbaaxbxa xbaxbaaaaaaAxbaxb12,2()2()TTTTnQQQAAxbA AxA bxxx令令即即0 , (1,2, )kQknxTTA AxA b由引理由引理 2 知知 有唯一解有唯一解, 設(shè)

8、為設(shè)為TTA AxA b11,nnxaxa記記 , 二元函數(shù)二元函數(shù) Q 存在存在 P0 , 使得使得012(,)nP a aa故滿足引理故滿足引理1的條件的條件 (1) . 0|0 , (1, 2,)PkQknx又又2112212()2nktktN kN tikitiktQa aa aaaa axx說明說明: Th1說明只要矛盾方程組說明只要矛盾方程組(1)的系數(shù)矩陣的系數(shù)矩陣 A的秩為的秩為n , 則則 21121111212221112121112NNNiiiiiniiiNNNiiiiinTiiiNNNiiniininiiiaa aa aa aaa aMA Aa aa aaTTA AxA

9、 b由引理由引理 2 知知 M 正定正定, 故滿足引理故滿足引理 1 的條件的條件 (2) , 所以所以Q 存在極存在極小值小值. 又方程組又方程組 有唯一解有唯一解, 所以所以Q 的極小值即的極小值即為最小值為最小值. 方程組方程組 的解就是最小值點的解就是最小值點.TTA AxA b線性方程組線性方程組 稱為稱為正則方程組正則方程組TTA AxA b矛盾方程組矛盾方程組(1)的最小二乘解存在的最小二乘解存在; 正則方程組有唯一解正則方程組有唯一解, 此解就是矛盾方程組此解就是矛盾方程組 (1) 的最小二的最小二乘解乘解.例例1: 求下列矛盾方程組的最小二乘解求下列矛盾方程組的最小二乘解 解

10、解: 因為因為r (A)=3, 所以最小二乘解存在所以最小二乘解存在. 正則方程組為正則方程組為: 123100101020013110101121011xxx123311113111136xxx12357,344xxx二二 線性模型和最小二乘擬合線性模型和最小二乘擬合De f：對于已知的對于已知的 m +1 對離散數(shù)據(jù)對離散數(shù)據(jù) ，記記0 ,miiix y00min ,max iii mi maxbx 在連續(xù)函數(shù)空間在連續(xù)函數(shù)空間C a , b中選定中選定n +1個線性無關(guān)的基函數(shù)個線性無關(guān)的基函數(shù) 0( )nkkx，并記由它們生成的子空間為：并記由它們生成的子空間為：01010span(

11、),( ),( ) ( ) |( )( ) ,nnkknkxxxxxxR 若有若有 使得使得*0( )( )nkkkxx *22( )00()min()(1)mmiiiixiiyxyx則稱則稱 為離散數(shù)據(jù)為離散數(shù)據(jù) 在子空間在子空間 中的中的最小二乘最小二乘擬合擬合。*( )x0,miiixy對于選定的基函數(shù)對于選定的基函數(shù) ，定義中的擬合曲線即擬合模，定義中的擬合曲線即擬合模型型 ，是待定參數(shù)，是待定參數(shù) 的線性函數(shù)，故的線性函數(shù)，故稱之為稱之為線性最小二乘問題線性最小二乘問題。0( )nkkx0( )( )nkkkxx 0nkk由于由于0()() ,0,1,2,nikkikxxim 記：記

12、：20100(,)()mnnikkiikIyx 則最小二乘問題，即求極小值問題則最小二乘問題，即求極小值問題 (1) 的解的解 ，也就是求，也就是求多元二次函數(shù)多元二次函數(shù) 的的極小值點極小值點 ，使得：使得：*( )x01(,)nI*01(,)n01*0101,(,)min(,)(2)nnnRII問題：問題：極值問題極值問題 (2) 的解是否存在，是否唯一，即最小二乘問的解是否存在，是否唯一，即最小二乘問題題 (1) 的解的解是否存在唯一是否存在唯一？如果存在唯一，？如果存在唯一，如何求之如何求之？正規(guī)正規(guī)( (法法) )方程和解的存在唯一性方程和解的存在唯一性01(,)nI由于由于 是關(guān)于

13、待定參數(shù)是關(guān)于待定參數(shù) 的二次多的二次多項式函數(shù)，所以項式函數(shù)，所以 (2) 式有解的必要條件為：式有解的必要條件為：01,n0100(,)2()()0,0,1,mnnikkiliiklIyxxln 即：即：000()()(),0,1,(3)nmmkkiliilikiixxyxln記記 m +1 維向量維向量:0101(),(),(),0,1,2,(,)TkkkkmTmxxxknyyyy其中其中 為函數(shù)為函數(shù) 在點列在點列 處取值的向量，由向量處取值的向量，由向量 內(nèi)積的定義，可得：內(nèi)積的定義，可得：k( )kx0 miix00(,)()() ,0,1,( ,)(),0,1,mklkiliim

14、liliixxk lnyyxln故方程故方程 (3) 可寫成可寫成: 0(,)(,),0,1,nkkllkyln即：即：0010000011111101(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)nnnnnnnnyyy Gd方程方程 稱之為稱之為正規(guī)方程正規(guī)方程 ( 或法方程或法方程 ) 。Gd由此可見，最小二乘問題存在唯一解的由此可見，最小二乘問題存在唯一解的必要條件必要條件就是正規(guī)方程的就是正規(guī)方程的系數(shù)矩陣系數(shù)矩陣 G 非奇異。顯然非奇異。顯然G 為對稱矩陣，稱為為對稱矩陣，稱為Gram 矩陣矩陣.定理定理2：對于已知的對于已知的 m +1 對離散數(shù)據(jù)對離散數(shù)

15、據(jù) ，選定，選定 n +1維連維連續(xù)函數(shù)空間續(xù)函數(shù)空間 ，如果它有一組基，如果它有一組基 在點列在點列 處的值向量組處的值向量組 線性無關(guān)，則最小二乘問題存在唯一線性無關(guān)，則最小二乘問題存在唯一解解 ，其中，其中 為正規(guī)方程的解為正規(guī)方程的解.0 ,miiix y0( )nkkx0miix0nkk*0( )( )nkkkxx *01(,)Tn定理定理1：Gram 矩陣矩陣 G 非奇異的非奇異的充要條件充要條件是向量組是向量組 線線 性無關(guān)。性無關(guān)。0nkk注注: (1) 最小二乘問題的解與所選基函數(shù)無關(guān)。即對于最小二乘問題的解與所選基函數(shù)無關(guān)。即對于n +1維連維連 續(xù)函數(shù)空間續(xù)函數(shù)空間 的任

16、何基的任何基 ，只要它們在點列，只要它們在點列 處的值向量組處的值向量組 線性無關(guān)，就可以用相應(yīng)的正規(guī)方程求線性無關(guān)，就可以用相應(yīng)的正規(guī)方程求解，從而得到相同的擬合曲線。解，從而得到相同的擬合曲線。 0( )nkkx0miix0nkk0 ,miiix y0( )nkkx0miix(2) 在離散點列在離散點列 中，對自變量序列中，對自變量序列 沒有特別沒有特別要求，既不需要有序，也可以重復(fù)。要求，既不需要有序，也可以重復(fù)。Gram矩陣矩陣G由子空間由子空間 的基函數(shù)的基函數(shù) 和自變量和自變量(3) 序列序列 確定，與離散點的函數(shù)值確定，與離散點的函數(shù)值 無關(guān)。無關(guān)。0miix0miiy三三 多項

17、式擬合多項式擬合在離散數(shù)據(jù)的最小二乘擬合中，最簡單也是最常用的數(shù)學(xué)模在離散數(shù)據(jù)的最小二乘擬合中，最簡單也是最常用的數(shù)學(xué)模型就是多項式：型就是多項式： 2012( )nnxxxx即在多項式空間即在多項式空間2010span1, , ( )| ( ), ,nnkknkx xxxxxR 中作曲線擬合，稱為中作曲線擬合，稱為多項式擬合多項式擬合。特例：一次多項式擬合特例：一次多項式擬合設(shè)一次多項式設(shè)一次多項式 01( ) xx則則201010(,)niiiIyx由由010100010101(,)20(,)20niiiniiiiIyxIyxx 得得010002010001nnniiiiinnniiiii

18、iixyxxx y0000210001nnniiiiinnniiiiiiixyxxx y即即解得解得 則得擬合多項式則得擬合多項式 。01, ( )x例例1：已知已知 ，求擬合直線，求擬合直線. (0)1,(1)2,(3)4,(5)8ffff解：解：設(shè)擬合直線為設(shè)擬合直線為 ，則法方程組為，則法方程組為: yabx491593545ab 解得解得39/59 ,81/59ab所以所求擬合直線為所以所求擬合直線為: 81395959yx一般多項式擬合一般多項式擬合設(shè)設(shè) n 次多項式次多項式 2012( )nnxxa xa x則法方程為則法方程為:2023111221niiiiniiiiiinnnn

19、nniiiiiixxxyx yxxxxx yxxxx注注: 數(shù)據(jù)代入多項式后所得矛盾方程組記為數(shù)據(jù)代入多項式后所得矛盾方程組記為A= y , 則上述則上述正則方程即為正則方程即為 , 也就是矛盾方程組的正則方程也就是矛盾方程組的正則方程組組. 故也可通過故也可通過 求得擬合多項式的各項系數(shù)求得擬合多項式的各項系數(shù). TTA AA yTTA AA yx( )f x56( )yf x例例2：已知函數(shù)已知函數(shù)的觀測數(shù)據(jù)為：的觀測數(shù)據(jù)為：3043212yabxcx用最小二乘法求形如用最小二乘法求形如 的經(jīng)驗公式使與的經(jīng)驗公式使與題目題目數(shù)據(jù)擬合數(shù)據(jù)擬合. 41030810301001630100354

20、26abc 13.5,16.7,3.5abc 213.5 16.73.5yxx解：解：正則方程組為正則方程組為:解得解得:所以擬合曲線為所以擬合曲線為: 可化為線性模型的曲線擬合可化為線性模型的曲線擬合1 分式函數(shù)分式函數(shù)1bayx這種情形可令這種情形可令 ，則有，則有1/ ,1/yy xxyabx此時法方程組為此時法方程組為: 2111111iiiiiixyabxxx y 2 指數(shù)函數(shù)指數(shù)函數(shù) lnlnbxyaeyabxyabx3 冪函數(shù)冪函數(shù) lnlnlnbyaxyabxyabx例例3 3：給定數(shù)據(jù)如下：給定數(shù)據(jù)如下： x1.01.41.82.22.6 y0.9310.4730.2970.2240.168求形如求形如 的擬合曲線的擬合曲線. . xbay1解：解：令令 ，則擬合函數(shù)轉(zhuǎn)化為線性模型，則擬合函數(shù)轉(zhuǎn)化為線性模型: :此時數(shù)據(jù)轉(zhuǎn)化為：此時數(shù)據(jù)轉(zhuǎn)化為：yz/1xbaz x1.01.41.82.22.6 z1.0742.1143.3674.4645.592用該線性模型擬合上述數(shù)據(jù)，相應(yīng)的正規(guī)方程為用該線性模型擬合上述數(shù)據(jù)，相應(yīng)的正規(guī)方程為:3902.35971.168 .17995ba解得解得: 0265. 3,0535. 2ba故所求擬合曲線為故所