數(shù)值分析5.2 最小二乘法

1、5.3 曲線擬合的最小二乘法曲線擬合的最小二乘法最小二乘法的基本原理最小二乘法的基本原理具體的做法是求具體的做法是求 p(x) 使使2200 ()minmmiiiiirp xy 幾何意義幾何意義: 求在給定點(diǎn)求在給定點(diǎn) x0, x1, xm 處與點(diǎn)處與點(diǎn)(x0,y0), (x1,y1), ,(xm, ym) 的的距離平距離平方和最小的曲線方和最小的曲線y =p(x),這就是這就是最小二乘曲線擬合問(wèn)題最小二乘曲線擬合問(wèn)題.中找一函數(shù)中找一函數(shù) y=S*(x) 使誤差平方和使誤差平方和)(,),(),(10 xxxspann 目的：目的：求一個(gè)函數(shù)求一個(gè)函數(shù)y=S*(x)與所給數(shù)據(jù)與所給數(shù)據(jù) (x

2、i,yi),i=0,1,m擬合擬合.)(,),(),(10 xxxn 是是a, b上線性無(wú)關(guān)函數(shù)族，在上線性無(wú)關(guān)函數(shù)族，在 5.3.1 最小二乘法及其計(jì)算最小二乘法及其計(jì)算 記擬合誤差記擬合誤差 i=S*(xi)- -yi, i= 0, 1 , m, =(0,1, ,m)T, 設(shè)設(shè))1(,)(min)(02)(020222 miiixSmiiimiiyxSyxS 這就是一般的這就是一般的最小二乘逼近最小二乘逼近，用幾何語(yǔ)言說(shuō)，就稱，用幾何語(yǔ)言說(shuō)，就稱為為曲線擬合的最小二乘法曲線擬合的最小二乘法. .) 2()()()()()(1100mnxaxaxaxSnn 這里這里注：注：用最小二乘法求擬合

3、曲線時(shí)，首先要確定用最小二乘法求擬合曲線時(shí)，首先要確定S(x)的形式的形式. . 這不是單純的數(shù)學(xué)問(wèn)題，還要與所研究問(wèn)這不是單純的數(shù)學(xué)問(wèn)題，還要與所研究問(wèn)題的運(yùn)動(dòng)規(guī)律及所得觀測(cè)數(shù)據(jù)題的運(yùn)動(dòng)規(guī)律及所得觀測(cè)數(shù)據(jù)(xi, yi) 有關(guān)；有關(guān)；通常要通常要從問(wèn)題從問(wèn)題的運(yùn)動(dòng)規(guī)律及所給定數(shù)據(jù)描圖，確定的運(yùn)動(dòng)規(guī)律及所給定數(shù)據(jù)描圖，確定S(x)的的形式并通過(guò)實(shí)際計(jì)算選出較好的結(jié)果形式并通過(guò)實(shí)際計(jì)算選出較好的結(jié)果. . 為了使問(wèn)題的提法更有一般性，通常在最小二為了使問(wèn)題的提法更有一般性，通常在最小二乘法中誤差平方和都考慮乘法中誤差平方和都考慮加權(quán)平方和加權(quán)平方和)3(.)()()(0222 miiiixfxS

4、x 這里這里(x) 0是是a, b上的上的權(quán)函數(shù)權(quán)函數(shù)，它表示不同，它表示不同點(diǎn)點(diǎn)(xi, f(xi)處的數(shù)據(jù)比重不同處的數(shù)據(jù)比重不同. . miiiiyxSx0222)()( )4( )()()(),(02010 minjiijjinxfxaxaaaI 用最小二乘法求擬合曲線的問(wèn)題用最小二乘法求擬合曲線的問(wèn)題,就是在形如就是在形如(2)的的 S(x)中求一函數(shù)中求一函數(shù)y=S*(x)，使加權(quán)平方和，使加權(quán)平方和取得最小取得最小. . 它轉(zhuǎn)化為求多元函數(shù)它轉(zhuǎn)化為求多元函數(shù)的極小點(diǎn)的極小點(diǎn) 問(wèn)題問(wèn)題. . ),(10 naaa由求多元函數(shù)極值的必要條件由求多元函數(shù)極值的必要條件, ,有有 ),

5、1 , 0( 0)()()()(200nkxxfxaxaImiikinjijjik 若記若記)., 1 , 0()()()(),()5(),()()(),(00nkdxxfxfxxxkikimiikikijmiikj 上式可改為上式可改為)6()., 1 , 0(),(0nkdaknjjjk 這方程稱為這方程稱為法方程法方程, ,可寫(xiě)成矩陣形式可寫(xiě)成矩陣形式.dGa )6()., 1 , 0(),(0nkdaknjjjk 其中其中 ,),(,),(1010TnTnddddaaaa (7).),(),(),(),(),(),(),(),(),(101110101000 nnnnnnG ., 1

6、, 0 ,nkaakk 如果法方程如果法方程(6)的系數(shù)矩陣的系數(shù)矩陣(7)非奇異，則法方程非奇異，則法方程(6)存存在唯一的解在唯一的解 從而得到函數(shù)從而得到函數(shù)f(x)的的最小二乘解為最小二乘解為 要使法方程要使法方程(6)有唯一解有唯一解 ，就要求矩，就要求矩陣陣G 非奇異非奇異. . naaa,10)()()()(1100 xaxaxaxSnn 可以證明這樣得到的可以證明這樣得到的S*(x) ，對(duì)任何形如，對(duì)任何形如(2)式的式的S(x) ,都有都有,)()()()()()(0202* miiiimiiiixfxSxxfxSx 即即S*(x)必為所求的必為所求的最小二乘解最小二乘解.)

7、, 1 , 0()(nkxxkk , 1nxxspan 給定給定f(x)的離散數(shù)據(jù)的離散數(shù)據(jù) ，要確，要確定集合定集合 是困難的，所以一般取是困難的，所以一般取 即即 就得到就得到最小二乘擬合多項(xiàng)式最小二乘擬合多項(xiàng)式. . , 2 , 1 ),(miyxii )()()(00mnxaxaxPnkkknkkkn使其滿足使其滿足2010(,)()minmnniiiI a aaP xy 這樣的曲線擬合叫這樣的曲線擬合叫多項(xiàng)式擬合多項(xiàng)式擬合. . 滿足上式的滿足上式的Pn(x) 叫叫最小二乘擬合多項(xiàng)式最小二乘擬合多項(xiàng)式. . 特別地特別地, , 當(dāng)當(dāng)n=1時(shí)時(shí), ,一次多一次多項(xiàng)式擬合又叫項(xiàng)式擬合又叫

8、直線擬合直線擬合. . 即：即：對(duì)給定的一組數(shù)據(jù)對(duì)給定的一組數(shù)據(jù)(xi,yi)(i=0,1,m), 求次數(shù)求次數(shù)不超過(guò)不超過(guò)n的多項(xiàng)式的多項(xiàng)式對(duì)對(duì)法方程法方程.dGa )6()., 1 , 0(),(),(0nkfdakknjjjkL取取(x)=1，而，而,)()(),(000 mijkimijikimiijikjkxxxxx ,)()(),(00 miikimiikijyxxxff 其其法方程法方程為為), 1 , 0()(000nkyxaxmiikijnjmikji 此時(shí)矩陣為此時(shí)矩陣為 .1),(),(),(),(),(),(),(),(),(0201001020001011101010

9、00 miniminiminiminimiimiiminimiinnnnnnxxxxxxxxmG 得到得到法方程法方程(正規(guī)方程正規(guī)方程)矩陣具體形式為矩陣具體形式為(P196):000021100001200001mmmniiiiiimmmmniiiiiiiiimmmmnnnniiiiiniiiiamxxyxxxx yaxxxx ya 解解 作散點(diǎn)圖如右，作散點(diǎn)圖如右， 從右圖可以看出這些從右圖可以看出這些點(diǎn)接近一條拋物線，因此點(diǎn)接近一條拋物線，因此設(shè)所求公式為設(shè)所求公式為2210)(xaxaaxP x012345y521123 例例1.1. 已知一組觀測(cè)數(shù)據(jù)如表所示，試用最小二已知一組觀測(cè)

10、數(shù)據(jù)如表所示，試用最小二乘法求一個(gè)多項(xiàng)式擬合這組數(shù)據(jù)。乘法求一個(gè)多項(xiàng)式擬合這組數(shù)據(jù)。代入法方程代入法方程 6126146136126161361261616126161210210210)()()()()()()()()1(iiiiiiiiiiiiiiiiiiiyxaxaxaxyxaxaxaxyaxaxaiiiiii代入數(shù)據(jù)得代入數(shù)據(jù)得012012012615551415552253055225979122aaaaaaaaa解之可得解之可得5000. 0,7857. 2,7143. 4210 aaa故所求故所求擬合擬合多項(xiàng)式為多項(xiàng)式為.5000. 07857. 27143. 4)(2xxxP

11、解解 根據(jù)所給數(shù)據(jù)，在根據(jù)所給數(shù)據(jù)，在坐標(biāo)紙上標(biāo)出各點(diǎn)，見(jiàn)圖坐標(biāo)紙上標(biāo)出各點(diǎn)，見(jiàn)圖. 從圖中看到各點(diǎn)在一條直從圖中看到各點(diǎn)在一條直線附近，故可選擇線性函線附近，故可選擇線性函數(shù)做擬合曲線，即令數(shù)做擬合曲線，即令 例例2. 已知一組實(shí)驗(yàn)數(shù)據(jù)如下，求它的擬合曲線已知一組實(shí)驗(yàn)數(shù)據(jù)如下，求它的擬合曲線.xi12345fi44.5688.5i213112426864)(1xSy 解得解得a0=2.77,a1=1.13. 于是所求擬合曲線為于是所求擬合曲線為故故這這里里,)(, 1)(, 1, 4,)(10101xxxnmxaaxS ,74),(,22),(),(, 8),(402114001104000

12、 iiiiiiiixx . 5 .145),(,47),(401400iiiiiiifxfff得法方程得法方程 . 5 .1457422,472281010aaaa.13. 177. 2)(1xxS 注：注：對(duì)對(duì)最小二乘擬合多項(xiàng)式最小二乘擬合多項(xiàng)式當(dāng)當(dāng)n3時(shí)，求解法方程與時(shí)，求解法方程與連續(xù)情形一樣，將出現(xiàn)系數(shù)矩陣連續(xù)情形一樣，將出現(xiàn)系數(shù)矩陣G為病態(tài)的問(wèn)題，通為病態(tài)的問(wèn)題，通常對(duì)常對(duì)n=1的簡(jiǎn)單情形都可通過(guò)求法方程得到的簡(jiǎn)單情形都可通過(guò)求法方程得到S*(x). .有有時(shí)根據(jù)給定數(shù)據(jù)圖形，其擬合函數(shù)時(shí)根據(jù)給定數(shù)據(jù)圖形，其擬合函數(shù)y=y=S(x)表面上不是表面上不是線性的形式，但通過(guò)變換仍可化為線

13、性模型線性的形式，但通過(guò)變換仍可化為線性模型. .例如例如,)(bxaexS 若兩邊取對(duì)數(shù)得若兩邊取對(duì)數(shù)得,ln)(lnbxaxS 它就是一個(gè)線性模型，它就是一個(gè)線性模型，具體做法見(jiàn)下例具體做法見(jiàn)下例. . 例例3. 設(shè)數(shù)據(jù)設(shè)數(shù)據(jù)(xi, yi)(i=0,1,2,3,4)由下表給出，表中由下表給出，表中第第4行為行為lnyi=zi，可以看出數(shù)學(xué)模型為，可以看出數(shù)學(xué)模型為y=aebx，試用最，試用最小二乘法確定小二乘法確定a及及b.i01234xi1.001.251.501.752.00yi5.105.796.537.458.46zi1.6291.7561.8762.0082.135 解解 根據(jù)

14、給定數(shù)據(jù)根據(jù)給定數(shù)據(jù)(xi, yi)(i=0,1,2,3,4)描圖可確定擬描圖可確定擬合曲線方程為合曲線方程為y=aebx，它不是線性形式，它不是線性形式. 對(duì)方程對(duì)方程y=aebx 兩邊取對(duì)數(shù)得兩邊取對(duì)數(shù)得lny=lna+bx，如果令，如果令z=lny,A=lna，則，則z=A+bx,=1,x. 為確定為確定A和和b，先將，先將數(shù)據(jù)數(shù)據(jù)(xi, yi)可轉(zhuǎn)化為可轉(zhuǎn)化為(xi, zi) ，見(jiàn)數(shù)據(jù)表，見(jiàn)數(shù)據(jù)表. 根據(jù)最小二乘法，取根據(jù)最小二乘法，取, 1)(,)(, 1)(10 xxxx 得得422.14),(404.9),(875.11),(5 .7),(51),(40140040211401

15、04000 iiiiiiiiiizxzzzxx 故有法方程故有法方程 .422.14875.1150. 7,404. 950. 75bAbA解得解得A=1.122, b=0.505, a=eA=3.071. 于是得最小二于是得最小二乘擬合曲線為乘擬合曲線為.071. 3505. 0 xey ), 1 , 0(00)()()(),(0nkkjAkjxxxkmiikijikj ), 1 ,0(,020nkxxxxfxfamiikimiikiikkkk )(),(),(10 xxxn 用最小二乘法得到的方程組其系數(shù)矩陣用最小二乘法得到的方程組其系數(shù)矩陣G G是病態(tài)的是病態(tài)的, ,但如果但如果 是關(guān)于

16、點(diǎn)集是關(guān)于點(diǎn)集xi帶權(quán)帶權(quán)(xi)(i=0,1,m)正交函數(shù)族，即正交函數(shù)族，即), 1 , 0(),(0nkdaknjjjk 則法方程則法方程的解為的解為*5.3.2 用正交多項(xiàng)式做最小二乘擬合用正交多項(xiàng)式做最小二乘擬合 現(xiàn)在我們根據(jù)給定的節(jié)點(diǎn)現(xiàn)在我們根據(jù)給定的節(jié)點(diǎn)x0,x1,xm及權(quán)函數(shù)及權(quán)函數(shù)(x)0，構(gòu)造出帶權(quán)，構(gòu)造出帶權(quán)(x)正交多項(xiàng)式正交多項(xiàng)式Pn(x).注意注意nm，用遞推公式表示，用遞推公式表示Pk(x)，即，即 ).1, 2 , 1()()()()(),()()(, 1)(1110110nkxPxPxxPxPxxPxPkkkkk 這里這里Pk(x)是首項(xiàng)系數(shù)為是首項(xiàng)系數(shù)為1

17、的的k次多項(xiàng)式，根據(jù)次多項(xiàng)式，根據(jù)Pk(x)的的正交性，得正交性，得 ) 1, 1( ) 1, 1 , 0(,1, 1,0210202021nkPPPPxPxxPxnkPPPxPxPxPxPxxPxPxxPxxkkkkmiikimiikikkkkkkkkkmiikimiikiik 注：注：可以利用數(shù)學(xué)歸納法證明這樣給出的可以利用數(shù)學(xué)歸納法證明這樣給出的Pk(x)是正是正交的交的. 用正交多項(xiàng)式用正交多項(xiàng)式Pk(x)的線性組合作最小二乘曲的線性組合作最小二乘曲線擬合只要根據(jù)公式第一式及第二式逐步求線擬合只要根據(jù)公式第一式及第二式逐步求Pk(x)的的同時(shí)，相應(yīng)計(jì)算出系數(shù)同時(shí)，相應(yīng)計(jì)算出系數(shù)),10()()()()()(),(),(020,n,kxPxxPxfxPPPfamiikimiikiikk