曲線擬合的最小二乘法

1、3.1 3.1 問(wèn)題的提出問(wèn)題的提出 函數(shù)解析式未知函數(shù)解析式未知,通過(guò)實(shí)驗(yàn)觀測(cè)得到的一組數(shù)據(jù)通過(guò)實(shí)驗(yàn)觀測(cè)得到的一組數(shù)據(jù), 即在即在 某個(gè)區(qū)間某個(gè)區(qū)間a, b上給出一系列點(diǎn)的函數(shù)值上給出一系列點(diǎn)的函數(shù)值 yi= f(xi) xx1x2xm yy1y2ym 3.23.2. . 曲線擬合的最小二乘法曲線擬合的最小二乘法 n數(shù)據(jù)含有誤差。數(shù)據(jù)含有誤差。節(jié)點(diǎn)上的函數(shù)值是由實(shí)驗(yàn)或觀測(cè)得到的節(jié)點(diǎn)上的函數(shù)值是由實(shí)驗(yàn)或觀測(cè)得到的 數(shù)據(jù)，不可避免地帶有測(cè)量誤差，如果要求所得的近似數(shù)據(jù)，不可避免地帶有測(cè)量誤差，如果要求所得的近似 函數(shù)曲線精確無(wú)誤地通過(guò)所有的點(diǎn)函數(shù)曲線精確無(wú)誤地通過(guò)所有的點(diǎn)( (x xi i,y,

2、yi i),),就會(huì)使曲線就會(huì)使曲線 保留著一切測(cè)試誤差。當(dāng)個(gè)別數(shù)據(jù)的誤差較大時(shí)保留著一切測(cè)試誤差。當(dāng)個(gè)別數(shù)據(jù)的誤差較大時(shí), ,插值效插值效 果顯然是不理想的。果顯然是不理想的。 n數(shù)據(jù)量很大。數(shù)據(jù)量很大。由實(shí)驗(yàn)或觀測(cè)提供的數(shù)據(jù)個(gè)數(shù)往往很多由實(shí)驗(yàn)或觀測(cè)提供的數(shù)據(jù)個(gè)數(shù)往往很多, , 如果用插值法如果用插值法, ,勢(shì)必得到次數(shù)較高的插值多項(xiàng)式，這樣是勢(shì)必得到次數(shù)較高的插值多項(xiàng)式，這樣是 不可行的。不可行的。 為此為此, ,我們希望從給定的數(shù)據(jù)我們希望從給定的數(shù)據(jù)( (x xi i,y,yi i) )出發(fā)出發(fā), ,構(gòu)造一個(gè)構(gòu)造一個(gè) 近似函數(shù)近似函數(shù) , ,不要求函數(shù)不要求函數(shù) 完全通過(guò)所有的數(shù)完全通

3、過(guò)所有的數(shù) 據(jù)點(diǎn)，只要求所得的近似曲線能反映數(shù)據(jù)的基本趨據(jù)點(diǎn)，只要求所得的近似曲線能反映數(shù)據(jù)的基本趨 勢(shì)，如圖勢(shì)，如圖3.13.1所示。所示。 )(x)(x y o x 圖圖3.13.1 曲線擬合示意圖曲線擬合示意圖 曲線擬合曲線擬合: :求一條曲線求一條曲線, ,使數(shù)據(jù)點(diǎn)均在離此曲線的上方使數(shù)據(jù)點(diǎn)均在離此曲線的上方 或下方不遠(yuǎn)處或下方不遠(yuǎn)處, ,所求的曲線稱為擬合曲線所求的曲線稱為擬合曲線, ,它既能反映它既能反映 數(shù)據(jù)的總體分布數(shù)據(jù)的總體分布, ,又不至于出現(xiàn)局部較大的波動(dòng)又不至于出現(xiàn)局部較大的波動(dòng), ,更能更能 反映被逼近函數(shù)的特性反映被逼近函數(shù)的特性, ,使求得的逼近函數(shù)與已知函數(shù)使求

4、得的逼近函數(shù)與已知函數(shù) 從總體上來(lái)說(shuō)其偏差按某種方法度量達(dá)到最小。從總體上來(lái)說(shuō)其偏差按某種方法度量達(dá)到最小。 與函數(shù)插值問(wèn)題不同與函數(shù)插值問(wèn)題不同, ,曲線擬合不要求曲線通過(guò)所有曲線擬合不要求曲線通過(guò)所有 已知點(diǎn)已知點(diǎn), ,而是要求得到的近似函數(shù)能反映數(shù)據(jù)的基本關(guān)系而是要求得到的近似函數(shù)能反映數(shù)據(jù)的基本關(guān)系 。在某種意義上。在某種意義上, ,曲線擬合更有實(shí)用價(jià)值曲線擬合更有實(shí)用價(jià)值。 函數(shù)插值是插值函數(shù)函數(shù)插值是插值函數(shù)P(xP(x) )與被插函數(shù)與被插函數(shù)f(xf(x) )在節(jié)點(diǎn)在節(jié)點(diǎn) 處函數(shù)值相同處函數(shù)值相同, ,即即 而曲線而曲線 擬合函數(shù)擬合函數(shù) 不要求嚴(yán)格地通過(guò)所有數(shù)據(jù)點(diǎn)不要求嚴(yán)格地

5、通過(guò)所有數(shù)據(jù)點(diǎn) , ,也也 就是說(shuō)擬合函數(shù)就是說(shuō)擬合函數(shù) 在在x xi i處的偏差處的偏差( (亦稱殘差）亦稱殘差） 不都嚴(yán)格地等于零。但是不都嚴(yán)格地等于零。但是, ,為了使近似曲線能盡量反為了使近似曲線能盡量反 映所給數(shù)據(jù)點(diǎn)的變化趨勢(shì)映所給數(shù)據(jù)點(diǎn)的變化趨勢(shì), ,要求要求 按某種度量標(biāo)準(zhǔn)按某種度量標(biāo)準(zhǔn) 最小。若記向量最小。若記向量 , ,即要求向量即要求向量 的的 某種范數(shù)某種范數(shù) 最小最小, ,如如 的的1-范數(shù)范數(shù) 或或-范數(shù)范數(shù) 即即 )()( ii xfxP(1,)im )(x),( ii yx )(x ()() iii xfx(1,)im i 1, , T m e e ee 1 e

6、e 1 11 ()() mm iii ii exfx maxmax ( )() () iii ii exf x 最大偏差或或 最小。最小。 為了便于計(jì)算、分析與應(yīng)用，通常要求為了便于計(jì)算、分析與應(yīng)用，通常要求 的的2-2-范數(shù)范數(shù) e 1 1 2 2 2 2 2 11 ()() mm iii ii exfx （ 均 方 誤 差 ） 2 2 2 2 11 ()() mm iii ii exfx 即即 為最小。這種要求誤差（偏差）平方和最小的擬為最小。這種要求誤差（偏差）平方和最小的擬 合稱為曲線擬合的最小二乘法。合稱為曲線擬合的最小二乘法。 一般曲線擬合的 最小二乘法的求法 0011 0 2 0

7、10011 1 0011 1 :( )( )( )( )( ) ,()()()min ,0 ()()()()0(0,1, ) ( ) n nnkk k m niinnii i k m kiiinnii i xaxaxaxax S aaaaxaxaxy S S a xaxaxaxykn h x 設(shè)擬合函數(shù)為 由最小二乘原則應(yīng)使 對(duì)函數(shù) 求偏導(dǎo)數(shù)并令其為零可得 若對(duì)于任意函數(shù) 1 ,( ):,() () m ii i g xh gh x g x 引入記號(hào) 000010n0 1101111 n0n1n 0011 n 01 ,(0,1, ) ( ), , , ( ), , ( ) n nn kknkn

8、k n aaaf af af a kn xxx f 稱為法方程 即 寫成矩陣 組 形式為 或正規(guī)方程組。 當(dāng)線性無(wú)關(guān)時(shí)，方程組有唯一解。 111 0 21 1 1111 12 1111 01 ( )1,( ),( ), mmm n iii iii mmmm n iiiii iiii n m n n mmm nnnn iiiii iiii mxxy a xxxax y a x xxxxx xxx y 取相應(yīng)的法方程組為 例例1 1 設(shè)有某實(shí)驗(yàn)數(shù)據(jù)如下：設(shè)有某實(shí)驗(yàn)數(shù)據(jù)如下： 1 2 3 4 1 2 3 4 1.36 1.37 1.95 2.28 1.36 1.37 1.95 2.28 14.094

9、 16.844 18.475 20.963 14.094 16.844 18.475 20.963 i i x i y 用最小二乘法求以上數(shù)據(jù)的擬合函數(shù)用最小二乘法求以上數(shù)據(jù)的擬合函數(shù). . 解解: :把表中所給數(shù)據(jù)畫在坐標(biāo)紙上把表中所給數(shù)據(jù)畫在坐標(biāo)紙上, ,將會(huì)看到數(shù)據(jù)點(diǎn)的將會(huì)看到數(shù)據(jù)點(diǎn)的 分布可以用一條直線來(lái)近似地描述分布可以用一條直線來(lái)近似地描述, , 故設(shè)擬合直線為故設(shè)擬合直線為 記x1=1.36, x2=1.37, x3 =1.95 x4 =2.28, y1 =14.094, y2= 16.844, y3=18.475, y4=20.963 則正規(guī)方程組為則正規(guī)方程組為 01 ( )

10、xaa x 44 01 11 444 2 01 111 4 ii ii iiii iii aaxy axaxx y 32. 7 4 1 i i x8434.13 4 1 2 i i x 376.70 4 1 i i y12985.132 4 1 i i i yx其中其中 將以上數(shù)據(jù)代入上式正規(guī)方程組將以上數(shù)據(jù)代入上式正規(guī)方程組, ,得得 12985.1328434.1332. 7 376.7032. 74 10 10 aa aa 01 3.9374,7.4626aa 解得解得 即得擬合直線即得擬合直線 xy4626. 79374. 3 例例2 2 設(shè)某實(shí)驗(yàn)數(shù)據(jù)如下：設(shè)某實(shí)驗(yàn)數(shù)據(jù)如下： 1 2

11、3 4 5 6 1 2 3 4 5 6 0 1 2 3 4 5 0 1 2 3 4 5 5 2 1 1 2 3 5 2 1 1 2 3 i i x i y 用最小二乘法求一個(gè)多項(xiàng)式擬合這組數(shù)據(jù)用最小二乘法求一個(gè)多項(xiàng)式擬合這組數(shù)據(jù). . 解：將已給數(shù)據(jù)點(diǎn)描在坐標(biāo)系中，可以解：將已給數(shù)據(jù)點(diǎn)描在坐標(biāo)系中，可以看出這些點(diǎn)看出這些點(diǎn) 接近一條拋物線，因此設(shè)所求的多項(xiàng)式為接近一條拋物線，因此設(shè)所求的多項(xiàng)式為 2 210 xaxaay 由法方程組由法方程組, , 經(jīng)計(jì)算得經(jīng)計(jì)算得 m=6, 6 1 2 6 1 6 1 6 1 4 6 1 3 6 1 2 6 1 122,30,14,797,225,55,15

12、 i ii i ii i i i i i i i i i i yxyxyxxxx 其法方程組為其法方程組為 12297922555 302255515 1455156 210 210 210 aaa aaa aaa 解之得解之得 5000. 0,7857. 2,7143. 4 210 aaa 2 5000.07857.27143.4xxy所求的多項(xiàng)式為所求的多項(xiàng)式為 （4 4）可化為線性擬合的非線性擬合）可化為線性擬合的非線性擬合 n對(duì)于一個(gè)實(shí)際的曲線擬合問(wèn)題，一般先按觀測(cè)值在直對(duì)于一個(gè)實(shí)際的曲線擬合問(wèn)題，一般先按觀測(cè)值在直 角坐標(biāo)平面上角坐標(biāo)平面上描出散點(diǎn)圖描出散點(diǎn)圖，看一看散點(diǎn)的分布同哪類

13、，看一看散點(diǎn)的分布同哪類 曲線圖形接近，然后曲線圖形接近，然后選用合適的擬合函數(shù)選用合適的擬合函數(shù)。 n非線性擬合函數(shù)可以通過(guò)非線性擬合函數(shù)可以通過(guò)變量替換變量替換轉(zhuǎn)化為線性擬合問(wèn)轉(zhuǎn)化為線性擬合問(wèn) 題題，按線性擬合解出后，按線性擬合解出后再還原再還原為原變量所表示的曲線為原變量所表示的曲線 擬合方程。擬合方程。 表表3-4列舉了幾類經(jīng)適當(dāng)變換后化為線性擬合求列舉了幾類經(jīng)適當(dāng)變換后化為線性擬合求 解的曲線擬合方程及變換關(guān)系解的曲線擬合方程及變換關(guān)系 表表3-43-4 曲線擬合方程曲線擬合方程 變換關(guān)系變換關(guān)系 變換后線性擬合方程變換后線性擬合方程 bx ya e ln,yy(ln)yabx aa

14、 bax x y x x y y 1 , 1 xbay bax y 1 y y 1 yaxb cbxax y 2 1 y y 1 cbxaxy 2 cbxax x y 2 y x y cbxaxy 2 幾種常見的數(shù)據(jù)擬合情況。幾種常見的數(shù)據(jù)擬合情況。 圖圖 ( a ) 數(shù)據(jù)接近于直線，故宜采用線性函數(shù)擬合；數(shù)據(jù)接近于直線，故宜采用線性函數(shù)擬合； 圖圖( (b)b)數(shù)據(jù)分布接近于拋物線可采數(shù)據(jù)分布接近于拋物線可采擬合擬合二次多項(xiàng)式二次多項(xiàng)式擬合；擬合； xaay 10 2 210 xaxaay y y O x O x ( (a)a) ( (b)b) 圖圖( (c)c)：開始曲線上升較快隨后逐漸變

15、慢開始曲線上升較快隨后逐漸變慢, ,宜采用雙曲線型宜采用雙曲線型 函數(shù)函數(shù) 或指數(shù)型函數(shù)或指數(shù)型函數(shù) 圖圖( (d)d)：開始曲線下降快：開始曲線下降快, ,隨后逐漸變慢隨后逐漸變慢, ,宜采用宜采用 或或 或或 等數(shù)據(jù)擬合。等數(shù)據(jù)擬合。 bxa x y x b aey bxa x y 2 bxa x y bx aey y y O x O x ( c ) ( d ) 例例3 3 設(shè)某實(shí)驗(yàn)數(shù)據(jù)如下設(shè)某實(shí)驗(yàn)數(shù)據(jù)如下: : 1 2 3 4 5 6 1 2 3 4 5 6 0 0.5 1 1.5 2 2.5 0 0.5 1 1.5 2 2.5 2.0 1.0 0.9 0.6 0.4 0.3 2.0 1

16、.0 0.9 0.6 0.4 0.3 i i x i y 用最小二乘法求擬合曲線。用最小二乘法求擬合曲線。 解解: :將已給數(shù)據(jù)點(diǎn)描在坐標(biāo)系中下圖所示將已給數(shù)據(jù)點(diǎn)描在坐標(biāo)系中下圖所示, ,可以看出這些點(diǎn)可以看出這些點(diǎn) 接近指數(shù)曲線接近指數(shù)曲線, ,因而可取指數(shù)函數(shù)因而可取指數(shù)函數(shù) 作為擬合函數(shù)作為擬合函數(shù). .對(duì)函數(shù)對(duì)函數(shù) 兩邊取對(duì)數(shù)得兩邊取對(duì)數(shù)得. . 令令 就得到線性模型就得到線性模型 bx aey bx aey bxaylnln 01 ln ,ln ,yy aa ab xaay 10 則正規(guī)方程組為則正規(guī)方程組為 66 01 11 666 2 01 111 6ln ln ii ii ii

17、ii iii aaxy axaxxy 其中其中 5 . 7 6 1 i i x 75.13 6 1 2 i i x 043302. 2ln 6 1 i i y 714112. 5ln 6 1 i i i yx 將以上數(shù)據(jù)代入上式正規(guī)方程組，得將以上數(shù)據(jù)代入上式正規(guī)方程組，得 714112. 575.135 . 7 043302. 25 . 76 10 10 aa aa 解得解得 772282. 0,562302. 0 10 aa 由由 得得 aaln 0 0 0.562302 1.754708, a aee ba 1 772282.0 1 ab由由 得得 于是得到擬合指數(shù)函數(shù)為于是得到擬合指數(shù)

18、函數(shù)為 x ey 772282. 0 754708. 1 小結(jié)小結(jié) 插值法和曲線擬合的最小二乘法都是實(shí)用性很強(qiáng)插值法和曲線擬合的最小二乘法都是實(shí)用性很強(qiáng) 的方法。它們解決的實(shí)際問(wèn)題雖然各式各樣，但抽象為的方法。它們解決的實(shí)際問(wèn)題雖然各式各樣，但抽象為 數(shù)學(xué)問(wèn)題卻有它的共性，即利用已知的數(shù)據(jù)去尋求某個(gè)數(shù)學(xué)問(wèn)題卻有它的共性，即利用已知的數(shù)據(jù)去尋求某個(gè) 較為簡(jiǎn)單的函數(shù)較為簡(jiǎn)單的函數(shù)P(x)P(x)來(lái)逼近來(lái)逼近f(x)f(x)。插值法和曲線擬合的插值法和曲線擬合的 最小二乘法分別給出了尋求這種近似函數(shù)的兩類不同的最小二乘法分別給出了尋求這種近似函數(shù)的兩類不同的 原則，以及構(gòu)造近似函數(shù)的幾種具體方法。其

19、中插值法原則，以及構(gòu)造近似函數(shù)的幾種具體方法。其中插值法 要求近似函數(shù)在已知的數(shù)據(jù)點(diǎn)必須與要求近似函數(shù)在已知的數(shù)據(jù)點(diǎn)必須與f(x)f(x)完全一致，曲完全一致，曲 線擬合法不要求點(diǎn)點(diǎn)一致而只須滿足一定的整體逼近條線擬合法不要求點(diǎn)點(diǎn)一致而只須滿足一定的整體逼近條 件。件。 n插值法中的拉格朗日插值多項(xiàng)式是研究數(shù)值微積分插值法中的拉格朗日插值多項(xiàng)式是研究數(shù)值微積分 與微分方程數(shù)值解的重要工具。與微分方程數(shù)值解的重要工具。 n牛頓插值多項(xiàng)式是拉格朗日插值多項(xiàng)式的變形，具牛頓插值多項(xiàng)式是拉格朗日插值多項(xiàng)式的變形，具 有承襲性，比拉格朗日插值多項(xiàng)式節(jié)省計(jì)算量。有承襲性，比拉格朗日插值多項(xiàng)式節(jié)省計(jì)算量。 n分段低次多項(xiàng)式插值由于具有良好的穩(wěn)定性與收斂分段低次多項(xiàng)式插值