分析函數(shù)逼近

1、分析函數(shù)逼近第六章 函數(shù)逼近6-1第1頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-2第六章目錄1 最小二乘法原理和多項(xiàng)式擬合2 一般最小二乘擬合 2.1線性最小二乘法的一般形式 2.2非線性最小二乘擬合3 正交多項(xiàng)式曲線擬合 3.1離散正交多項(xiàng)式 3.2用離散正交多項(xiàng)式作曲線擬合4 函數(shù)的最佳平方逼近5 最佳一致逼近第2頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-3函數(shù)逼近（曲線擬合）概述 用簡單的計(jì)算量小的函數(shù)P(x) 近似地替代給定的函數(shù)f (x)（或者是以離散數(shù)據(jù)形式給定的函數(shù)），以便迅速求出函數(shù)值的近似值，是計(jì)算數(shù)學(xué)中

2、最基本的概念和方法，稱為函數(shù)逼近。通常被逼近的函數(shù)一般較復(fù)雜，或只知道離散點(diǎn)處的值，難于分析，而逼近函數(shù)則比較簡單，如選用多項(xiàng)式，有理函數(shù)，分段多項(xiàng)式，三角多項(xiàng)式等。第3頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-4函數(shù)逼近（曲線擬合）概述（續(xù)） 在大量的實(shí)驗(yàn)數(shù)據(jù)(xi,yi)(i =1,2,n) 中尋找其函數(shù)關(guān)系y =f (x) 的近似函數(shù)P (x)，是在實(shí)踐中常遇到的。上一章介紹的插值方法就是一種逼近，要求在給定的節(jié)點(diǎn)處P(x) 與f (x)相等（甚至導(dǎo)數(shù)值相等），因此在節(jié)點(diǎn)附近，逼近效果較好，而在遠(yuǎn)離節(jié)點(diǎn)的地方，由Runge現(xiàn)象知道，有時(shí)效果會(huì)很差，另一

3、方面，由觀測得到的實(shí)驗(yàn)數(shù)據(jù)不可避免地帶有誤差，甚至是較大的誤差，此時(shí)要求近似函數(shù)P(x)過全部已知點(diǎn)，相當(dāng)于保留全部數(shù)據(jù)誤差，所以使用插值法不合適。因此，對逼近函數(shù)P(x)不必要求過給定的點(diǎn)，即不要求P(xi) = yi(i =1,2,n)，只要求P(xi) yi 總體上盡可能小即要求P(x)盡可能反映給定數(shù)據(jù)點(diǎn)的總體趨勢，在某種意義（要求或標(biāo)準(zhǔn)）下與函數(shù)最“逼近”。 下面先舉例說明。第4頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-5函數(shù)逼近舉例給定一組實(shí)驗(yàn)數(shù)據(jù)如上，求x, y的函數(shù)關(guān)系。 例1123424681.12.84.97.2ixiyi解 先作草圖如圖

4、6-1所示這些點(diǎn)的分布接近一條直線，因此可設(shè)想，y為x的一次函數(shù)。設(shè)y = a0+a1x，從圖中不難看出，無論a0，a1取何值，直線都不可能同時(shí)過全部數(shù)據(jù)點(diǎn)。怎樣選取a0，a1才能使直線“最好”地反映數(shù)據(jù)點(diǎn)的總體趨勢？首先要建立好壞的標(biāo)準(zhǔn)。 假定a0，a1已經(jīng)確定，yi* = a0+a1xi(i =1,2,n) 是由近似函數(shù)求得的近似值，它與觀測值yi 之差ri = yi yi*=yi a0a1xi (i =1,2,n) 稱為偏差。顯然，偏差的大小可作為衡量近似函數(shù)好壞的標(biāo)準(zhǔn)。偏差向量r = (r1,r2,rn)T，yx86422468*圖6-1 第5頁，共44頁，2022年，5月20日，10

5、點(diǎn)29分，星期一第六章 函數(shù)逼近6-6例1（續(xù)） （1）使偏差的絕對值之和最小，即: （2）使偏差的最大絕對 值達(dá)到最小，即:（3）使偏差的平方和最小，即: 在離散情況下,也稱為曲線擬合的最小二乘法,是實(shí)踐中常用的一種函數(shù)逼近方法。常用的準(zhǔn)則有以下三種： 準(zhǔn)則（1）的提出很自然也合理，但實(shí)際使用不方便，按準(zhǔn)則（2）求近似函數(shù)的方法稱為函數(shù)的最佳一致逼近； 按準(zhǔn)則（3）確定參數(shù)，求近似函數(shù)的方法稱為最佳平方逼近, ri = yi yi*=yi a0a1xi第6頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-7函數(shù)的近似替代，求近似函數(shù)稱為逼近 要求（準(zhǔn)則或標(biāo)準(zhǔn)）不一

6、樣，逼近的意義不一樣，因此，方法不一樣，結(jié)果也不一樣。插值是逼近，滿足條件Ln(xi)=yi 是在“過給定點(diǎn)”意義下的逼近。要求Ln(xi)-yi 總體上盡可能小,稱為最佳平方逼近,在離散情況下,也稱為曲線擬合的最小二乘法.第7頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-81 最小二乘法原理和多項(xiàng)式擬合 一、曲線擬合的最小二乘法基本原理 對給定的數(shù)據(jù)(xi,yi)(i =1,2,n)，選取近似函數(shù)形式，即在給定的函數(shù)類中，求函數(shù)(x)，使偏差ri=(xi)yi (i=1,2,n) 的平方和為最小，即: 亦即: 從幾何上講，就是求在給定的點(diǎn)x1,x2,xn處與點(diǎn)

7、(x1,y1), (x2,y2), (xn,yn)的距離平方和最小的曲線y = (x)。這種求近似函數(shù)的方法稱為離散數(shù)據(jù)曲線擬合的最小二乘法，函數(shù) (x) 稱為這組數(shù)據(jù)的最小二乘擬合函數(shù)。通常取為一些較簡單函數(shù)的集合如低次多項(xiàng)式，指數(shù)函數(shù)等。例1中取為一次多項(xiàng)式集合。 第8頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-9二、多項(xiàng)式擬合 對于給定的一組數(shù)據(jù)(xi,yi)(i =1,2,n)，求一多項(xiàng)式(m n) 使得:為最小，即選取參數(shù) aj(j =0,1,m)使得 : 其中為不超過m次多項(xiàng)式的集合。這就是數(shù)據(jù)的多項(xiàng)式擬合，Pm(x)稱為這組數(shù)據(jù)的m次擬合多項(xiàng)式。

8、 與求解矛盾線性方程組的最小二乘法的方法相同，由多元函數(shù)求極值的必要條件，得方程組 :移項(xiàng)得:（緊接下屏）第9頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-10多項(xiàng)式擬合（續(xù)）打開和式 即： 這是最小二乘擬合多項(xiàng)式的系數(shù)ak(k =0,1,m) 應(yīng)滿足的方程組，稱為正規(guī)方程組或法方程組。由函數(shù)組1,x,x2,xm的線性無關(guān)性可以證明，上述法方程組存在唯一解，且解所對應(yīng)的m次多項(xiàng)式Pm(x) 必定是已給數(shù)據(jù)(xi,yi)(i =1,2,n) 的最小二乘m次擬合多項(xiàng)式。 如圖6-1表明，可用一次多項(xiàng)式P1(x) = a0+a0 x擬合例1中數(shù)據(jù)組所給定的函數(shù)關(guān)系，將

9、所給數(shù)據(jù)代入正規(guī)方程組可得： 其解為a0 = 1.1, a1 = 1.02，所以： y = 1.1+1.02x 就是所給數(shù)據(jù)組的最小二 乘擬合多項(xiàng)式。 第10頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-11最小二乘二次擬合多項(xiàng)式舉例 例2 求下面數(shù)據(jù)表的最小二乘二次擬合多項(xiàng)式 ：i123456789xi-1-0.75-0.5-0.2500.250.50.751yi-0.22090.32950.88261.43922.00032.56453.13343.76014.2836解：設(shè)二次擬合多項(xiàng)式為P2(x) = a0+a1x + a2x2，將數(shù)據(jù)表直接代 入正規(guī)方

10、程組： 其解為a0=2.0034, a1=2.2625, a2=0.0378。所以此數(shù)據(jù)組的最小二乘二次擬合多項(xiàng)式為：第11頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-122 一般最小二乘擬合 上節(jié)介紹了多項(xiàng)式擬合問題及其解法。在實(shí)際應(yīng)用中，針對所討論問題的特點(diǎn)，擬合函數(shù)可能為其他類型的函數(shù)，如指數(shù)函數(shù)，三角函數(shù)，有理函數(shù)等，待定參數(shù)也可能會(huì)出現(xiàn)在指數(shù)上，分母中等，對觀測數(shù)據(jù)，由于它們的精度不一樣，還會(huì)引入權(quán)系數(shù)，這都屬于一般最小二乘擬合問題。 第12頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-132.1 線性最小二乘法的一般

11、形式 作兩個(gè)推廣：1. 函數(shù)系由xmm(x) 線性無關(guān) 2. 加權(quán)系數(shù)i (i =1,2,n) 即對(xi,yi)(i =1,2,n)選取函數(shù)(x)： 達(dá)到最小， 對aj 求偏導(dǎo)數(shù)令其為0 正規(guī)方程組：第13頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-14正規(guī)方程組的幾種形式：首先，可用向量和矩陣表示正規(guī)方程組正規(guī)方程組的幾種形式 如果G的列向量線性無關(guān)，則正規(guī)方程組存在唯一解向量a，從而可確定：第14頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-15其次可引進(jìn)內(nèi)積表示正規(guī)方程組：正規(guī)方程組的幾種形式（續(xù)）第15頁，共44頁，2

12、022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-16正規(guī)方程組的幾種形式（續(xù)） k(x) 線性無關(guān) 系數(shù)矩陣非奇異 唯一解: 令j=0,1,2,m，則正規(guī)方程組為: 在(6-4)中打開和式 第16頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-17最小二乘擬合函數(shù)定理定理2第17頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-18定理2（續(xù)） 所以(x)是數(shù)據(jù)組(xi,yi)(i =1,2,n) 的最小二乘擬合函數(shù)。 特別地，當(dāng)取k(x)=xk(k =1,2,m)時(shí)，即為多項(xiàng)式擬合，所以多項(xiàng)式擬合為一般線性最小二乘擬合的

13、一種特殊情況。 注意到(x) 與 (x)的表示式，由正規(guī)方程組， 上式中 間項(xiàng)為： 第18頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-19最小二乘法求其擬合函數(shù)舉例例3 已知一組數(shù)據(jù)如表，用最小二乘法求其擬合函數(shù)。 x00.10.20.30.40.50.6y22.202542.407152.615922.830963.054483.28876第19頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-20最小二乘法求其擬合函數(shù)舉例（續(xù)）例4已知數(shù)據(jù)如下表，求一個(gè)二次多項(xiàng)式，使之與所給數(shù)據(jù)擬合：xi-1-0.500.51yi10.4950

14、.0010.4801.01解：從函數(shù)值的分布情況看，該函數(shù)可能為一偶函數(shù)，故考慮用偶次多項(xiàng)式作擬合函數(shù)，為此，取0(x)=1,1(x)=x2于是所求二次多項(xiàng)式可設(shè)為：(x)=a0+a1x2, 而G為: 從此例題看到，通過對數(shù)據(jù)特點(diǎn)進(jìn)行分析，確定選用不帶一次項(xiàng)的二次多項(xiàng)式為擬合函數(shù)，不僅符合原來函數(shù)的 特征，而且使 計(jì)算更加簡單 ?？梢?，在實(shí)際問題中選擇 合適的函數(shù)類型是十分重要的。 第20頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-212.2 非線性最小二乘擬合 當(dāng)最小二乘擬合所取函數(shù)類中的函數(shù)F= (x,a0,a1,am)關(guān)于參數(shù)a0,a1,am是非線性時(shí)，

15、稱為非線性最小二乘擬合問題。 對非線性最小二乘擬合問題，雖然仍可由偏差平方和對aj求偏導(dǎo)生成方程組: 但是，與線性最小二乘問題不同的是，上述方程組是關(guān)于ak(k=0,1,m) 的非線性方程組，要求解是很困難的，因此，一般的非線性最小二乘擬合問題不作詳細(xì)討論。 第21頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-22可化為線性擬合問題的常見函數(shù)類 但對于一些較特殊的非線性擬合函數(shù)類型，可以通過適當(dāng)?shù)淖兞看鷵Q后化為線性最小二乘問題，下表列出了部分這樣的擬合函數(shù)類型。 可化為線性擬合問題的常見函數(shù)類:擬合函數(shù)類型 變量代換 化成的擬合函數(shù) 第22頁，共44頁，2022

16、年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-23非線性擬合舉例例5在某化學(xué)反應(yīng)里，根據(jù)實(shí)驗(yàn)所得生成物的濃度與時(shí)間關(guān)系數(shù)據(jù)見下表，求濃度y與時(shí)間t 的擬合曲線y = F(t)： ti12345678yi(*10-3) 4.006.408.008.809.229.509.709.86ti910111213141516yi(*10-3)10.0010.2010.3210.4210.5210.5510.5810.60解：將數(shù)據(jù)標(biāo)在坐標(biāo)紙上如圖6-2由圖看到開始時(shí)濃度增加較快，后來逐漸減弱，到一定時(shí)間就基本穩(wěn)定在一個(gè)數(shù)值上。即當(dāng)t時(shí)，y超于某個(gè)定數(shù)，故有一水平漸近線。t 0時(shí)，反應(yīng)未開始，生

17、成物的濃度為零。根據(jù)這些 特點(diǎn)，可設(shè)想y = F(t) 是雙曲線型或指數(shù)型曲線。（緊接下屏）第23頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-24非線性擬合舉例（續(xù)1）可見y關(guān)于參數(shù)a, b是非線性的為確定a, b可令： 61086422yx1816141210840圖6-2 （1）取擬合函數(shù)為雙曲線型： 第24頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-25非線性擬合舉例（續(xù)2）則擬合函數(shù)化為y = a + b t，而將數(shù)據(jù)(ti , yi) 相應(yīng)地變 為(ti , yi)，如下表：ti11/21/31/41/51/61/7

18、1/8yi(*10-3)0.25000.156250.125600.113640.108460.105260.103090.10142ti1/91/101/111/121/131/141/151/16yi(*10-3)0.101420.098040.096900.095970.095240.094790.094520.09434第25頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-26非線性擬合舉例（續(xù)3）（2）取擬合函數(shù)為指數(shù)型 那么，怎樣比較兩個(gè)數(shù)學(xué)模型的好壞呢？一般可通過比較擬合函數(shù)與所給數(shù)據(jù)誤差大小來確定。對此例可計(jì)算得 ： 同擬合函數(shù)為雙曲線型過程類似，

19、先由(ti , yi)算出相應(yīng)的(ti , yi)，然后進(jìn)行多項(xiàng)式擬合，解得a = 4.48072,b= 1.05669，從而得a = e a = 1.13253102，所以擬合函數(shù)：第26頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-27非線性擬合舉例（續(xù)4）而均方誤差為：可見y = F2(t) 的誤差比較小，用它作為擬合曲線更好。 從此例也可看到，選擬合曲線的類型，并不是一開始就能選好，往往要通過分析若干模型的誤差后，再經(jīng)過實(shí)際計(jì)算才能選到較好的模型。 第27頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-283 正交多項(xiàng)式曲線

20、擬合 求解線性最小二乘問題，必須求解正規(guī)方程組，然而困難的是最小二乘法的正規(guī)方程組往往是病態(tài)的，在（6-5）中，當(dāng)k(x)=xk時(shí)，正規(guī)方程組的系數(shù)矩陣：與矩陣 ：（緊接下屏）第28頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-29正交多項(xiàng)式曲線擬合（續(xù)）是病態(tài)陣一樣，m不大時(shí)還好， 當(dāng)m較大時(shí)為病態(tài)陣（m太大，大小都為病態(tài)的）。因此，在實(shí)際應(yīng)用時(shí)，m不能太大，也即曲線擬合的多項(xiàng)式的次數(shù)不會(huì)太大，多用低次的。 因此，一般情況下，對線性最小二乘問題，要得到最小二乘擬合多項(xiàng)式,就面臨著要求解病態(tài)方程組這一困難，要克服這一困難?？梢赃x用適用于病態(tài)方程組求解的數(shù)值方法如

21、奇異值分解法等去求解法方程組。也可以通過生標(biāo)的平移和伸縮變換，去降低法方程組的病態(tài)程度。 本節(jié)考慮用正交多項(xiàng)式來進(jìn)行曲線擬合第29頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-303.1 離散正交多項(xiàng)式 對多項(xiàng)式k(x) 和j(x)，式（6-4）定義了在離散情況下的內(nèi)積： 利用內(nèi)積，可以有:定義6.1 如果兩個(gè)多項(xiàng)式k(x) 、j(x)滿足:則稱k(x)與j(x)在點(diǎn)集x1,x2,xn上是帶權(quán)i離散正交的。設(shè)0(x), 1(x), m(x)為多項(xiàng)式系，k(x)為k次多項(xiàng)式 ，如果滿足 正交條件：則稱0(x), 1(x), m(x) 為點(diǎn)集x1,x2,xn上的帶權(quán)

22、i 的離散正交多項(xiàng)式系。第30頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-31這樣的k(x)是首項(xiàng)系數(shù)為1的k次多項(xiàng)式，下面的定理給出了k(x) 的正交性證明 。 對于給定的節(jié)點(diǎn)x1,x2,xn，可以按下列公式（稱為三項(xiàng)遞推式）構(gòu)造離散正交多項(xiàng)式系： 0(x),1(x),m(x) (mn)：離散正交多項(xiàng)式（續(xù)）第31頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-32構(gòu)造離散正交多項(xiàng)式 定理6.2 按式（6-6），（6-7）構(gòu)造的多項(xiàng)式系0, 1, n 是點(diǎn)集x1,x2,xn上關(guān)于i 的離散正交多項(xiàng)式。 證明: 用數(shù)學(xué)歸納法證明

23、當(dāng)k = 1時(shí)，利用式（6-6）中第二式得:從而證明了0(x) 與1(x)的離散正交性; （緊接下屏）第32頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-33構(gòu)造離散正交多項(xiàng)式（續(xù)1）由歸納假設(shè)：對待證：第33頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-34定理6.2證明（續(xù)2）歸納證明（緊接下屏）第34頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-35定理6.2證明（續(xù)2）對j = 1,2,m-3，有 由歸納法原理，對一切自然數(shù)，多項(xiàng)式系0, 1, m滿足正交條件，因此是點(diǎn)集xi上關(guān)于i的正交多

24、項(xiàng)式系。 證畢！因此對k = m成立。第35頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-36構(gòu)造離散多項(xiàng)式舉例例6 試構(gòu)造點(diǎn)集0,1,2,3,4,5上的離散正交多項(xiàng)式系0(x), 1(x), 2(x), 3(x) 解：若沒有給出i ，一般認(rèn)為i =1，由三項(xiàng)遞推式（6-6），（6-7）進(jìn)行構(gòu)造，計(jì)算中，在求出每個(gè)k(x)的同時(shí)，將其在所給節(jié)點(diǎn)上的值求出列入表6-1 中，以便求下一個(gè)k+1(x)時(shí)使用。 x012345111111-2.5-1.5-0.50.51.52.510/3-2/3-8/3-8/3-2/310/3表6-1第36頁，共44頁，2022年，5月

25、20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-373.2 用離散正交多項(xiàng)式作曲線擬合 設(shè)(xi,yi)(i =1,2,n) 為給定數(shù)據(jù)。i 為對應(yīng)的權(quán)系數(shù)(i=1,2,n)，若未給出i ，則認(rèn)為i =1，0(x), 1(x), m(x) 為點(diǎn)集xi 上的離散正交多項(xiàng)式系，為由其所有線性組合生成的多項(xiàng)式集合: = Span0(x), 1(x), m(x) 使其滿足式（6-2），利用多項(xiàng)式0(x), 1(x), m(x) 的離散正交性易知，此時(shí)正規(guī)方程組（6-5）的系數(shù)矩陣為對角陣： 用離散正交多項(xiàng)式進(jìn)行最小二乘曲線擬合,亦即求 ：（緊接下屏）第37頁，共44頁，2022年，5月20日，10點(diǎn)2

26、9分，星期一第六章 函數(shù)逼近6-38用離散正交多項(xiàng)式作曲線擬合（續(xù)） 可見，不用解線性方程組，可減少含入誤差，避免病態(tài)情況出現(xiàn)，直接計(jì)算可得: 這樣可總結(jié)利用離散正交多項(xiàng)式求給定(xi,yi)(i=1,2,n)帶權(quán)i (i=1,2,n)的擬合多項(xiàng)式的步驟（逐步構(gòu)造k(x)法）：（緊接下屏）第38頁，共44頁，2022年，5月20日，10點(diǎn)29分，星期一第六章 函數(shù)逼近6-39求給定(xi,yi) 帶權(quán)i 的擬合多項(xiàng)式的步驟 1. 按三項(xiàng)遞推式（6-6）（6-7）構(gòu)造離散正交多項(xiàng)式系 0(x),1(x), m(x)； 2. 按（6-8）計(jì)算內(nèi)積并由此得正規(guī)方程的解； 3. 按（6-9）寫出擬合多項(xiàng)式