最小二乘法的基本原理和多項式擬合0

1、最小二乘法的基本原理和多項式擬合第一節(jié) 最小二乘法的基本原理和多項式擬合 一最小二乘法的 基本原理從整體上考慮近似函數(shù)xpr ) 0 (xp同所給數(shù)據(jù)點),(iiyx(i=0, 1, , m) 誤差 iiiy(i=0, 1, , m)的大小，常用的方法有以下三種：一是誤差iiiyxpr )(i二。，L ,而 絕對值的最大值 irnir Ornx,即誤差 向量成m /門丁)一(io 的范數(shù)； 二是誤 差絕對值的和危即誤差向量r的1范數(shù)；三是誤差平方和 方法簡單、自然，但不便于微分運算，后一種方法相當(dāng)于 考慮2范數(shù)的平方，m的算術(shù)平方根，即誤差向量r的2范數(shù)；前兩種因此在曲線擬合中常采用誤差平方和

2、體大小。曾102來度量誤差ir(i=0 ,1, , m)的整數(shù)據(jù)擬合的 具體作法是：對給定數(shù)據(jù)Mxp,使誤差),(iiyx (i=0, 1, m),在取定的函數(shù)類中，求iiiyxpr )(0。, 1一小 的平方和最小，即而i?0 2= i mi i yxpO2rni 口)(從幾何意義上講，就是尋求與給定點)(xpy (圖6-1 )。函數(shù))(xp的方法稱為曲線擬合的最小二乘法。在曲線擬合中， 函數(shù)類 可有不同的選取方 法.),(iiyx(i=0, 1, , m)的距離平方和為最小的曲線 )(xp稱為擬合函數(shù)或最小二乘解，求擬合函數(shù)61二多項式擬合 假設(shè)給定數(shù)據(jù)點）,（iiyx（i=0,1, ,

3、m）,為所有次數(shù)不超過nkknxax0,使得 ）（rnnn 的多項式構(gòu)成的函數(shù)類， 現(xiàn)求一 k p） （ min） （00202ii trnnkikiki inyxayxpl ）（xpn當(dāng)擬合函數(shù)為多項 式時，稱為多項式擬合，滿足式（1）的擬合多項式。特別地，當(dāng)n=1時，稱為線性擬合或直線擬合。稱為最小二乘顯然iOmnki k i kyxa20) ( I為由多元函數(shù)求極值的必要條件，得120n aaa , 10 的多元函數(shù)， 因此上述問題即為求），。0口方加的極值問題。njxyxciami jinkikikj, , 1,0, 0)(0即 njyxE-ixnk rni i j i kmi k j

4、 i, , 1 , 0,) (000（3）是關(guān)于口 aaa ,10的線性方程組，用矩陣表示為mniixxOOi i ni i i i i i i ra ni I Imini 1 imiinmnimnimniniimiimiyxyxyaaaxxxxxxm0001002010010201 式（3）或式（4）稱為正規(guī)方程組或法方程組?？梢宰C明，方程組（4）的系數(shù)矩陣是一個對稱正定矩陣，故存在唯一解。從式（4）中解出k a（k=0, 1, n）,從而可得多項式nrixpO k kknx） （5） pn 可以證明， 式（5） 中的 mxp0)(xpn滿足式(1),即)(x為所求的擬合多項式。我們把i i

5、 i叮2)(稱為最小二乘擬合多項式)(xpn的平方誤差，記作i miinyxprf)222J (由式(2)可得1 k i rnnrnikikiyxriyr-000222) (6) 多項式擬合的一般方法可歸納為以下幾步：(1)由已知數(shù)據(jù)畫出函數(shù)粗略的圖形散點圖，確定擬合多項式的次數(shù)n； mjinjxO和 日.3，10(2)列表計算1)2，1 , 0( miijinjyxO)2 , 1 , 0( ;(3)寫出正規(guī)方程組，求出n a;(4)寫出擬合多項式k nkknxcixpO) (o在實際應(yīng)用中，頓插值多項式。mn 或rnn ；當(dāng)nin時所得的擬合多項式就是拉格朗日或牛例i測得銅導(dǎo)線在溫度的近似函

6、數(shù)關(guān)系。i 19. 1 iT( C)時的電阻)(iR如表6-1 ,求電阻R與 溫度 T0 1 2 3 4 5 6 iT( C) 25. 0 30. 1 36. 0 40. 0 45. 1 50.0)( iR 76. 30 77. 80 79. 25 80. 80 82. 35 83. 90 85. 10解畫出散點圖(圖6-2 ),可見測得的數(shù)據(jù)接近一條直線， 故取n=1 , 擬合函數(shù)為 曲 列表如下i訂TalO i R 2iT iiRT 0 1 2 3 4 5 6 19. 1 25. 0 30. 1 36. 0 40. 0 45. 1 50. 0 245. 3 76. 30 77.80 79.

7、 25 80. 80 82. 35 83. 90 85. 10 565. 5 364. 81 625. 00906. 01 1296. 00 1600. 00 2034. 01 2500. 00 9325. 83 1457. 3301945. 000 2385. 425 2908. 800 3294. 000 3783. 890 4255. 000 20199.445正 規(guī) 方 程 組 為446.201995 .56583.93253 .2453 .245710aa 解方程組得 921. 0,572.7010 aa 故得 R 與t的擬合直線為 TR921. 0572.7。利用上述關(guān)系式，可以預(yù)

8、測不同溫度時銅導(dǎo)線的電阻值。例如， 由R=0得T=-242. 5 ,即預(yù)測溫度T=- 242. 5 C時，銅導(dǎo)線無電阻。6-2 例2例2已知實驗數(shù)據(jù)如下表i 0 1 1 32 4 3 5 4 6 5 7 6 8 7 9 8 10 ix iy 10 5 4 2 1 1 2 3 4試用最小二乘法求它的二次擬合多項式。解設(shè)擬合曲線方程為2210xaxaay 列表如下I ix iy 2ix 3ix 4ix iiyx iiyx2 0 1 2 3 4 5 6 7 8 1 3 4 5 6 78 9 10 53 10 5 4 2 1 1 2 3 4 32 1 9 16 25 36 49 64 81 100 3

9、811 27 64 125 216 343 512 729 1000 3017 1 81 256 625 1296 24014096 6561 10000 25317 10 15 16 10 6 7 16 27 40 147 10 45 64 5036 49 128 243 400 1025 得正規(guī)方程組102514732253173017381301738152381529210aaa 解得 2676.06053. 3 ,4397,13210 aaa 故擬合多項式為22676. 06053.3-1597,13xy *三 最小二乘擬合多項式的存在唯一性xx,10定理1設(shè)節(jié)點證由克萊姆法則，只需

10、證明方程組（4）的系數(shù) 矩陣非奇異即可。用反證法，設(shè)方程組（4）的系數(shù)矩陣奇異，則其所對應(yīng)的齊次方程組0*,互異，則法方程組（4）的解存在唯一。,1i in i i i i i i 口1 in ininiiLri nmnimnimiiinLimiminimiiyxyxyaaaxxxxxxxxm000100201001020191（7）有非零解。式（7） 可寫為 口nja乂kkmikji, 1 , 0,O）（00（8）將式（8）中第j個方程乘以ja（j=0, 1, n）,然后將新得到的n+1個方程左nnmkjijxa000右 兩 端 分 別 相 加，得jkkiaOO）（因為na。 i i i k

11、 j0 j 其中kOmmininnkiknji jnnkkji jknkmikji jxpxHXciXc.iaax00020190） 0）（0 （ k 欣knxaxpO）（ 所以 0） （ irixp （1=0, I,】）（xpn是次數(shù)不超過n的多項式， 它有m+in個相異零點，由代數(shù)基本定理，必01。 aa ,與齊次方程組有非零解的假設(shè)矛盾。因此正規(guī)方程組（4）須有n a必有唯一解。定理2 設(shè)是滿足式（1）的最小二乘擬合多項式。n a, a% L 0 是正規(guī)方程組(4 ) 的解，則k 口kknxHxpO)(證只需證明， 對任意一組數(shù)n b,bb,1,0 組成的多項式k nkkiixbxQO)

12、(, 恒有i i mi inmi i nyxpyxQ0202) 0 (即可。mQOjW 10 k i i i inmjinkikikj jtmijnikikji jjiinmininmininniiiniinxyxaabyxaxabyxpxpxQxpxQyxpyx00000020222)(20)()()(2)()()()(因為k a(k=0, 1, , n)是正規(guī)方程組(4)的解，所以滿足式(2), 因此有 mmyxQ 0) 0 (0202i i Hni inyxp故*四 多項式擬合中克服正規(guī)方程組的病態(tài)在多項式擬合中，當(dāng)擬合多項式的次數(shù)較高時，其正規(guī)方程組往往是病態(tài)的。而且正規(guī)方程組系數(shù)矩陣

13、的階數(shù)越高，病態(tài)越嚴(yán)重；擬合節(jié)點分布的區(qū)間 XX 偏離原點越遠(yuǎn)， 病態(tài)越嚴(yán) 重； )(xpn為最小二乘擬合多項式。m(為了克服以上缺點，一般采用以下措施：盡量少作高次擬合多項式，而作不同的分段低次擬合；ix(i=0, 1, m)的數(shù)量級相差越大，病態(tài)越嚴(yán)重。不使用原始節(jié)點作擬合，將節(jié)點分布區(qū)間作平移，使新的節(jié)點稱，可大大降低正規(guī)方程組的條件數(shù)，從而減低病態(tài)程度。平移公式為：xxxxii2ix 關(guān)于原點對mi% I , 0,0對平移后的節(jié)點ix（i=0, 1, m）,再作壓縮或擴(kuò)張?zhí)幚恚簃ixpxii, 1,0,（10） 其中r川i -1對叩202） （ 1 （,（r是擬合次數(shù)）（11）經(jīng)過這樣

14、調(diào)整可以使ihxxi ix的數(shù)量級不太大也不 太小，特別 對 于 等距節(jié) 點），用，作式（10）和式（11）兩 項變換后， 其正規(guī)方程組的系數(shù)矩陣設(shè)為A,則對14次多項式擬合，條件數(shù)都不太大，都可以得到滿意的結(jié)果。變換后的條件數(shù)上限表如下：擬合次數(shù) I 2 -I 9. 9 , I3 4 ；）（2心。nd m 3 435在實際應(yīng)用中還可以利用正交多項式求擬合多項式。一種方法是構(gòu)造離散正交多項式；另一種方法是利用切比雪夫節(jié)點求出函數(shù)值后再使用正交多項式。這兩種方法都使正規(guī)方程 組的系數(shù)矩陣為對角矩陣，從而避免了正規(guī)方程組的病態(tài)。我們只介紹第一種，見第三節(jié)。例如 m=19，作二次多項式擬合時 0x=328, h=1, 1x=0x+ih , i=0, 1, , 19, 即節(jié)點 分布在 328, 347, 直 接用ix構(gòu)造正規(guī)方程組系數(shù)矩陣0 A,計算可得 1025. 2） 1602（Acond嚴(yán)重病態(tài)， 擬合結(jié)果完全不能用。作平移變換 347328 xxiiig, 1 ,。,2 i 用ix構(gòu)造正規(guī)方程組系數(shù)矩陣1 A, 計算可得 483868. 力（A161210 cond比 取壓縮因子