最小二乘法的基本原理和多項式擬合

1、數(shù) 值 分 析2013年12月最小二乘法的基本原理和多項式擬合摘 要：隨著科技發(fā)展和社會進步，尤其是計算機大范圍的普及，計算機應用逐漸由大規(guī)?？茖W計算的海量數(shù)據(jù)處理轉向日常學習中遇到的小型數(shù)據(jù)的處理與計算，這就產(chǎn)生了解決各種實際問題需要的各種應用程序，特別是在電磁檢驗實驗中的應用更為廣泛。最小二乘法（又稱最小平方法）是一種數(shù)學優(yōu)化技術，是利用最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配的一種計算方法1，本文對最小二乘法進行了深入細致的研究，利用Matlab語言編制程序和數(shù)學知識相結合，通過實驗數(shù)據(jù)的輸入，實現(xiàn)多項式和曲線擬合的輸出，并利用設計的程序實現(xiàn)了一些實際問題的求解和處理。關鍵詞：最小二乘法

2、，曲線擬合，多項式一、前言曲線擬合又稱作函數(shù)逼近，是求近似函數(shù)的一類數(shù)值方法它不要求近似函數(shù)在每個節(jié)點處與函數(shù)值相同，只要求其盡可能的反映給定數(shù)據(jù)點的基本趨勢以及某種意義上的無限“逼近”在需要對一組數(shù)據(jù)進行處理、篩選時，我們往往會選擇合理的數(shù)值方法，而曲線擬合在實際應用中也倍受青睞采用曲線擬合處理數(shù)據(jù)時，一般會考慮到誤差的影響，于是我們往往基于殘差的平方和最小的準則選取擬合曲線的方法，這便是經(jīng)常所說的曲線擬合的最小二乘法通過對一些文獻的分析和整理，不僅有數(shù)據(jù)處理（數(shù)據(jù)采集），還有模型建立，可以了解到曲線擬合的最小二乘法的應用領域較為廣泛。二、最小二乘法法的介紹1），最小二乘法的基本原理從整體上

3、考慮近似函數(shù)同所給數(shù)據(jù)點 (i=0,1,m)誤差 (i=0,1,m)的大小，常用的方法有以下三種：一是誤差 (i=0,1,m)絕對值的最大值，即誤差 向量的范數(shù)；二是誤差絕對值的和，即誤差向量r的1范數(shù)；三是誤差平方和的算術平方根，即誤差向量r的2范數(shù)；前兩種方法簡單、自然，但不便于微分運算 ，后一種方法相當于考慮 2范數(shù)的平方，因此在曲線擬合中常采用誤差平方和來 度量誤差 (i=0，1，m)的整體大小。數(shù)據(jù)擬合的具體作法是：對給定數(shù)據(jù) (i=0,1,，m)，在取定的函數(shù)類中,求,使誤差(i=0,1,m)的平方和最小，即 =從幾何意義上講，就是尋求與給定點 (i=0,1,m)的距離平方和為最小

4、的曲線（圖6-1）。函數(shù)稱為擬合 函數(shù)或最小二乘解，求擬合函數(shù)的方法稱為曲線擬合的最小二乘法。在曲線擬合中，函數(shù)類可有不同的選取方法.612），多項式擬合假設給定數(shù)據(jù)點 (i=0,1,m)，為所有次數(shù)不超過的多項式構成的函數(shù)類，現(xiàn)求一,使得 (1)當擬合函數(shù)為多項式時，稱為多項式擬合，滿足式（1）的稱為最小二乘擬合多項式。特別地，當n=1時，稱為線性擬合或直線擬合。顯然為的多元函數(shù)，因此上述問題即為求的極值 問題。由多元函數(shù)求極值的必要條件，得 (2)即 (3)（3）是關于的線性方程組，用矩陣表示為 (4)式（3）或式（4）稱為正規(guī)方程組或法方程組。可以證明，方程組（4）的系數(shù)矩陣是一個對稱正

5、定矩陣，故存在唯一解。從式（4）中解出 (k=0,1,，n)，從而可得多項式 (5)可以證明，式（5）中的滿足式（1），即為所求的擬合多項式。我們把稱為最小二乘擬合多項式的平方誤差，記作由式(2)可得 (6)多項式擬合的一般方法可歸納為以下幾步： (1) 由已知數(shù)據(jù)畫出函數(shù)粗略的圖形散點圖，確定擬合多項式的次數(shù)n；(2) 列表計算和；(3) 寫出正規(guī)方程組，求出；(4) 寫出擬合多項式。在實際應用中，或；當時所得的擬合多項式就是拉格朗日或牛頓插值多項式。3），最小二乘擬合多項式的存在唯一性定理1 設節(jié)點互異，則法方程組（4）的解存在唯一。證 由克萊姆法則，只需證明方程組（4）的系數(shù)矩陣非奇異即

6、可。用反證法，設方程組（4）的系數(shù)矩陣奇異，則其所對應的齊次方程組 （7）有非零解。式(7)可寫為 （8）將式（8）中第j個方程乘以 (j=0,1,，n)，然后將新得到的n+1個方程左右兩端分別 相加，得因為其中所以 (i=0,1,m)是次數(shù)不超過n的多項式，它有m+1n個相異零點，由代數(shù)基本定理，必須有，與齊次方程組有非零解的假設矛盾。因此正規(guī)方程組（4）必有唯一解 。定理2 設是正規(guī)方程組（4）的解，則是滿足式（1）的最小二乘擬合多項式。證 只需證明，對任意一組數(shù)組成的多項式，恒有即可。因為 (k=0,1,，n)是正規(guī)方程組（4）的解，所以滿足式（2），因此有故為最小二乘擬合多項式。2 算

7、法實現(xiàn)在化學反應中，由實驗測得分解物濃度與時間的關系如下表1所示表1 濃度（y）與時間( t )的關系實驗數(shù)據(jù)表t0510152025y01.272.162.863.443.87t303540455055y4.154.374.514.584.624.643思路解答根據(jù)題設要求即根據(jù)所給數(shù)據(jù)求一未知的多項式擬合曲線，由于曲線未知，只能通過已知數(shù)據(jù)去確定待定的多項式參數(shù)，進而使數(shù)據(jù)盡可能的逼近所求曲線最后再通過總誤差比較，取最小誤差對應多項式即可不妨設所求多項式為fiv， 式中表示多項式的最高次數(shù)說明：表格(1)中是題設給定的函數(shù)值，f0，f1，f2，f5，f9分別表示擬合多項式最高次數(shù)m=1,2

8、,3,6,10時的擬合值由于數(shù)據(jù)不是很多，可以直接用最小二乘法找出最好的擬合曲線具體就是比較總誤差的大小，然后取誤差最小的那條擬合曲線即可當然，可根據(jù)均方差和偏差G= 。計算求得同時根據(jù)法方程組 或者多項式公式 ，可求出其多項式系數(shù)itiyiti2tiyiti3ti4ti5ti6ti2yiti3yi00000000000151.27256.3512562531251562531.75158.752102.1610021.610010000100000100000021621603152.8622542.933755062575937511390625643.59652.54203.444006

9、8.880001600003200000640000001376275205253.8762596.751562539062597656252441406252418.7560468.756304.15900124.5270008100002430000072900000037351120507354.371225152.954287515006255252187518382656255353.25187363.88404.511600180.4640002560000102400000409600000066402656009454.582025206.1911254100625184528

10、12583037656259274.5417352.510504.6225002311250062500003125000001155057750011554.643025255.216637591506255032843752768064062514036771980和33040.47126501386.554311002498375011933625005859321875055274.752431806表a據(jù)表a可得一次多項式系數(shù)a1=0.0765，a0=1.2667，故可得二次多項式系數(shù)a2= 0.0022，a1=0.1992，a0=0.2453，故三次多項式系數(shù)a3=0.000032

11、499，a2=-0.0049，a1=0.2557，a0=0.0122，故同理六次和十次多項式擬合曲線 分別為 a. 用matlab繪出多項式擬合的直觀圖： 圖一4總誤差比較與分析：用matlab程序tw計算可得最大偏差和均方差分別為Gw1=1.2677，Gw2=0.2453，Gw3=0.0661，Gw6=0.0188，Gw10=0.0040根據(jù)圖一可知一次多項式擬合和二次多項式擬合偏差太大，三次、六次、十次多項式比較貼近真實值，再結合多項式擬合的最大偏差和均方差，可清晰知道十次多項式擬合的數(shù)據(jù)最小故十次多項式擬合更接近實際值，綜合可知10次多項式擬合曲線比1、2、3和6次擬合更加接近題設所給數(shù)

12、據(jù)三、參考文獻1 李慶揚，王能超，易大義. 數(shù)值分析M.清華大學出版社:2009年：第三章2 姜健飛，胡良劍，唐 儉.數(shù)值分析及其MATLAB實驗M.科學出版社：2004年：第四章3 羅建軍， 楊 琦，馮博琴.MATLAB數(shù)值分析M.機械工業(yè)出版社：2012年：第三、七章4 張 鐵，閻家斌 數(shù)值分析M北京: 冶金工業(yè)出版社，2005第二、三章5 李岳生，黃友謙.數(shù)值逼近.人民教育出版社,1978，（3）：36-416 陳杰，張增強，于鋒.MATLAB寶典第3版.北京：電子工業(yè)出版社，2011.1.第六章第二三節(jié)四、附錄t=0 5 10 1520 25 30 35 40 4550 55y=0 1

13、.27 2.16 2.863.44 3.87 4.15 4.374.51 4.584.62 4.64figure(1)plot(t,y,bo)grid onhold onxs0=polyfit(t,y,1);% 插值點，其中1表示一次多項式，即直線a=xs0(1)% 插值求得一次項系數(shù) b=xs0(2)% 插值求得常數(shù)項項系數(shù) f0=polyval(xs0,t) % 求得擬合出來的多項式在輸入值為t下的y值xs1=polyfit(t,y,2);% 插值點，其中1表示一次多項式，即直線a=xs1(1) %插值求得二次項系數(shù)b=xs1(2) %插值求得一次項系數(shù)c=xs1(3) %插值求得常數(shù)項系

14、數(shù)f1=polyval(xs1,t) % 求得擬合出來的多項式在輸入值為t下的y值xs2=polyfit(t,y,3);a=xs2(1) %插值求得三次項系數(shù)b=xs2(2) %插值求得二次項系數(shù)c=xs2(3) %插值求得一次項系數(shù)d=xs2(4) %插值求得常數(shù)項系數(shù)f2=polyval(xs2,t) % 求得擬合出來的多項式在輸入值為t下的y值xs5=polyfit(t,y,6);a=xs5(1) %插值求得六次項系數(shù)b=xs5(2) %插值求得五次項系數(shù)c=xs5(3) %插值求得四次項系數(shù)d=xs5(4) %插值求得三次項系數(shù)e=xs5(5) %插值求得二次項系數(shù)f=xs5(6) %

15、插值求得一次項系數(shù)g=xs5(7) %插值求得常數(shù)項系數(shù)f5=polyval(xs5,t) % 求得擬合出來的多項式在輸入值為t下的y值xs9=polyfit(t,y,10);a=xs9(1) %插值求得十次項系數(shù)b=xs9(2) %插值求得九次項系數(shù)c=xs9(3) %插值求得八次項系數(shù)d=xs9(4) %插值求得七次項系數(shù)e=xs9(5) %插值求得六次項系數(shù)f=xs9(6) %插值求得五次項系數(shù)g=xs9(7) %插值求得四次項系數(shù)h=xs9(8)%插值求得三次項系數(shù)i=xs9(9)%插值求得二次項系數(shù)j=xs9(10)%插值求得一次項系數(shù)l=xs9(11)%插值求得常數(shù)項系數(shù)f9=po

16、lyval(xs9,t) % 求得擬合出來的多項式在輸入值為t下的y值plot(t,f0,r-) %用紅色畫出通過數(shù)據(jù)點而擬合出來的曲線hold onplot(t,f1,g) %用綠色畫出通過數(shù)據(jù)點而擬合出來的曲線hold onplot(t,f2,b-) %用藍色畫出通過數(shù)據(jù)點而擬合出來的曲線hold onplot(t,f5,k-) %用黑色畫出通過數(shù)據(jù)點而擬合出來的曲線hold onplot(t,f9,m-) %紫紅色畫出通過數(shù)據(jù)點而擬合出來的曲線hold onlegend(數(shù)據(jù)點(ti,yi),一次多項式擬合曲線,二次多項式擬合曲線,三次多項式擬合,六次多項式擬合,十次多項式擬合) G1=

17、abs(y-f0)Gw1=max(G1)G2=abs(y-f1)Gw2=max(G2)G3=abs(y-f2)Gw3=max(G3)G6=abs(y-f5)Gw6=max(G6)G10=abs(y-f9)Gw10=max(G10)E1=sqrt(sum(y-f0).2)E2=sqrt(sum(y-f1).2)E3=sqrt(sum(y-f2).2)E6=sqrt(sum(y-f5).2)E10=sqrt(sum(y-f9).2)xlabel(時間t), ylabel(濃度y),title(化學反應中，實驗測得分解物濃度與時間的關系)五、心得體會經(jīng)過一個學期數(shù)值分析的學習，讓我有很深刻的感悟。數(shù)

18、值分析是一門重視算法和原理的學科，它的內容更接近實際，像最小二乘法擬合，求解線性方程組的解等，使數(shù)學理論更有實際意義。學習了數(shù)值分析才知道，對于以前解方程組，對矩陣的求解可能會產(chǎn)生100%的誤差，一個100%的誤差幾乎就是一個錯解，完全顛覆了以前的認識。學習數(shù)值分析之后，必須要學會尋找一種算法把誤差降低到最小，以便于解決問題。數(shù)值分析讓我有了“以點帶面”的思想，這里的“點”是根本，是主線。在第二章以拉格朗日插值、牛頓插值為主線，逐步展開介紹埃爾米特插值、分段低次插值和三次養(yǎng)條插值。只要把拉格朗日插值和牛頓插值基本原理方法理解透，其它的就容易掌握了。第三章函數(shù)逼近，最常用的就是通過構造一個多項式函數(shù)與已知函數(shù)或一串離散數(shù)據(jù)點進行擬合，直到使逼近效果令人滿意為止，這種思想在迭代法中有很深刻的體現(xiàn)。第六七章主要以迭代法為主線，來求解線