最小二乘法的基本原理和多項式擬合

數(shù)值分析2013年12月最小二乘法的根本原理和多項式擬合摘要：隨著科技開展和社會進步，尤其是計算機大范圍的普及，計算機應(yīng)用逐漸由大規(guī)?？茖W(xué)計算的海量數(shù)據(jù)處理轉(zhuǎn)向日常學(xué)習(xí)中遇到的小型數(shù)據(jù)的處理與計算，這就產(chǎn)生了解決各種實際問題需要的各種應(yīng)用程序，特別是在電磁檢驗實驗中的應(yīng)用更為廣泛。最小二乘法〔又稱最小平方法〕是一種數(shù)學(xué)優(yōu)化技術(shù)，是利用最小化誤差的平方和尋找數(shù)據(jù)的最正確函數(shù)匹配的一種計算方法[1]，本文對最小二乘法進行了深入細致的研究，利用Matlab語言編制程序和數(shù)學(xué)知識相結(jié)合，通過實驗數(shù)據(jù)的輸入，實現(xiàn)多項式和曲線擬合的輸出，并利用設(shè)計的程序?qū)崿F(xiàn)了一些實際問題的求解和處理。關(guān)鍵詞：最小二乘法，曲線擬合，多項式一、前言曲線擬合又稱作函數(shù)逼近，是求近似函數(shù)的一類數(shù)值方法．它不要求近似函數(shù)在每個節(jié)點處與函數(shù)值相同，只要求其盡可能的反映給定數(shù)據(jù)點的根本趨勢以及某種意義上的無限“逼近”．在需要對一組數(shù)據(jù)進行處理、篩選時，我們往往會選擇合理的數(shù)值方法，而曲線擬合在實際應(yīng)用中也倍受青睞．采用曲線擬合處理數(shù)據(jù)時，一般會考慮到誤差的影響，于是我們往往基于殘差的平方和最小的準那么選取擬合曲線的方法，這便是經(jīng)常所說的曲線擬合的最小二乘法．通過對一些文獻的分析和整理，不僅有數(shù)據(jù)處理〔數(shù)據(jù)采集〕，還有模型建立，可以了解到曲線擬合的最小二乘法的應(yīng)用領(lǐng)域較為廣泛。二、最小二乘法法的介紹1〕，最小二乘法的根本原理從整體上考慮近似函數(shù)同所給數(shù)據(jù)點(i=0,1,…,m)誤差(i=0,1,…,m)的大小，常用的方法有以下三種：一是誤差(i=0,1,…,m)絕對值的最大值，即誤差向量的∞—范數(shù)；二是誤差絕對值的和，即誤差向量r的1—范數(shù)；三是誤差平方和的算術(shù)平方根，即誤差向量r的2—范數(shù)；前兩種方法簡單、自然，但不便于微分運算，后一種方法相當于考慮2—范數(shù)的平方，因此在曲線擬合中常采用誤差平方和來度量誤差(i=0，1，…，m)的整體大小。數(shù)據(jù)擬合的具體作法是：對給定數(shù)據(jù)(i=0,1,…，m)，在取定的函數(shù)類中,求,使誤差(i=0,1,…,m)的平方和最小，即=從幾何意義上講，就是尋求與給定點(i=0,1,…,m)的距離平方和為最小的曲線〔圖6-1〕。函數(shù)稱為擬合函數(shù)或最小二乘解，求擬合函數(shù)的方法稱為曲線擬合的最小二乘法。在曲線擬合中，函數(shù)類可有不同的選取方法.6—12〕，多項式擬合假設(shè)給定數(shù)據(jù)點(i=0,1,…,m)，為所有次數(shù)不超過的多項式構(gòu)成的函數(shù)類，現(xiàn)求一,使得(1)當擬合函數(shù)為多項式時，稱為多項式擬合，滿足式〔1〕的稱為最小二乘擬合多項式。特別地，當n=1時，稱為線性擬合或直線擬合。［顯然為的多元函數(shù)，因此上述問題即為求的極值問題。由多元函數(shù)求極值的必要條件，得(2)即(3)〔3〕是關(guān)于的線性方程組，用矩陣表示為(4)式〔3〕或式〔4〕稱為正規(guī)方程組或法方程組?？梢宰C明，方程組〔4〕的系數(shù)矩陣是一個對稱正定矩陣，故存在唯一解。從式〔4〕中解出(k=0,1,…，n)，從而可得多項式(5)可以證明，式〔5〕中的滿足式〔1〕，即為所求的擬合多項式。我們把稱為最小二乘擬合多項式的平方誤差，記作由式(2)可得(6)多項式擬合的一般方法可歸納為以下幾步：(1)由數(shù)據(jù)畫出函數(shù)粗略的圖形——散點圖，確定擬合多項式的次數(shù)n；(2)列表計算和；(3)寫出正規(guī)方程組，求出；(4)寫出擬合多項式。在實際應(yīng)用中，或；當時所得的擬合多項式就是拉格朗日或牛頓插值多項式。3〕，最小二乘擬合多項式的存在唯一性定理1設(shè)節(jié)點互異，那么法方程組〔4〕的解存在唯一。證由克萊姆法那么，只需證明方程組〔4〕的系數(shù)矩陣非奇異即可。用反證法，設(shè)方程組〔4〕的系數(shù)矩陣奇異，那么其所對應(yīng)的齊次方程組〔7〕有非零解。式(7)可寫為〔8〕將式〔8〕中第j個方程乘以(j=0,1,…，n)，然后將新得到的n+1個方程左右兩端分別相加，得因為其中所以(i=0,1,…,m)是次數(shù)不超過n的多項式，它有m+1＞n個相異零點，由代數(shù)根本定理，必須有，與齊次方程組有非零解的假設(shè)矛盾。因此正規(guī)方程組〔4〕必有唯一解。定理2設(shè)是正規(guī)方程組〔4〕的解，那么是滿足式〔1〕的最小二乘擬合多項式。證只需證明，對任意一組數(shù)組成的多項式，恒有即可。因為(k=0,1,…，n)是正規(guī)方程組〔4〕的解，所以滿足式〔2〕，因此有故為最小二乘擬合多項式。2算法實現(xiàn)在化學(xué)反響中，由實驗測得分解物濃度與時間的關(guān)系如下表1所示表1濃度〔y〕與時間(t)的關(guān)系實驗數(shù)據(jù)表t0510152025y01.272.162.863.443.87t303540455055y4.154.374.514.584.624.643思路解答根據(jù)題設(shè)要求即根據(jù)所給數(shù)據(jù)求一未知的多項式擬合曲線，由于曲線未知，只能通過數(shù)據(jù)去確定待定的多項式參數(shù)，進而使數(shù)據(jù)盡可能的逼近所求曲線．最后再通過總誤差比擬，取最小誤差對應(yīng)多項式即可．不妨設(shè)所求多項式為[fiv]，式中表示多項式的最高次數(shù)．說明：表格(1)中是題設(shè)給定的函數(shù)值，f0，f1，f2，f5，f9分別表示擬合多項式最高次數(shù)m=1,2,3,6,10時的擬合值．由于數(shù)據(jù)不是很多，可以直接用最小二乘法找出最好的擬合曲線．具體就是比擬總誤差的大小，然后取誤差最小的那條擬合曲線即可．當然，可根據(jù)均方差和偏差G=。計算求得．同時根據(jù)法方程組或者多項式公式，可求出其多項式系數(shù)itiyiti^2tiyiti^3ti^4ti^5ti^6ti^2yiti^3yi00000000000151.27256.3512562531251562531.75158.752102.1610021.610010000100000100000021621603152.8622542.933755062575937511390625643.59652.54203.4440068.880001600003200000640000001376275205253.8762596.751562539062597656252441406252418.7560468.756304.15900124.5270008100002430000072900000037351120507354.371225152.954287515006255252187518382656255353.25187363.88404.511600180.4640002560000102400000409600000066402656009454.582025206.191125410062518452812583037656259274.5417352.510504.6225002311250062500003125000001155057750011554.643025255.216637591506255032843752768064062514036771980和33040.47126501386.554311002498375011933625005859321875055274.752431806表a據(jù)表a可得一次多項式系數(shù)a1=0.0765，a0=1.2667，故可得二次多項式系數(shù)a2=—0.0022，a1=0.1992，a0=0.2453，故三次多項式系數(shù)a3=0.000032499，a2=-0.0049，a1=0.2557，a0=0.0122，故同理六次和十次多項式擬合曲線分別為用matlab繪出多項式擬合的直觀圖：圖一4總誤差比擬與分析：用matlab程序[tw]計算可得最大偏差和均方差分別為Gw1=1.2677，Gw2=0.2453，Gw3=0.0661，Gw6=0.0188，Gw10=0.0040根據(jù)圖一可知一次多項式擬合和二次多項式擬合偏差太大，三次、六次、十次多項式比擬貼近真實值，再結(jié)合多項式擬合的最大偏差和均方差，可清晰知道十次多項式擬合的數(shù)據(jù)最小故十次多項式擬合更接近實際值，綜合可知10次多項式擬合曲線比1、2、3和6次擬合更加接近題設(shè)所給數(shù)據(jù)．三、參考文獻[1]李慶揚，王能超，易大義.數(shù)值分析[M].清華大學(xué)出版社:2009年：第三章[2]姜健飛，胡良劍，唐儉.數(shù)值分析及其MATLAB實驗[M].科學(xué)出版社：2004年：第四章[3]羅建軍，楊琦，馮博琴.MATLAB數(shù)值分析[M].機械工業(yè)出版社：2012年：第三、七章[4]張鐵，閻家斌．數(shù)值分析［M］．北京:冶金工業(yè)出版社，2005．第二、三章[5]李岳生，黃友謙.數(shù)值逼近.人民教育出版社,1978，〔3〕：36-41[6]陳杰，張增強，于鋒.MATLAB寶典[第3版].北京：電子工業(yè)出版社，2011.1.第六章第二三節(jié)四、附錄t=[ 05 10 15 20 2530 35 40 45 50 55]y=[ 01.272.162.86 3.443.874.154.37 4.514.58 4.624.64]figure(1)plot(t,y,'bo')gridonholdonxs0=polyfit(t,y,1);%插值點，其中1表示一次多項式，即直線a=xs0(1)%插值求得一次項系數(shù)b=xs0(2)%插值求得常數(shù)項項系數(shù)f0=polyval(xs0,t)%求得擬合出來的多項式在輸入值為t下的y值xs1=polyfit(t,y,2);%插值點，其中1表示一次多項式，即直線a=xs1(1)%插值求得二次項系數(shù)b=xs1(2)%插值求得一次項系數(shù)c=xs1(3)%插值求得常數(shù)項系數(shù)f1=polyval(xs1,t)%求得擬合出來的多項式在輸入值為t下的y值xs2=polyfit(t,y,3);a=xs2(1)%插值求得三次項系數(shù)b=xs2(2)%插值求得二次項系數(shù)c=xs2(3)%插值求得一次項系數(shù)d=xs2(4)%插值求得常數(shù)項系數(shù)f2=polyval(xs2,t)%求得擬合出來的多項式在輸入值為t下的y值xs5=polyfit(t,y,6);a=xs5(1)%插值求得六次項系數(shù)b=xs5(2)%插值求得五次項系數(shù)c=xs5(3)%插值求得四次項系數(shù)d=xs5(4)%插值求得三次項系數(shù)e=xs5(5)%插值求得二次項系數(shù)f=xs5(6)%插值求得一次項系數(shù)g=xs5(7)%插值求得常數(shù)項系數(shù)f5=polyval(xs5,t)%求得擬合出來的多項式在輸入值為t下的y值xs9=polyfit(t,y,10);a=xs9(1)%插值求得十次項系數(shù)b=xs9(2)%插值求得九次項系數(shù)c=xs9(3)%插值求得八次項系數(shù)d=xs9(4)%插值求得七次項系數(shù)e=xs9(5)%插值求得六次項系數(shù)f=xs9(6)%插值求得五次項系數(shù)g=xs9(7)%插值求得四次項系數(shù)h=xs9(8)%插值求得三次項系數(shù)i=xs9(9)%插值求得二次項系數(shù)j=xs9(10)%插值求得一次項系數(shù)l=xs9(11)%插值求得常數(shù)項系數(shù)f9=polyval(xs9,t)%求得擬合出來的多項式在輸入值為t下的y值plot(t,f0,'r-')%用紅色畫出通過數(shù)據(jù)點而擬合出來的曲線holdonplot(t,f1,'g')%用綠色畫出通過數(shù)據(jù)點而擬合出來的曲線holdonplot(t,f2,'b-')%用藍色畫出通過數(shù)據(jù)點而擬合出來的曲線holdonplot(t,f5,'k-')%用黑色畫出通過數(shù)據(jù)點而擬合出來的曲線holdonplot(t,f9,'m-')%紫紅色畫出通過數(shù)據(jù)點而擬合出來的曲線holdonlegend('數(shù)據(jù)點(ti,yi)','一次多項式擬合曲線','二次多項式擬合曲線','三次多項式擬合','六次多項式擬合','十次多項式擬合')G1=abs(y-f0)Gw1=max(G1)G2=abs(y-f1)Gw2=max(G2)G3=abs(y-f2)Gw3=max(G3)G6=abs(y-f5)Gw6=max(G6)G10=abs(y-f9)Gw10=max(G10)E1=sqrt(sum((y-f0).^2))E2=sqrt(sum((y-f1).^2))E3=sqrt(sum((y-f2).^2))E6=sqrt(sum((y-f5).^2))E10=sqrt(sum((y-f9).^2))xlabel('時間t'),ylabel('濃度y'),title('化學(xué)反響中，實驗測得分解物濃度與時間的關(guān)系')五、心得體會經(jīng)過一個學(xué)期數(shù)值分析的學(xué)習(xí)，讓我有很深刻的感悟。數(shù)值分析是一門重視算法和原理的學(xué)科，它的內(nèi)容更接近實際，像最小二乘法擬合，求解線性方程組的解等，使數(shù)學(xué)理論更有實際意義。學(xué)習(xí)了數(shù)值分析才知道，對于以前解方程組，對矩陣的求解可能會產(chǎn)生100%的誤差，一個100%的誤差幾乎就是一個錯解，完全顛覆了以前的認識。學(xué)習(xí)數(shù)值分析之后，必須要學(xué)會尋找一種算法把誤差降低到最小，以便于解決問題。數(shù)值分析讓我有了“以點帶面”的思想，這里的“點”是根本，是主線。在第二章以拉格朗日插值、牛頓插值為主線，逐步展開介紹埃爾米特插值、分段低次插值和三次養(yǎng)條插值。只要把拉格朗日插值和牛頓插值根本原理方法理解透，其它的就容易掌握了。第三章函數(shù)逼近，最常用的就是通過構(gòu)造一個多項式函數(shù)與函數(shù)或一串離散數(shù)據(jù)點進行擬合，直到使逼近效果令人滿意為止，這種思想在迭代法中有很深刻的表達。第六七章主要以迭代法為主線，來求解線性方程和非線性方程。在學(xué)習(xí)過程中只要