最小二乘法的基本原理和多項式擬合

1、最小二乘法的基本原理和多項式擬合一最小二乘法的基本原理從整體上考慮近似函數(shù) 災) 同所給數(shù)據(jù)點:(i=0,1,m)誤差:舄一門(i=0,1，,m),即誤差向量H'耳二P(Xj)-月(i=o,i,m)絕對值的最大值黑驚®眾Zh,即誤差向量r的1范數(shù)；三是誤差平方的x范數(shù)；二是誤差絕對值的和T和二 的算術平方根，即誤差向量r的2范數(shù)；前兩種方法簡單、自然，但不便 于微分運算，后一種方法相當于考慮2范數(shù)的平方，因此在曲線擬合中常采用誤y 2差平方和匚 來度量誤差：(i=0 , 1，m)的整體大小。數(shù)據(jù)擬合的具體作法是：對給定數(shù)據(jù)=(i=0,1,，m)，在取定的函數(shù)類二中,求匸二-小

2、，使誤差:".-(i=0,1,m)的平方和最小，即= -.從幾何意義上講，就是尋求與給定點-二(i=0,1,m)的距離平方和為最小 的曲線 ?=pW (圖6-1 )。函數(shù)稱為擬合函數(shù)或最小二乘解，求擬合函數(shù)匚的方法稱為曲線擬合的最小二乘 法?？捎胁煌倪x取方法6 1二多項式擬合假設給定數(shù)據(jù)點： ：l (i=0,1,m)，二為所有次數(shù)不超過朮二匕 的多項式構(gòu)成Nd)二乞丑化的函數(shù)類，現(xiàn)求一-,使得”另以3)-二為1?說1” >0j-0=min(1)當擬合函數(shù)為多項式時，稱為多項式擬合，滿足式(1)的兒稱為最小二乘擬合 多項式。特別地，當n=1時，稱為線性擬合或直線擬合。顯然為k的

3、多元函數(shù)，因此上述問題即為求(如婦叫)的極值問題。由多 元函數(shù)求極值的必要條件，得故存在唯一解從式（4）中解出J （k=0,1,，n），從而可得多項式s -* 眾WJliid（3）是關于；r I的線性方程組，用矩陣表示為聊+ 1擁i-0XXiIXi-0ki-0flValflfii-0 m1-01*m_?-0*wa _L a J.M一式（3）或式（4）稱為正規(guī)方程組或法方程組?？梢宰C明，方程組（4）的系數(shù)矩陣是一個對稱正定矩陣,我們把n；可以證明，式（5）中的-滿足式（1），即門為所求的擬合多項式。另氐）-yj丹心稱為最小二乘擬合多項式的平方誤差，記作由式可得I-O Z i-0多項式擬合的一般方

4、法可歸納為以下幾步：（1）由已知數(shù)據(jù)畫出函數(shù)粗略的圖形 一一散點圖，確定擬合多項式的次數(shù)工球（八0丄冏 工#旳（八0丄，劄）列表計算-和;（3）寫出正規(guī)方程組，求出"飛;必（力二乞吋（4）寫出擬合多項式二； 。在實際應用中，或；：；當弓二遐時所得的擬合多項式就是拉格朗日或牛頓插值多項式。例1測得銅導線在溫度丄）時的電阻-：'Jl如表6-1，求電阻R與溫度T的 近似函數(shù)關系。012345爲(C)19.125.030.136.040.045.150.076.3077.879.2580.882.3583.985.1解 畫出散點圖(圖6-2)，可見測得的數(shù)據(jù)接近一條直線，故取 n=1

5、，擬合函數(shù)為列表如下i019.176.30364.811457.330125.077.80625.001945.000230.179.25906.012385.425336.080.801296.002908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000245.3565.59325.8320029.445正規(guī)方程組為解方程組得故得R與T的擬合直線為利用上述關系式，可以預測不同溫度時銅導線的電阻值。例如，由R=0得T=-242.5 ,即預測溫度T=-242.5 C時，銅導線無電阻。6-

6、2例2?已知實驗數(shù)據(jù)如下表i0123456781345 6789101054211234試用最小二乘法求它的二次擬合多項式 解設擬合曲線方程為丿二州+時+卡列表如下I01101111010135927811545244166425616P 6435225125625105046136216129663657149343240174968264512409616128793817296561272438 :104100100010000 :40r 40053323813017253171471025得正規(guī)方程組0解得故擬合多項式為 *三最小二乘擬合多項式的存在唯一性定理1 設節(jié)點: '

7、'1 1互異，則法方程組（4）的解存在唯一（4）的系數(shù)矩陣奇異，則其所對應的齊次方程組設方程組證 由克萊姆法則，只需證明方程組（4）的系數(shù)矩陣非奇異即可。 用反證法，J-0J © MiS嚴亍y有非零解式可寫為(8)將式（8）中第j個方程乘以：；（j=0,1,，n），然后將新得到的n+1個方程左右兩羽亞忤0端分別相加，得- '因為其中所以:(i=O,1,m)n的多項式，它有m+1> n個相異零點，由代數(shù)基本定理，必須 ，與齊次方程組有非零解的假設矛盾。因此正規(guī)方程組（4）必仏僞a有唯一解。定理2設I T '是正規(guī)方程組（4）的解，則 足式（1）的最小二乘擬

8、合多項式。j >>Qh （x） =證只需證明，對任意一組數(shù)r組成的多項式匚 ，恒有即可。因為（k=0,1,，n）是正規(guī)方程組（4）的解，所以滿足式（2）,因此有 故八為最小二乘擬合多項式。*四多項式擬合中克服正規(guī)方程組的病態(tài)在多項式擬合中，當擬合多項式的次數(shù)較高時，其正規(guī)方程組往往是病態(tài)的。而且 正規(guī)方程組系數(shù)矩陣的階數(shù)越高，病態(tài)越嚴重； 擬合節(jié)點分布的區(qū)間I廠丄；I偏離原點越遠，病態(tài)越嚴重; （i=0,1,，m）的數(shù)量級相差越大，病態(tài)越嚴重。 為了克服以上缺點，一般采用以下措施： 盡量少作高次擬合多項式，而作不同的分段低次擬合；不使用原始節(jié)點作擬合，將節(jié)點分布區(qū)間作平移，使新的節(jié)

9、點關于原 點對稱,可大大降低正規(guī)方程組的條件數(shù)，從而減低病態(tài)程度。平移公式為：A/弄(9)對平移后的節(jié)點1 （i=0,1,，m）,再作壓縮或擴張?zhí)幚恚?#39;匚 一 -;（10）p 二（桝 +1）/刀（X尸廠其中, （r是擬合次數(shù)）（11）經(jīng)過這樣調(diào)整可以使的數(shù)量級不太大也不太小，特別對于等距節(jié)點''，作式（10）和式（11）兩項變換后，其正規(guī)方程組的系數(shù)矩陣設 為A,則對14次多項式擬合，條件數(shù)都不太大，都可以得到滿意的結(jié) 果。變換后的條件數(shù)上限表如下：擬合次數(shù)1234=1<9.9<50.3<435在實際應用中還可以利用正交多項式求擬合多項式。一種方法是構(gòu)造離散正交多項式；另一種方法是利用切比雪夫節(jié)點求出函數(shù)值后再使用正交多項式。這兩種方 法都使正規(guī)方程組的系數(shù)矩陣為對角矩陣，從而避免了正規(guī)方程組的病態(tài)。我們只 介紹第一種，見第三節(jié)。例如 m=19/ i =328,h=1,: =+ih，i=0,1,，19，即節(jié)點 分布在328,347 ，作二次多項式擬合時 直接用構(gòu)造正規(guī)方程組系數(shù)矩陣-，計算可得嚴重病態(tài)，擬合結(jié)果完全不能用。 作平移變換陽：構(gòu)造正規(guī)方程組系數(shù)矩陣'-l，計算可得比J 降低了 13個數(shù)量級，病態(tài)顯著改善，擬合