最小二乘法的基本原理和多項(xiàng)式擬合

1、最小二乘法的基本原理和多項(xiàng)式擬合一最小二乘法的基本原理從整體上考慮近似函數(shù)同所給數(shù)據(jù)點(diǎn):(i=0,1,m)誤差-(i=0,1，,m)駅必(i=o,i,m)絕對值的最大值黑驚，即誤差向量r和- 的算術(shù)平方根，即誤差向量r的2范數(shù)；前兩種方法簡單、自然，但不便 于微分運(yùn)算，后一種方法相當(dāng)于考慮2范數(shù)的平方，因此在曲線擬合中常采用誤W審r.差平方和- 來度量誤差.(i=0,1,，m)的整體大小。數(shù)據(jù)擬合的具體作法是：對給定數(shù)據(jù)=(i=0,1,，m)，在取定的函數(shù)類二中,求匸二-小，使誤差:.-(i=0,1,m)的平方和最小，即=從幾何意義上講，就是尋求與給定點(diǎn)-L：:(i=0,1,m)的距離平方和為

2、最小的曲線“(圖6-1)。函數(shù)匚二稱為擬合函數(shù)或最小二乘解，求擬合函數(shù)匚二的方法稱為曲線擬合的最小二乘 法?？捎胁煌倪x取方法二多項(xiàng)式擬合假設(shè)給定數(shù)據(jù)點(diǎn)(i=0,1,m)，為所有次數(shù)不超過二汕的多項(xiàng)式構(gòu)成二工亡的范數(shù)；二是誤差絕對值的和Zhi-0,即誤差向量r的1范數(shù)；三是誤差平方的函數(shù)類，現(xiàn)求一二i,使得W）!-0當(dāng)擬合函數(shù)為多項(xiàng)式時(shí)，稱為多項(xiàng)式擬合，滿足式（ 多項(xiàng)式。特別地，當(dāng)n=1時(shí)，稱為線性擬合或直線擬合。 顯然MK/二-乃）為II的多元函數(shù)，因此上述問題即為求 元函數(shù)求極值的必要條件，得礦二2工QX卅-升眉二Q孔i-0 JUO話 能wJU） ij-0（3）是關(guān)于J的線性方程組，用矩陣

3、表示為i-0m,?-0（5）可以證明，式（5）中的-滿足式（1），即匕：為所求的擬合多項(xiàng)式。i-0稱為最小二乘擬合多項(xiàng)式心的平方誤差，記作!-0由式（2）可得H；二2；-2（2加i-d Z id多項(xiàng)式擬合的一般方法可歸納為以下幾步：（1）由已知數(shù)據(jù)畫出函數(shù)粗略的圖形 一一散點(diǎn)圖，確定擬合多項(xiàng)式的次數(shù)=min（1）1）的八稱為最小二乘擬合丄小的極值問題。由多故存在唯一解從式式（3）或式（4）稱為正規(guī)方程組或法方程組?？梢宰C明，方程組（4）的系數(shù)矩陣是一個(gè)對稱正定矩陣,我們把n；EyEyy ytsts掃BlBlftft I I二2 2 2 2 -?-?+1+1 XXXX- -“7(3)寫出正規(guī)方程

4、組，求出：! ：;*(4)寫出擬合多項(xiàng)式.：7。在實(shí)際應(yīng)用中，或二二;當(dāng)-汽時(shí)所得的擬合多項(xiàng)式就是拉格朗日或牛頓插值多項(xiàng)式。例1測得銅導(dǎo)線在溫度丄)時(shí)的電阻二二如表6-1，求電阻R與溫度T的 近似函數(shù)關(guān)系。i0123456爲(wèi)(C)19.125.030.136.040.045.150.0耳(G)76.3077.879.2580.882.3583.985.1解畫 出 散 點(diǎn) 圖 ( 圖6-2) ， 可 見 測 得 的 數(shù) 據(jù) 接 近 一 條 直 線 ， 故 取n=1， 擬 合 函 數(shù) 為+aj列表如下iT.R.019.176.30364.811457.330125.077.80625.001945

5、.000230.179.25906.012385.425336.080.801296.002908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000Z245.3565.59325.8320029.445正規(guī)方程組為 7245.3 Ta/565.5 :24539325.83_20029.445解方程組得術(shù)二70572, = 0 921故得R與T的擬合直線為5 = 70.572+0.9217利用上述關(guān)系式，可以預(yù)測不同溫度時(shí)銅導(dǎo)線的電阻值。例如，由R=O得T=-242.5，即預(yù)測溫度T=-2

6、42.5 C時(shí)，銅導(dǎo)線無電阻。列表計(jì)算匚(J二0丄，勿)和丫胃刈和剤-75 -6-2例2已知實(shí)驗(yàn)數(shù)據(jù)如下表i01234567813456789101054211234試用最小二乘法求它的二次擬合多項(xiàng)式 解設(shè)擬合曲線方程為二嗎+時(shí)+碼卡列表如下I旳乍彳利i501101111010135927811545244166425616643522512562510504613621612966365714934324017496826451240961612879381729656127243810410010001000040400253323813017253171471025得正規(guī)方程組_9523

7、81_垃0 32_523813017二1473813017253171025解得30=114597, flj = -3.6053 aa= 0.2576故擬合多項(xiàng)式為 = 13.4597-3.6053+0.2676?*三最小二乘擬合多項(xiàng)式的存在唯一性定理1設(shè)節(jié)點(diǎn)互異，則法方程組（4）的解存在唯一證 由克萊姆法則，只需證明方程組（4）的系數(shù)矩陣非奇異即可。 用反證法，設(shè)方程組式可寫為Jr播JU）i-0端分別相加，得0船 Z因?yàn)樗訫!牌+1 喘常！-0Mi觀2必i-09j-0V7-0電i2-011L?-o2嚴(yán)J-0_ !-0 _(8)將式（8）中第j個(gè)方程乘以：；（j=o,i,，n），然后將新得到

8、的n+1個(gè)方程左右兩有非零解m另送護(hù)滋wr=sk)33其中（4）的系數(shù)矩陣奇異，則其所對應(yīng)的齊次方程組八0丄/P&）二0（i=0,1,m）二J是次數(shù)不超過n的多項(xiàng)式，它有m+1 n個(gè)相異零點(diǎn)，由代數(shù)基本定理，必須有冷=二1有唯一解。定理2設(shè)是正規(guī)方程組（4）的解，則 足式（1）的最小二乘擬合多項(xiàng)式。L rA2（x）二另如d證只需證明，對任意一組數(shù)I組成的多項(xiàng)式，恒有刃 E）1J遼以山）t 刀Fi-02-0即可。1+1探Z【2（互）- ”F -也（珂）-另fi-0i-0=ZeR（西）-FOF+空bo-幾（禹）此（碼）-丹i-Or-0o+遼挖（-幻）彳別*彳-Mi-1 y-0LJU）J J

9、-OJ-O Lv-07 J因?yàn)椋╧=0,1,，n）是正規(guī)方程組（4）的解，所以滿足式（2）,因此有Z【2（曲）-Epn厲）-朋也故匚為最小二乘擬合多項(xiàng)式。*四多項(xiàng)式擬合中克服正規(guī)方程組的病態(tài)在多項(xiàng)式擬合中，當(dāng)擬合多項(xiàng)式的次數(shù)較高時(shí)，其正規(guī)方程組往往是病態(tài)的。而且1正規(guī)方程組系數(shù)矩陣的階數(shù)越高，病態(tài)越嚴(yán)重；2擬合節(jié)點(diǎn)分布的區(qū)間一.偏離原點(diǎn)越遠(yuǎn)，病態(tài)越嚴(yán)重;3I （i=0,1,，m）的數(shù)量級相差越大，病態(tài)越嚴(yán)重。 為了克服以上缺點(diǎn)，一般采用以下措施：1盡量少作高次擬合多項(xiàng)式，而作不同的分段低次擬合；不使用原始節(jié)點(diǎn)作擬合，將節(jié)點(diǎn)分布區(qū)間作平移，使新的節(jié)點(diǎn)關(guān)于原 點(diǎn)對稱,可大大降低正規(guī)方程組的條件數(shù)，

10、從而減低病態(tài)程度。平移公式為：伴f（9）對平移后的節(jié)點(diǎn)】（i=0,1,，m）,再作壓縮或擴(kuò)張?zhí)幚恚?，與齊次方程組有非零解的假設(shè)矛盾。因此正規(guī)方程組（4）必二二汐是滿 - - - （10）防（切+1）/刀（珀嚴(yán)其中-,（r是擬合次數(shù)）（11）經(jīng)過這樣調(diào)整可以使二的數(shù)量級不太大也不太小，特別對于等距節(jié)點(diǎn) : 上 - T，作式（10）和式（11）兩項(xiàng)變換后，其正規(guī)方程組的 系數(shù)矩陣設(shè) 為A,則對14次多項(xiàng)式擬合，條件數(shù)都不太大，都可以得到滿意的結(jié) 果。變換后的條件數(shù)上限表如下：擬合次數(shù)1234=19.950.34354在實(shí)際應(yīng)用中還可以利用正交多項(xiàng)式求擬合多項(xiàng)式。一種方法是構(gòu)造離散正交多 項(xiàng)式；另一種方法是利用切比雪夫節(jié)點(diǎn)求出函數(shù)值后再使用正交多項(xiàng)式。這兩種方 法都使正規(guī)方程 組的系數(shù)矩陣為對角矩陣，從而避免了正規(guī)方程組的病態(tài)。我們只 介紹第一種，見第三節(jié)。例如m=19/ i =328,h=1, =+ih,i=0,1,，19,即節(jié)點(diǎn) 分布在328,347,作二次多項(xiàng)式擬合時(shí) 直接用構(gòu)造正規(guī)方程組系數(shù)矩陣,計(jì)算可得CMrfa(4) = 225xlOu嚴(yán)重病態(tài)，擬合結(jié)果完全不能用。2作平移變換i=0,V-J9申：構(gòu)造正規(guī)方程組系數(shù)矩陣7，計(jì)算可得=