最小二乘法求二次方程系數(shù)

1、例1:二次方程式計(jì)算Y=ao+aix+a2 x2y=-6. 3+2. 4x+1.3x2Xyx 3xFxy11-2.6111-2. 6123.748167 413 J12.69278137. 814 J24.1166425696. 41538.22512$62519116 J54 93621612963291774.2493 34324015191 J8 J96 161512409676919 J120.68172965611085求和945421. 82852025153333033945285421. 845285_ 20253033285加2目1533322997.4系數(shù)系數(shù)值aO-6.

2、30Xyal2. 40896. 10a21. 30下表為自動計(jì)算系數(shù)，給出9組x和y的數(shù)值，自動計(jì)算出系數(shù)。原理與多項(xiàng)式擬合說明附后。2y_ -2. 614. 8113. 4385. 69551976. 43635. 86150.J9768.622997. 4第一節(jié)最小二乘法的基本原理和多項(xiàng)式擬合一最小二乘法的基本原理從整體上考慮近似函數(shù)（X）同所給數(shù)據(jù)點(diǎn)（玉，£）（i=0, 1,m）誤差。=（再）一y（i=0,1,m）的大小，常用的方法有以下三種：一是誤差。=（七）-y（i=0,1,m）絕對值的最大值盟鄧I即誤差向量m.y |r|=（小不）的8范數(shù)；二是誤差絕對值的和七 ,即誤差向

3、量r的1 ny /；2范數(shù)；三是誤差平方和、。 的算術(shù)平方根，即誤差向量r的2范數(shù)；前兩種 方法簡單、自然，但不便于微分運(yùn)算，后一種方法相當(dāng)于考慮2范數(shù)的平方,01Yr,2因此在曲線擬合中常采用誤差平方和來 度量誤差'；（i=0, 1,，m）的整 體大小。數(shù)據(jù)擬合的具體作法是：對給定數(shù)據(jù)（巧，）（i=0,1,，m）,在取定的函 數(shù)類中，求（外£，使誤差=（七）一%（iRJ,m）的平方和最小，即mmr-0= r.O從幾何意義上講，就是尋求與給定點(diǎn)區(qū)1'i）（i=0,1,m）的距離平方和為最 小的曲線 y = pM （圖67） o函數(shù)P（x）稱為擬合函數(shù)或最小二乘解，求擬

4、 合函數(shù)”（X）的方法稱為曲線擬合的最小二乘法。在曲線擬合中，函數(shù)類中可有不同的選取方法.61二多項(xiàng)式擬合 假設(shè)給定數(shù)據(jù)點(diǎn)（卬y）（i=0,1,m）,為所有次數(shù)不超過（金）的多項(xiàng)式構(gòu)成的函數(shù)類，現(xiàn)求一 I，使得him （ n1 =（七）一）'j = E 一）'i = min/=（）（=o=o7（1）當(dāng)擬合函數(shù)為多項(xiàng)式時，稱為多項(xiàng)式擬合，滿足式（1）的"（X）稱為最小二乘 擬合多項(xiàng)式。特別地，當(dāng)n=1時，稱為線性擬合或直線擬合。顯然m / = £(2f)。f-0 氏-0為“o6,冊的多元函數(shù)，因此上述問題即為求/ = /("。必，的極值 問題。由多元

5、函數(shù)求極值的必要條件，得次 -：- = 2Z(Z，”"= °，CQj &)a=o即ntD rU)r-0(3)是關(guān)于。"小/的線性方程組，用矩陣表示為infnr-0 mM)式(3)或式(4)稱為正規(guī)方程組或法方程組?？梢宰C明，方程組(4)的系數(shù)矩陣是一個對稱正定矩陣，故存在唯一解。從式(4)中解出4 (k=0,1,，n),從而可得多項(xiàng)式n可以證明，式(5)中的(X)滿足式(1),即 *)為所求的擬合多項(xiàng)式。我 mp (X. ) V。I們把4J稱為最小二乘擬合多項(xiàng)式“(X)的平方誤差，記作m怵=£” (七)-何r-0由式可得in/-() J) D(6

6、)多項(xiàng)式擬合的一般方法可歸納為以下幾步：(1)由已知數(shù)據(jù)畫出函數(shù)粗略的圖形散點(diǎn)圖，確定擬合多項(xiàng)式的次數(shù)n;£x；(j = 01,2)Y x/ (7 =。,2)列表計(jì)算，。和、。(3)寫出正規(guī)方程組，求出“。必，勺；(4)寫出擬合多項(xiàng)式 i在實(shí)際應(yīng)用中，機(jī)或Z；當(dāng)，= ?時所得的擬合多項(xiàng)式就是拉格朗日或牛 頓插值多項(xiàng)式。例1測得銅導(dǎo)線在溫度CC）時的電阻與（Q）如表67,求電阻R與溫度T 的近似函數(shù)關(guān)系。10123456()19.125.030. 136.040.045. 150.0%(C)76. 3077. 8079.2580.8082. 3583. 9085. 10解 畫出散點(diǎn)圖（

7、圖6-2）,可見測得的數(shù)據(jù)接近一條直線，故取1,擬合函 數(shù)為R = a。+aT列表如下1&TR019.176. 30364.811457. 330125.077. 80625.001945. 000230.179. 25906. 012385. 425336.080.801296. 002908. 800440.082. 351600.003294. 000545. 183. 902034. 013783. 890650.085. 102500.004255. 000Z245. 3565.59325.8320029. 445正規(guī)方程組為7245.3 T«ol F 565.5

8、一245.3 9325.83a一120029.445_解方程組得旬=70,572 , q = 0.921故得R與T的擬合直線為/? = 70.572+0.9217利用上述關(guān)系式，可以預(yù)測不同溫度時銅導(dǎo)線的電阻值。例如，由R=0得 T-242.5,即預(yù)測溫度 T=-242.5°C時，銅導(dǎo)線無電阻。85 80 一 01103050T6-2已知實(shí)驗(yàn)數(shù)據(jù)如下表i01234567813456789101054211234試用最小二乘法求它的二次擬合多項(xiàng)式。解設(shè)擬合曲線方程為y =+ax + a2x2列表如下I陽y.彳X；%：%0110111101013592781154524416642561

9、6643522512562510504613621612966365714934324017496826451240961612879381729656127243810410010001000040400Z53323813017253171471025得正規(guī)方程組 952381 TaQ'523813017 «,=381 3017 25317 a.一L. 一解得a。= 13.4597»= 3.6053故擬合多項(xiàng)式為- 32 -1471025仇=0.2676 一y = 13.4597 - 3.6053 + 0.2676 x2*三最小二乘擬合多項(xiàng)式的存在唯一性定理1 設(shè)

10、節(jié)點(diǎn)X。/。:/互異，則法方程組(4)的解存在唯一。證 由克萊姆法則，只需證明方程組(4)的系數(shù)矩陣非奇異即可。用反證法，設(shè)方程組(4)的系數(shù)矩陣奇異，則其所對應(yīng)的齊次方程組nt/-()tn 立 /-() tnJ-0mLi-omJ-0(7)有非零解。式可寫為n in鏟）% =0.A-0 /-（）(8)將式（8）中第j個方程乘以盯（戶0,1,，n）,然后將新得到的n+1個方程左二°右兩端分別相加，得尸。h0 i=0因?yàn)閖=0其中ni ti叼尸三（2>八'）（2?”：）=與（七）i=0 ；=0 A =0P(x) = Z"Jt-0所以區(qū)）=o（i=0,1,m）”*）

11、是次數(shù)不超過n的多項(xiàng)式，它有m+1>n個相異零點(diǎn)，由代數(shù)基本定理，必 須有。=4=勺=°,與齊次方程組有非零解的假設(shè)矛盾。因此正規(guī)方程組（4）pn （x） =必有唯一解。定理2 設(shè)&是正規(guī)方程組（4）的解，則 I 是滿足式（1）的最小二乘擬合多項(xiàng)式。證 只需證明，對任意一組數(shù)/組成的多項(xiàng)式Z（x）=3I) ,恒有E Qn(匕)- £ J 2 Z (芭)-疔/-()即可。mE &（再）-）力2 - Z 以（3）- y Jr=0Hi1=0in=Z （七）- p區(qū)）+2E【0G）- p 區(qū)- 上m ii pn-0+2EEk/?/以=0=2£（%-應(yīng)

12、-乃卜；I=O因?yàn)? （k=0,1,，n）是正規(guī)方程組（4）的解，所以滿足式（2）,因此有inmE Q （七）- 乂 2 _ Z .（再）- 乂 T N 0 r-0D故P“（幻為最小二乘擬合多項(xiàng)式。*四多項(xiàng)式擬合中克服正規(guī)方程組的病態(tài)在多項(xiàng)式擬合中，當(dāng)擬合多項(xiàng)式的次數(shù)較高時，其正規(guī)方程組往往是病態(tài)的。而 且正規(guī)方程組系數(shù)矩陣的階數(shù)越高，病態(tài)越嚴(yán)重：擬合節(jié)點(diǎn)分布的區(qū)間k。，4 偏離原點(diǎn)越遠(yuǎn)，病態(tài)越嚴(yán)重；為（i=0,1,，m）的數(shù)量級相差越大，病態(tài)越嚴(yán)重。為了克服以上缺點(diǎn)，一般采用以下措施：盡量少作高次擬合多項(xiàng)式，而作不同的分段低次擬合；不使用原始節(jié)點(diǎn)作擬合，將節(jié)點(diǎn)分布區(qū)間作平移，使新的節(jié)點(diǎn)七關(guān)于

13、原 點(diǎn)對 稱，可大大降低正規(guī)方程組的條件數(shù)，從而減低病態(tài)程度。平移公式為：x = xi - -,i = 0,1,？2（9）對平移后的節(jié)點(diǎn)巷（i=0,1,，m）,再作壓縮或擴(kuò)張?zhí)幚恚簒； = IF, i = 0,1,，ma。）/7 = 2J（/n + l）/y（）2r其中 V /沁。 ,（r是擬合次數(shù)）（11）經(jīng)過這樣調(diào)整可以使x；的數(shù)量級不太大也不太小，特別對于等距節(jié)點(diǎn) a=/+汕 （i = O,l,?），作式（io）和式（“）兩項(xiàng)變換后，其正規(guī)方程 組的系數(shù)矩陣設(shè) 為A,則對14次多項(xiàng)式擬合，條件數(shù)都不太大，都可以得到 滿意的結(jié)果。變換后的條件數(shù)上限表如下:擬合次數(shù)1234condy (A)

14、=1<9.9<50.3<435在實(shí)際應(yīng)用中還可以利用正交多項(xiàng)式求擬合多項(xiàng)式。一種方法是構(gòu)造離散正交 多項(xiàng)式；另一種方法是利用切比雪夫節(jié)點(diǎn)求出函數(shù)值后再使用正交多項(xiàng)式。這兩 種方法都使正規(guī)方程 組的系數(shù)矩陣為對角矩陣，從而避免了正規(guī)方程組的病態(tài)。 我們只介紹第一種，見第三節(jié)。例如 m=19, xo=328,h=1, %二/ + ih, i=0,1,，19,即節(jié)點(diǎn) 分布在328, 347, 作二次多項(xiàng)式擬合時 直接用玉構(gòu)造正規(guī)方程組系數(shù)矩陣A，計(jì)算可得co4（Ao ） = 2.25x103嚴(yán)重病態(tài)，擬合結(jié)果完全不能用。 作平移變換-328 + 347七二七5，= 0,1,19用者構(gòu)造正規(guī)方程組系數(shù)矩陣4,計(jì)算可得 co4（A）= 4.483868 xlO16比c°4（4）降低了 13個數(shù)量級，病態(tài)顯