最小二乘法原理

1、文檔來源為：從網(wǎng)絡(luò)收集整理.word版本可編輯.歡迎下載支持.第一節(jié)最小二乘法的基本原理和多項(xiàng)式擬合 一最小二乘法的基本原理 從整體上考慮近似函數(shù)?同所給數(shù)據(jù)點(diǎn)（玉/J （i=0,1,，m）誤差門二P（&）-M（i=0,1,m）的大小，常用的方法有以下三種：- （i=0,1,，m）絕對值的最大值噩時，即誤差向量> lr I二（小7）的8范數(shù)；二是誤差絕對值的和 自 ，即誤差向量r的1 費(fèi)范數(shù)；三是誤差平方和 仁!的算術(shù)平方根，即誤差向量r的2范數(shù)；前兩種 方法簡單、自然，但不便于微分運(yùn)算，后一種方法相當(dāng)于考慮2范數(shù)的平方,府來 度量誤差八（i=0 ,1,，m）的l一 m -工&#

2、163;門因此在曲線擬合中常米用誤差平方和整體大小。數(shù)據(jù)擬合的具體作法是：又t給定數(shù)據(jù)5d （i=0,1，m）,在取定的函數(shù)類B中，求加工”9,使誤差尸LFSMm （i=0,1,m）的平方和最小，即工個2份愁）一/=min =.-.從幾何意義上講，就是尋求與給定點(diǎn)（號，乂）（i=0,1,m）的距離平方和為最小的曲線 y = P1刈（圖6-1）。函數(shù)僅外稱為擬合函數(shù)或最小二乘解，求 擬合函數(shù)P的方法稱為曲線擬合的最小二乘法。在曲線擬合中，函數(shù)類中可有不同的選取方法.6 1二多項(xiàng)式擬合假設(shè)給定數(shù)據(jù)點(diǎn)（”）（i=0,1，,m）,©為所有次數(shù)不超過現(xiàn)"玉海）的多項(xiàng)式式式）=工維/4

3、中構(gòu)成的函數(shù)類，現(xiàn)求一匕。，使得當(dāng)擬合函數(shù)為多項(xiàng)式時，稱為多項(xiàng)式擬合，滿足式（1）的P式功稱為最小二乘擬合多項(xiàng)式。特別地，當(dāng)n=1時，稱為線性擬合或直線擬合。 顯然為%Hi，%的多元函數(shù)，因此上述問題即為求 二4為，的的極值 問題。由多元函數(shù)求極值的必要條件，得翼=2£（£汽工：-居冰=0,j = 01/即, 赭苗£【£工廠"）牝=£引斯，廠&L,網(wǎng)<-：-.：-.（3）（3）是關(guān)于%的線性方程組，用矩陣表示為r X :二再 一： pi-o蕭VJM , 飛不戲 LZJ-O1f2M式（3）或式（4）稱為正規(guī)方程組或法方程組

4、?？梢宰C明，方程組（4）的系數(shù)矩陣是一個對稱正定矩陣，故存在唯一解。從式（4）中解出% （k=0,1,n）,從而可得多項(xiàng)式¥p式=£即N1（5）可以證明，式（5）中的2S）滿足式（1）,即式"為所求的擬合多項(xiàng)式。我Z辰-刀小們把人口稱為最小二乘擬合多項(xiàng)式尸工工）的平方誤差，記作由式（2）可得q=X M -自3宓J招）-1（6）多項(xiàng)式擬合的一般方法可歸納為以下幾步：（1）由已知數(shù)據(jù)畫出函數(shù)粗略的圖形 一一散點(diǎn)圖，確定擬合多項(xiàng)式的次數(shù) n；、力/ O = 0L,；加, 2必0 = 01 、詞列表計(jì)算i-0和i-0；寫出正規(guī)方程組，求出%，%。，%；寫出擬合多項(xiàng)式-在實(shí)

5、際應(yīng)用中，修或用二相；當(dāng)同=掰時所得的擬合多項(xiàng)式就是拉格朗日或牛頓插值多項(xiàng)式例1測得銅導(dǎo)線在溫度石（C）時的電阻如表6-1 ,求電阻R與溫度T 的近似函數(shù)關(guān)系。i0123456哥(C)19.125.030.136.040.045.150.076.3077.8079.2580.8082.3583.9085.10解 UH散點(diǎn)圖（1 6-2）,可見測得的數(shù)據(jù)接條直線，故取 n=1,擬合函數(shù)為列表如下i0國.176.30364.811457.330125.077.80625.001945.000230.179.25906.012385.425336.080.801296.002908.800440.0

6、82.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000245.3565.59325.8320029.445正規(guī)方程組為解方程組得故得R與T的擬合直線為利用上述關(guān)系式，可以預(yù)測不同溫度時銅導(dǎo)線的電阻值。例如，由R=0得T=-242.5 ,即預(yù)測溫度 T=-242.5 C時，銅導(dǎo)線無電阻。6-2例2已知實(shí)驗(yàn)數(shù)據(jù)如下表i01234567813 n4反67819r 101054211234試用最小二乘法求它的二次擬合多項(xiàng)式解設(shè)擬合曲線方程為列表如下I0110111101013592781154524416642561

7、664352251256251050461362161296636571493432401749682645124096161287938172965612724381041001000100004040053323813017253171471025得正規(guī)方程組 解得故擬合多項(xiàng)式為*三最小二乘擬合多項(xiàng)式的存在唯一性定理1設(shè)節(jié)點(diǎn)而，三互異，則法方程組（4）的解存在唯證由克萊姆法則，只需證明方程組（4）的系數(shù)矩陣非奇異即可。£¥Ti-0(7)用反證法，設(shè)方程組（4）的系數(shù)矩陣奇異，則其所對應(yīng)的齊次方程組燃+】M 3i-0 mth有非零解。式（7）可寫為n 曲Jk-0 i-0J

8、 = 0,L nX(8)將式（8）中第j個方程乘以（j=0,1，n）,然后將新得到的n+1個方程左右兩端分別相加，得因?yàn)槠渲衟“方=2跳/A-0所以P 4工 1） = °（i=0,1,m）戶式工）是次數(shù)不超過n的多項(xiàng)式，它有m+1>n個相異零點(diǎn)，由代數(shù)基本定理，必 須有對 =%=/二口 ,與齊次方程組有非零解的假設(shè)矛盾。因此正規(guī)方程組（4）期P式0 =工區(qū)?產(chǎn)必有唯一解。定理2設(shè)既用小 是正規(guī)方程組（4）的解，則k。是滿足式（1）的最小二乘擬合多項(xiàng)式。證只需證明，對任意一組數(shù) 九給也 組成的多項(xiàng)式L口，包有即可。因?yàn)橐裕╧=0,1,，n）是正規(guī)方程組（4）的解，所以滿足式（2）

9、,因此有故外（工）為最小二乘擬合多項(xiàng)式。*四多項(xiàng)式擬合中克服正規(guī)方程組的病態(tài)在多項(xiàng)式擬合中，當(dāng)擬合多項(xiàng)式的次數(shù)較高時，其正規(guī)方程組往往是病態(tài)的。而正規(guī)方程組系數(shù)矩陣的階數(shù)越高，病態(tài)越嚴(yán)重；擬合節(jié)點(diǎn)分布的區(qū)間卜的工/偏離原點(diǎn)越遠(yuǎn)，病態(tài)越嚴(yán)重；% （i=0,1,m）的數(shù)量級相差越大，病態(tài)越嚴(yán)重。為了克服以上缺點(diǎn)，一般采用以下措施：盡量少作高次擬合多項(xiàng)式，而作不同的分段低次擬合；不使用原始節(jié)點(diǎn)作擬合，將節(jié)點(diǎn)分布區(qū)間作平移，使新的節(jié)點(diǎn) 個關(guān)于原點(diǎn)對稱，可大大降低正規(guī)方程組的條件數(shù)，從而減低病態(tài)程度。平移公式為：二(9)對平移后的節(jié)點(diǎn)/（i=0,1,，m）,再作壓縮或擴(kuò)張?zhí)幚恚翰?quot;凡"

10、;（10）7=Jo+d/zsj*其中 ¥,2, （r是擬合次數(shù)）（11）經(jīng)過這樣調(diào)整可以使工的數(shù)量級不太大也不太小，特別對于等距節(jié)點(diǎn)餐二%+妨。=01,，同,作式（10）和式（11）兩項(xiàng)變換后，其正規(guī)方程組的系數(shù)矩陣設(shè) 為A,則對14次多項(xiàng)式擬合，條件數(shù)都不太大，都可以得到 滿意的結(jié)果。變換后的條件數(shù)上限表如下：擬合次數(shù)1234=1<9.9<50.3<435在實(shí)際應(yīng)用中還可以利用正交多項(xiàng)式求擬合多項(xiàng)式。一種方法是構(gòu)造離散正交 多項(xiàng)式；另一種方法是利用切比雪夫節(jié)點(diǎn)求出函數(shù)值后再使用正交多項(xiàng)式。這 兩種方法都使正規(guī)方程組的系數(shù)矩陣為對角矩陣，從而避免了正規(guī)方程組的病態(tài)。我們只介紹第一種，見第三節(jié)。例如 m=19u =328,h=1, 玉=工0+ih , i=0,1,，19,即節(jié)點(diǎn) 分布在328,347,作二次多項(xiàng)式擬合時直接用個構(gòu)造正規(guī)方程組系數(shù)矩陣片 ,計(jì)算可得嚴(yán)重病態(tài)，擬合結(jié)果完全不能用。作平移變換用玉構(gòu)造正規(guī)方程組系數(shù)矩陣A ,計(jì)算可得比"）式A）降低了 13個數(shù)量級，病態(tài)顯著改善，擬合效果較好。取壓