第5章曲線擬合的最小二乘法

1、第5章曲炯合辱小二“理18:38線性擬合最小二乘法多項式擬合 般基函數(shù)的曲線擬合5.1線|性擬合引入：對給出的一組離散的測量數(shù)據(jù)（xO,yO）、（xl,yl）、（xn ,yn）,要確定x、y之間的函數(shù)關系:方法有二：1）插值法：第5章內(nèi)容2）曲線擬合法：要構造的函數(shù)（p（x）：a）不要求e（x）過所有的點9消除測量誤差的影響b）盡能地反映數(shù)據(jù)的變化趨勢，盡量靠近這些點對c）則稱嘰幻為擬合公式（函數(shù)）、經(jīng)驗公式=9如何構造p（x） ?=9如何度量嘰x）對各個測量點（基點）的逼近程度-3-1&38線性擬合：觀測測量所得的數(shù)據(jù)，發(fā)現(xiàn)數(shù)據(jù)點的分 布大致呈一條直線，故可用一條直線來逼近（擬合）

2、測量數(shù)據(jù)對中（x,y）之間的關系。:確定擬合直線，就是確定直線的兩個參數(shù):y=a0+a1x:將數(shù)據(jù)對帶入方程中，解之即可確定聽«o+«ixo = Joa、+。1兀1 =Wo +©?！?兒寫成矩陣形式：Ca = y,其中:1但是，此方程組為 超定方程組，一般 無解2.只能求得方程組的 近似解，使Cay的 誤差盡量小18:38從幾何上來講：即要解決如何選擇直線$=仇+。1兀，使測量點均勻分布在直線兩旁，并且滿足殘差在某種程度下最小*記殘差為:® = $(£)-必= aQ+a1x.-y.:要使殘差：8= (%§1，.嘰)總體最小，可采用向量

3、的 范數(shù)進行度量，即：1) II 訓 12) II 訓23) II 訓8:為方便計算起見，通常取2范數(shù)的平方，即：II S|22 = J(a0,a!)=E(6 i)2=工伽+礙比喝尸 取最力值:使誤差的平方和最?。吹?，引）取得最小值）的 31 所確定的直線y=a0+ax ,稱為最小二乘擬合直 線，a。、爲也稱為方程組（*）的最小二乘解據(jù)拉格朗日定理，若J（aO,al）取極小值，則有：dJdax=0-#-18:380 00 0 0 (CTC)a=CTy (3):方程組（1）,稱為方程組（*）的法方程組:直接用第3章的方法求解-81&38超定方程組（*）的近似解可通過在兩邊同乘以CT,

4、得到 方程組（3）,又方程組（3）與方程組（1）等價，因 此方程組（1）的解即為方程組（*）的近似解:故線性擬合給出了求解超定方程組近似解的方法1&38實例：P169: 5-1解題步驟：:畫出實驗數(shù)據(jù)的散點圖:根據(jù)經(jīng)驗確定擬合函數(shù):構造擬合函數(shù)的法方程組，并求解，確定擬合參數(shù)5.2 般基函數(shù)的曲線擬合般曲線擬合：取基函數(shù)為n+l個線性無關的函數(shù)%（9 i(x), <p 2(只)，（P n（x）,則擬合函數(shù)為基函數(shù)的線性紅合，即:* y=a0 <p 0（x）+ai 9 i（x）+ + 備（P m（x） （*）:將測量點對（Xo，yo）,（Xi，yi）,.（Xn，yn）代入（*

5、）,得到一矛盾牙 程組，無一般意義上的解。:要確定擬合公式的系數(shù)使得誤差工葉=E（yr Sak（p k（xj）2最 小。仍然采用多元函數(shù)極值的必要條件，得到方程組（*）的正月 方程組-13-18:38=工。000（乞）乜101（£）+色（乞）-/（£）£=1要使丿最小，則據(jù)"gnw爐定理有：dJm=2 Y 叭（乞）儀0久（匕）乜®（£）+ + an（pu （xj - f （xJ = O1=1即:mmmm«o S 叭（心）0o a）工狹 a）% （兀）+an S ®k（心）（乞）=工狹（£）/（»

6、） 1=11=11=11=1m令：（陽©）=Y狹（旺）卩（£）則有：i=i"o（ ，0o）+a i（ 0比，0i）+ + "（ ，0n）=（ 0% J）k = 0，l，nJL厶18:38即有方程組（*）對應的正規(guī)方程組為:仏仇） g"o）（00 90）'Go J）、-（015）（0 J） 他®）丿厲丿（%如 （外0） 他，01）其中00 =Sod 0o（兀 J，01 =Sid 01（兀1）% =So、 久（兀1）,f =7（必）、 /（旺）如心）丿41（心）丿（心）丿18:3818:38（卩艸j）：表zn點集函數(shù)的內(nèi)積= %（

7、叫）©（兀）Ar=0,/）=£©（叫）/（叫）Jt=0 13 18:38用第3章方法解正規(guī)方程組（*）即可求得如冋,召-17-18:385.3起走方程組的最小二乘解設有線性方程組：Am x nx=ym(1):m>n,為超定方程組，一般無解:可求得一個近似解x,使得Ax-y近可能地90,即解向量 xt=(x1?x2,xn),要使得誤差向量r=Ax-y最小。即：mJ(xnx2,凡)=才=11 Ax-yll2=2 (a訂X +他2*2 + +fljnxn - y. )2i=l1=1 J=i則稱此近似解向量為Ax=y的最小二乘解-19-18:38又:dJ阪k1

8、63;1=1£i=ly/1amz-z211«2«in1£1=1m2amik (ailxi + ai2x2 + + ainxn +-) = 0 i=ln mm即送(Y% «ij)xj=aikyi18:3818:38mi=lmV1 a. a.in ini=l丿mV* a .a Z 11 ini=lO Amxn方程（2）稱為正規(guī)方程組（法方程組、回歸方程組）-16-1&38:故方程(2)的解即為方程 的最小二乘解:若R(A)=n (系數(shù)矩陣列滿秩)則 R(ATA)=n故方程(2)有唯一解，且該解為(1)的最小二乘解18:38算法思想：求解超定

9、方程組Cx二y的最小二乘解 :確定超定方程組Ax=y:Ax=y方程兩邊同乘以AT,得到對應的正規(guī)方程組 ATAx=ATy利用第3章的算法求解正規(guī)方程組ATA x=ATy：正規(guī)方程組的解即為Ax=y的最小二乘解23:38-#-18:38實例:求超定方程組Ax=b的最小二乘解（近似解）3xj 一2兀2 = 一2'3-2、J 2、5x. +7x? = 1557151zA =b =x+x2=l111一4兀+3x2 = 343,58、.甘 111818、63,J19丿5118、L|#58、,1863,宀丿J19,法方程組為:解之，得:0.52336、1.73936,-25-18:385.4多項式

10、擬合多項式擬合：觀察所得測試點，若近似于一條n次曲線，則可 用n次多項式（m>n）擬合數(shù)據(jù)點多項式擬合實質：采用基函數(shù)l,x,x2,.x»的線性組合來近似 未知函數(shù)設擬合多項式為：y =ao+aX+.+anXn （1）:要確定（1）的系數(shù)，則可將測試數(shù)據(jù)對代入方程（1）中，得到如下的線 性方程組：0 + 兀 0。1 + 兀0。2 + 兀0。" = Jo2nla0 + x1a1 + xia2.+ xiaH = yx （?）+ x ax + x2a.+ x11 a = y10 1 m l 1 m l 1 m nJ m:方程組（2）也為超定方程組（m>n）,故只有最小二乘解-20-1&38且其最小二乘解即為方程組：CTC a=CTy的解,其中：“0.瑞、(a >uob、c =1X1Xn |，a =al，y =Jl ” X )宀丿<ym丿:則方程組(2)的正規(guī)方程組系數(shù)陣為CTC = i=0m Yxi 1=0«=01=0<=0 m/=0 mZ<+11=0 1=0mZ<+1z=omZ<+21=0 z=o*=0mi=om1=0也可將多項式擬合視為由基函數(shù)集0(x)=(l,x,x2,.xn) 的線性組合其擬合函數(shù)為：f(x) =a0+a1x+.+anx11:寫出其正規(guī)(法)方程組為：mmm&a