函數(shù)逼近與曲線擬合省公開課一等獎(jiǎng)全國示范課微課金獎(jiǎng)?wù)n件

第3章函數(shù)迫近與曲線擬合函數(shù)迫近基本概念正交多項(xiàng)式—LagrangeandChebyshev最正確一致迫近多項(xiàng)式最正確平方迫近多項(xiàng)式曲線擬和最小二乘法本章基本內(nèi)容第1頁本章繼續(xù)討論用簡(jiǎn)單函數(shù)近似代替較復(fù)雜函數(shù)問題.上章提到插值就是近似代替方法之一,插值近似標(biāo)準(zhǔn)是在插值點(diǎn)處誤差為零.但在實(shí)際應(yīng)用中,有時(shí)不要求詳細(xì)一些點(diǎn)誤差為零,而要求考慮整體誤差限制,這就引出了擬合和迫近概念.擬合與迫近第2頁對(duì)函數(shù)類A中給定函數(shù)f(x),記作f(x)∈A,要求在另一類簡(jiǎn)單便于計(jì)算函數(shù)類B中求函數(shù)p(x)∈B,使p(x)與f(x)誤差在某種意義下最小.函數(shù)類A通常是區(qū)間[a,b]上連續(xù)函數(shù),記作C[a,b],稱為函數(shù)迫近空間;而函數(shù)B通常為n次多項(xiàng)式,有理函數(shù)或分段低次多項(xiàng)式等.什么是函數(shù)迫近第3頁數(shù)學(xué)上常把在各種集合中引入某一些不一樣確實(shí)定關(guān)系稱為集合以某種空間結(jié)構(gòu)賦予，并將這樣集合稱為空間。例1、按向量加法和數(shù)乘組成實(shí)數(shù)域上線性空間---例2、對(duì)次數(shù)不超出n實(shí)系數(shù)多項(xiàng)式，按加法和數(shù)乘組成數(shù)域上多項(xiàng)式線性空間----

第4頁例3、全部定義在[a,b]集合上連續(xù)函數(shù)全體，按函數(shù)加法和數(shù)乘組成連續(xù)函數(shù)空間----第5頁1)線性相關(guān)與線性無關(guān)

設(shè)集合S是數(shù)域P上線性空間,元素x1,x2,…,xn∈S,假如存在不全為零數(shù)a1,a2,…,an∈P,使得3.1函數(shù)迫近基本概念則稱x1,x2,…,xn線性相關(guān).不然，假如等式只對(duì)a1=a2=…=an=0成立，則稱x1,x2,…,xn線性無關(guān)。第6頁魏爾斯特拉斯定理

設(shè)f(x)∈C[a,b],則對(duì)任何ε＞0,總存在一個(gè)代數(shù)多項(xiàng)式p(x),使在[a,b]上一致成立。伯恩斯坦結(jié)構(gòu)性證實(shí)：第7頁第8頁2)范數(shù)定義 設(shè)S為線性空間,x∈S,若存在唯一實(shí)數(shù) ‖

·‖滿足條件： (1)‖x‖≥0;當(dāng)且僅當(dāng)x＝0時(shí),‖x‖＝0; (正定性) (2)‖αx‖＝|α|‖x‖,α∈R; (齊次性) (3)‖x＋y‖≤‖x‖＋‖y‖,x,y∈S. (三角不等式) 則稱‖

·‖為線性空間S上范數(shù),S與‖

·‖一起稱為賦范線性空間,記為X.第9頁在Rn上向量x＝(x1,x2,…,xn)T∈Rn,三種慣用范數(shù)為稱為： 3)幾個(gè)慣用范數(shù)第10頁類似對(duì)連續(xù)函數(shù)空間C[a,b],若f∈C[a,b]可定義以下三種慣用函數(shù)范數(shù)第11頁

記區(qū)間[a,b]上全部連續(xù)函數(shù)全體為C[a,b],能夠證實(shí)C[a,b]是一個(gè)線性空間,把全部次數(shù)不超過n多項(xiàng)式全體記為Pn,則Pn是C[a,b]子空間.若(x),g(x)C[a,b],

則稱

為(x)與g(x)內(nèi)積,記為(,g),函數(shù)內(nèi)積滿足(1)(,g)=(g,);第12頁若(,g)=0,稱(x)與g(x)正交,記為g.(2)(c,g)=c(,g);(3)(1+2,g)=(1,g)+(2,g);利用內(nèi)積能夠定義函數(shù)平方模第13頁(1)

20,而且2=0(x)=0;(2)c2=|c|2;(3)+g2

2+g2(4)(,g)2g2函數(shù)平方模滿足第14頁設(shè)X為一個(gè)內(nèi)積空間,對(duì)稱為柯西－施瓦次不等式.柯西－施瓦次不等式u,v∈X有第15頁第16頁定理：設(shè)X為一個(gè)內(nèi)積空間,u1,u2,…,un∈X,矩陣稱為格拉姆矩陣,則G非奇異充分必要條件是u1,u2,…,un線性無關(guān)

。第17頁第18頁考慮到(x)在區(qū)間[a,b]上各點(diǎn)函數(shù)值比重不一樣,常引進(jìn)加權(quán)形式定義這里函數(shù)(x)是非負(fù)連續(xù)函數(shù),稱為[a,b]上權(quán)函數(shù).它物理意義能夠解釋為密度函數(shù).權(quán)函數(shù)第19頁最正確迫近第20頁第21頁3.2正交多項(xiàng)式1)正交定義 若f(x),g(x)∈C[a,b],ρ(x)為[a,b]上權(quán)函數(shù)且滿足則稱f(x)與g(x)在[a,b]上帶權(quán)正交.若函數(shù)族滿足關(guān)系第22頁則稱是[a,b]上帶權(quán)ρ(x)正交函數(shù)族；若則稱之為標(biāo)準(zhǔn)正交函數(shù)族。設(shè) 是[a,b]上首相系數(shù)an≠0n次多項(xiàng)式,ρ(x)為[a,b]上權(quán)函數(shù),假如多項(xiàng)式序列 滿足關(guān)系式(2),則稱多項(xiàng)式序?yàn)樵赱a,b]上帶權(quán)ρ(x)正交,稱 為[a,b]上帶權(quán)n次正交多項(xiàng)式.第23頁比如、三角函數(shù)系：1，cosx，sinx，cos2x，sin2x，…是區(qū)間［-π，π］上正交函數(shù)系，因?yàn)閷?shí)際上，這就是付里葉(Fourier)迫近基函數(shù).第24頁2)怎樣結(jié)構(gòu)正交多項(xiàng)式

只要給定區(qū)間[a,b]及權(quán)函數(shù),均可由一組線性無關(guān)冪函數(shù){1,x,…,xn,…},利用逐一正交化手法結(jié)構(gòu)出正交多項(xiàng)式序列

如此得到正交多項(xiàng)式有以下性質(zhì)：(1) 是含有最高次項(xiàng)系數(shù)為1n次多項(xiàng)式第25頁(2)任何n次多項(xiàng)式Pn(x)∈Hn均可表示為 線性組合.即(3)當(dāng)k≠j時(shí), 與任一次數(shù)小于k多項(xiàng)式正交.(4)成立遞推關(guān)系第26頁(5)設(shè) 是在[a,b]上帶權(quán)ρ(x)正交多項(xiàng)式序列,則(n≥1)n個(gè)根都是在區(qū)間(a,b)內(nèi)單重實(shí)根.第27頁第28頁第29頁第30頁例題：利用Gram-schmidt方法結(jié)構(gòu)[0,1]上帶權(quán)

前3個(gè)正交多項(xiàng)式

解：利用正交化公式來求

第31頁于是于是第32頁3）幾個(gè)慣用正交多項(xiàng)式勒讓德多項(xiàng)式

當(dāng)區(qū)間[-1,1],權(quán)函數(shù)ρ(x)≡1時(shí),由{1,x,…,xn,…}正交化得到多項(xiàng)式就稱為勒讓德多項(xiàng)式,并用P0(x),P1(x),…,Pn(x),…表示.其簡(jiǎn)單表示式為

最高項(xiàng)系數(shù)為1勒讓德多項(xiàng)式為

第33頁勒讓德多項(xiàng)式性質(zhì)

(1)正交性第34頁第35頁(2)奇偶性 (3)遞推關(guān)系第36頁且有以下慣用公式(4)在區(qū)間[-1,1]內(nèi)有n個(gè)不一樣實(shí)零點(diǎn)。第37頁時(shí),由序列{1,x,…,xn,…}正交化得到多項(xiàng)式就是切比雪夫多項(xiàng)式,它可表示為

Tn(x)=cos(narccosx), |x|≤1若令x＝cosθ，則Tn(x)=cosnθ，0≤θ≤π.切比雪夫多項(xiàng)式區(qū)間為[-1,1]當(dāng)權(quán)函數(shù)第38頁(1)遞推關(guān)系切比雪夫多項(xiàng)式性質(zhì)第39頁(2)切比雪夫多項(xiàng)式{Tk(x)}在區(qū)間[-1,1]上帶權(quán) 正交且(3)T2k(x)只含x偶次冪,T2k+1(x)只含x奇次冪.

(4)Tn(x)在區(qū)間[-1,1]上有n個(gè)零點(diǎn)第40頁若將xn用T0(x),T1(x),…,Tn(x)線性組合表示,則其公式為第41頁第42頁3.3最正確一致迫近多項(xiàng)式最正確一致迫近多項(xiàng)式是討論f∈C[a,b],在Hn=span{1,x,…xn}中求多項(xiàng)式,使其誤差

這就是通常所指最正確一致迫近或切比雪夫迫近問題.第43頁為f(x)與Pn(x)在[a,b]上偏差.顯然,全體組成一個(gè)集合,記為{},它有下界0.偏差為了說明這一概念,先給出以下定義.設(shè)Pn(x)∈Hn,f(x)∈C[a,b],稱第44頁

若記集合下確界為

則稱之為f(x)在[a,b]上最小偏差.最正確迫近多項(xiàng)式 假定f(x)∈C[a,b],若存在Pn*(x)∈Hn使

(f,Pn*(x))＝En,則稱Pn*(x)是f(x)在[a,b]上最正確一致迫近多項(xiàng)式或最小偏差迫近多項(xiàng)式。第45頁注意,定義并未說明最正確迫近多項(xiàng)式是否存在,但能夠證實(shí)下面存在定理.定理：

若f(x)∈C[a,b],則總存在Pn*(x)使其中第46頁偏差點(diǎn)定義

設(shè)f(x)∈C[a,b]，P(x)∈Hn，若在x＝x0有就稱x0是P(x)對(duì)f(x)偏差點(diǎn).稱x0為“正”偏差點(diǎn)稱x0為“負(fù)”偏差點(diǎn).為了研究最正確迫近多項(xiàng)式特征，先引進(jìn)偏差點(diǎn)定義.若若第47頁

因?yàn)楹瘮?shù)P(x)－f(x)在[a,b]上連續(xù),所以,最少存在一個(gè)點(diǎn)x0∈[a,b]使

也就是說P(x)偏差點(diǎn)總是存在。下面給出反應(yīng)最正確迫近多項(xiàng)式特征切比雪夫定理.切比雪夫定理

Pn(x)∈Hn是f(x)∈C[a,b]最正確迫近多項(xiàng)式充分必要條件是P(x)在[a,b]上最少有n+2個(gè)輪番為“正”，“負(fù)”偏差點(diǎn)，即有n+2個(gè)點(diǎn)a≤x1＜x2＜...＜xn+2≤b，使第48頁 這么點(diǎn)組稱為切比雪夫交織點(diǎn)組.切比雪夫定理說明用P(x)迫近f(x)誤差曲線y＝P(x)－f(x)是均勻分布由這個(gè)定理還可得以下主要推論.

推論

若f(x)∈C[a,b]，則在Hn中存在唯一最正確迫近多項(xiàng)式 利用切比雪夫定理可直接得到切比雪夫多項(xiàng)式Tn(x)一個(gè)主要性質(zhì)，即第49頁定理 在區(qū)間[-1,1]上全部最高次項(xiàng)系數(shù)為1n次多項(xiàng)式中,

即能夠了解為與零偏差等于最小當(dāng)且僅當(dāng)與零偏差最小，其偏差為第50頁最正確一次迫近多項(xiàng)式切比雪夫定理給出了最正確迫近多項(xiàng)式P(x)特征,但要求出P(x)卻相當(dāng)困難.下面討論n=1情形.假定f(x)∈C2[a,b].且f"(x)在(a,b)內(nèi)不變號(hào)，我們要求最正確一次迫近多項(xiàng)式 P1(x)=a0+a1x 最少有3個(gè)點(diǎn)a≤x1＜x2＜x3≤b，使因?yàn)樵赱a,b]上不變號(hào),故單調(diào),在(a,b)內(nèi)只有一個(gè)零點(diǎn),記為x2,于是第51頁于是即另外兩個(gè)偏差點(diǎn)必定是區(qū)間端點(diǎn)由此得到第52頁代入到(2)得這就得到最正確一次迫近多項(xiàng)式P1(x)，其方程為有（1）式得第53頁例1、設(shè)

不超出2多項(xiàng)式

使它為最正確一致迫近多項(xiàng)式。試在[-1，1]上尋找一個(gè)次數(shù)在[-1，1]上

應(yīng)滿足

由最小偏差定理解：所求

首項(xiàng)系數(shù)為4第54頁

從而例2、設(shè)

m,M是

在

上min,max值，則

零次最正確一致迫近多項(xiàng)式為

，第55頁證實(shí)：連續(xù)性知

使得令則

。由第56頁，即

故

是

與

偏差點(diǎn)，從而由chebyshev定理知即當(dāng)

時(shí)迫近多項(xiàng)式為零次最正確一致第57頁例3、求

在[0，1]上求三次最正確迫近多項(xiàng)式。

則當(dāng)

在[0,1]改變時(shí)

此時(shí)

設(shè)

為

解：令在[0,1]上三次最正確一致迫近多項(xiàng)式因?yàn)榈?8頁9.設(shè)

首相系數(shù)為故有

即

第59頁3.4最正確平方迫近

最正確平方迫近及其算法

考慮在區(qū)間[a,b]上普通最正確平方迫近問題時(shí)對(duì)f(x)∈C[a,b]及C[a,b]中一個(gè)子集

若存在使下式成立第60頁則稱是f(x)在子集中最正確平方迫近函數(shù).

為了求,由(1)可知該問題等價(jià)于求多元函數(shù)

最小值.因?yàn)槭顷P(guān)于二次函數(shù),

利用多元函數(shù)求極值必要條件第61頁即于是有是關(guān)于線性方程組,稱為法方程,第62頁因?yàn)榫€性無關(guān)，故系數(shù)矩陣行列式非奇異，即于是方程組(1)有唯一解從而有第63頁以下證實(shí)必定滿足最正確平方迫近定義即但我們只需證實(shí)第64頁即上式第二項(xiàng)積分為零。于是可得即得必定是所求函數(shù)最正確平方多項(xiàng)式。第65頁則要在Hn中求n次最正確平方迫近多項(xiàng)式此時(shí)若取第66頁若用H表示對(duì)應(yīng)矩陣,即即第67頁

若用{1,x,…,xn}做基求最正確平方多項(xiàng)式,計(jì)算簡(jiǎn)單，但當(dāng)n較大時(shí),系數(shù)矩陣H是病態(tài),所以直接求解法方程是相當(dāng)困難,故通常是采取正交多項(xiàng)式做基底結(jié)構(gòu)最正確平方多項(xiàng)式。則稱H為希爾伯特(Hilbert)矩陣,若記向量則第68頁用正交函數(shù)族作最正確平方迫近

設(shè)故法方程組第69頁為非奇異對(duì)角陣,且法方程解為于是f(x)∈C[a,b]在 中最正確平方迫近函數(shù)為 第70頁可得均方誤差為由此可得貝塞爾(Bessel)不等式若f(x)∈C[a,b],按正交函數(shù)族 展開，而系數(shù)按下式計(jì)算得級(jí)數(shù)第71頁稱為f(x)廣義傅立葉(Foureir)級(jí)數(shù),系數(shù)稱為廣義傅立葉系數(shù).是正交多項(xiàng)式,設(shè)可由正交化得到。則有下面收斂定理；設(shè)f(x)∈C[a,b],S*(x)是由(3)給出f(x)最正確平方迫近多項(xiàng)式，其中是正交多項(xiàng)式族,則有第72頁下面考慮函數(shù)f(x)∈C[-1,1],按勒讓得多項(xiàng)式{P0(x),P1(x),…,Pn(x)}展開,由(2),(3)可得其中依據(jù)(4),平方誤差為此時(shí)由定理結(jié)論可得：第73頁對(duì)首項(xiàng)系數(shù)為1勒讓德多項(xiàng)式有以下性質(zhì)定理：在全部最高次項(xiàng)系數(shù)為1n次多項(xiàng)式中,勒讓德多項(xiàng)式在[-1,1]上與零平方誤差最小。即能夠了解為最小等價(jià)于與零平方誤差最小。第74頁證實(shí)：設(shè)Qn(x)是任意一個(gè)最高次項(xiàng)系數(shù)為1n次多項(xiàng)式，它可表示為于是第75頁3.5.數(shù)據(jù)擬合最小二乘法問題提出：在函數(shù)最正確平方迫近中，要求函數(shù)是連續(xù)，而實(shí)際問題中經(jīng)常見到函數(shù)只是在一組離散點(diǎn)上給定，即科學(xué)試驗(yàn)中常見到試驗(yàn)數(shù)據(jù)曲線擬和，比如天氣預(yù)報(bào)系統(tǒng)即為此例。求擬和曲線時(shí)首先要確定所找擬和曲線形式，這不是單純數(shù)學(xué)問題，還與所研究問題運(yùn)動(dòng)規(guī)律及所得觀察數(shù)據(jù)相關(guān)；通常要從問題運(yùn)動(dòng)規(guī)律及給定數(shù)據(jù)描圖，確定函數(shù)形式，并經(jīng)過實(shí)際計(jì)算得到很好結(jié)果，這類方法就稱為曲線擬和最小二乘法。第76頁用4次多項(xiàng)式擬和以下數(shù)據(jù)x0=0:0.1:1;y0=[-.447,1.978,3.11,5.25,5.02,4.66,4.01,4.58,3.45,5.35,9.22];n=4;p=polyfit(x0,y0,n)xx=0:0.01:1;yy=polyval(p,xx);plot(xx,yy,‘-b',x0,y0,'.r','MarkerSize',20)

xlabel('x')

ylabel(‘y')

利用Matlab中庫函數(shù)進(jìn)行擬和數(shù)值例子：試驗(yàn)第77頁第78頁數(shù)據(jù)擬合方法與數(shù)據(jù)插值方法不一樣，它所處理數(shù)據(jù)量大而且不能確保每一個(gè)數(shù)據(jù)沒有誤差所以要求一個(gè)函數(shù)嚴(yán)格經(jīng)過每一個(gè)數(shù)據(jù)點(diǎn)是不合理。數(shù)據(jù)擬合方法求擬合函數(shù)，插值方法求插值函數(shù)。這兩類函數(shù)。對(duì)擬合函數(shù)不要求它經(jīng)過所給數(shù)據(jù)點(diǎn)，而插值函數(shù)則必須經(jīng)過每一個(gè)數(shù)據(jù)點(diǎn).最大不一樣之處是比如，在某化學(xué)反應(yīng)中，測(cè)得生成物質(zhì)量濃度y(10–3g/cm3)與時(shí)間t（min）關(guān)系如表所表示第79頁t12346810121416y4.006.418.018.799.539.8610.3310.4210.5310.61顯然，連續(xù)函數(shù)關(guān)系y(t)是客觀存在。不過經(jīng)過表中數(shù)據(jù)不可能確切地得到這種關(guān)系。何況，因?yàn)閮x器測(cè)量中所帶誤差影響，測(cè)量數(shù)據(jù)難免有誤差。所以只能尋求一個(gè)近擬表示式第80頁第81頁尋求合理近擬表示式，以反應(yīng)數(shù)據(jù)改變規(guī)律，這種方法就是數(shù)據(jù)擬合方法。數(shù)據(jù)擬合需要處理兩個(gè)問題：第一，選擇什么類型函數(shù)作為擬合函數(shù)（數(shù)學(xué)模型）；第二，對(duì)于選定擬合函數(shù)，怎樣確定擬合函數(shù)中參數(shù)。

第82頁tx1x2x3x4x5x6x7x8x9x10yy1y2y3y4y5y6y7y8y9y10數(shù)學(xué)模型應(yīng)建立在合理假設(shè)基礎(chǔ)上，假設(shè)合理性首先表達(dá)在選擇某種類型擬合函數(shù)使之符合數(shù)據(jù)改變趨勢(shì)（總體改變規(guī)律）。擬合函數(shù)選擇比較靈活，能夠選擇線性函數(shù)、多項(xiàng)式函數(shù)、指數(shù)函數(shù)、三角函數(shù)或其它函數(shù)，這應(yīng)依據(jù)數(shù)據(jù)分布趨勢(shì)作出選擇。為了問題敘述方便，將例1數(shù)據(jù)表寫成普通形式第83頁假設(shè)擬合函數(shù)是線性函數(shù)，即擬合函數(shù)圖形是一條平面上直線。而表中數(shù)據(jù)點(diǎn)未能準(zhǔn)確地落在一條直線上原因是試驗(yàn)數(shù)據(jù)誤差。則下一步是確定函數(shù)y=a+bx中系數(shù)a和b各等于多少？從幾何背景來考慮，就是要以a和b作為待定系數(shù)，確定一條平面直線使得表中數(shù)據(jù)所對(duì)應(yīng)10個(gè)點(diǎn)盡可能地靠近這條直線。普通來講，數(shù)據(jù)點(diǎn)將不會(huì)全部落在這條直線上，假如第k個(gè)點(diǎn)數(shù)據(jù)恰好落在這條直線上，則這個(gè)點(diǎn)坐標(biāo)滿足直線方程，即a+bxk=yk假如這個(gè)點(diǎn)不在直線上，則它坐標(biāo)不滿足直線方程，有一個(gè)絕對(duì)值為，，線性擬合（線性模型）第84頁差異（殘差）。這是關(guān)于a和b一個(gè)二元函數(shù)，合理做法是選取a和b，使得這個(gè)函數(shù)取極小值。不過在實(shí)際求解問題時(shí)為了操作上方便，經(jīng)常是求a和b使得函數(shù)到達(dá)極小。為了求該函數(shù)極小值點(diǎn)，令，得，于是全部點(diǎn)處總誤差是第85頁這是關(guān)于未知數(shù)a和b線性方程組。它們被稱為法方程，又能夠?qū)懗傻?6頁

求解這個(gè)二元線性方程組便得待定系數(shù)a和b，從而得線性擬合函數(shù)y=a+bx。下列圖中直線是數(shù)據(jù)線性擬合結(jié)果。第87頁假設(shè)擬合函數(shù)不是線性函數(shù)，而是一個(gè)二次多項(xiàng)式函數(shù)即擬合函數(shù)圖形是一條平面上拋物線，而表中數(shù)據(jù)點(diǎn)未能準(zhǔn)確地落在這條拋物線上原因是試驗(yàn)數(shù)據(jù)誤差。則下一步是確定函數(shù)二次函數(shù)擬合（二次多項(xiàng)式模型）中系數(shù)a0、a1和a2各等于多少？從幾何背景來考慮就是要以a0、a1和a2為待定系數(shù)，確定二次曲線使得表中數(shù)據(jù)所對(duì)應(yīng)10個(gè)點(diǎn)盡可能地靠近這條曲線。普通來講，數(shù)據(jù)點(diǎn)將不會(huì)全部落在這條曲線上，假如第k個(gè)點(diǎn)數(shù)據(jù)恰好落在曲線上，則這個(gè)點(diǎn)坐標(biāo)滿足二次曲線方程，第88頁假如這個(gè)點(diǎn)不在曲線上，則它坐標(biāo)不滿足曲線方程，有一個(gè)誤差（殘差）。于是全部點(diǎn)處總誤差用殘差平方和表示這是關(guān)于a0、a1和a2一個(gè)三元函數(shù)，合理做法是選取a0、a1和a2

，使得這個(gè)函數(shù)取極小值。為了求該函數(shù)極小值點(diǎn)，令第89頁求解這一方程組可得二次擬合函數(shù)中三個(gè)待定系數(shù)。下列圖反應(yīng)了例題所給數(shù)據(jù)二次曲線擬合結(jié)果。第90頁第91頁普通曲線擬合最小二乘法

假如f(x)只在一組離散點(diǎn)集{xi,i=0,1,…,m}上給定這就是科學(xué)試驗(yàn)中經(jīng)常見到試驗(yàn)數(shù)據(jù){(xi,yi),i=0,1,…,m}曲線擬合,這里yi=f(xi),i=0,1,…,m,要求一個(gè)函數(shù)y=S*(x)與所給數(shù)據(jù){(xi,yi),i=0,1,…,m}擬合,若記誤差δi=S*(x)-yi,i=0,1,…,m,δ=(δ0,δ1,…,δm)T,設(shè)是C[a,b]上線性無關(guān)函數(shù)族,在第92頁這就是普通最小二乘迫近,用幾何語言說,就稱為曲線擬合最小二乘法.

中找一函數(shù)這里使誤差平方和第93頁用最小二乘法求擬合曲線問題,就是在形如(2)S(x)中求一函數(shù)使加權(quán)平方和取得最小。它轉(zhuǎn)化為求多元函數(shù)極小點(diǎn)由求多元函數(shù)極值必要條件,有問題.第94頁若記上式可改為這方程稱為法方程,可寫成矩陣形式第95頁要使法方程(3)有唯一解就要求矩陣G非奇異,其中 必須指出,第96頁在[a,b]上線性無關(guān)不能推出矩陣G非奇異。為確保(3)系數(shù)矩陣非奇異,必須加上另外條件: 哈爾(Haar)條件設(shè)任意線性組合在點(diǎn)集上至多只有n個(gè)不一樣零點(diǎn),則稱上滿足哈爾(Haar)條件。在點(diǎn)集第97頁顯然在任意m(m≥n)個(gè)點(diǎn)上滿足哈爾條件。所以普通為則一定能夠確保系數(shù)矩陣非奇異，于是方程（3）必存在唯一解從而得到函數(shù)最小二乘解為：第98頁且成立下式即必為所求最小二乘解。第99頁解：作散點(diǎn)圖以下：從右圖能夠看出這些點(diǎn)靠近一條拋物線，所以設(shè)所求公式為x012345y531123例4:

已知一組觀察數(shù)據(jù)如表所表示，試用最小二乘法求一個(gè)多項(xiàng)式擬合這組數(shù)據(jù)。第100頁由最小二乘法得以下式子：第101頁整理并代入表中數(shù)據(jù)得：代入數(shù)據(jù)第102頁解之可得：故所求多項(xiàng)式為：第103頁例：由書中數(shù)據(jù)表能夠確定擬合曲線方程為它不是線性函數(shù)，可經(jīng)過在上式兩端取對(duì)數(shù)方法將其化為線性表示式：也即故數(shù)據(jù)點(diǎn)轉(zhuǎn)換為第104頁有最小二乘法取第105頁故得法方程組以下:第106頁用正交多項(xiàng)式做最小二乘擬合

用最小二乘法得到方程組其系數(shù)矩陣G是病態(tài),但假如是關(guān)于點(diǎn)集{xi}帶權(quán)ω(xi)(i=0,1,…,m)正交函數(shù)族,即則方程(1)解為第107頁現(xiàn)在我們依據(jù)給定節(jié)點(diǎn)x0,x1,…,xm及權(quán)函數(shù)ω(x)>0,造出帶權(quán)ω(x)正交多項(xiàng)式{Pn(x)}.注意n≤m,用遞推公式表示Pk(x),即且平方誤差為這里是首項(xiàng)系數(shù)為1k次多項(xiàng)式，且由其正交性得：第108頁下面用歸納法證實(shí)這么給出{Pk(x)}是正交。由(3)第二式及(4)中第一個(gè)表示式,有下式成立。第109頁現(xiàn)假定均成立，要證(Pk+1,Ps)=0對(duì)s=0,1,…,k