數(shù)值分析課件函數(shù)逼近與最小二乘法

數(shù)值分析課件函數(shù)逼近與最小二乘法第一頁，共五十二頁，2022年，8月28日函數(shù)逼近

問題

數(shù)值計算中經(jīng)常要計算函數(shù)值，如計算機中計算基本初等函數(shù)及其他特殊函數(shù)；(連續(xù)情形)

當(dāng)函數(shù)只在有限點集上給定函數(shù)值，要在包含該點集的區(qū)間上用公式給出函數(shù)的簡單表達式.(離散情形)

這些都涉及到在已知區(qū)間上用簡單函數(shù)逼近已知復(fù)雜函數(shù)或未知函數(shù)的問題，這就是函數(shù)逼近問題

插值方法就是一種逼近，要求在給定的節(jié)點處P(x)與f(x)相等（甚至導(dǎo)數(shù)值相等），因此在節(jié)點附近，逼近效果較好，而在遠離節(jié)點的地方，由Runge現(xiàn)象知道，有時效果會很差。第二頁，共五十二頁，2022年，8月28日函數(shù)逼近

由觀測得到的實驗數(shù)據(jù)不可避免地帶有誤差，甚至是較大的誤差，此時要求近似函數(shù)P(x)過全部已知點，相當(dāng)于保留全部數(shù)據(jù)誤差，所以使用插值法不合理。

對逼近函數(shù)P(x)不必要求過給定的點，只要求總體上盡可能小，即要求P(x)盡可能反映給定數(shù)據(jù)點的總體趨勢，在某種意義（要求或標(biāo)準(zhǔn)）下與函數(shù)最“逼近”。函數(shù)逼近問題可敘述為：對函數(shù)類A中給定的函數(shù)f(x)

，需要在另一類較簡單的便于計算的函數(shù)類B

（B∈A）中，找一個函數(shù)P(x)，使P(x)與f(x)

之差在某種度量意義下達到最小。第三頁，共五十二頁，2022年，8月28日最常見的兩種度量標(biāo)準(zhǔn)

一致逼近（均勻逼近）以作為度量誤差f(x)-P(x)的

“大小”標(biāo)準(zhǔn)。平方逼近（均方逼近）

以作為度量誤差f(x)-P(x)的

“大小”標(biāo)準(zhǔn)。

第四頁，共五十二頁，2022年，8月28日預(yù)備知識線性空間、線性相關(guān)、線性無關(guān)基、維數(shù)、有限維空間與無限維空間常見線性空間：Rn、Hn、C[a,b]、Cm[a,b]賦范線性空間C[a,b]2-范數(shù)：-范數(shù)：1-范數(shù)：線性空間C[a,b]

，f(x)C[a,b]

第五頁，共五十二頁，2022年，8月28日

，等號當(dāng)且僅當(dāng)u=0時成立內(nèi)積空間內(nèi)積空間設(shè)

X是數(shù)域K(R或C)上的線性空間，對

u,v

X有K中的一個數(shù)(u,v)

與之對應(yīng)，且滿足

稱

(u,v)為X

上的內(nèi)積，定義了內(nèi)積的線性空間稱為內(nèi)積空間

u,v

正交(u,v)=0第六頁，共五十二頁，2022年，8月28日內(nèi)積空間定理設(shè)

X是一個內(nèi)積空間，對

u,v

X有Cauchy-Schwarz不等式定理設(shè)

X是內(nèi)積空間，u1,u2,,un

X，定義矩陣則G

非奇異當(dāng)且僅當(dāng)

u1,u2,,un線性無關(guān)。Gram矩陣第七頁，共五十二頁，2022年，8月28日內(nèi)積內(nèi)積導(dǎo)出范數(shù)：例：Rn上的內(nèi)積：導(dǎo)出的范數(shù)為加權(quán)內(nèi)積給定正實數(shù)1,2,,n,定義正實數(shù)

1,2,,n

稱為加權(quán)系數(shù)第八頁，共五十二頁，2022年，8月28日內(nèi)積例：Cn上的內(nèi)積：加權(quán)內(nèi)積1,2,,n

為正實數(shù)例：C[a,b]

上的內(nèi)積：第九頁，共五十二頁，2022年，8月28日權(quán)函數(shù)權(quán)函數(shù)設(shè)(x)

是[a,b]

上的非負函數(shù)，滿足，存在且為有限值對[a,b]上的任意非負連續(xù)函數(shù)g(x)，則稱(x)

是[a,b]

上一個權(quán)函數(shù)

[a,b]

可以是無限區(qū)間，即a,b可以是無窮大權(quán)函數(shù)與定義區(qū)間有關(guān)若，則(k=0,1,2,…)第十頁，共五十二頁，2022年，8月28日常見的權(quán)函數(shù)常見的權(quán)函數(shù)第十一頁，共五十二頁，2022年，8月28日帶權(quán)內(nèi)積帶權(quán)內(nèi)積設(shè)(x)

是[a,b]

上的權(quán)函數(shù)，f(x),

g(x)

C[a,b]導(dǎo)出范數(shù)性質(zhì)設(shè)0,1,,nC[a,b]，則0,1,,n線性無關(guān)當(dāng)且僅當(dāng)det(G)0，其中第十二頁，共五十二頁，2022年，8月28日正交函數(shù)族定義設(shè)f(x),

g(x)

C[a,b]，(x)

是[a,b]

上的權(quán)函數(shù)，若則稱f(x)

與g(x)

在[a,b]

上帶權(quán)(x)正交定義若函數(shù)族0(x),1(x),,n(x)C[a,b]滿足則稱{k(x)}

是[a,b]

上帶權(quán)(x)的正交函數(shù)族若所有Ak=1

，則稱為標(biāo)準(zhǔn)正交函數(shù)族

第十三頁，共五十二頁，2022年，8月28日舉例例：三角函數(shù)系

1，cosx，sinx，sin2x，cos2x，…在[-,]

上是帶權(quán)(x)=1

的正交函數(shù)族證：(m,n=1,2,3,…)(m,n=0,1,2,…)第十四頁，共五十二頁，2022年，8月28日正交多項式定義設(shè)n(x)

是首項系數(shù)不為0的n次多項式，若則稱為[a,b]

上帶權(quán)(x)

正交稱n(x)

為n

次正交多項式設(shè)是[a,b]

上帶權(quán)(x)的正交多項式族，則n(x)在(a,b)內(nèi)有n

個不同的零點性質(zhì)1第十五頁，共五十二頁，2022年，8月28日正交多項式性質(zhì)2設(shè)是[a,b]

上帶權(quán)(x)的正交多項式族，則對p(x)Hn-1，有性質(zhì)3設(shè)是首項系數(shù)為1的正交多項式族，則有其中0(x)=1,1(x)=x，，

n=1,2,…第十六頁，共五十二頁，2022年，8月28日

只要給定區(qū)間[a,b]及權(quán)函數(shù)ρ(x),均可由一族線性無關(guān)的冪函數(shù)

{1,x,…,xn,…}

利用逐個正交化手續(xù)(Gram-Schmidt正交化方法)：構(gòu)造出正交多項式序列

。第十七頁，共五十二頁，2022年，8月28日正交多項式Legendre多項式

Chebyshev多項式第二類Chebyshev多項式

Laguerre多項式

Hermite多項式幾類重要的正交多項式第十八頁，共五十二頁，2022年，8月28日Legendre多項式

Pn(x)

的首項xn的系數(shù)為：Legendre多項式在[-1,1]

上帶權(quán)(x)=1

的正交多項式稱為勒讓德多項式x[-1,1]，n=1,2,…記號：P0,P1,P2,...

則是首項系數(shù)為1的勒讓德多項式令第十九頁，共五十二頁，2022年，8月28日Legendre多項式勒讓德多項式有以下性質(zhì)：(1)正交性：(3)遞推公式：其中

P0(x)=1,P1(x)=x，n=1,2,…

(4)Pn(x)

在(-1,1)內(nèi)有n

個不同的零點(2)奇偶性：(5)P2n(x)只含偶次冪，P2n+1(x)只含奇次冪第二十頁，共五十二頁，2022年，8月28日Legendre多項式第二十一頁，共五十二頁，2022年，8月28日函數(shù)逼近記Hn為所有次數(shù)不超過n

的多項式組成的集合，給定函數(shù)f(x)C[a,b]，若P*(x)Hn

使得則稱P*(x)為f(x)在C[a,b]上的最佳逼近多項式最佳逼近取不同的范數(shù)，就可以定義不同的最佳逼近方式第二十二頁，共五十二頁，2022年，8月28日函數(shù)逼近最佳平方逼近最佳一致逼近第二十三頁，共五十二頁，2022年，8月28日曲線擬合能否找到一個簡單易算的p(x)

，使得f(x)

p(x)已知f(x)

在某些點的函數(shù)值：xx0x1…xmf(x)y0y1…ym但是

m

通常很大

yi

本身是測量值，不準(zhǔn)確，即yi

f(xi)

這時不要求p(xi)=yi,而只要

p(xi)yi總體上盡可能小

第二十四頁，共五十二頁，2022年，8月28日

使最小

使最小曲線擬合

p(xi)yi總體上盡可能小

使最小

常見做法太復(fù)雜不可導(dǎo)，求解困難最小二乘法：目前最好的多項式曲線擬合算法第二十五頁，共五十二頁，2022年，8月28日最小二乘曲線擬合的最小二乘問題這個問題實質(zhì)上是最佳平方逼近問題的離散形式。

可以將求連續(xù)函數(shù)的最佳平方逼近函數(shù)的方法直接用于求解該問題。已知函數(shù)值表(xi,yi

)，在函數(shù)空間

中求S*(x)

，使得其中i

是點xi處的權(quán)。第二十六頁，共五十二頁，2022年，8月28日注最小二乘問題中，如何選擇數(shù)學(xué)模型很重要，即如何選取函數(shù)空間=span{0,1,,n}，通常需要根據(jù)物理意義，或所給數(shù)據(jù)的分布情況來選取合適的數(shù)學(xué)模型。第二十七頁，共五十二頁，2022年，8月28日最小二乘求解對任意S(x)

=span{0,1,,n}，可設(shè)

S(x)=a00+a11+···+

ann(x)則求S*(x)等價于求下面的多元函數(shù)的最小值點k=0,1,…,n最小值點第二十八頁，共五十二頁，2022年，8月28日最小二乘求解(k=0,1,…,n)這里的內(nèi)積是離散帶權(quán)內(nèi)積，即，法方程G法方程第二十九頁，共五十二頁，2022年，8月28日最小二乘求解法方程存在唯一解det(G)0Haar條件0,1,,n的任意線性組合在點集x0,x1,,xm上至多只有n

個不同的零點，則稱0,1,,n

在點集x0,x1,,xm上滿足Haar條件0,1,,n線性無關(guān)mn若0,1,,n

C[a,b]

在點集x0,x1,,xm上滿足Haar條件，則法方程的解存在唯一第三十頁，共五十二頁，2022年，8月28日最小二乘求解設(shè)法方程的解為：a0*,a1*,,an*,則

S*(x)=a0*

0+a1*

1+···+

an*

n(x)結(jié)論S*(x)是f(x)在中的最小二乘解第三十一頁，共五十二頁，2022年，8月28日舉例例：給定函數(shù)值表，求f(x)的最小二乘擬合函數(shù)S*(x)

i123456789

13456789101054211234解：將所給數(shù)據(jù)點畫在坐標(biāo)紙上，如圖可以看出第三十二頁，共五十二頁，2022年，8月28日即有這些點大致在一條拋物線上。設(shè)擬合曲線方程為相應(yīng)的正規(guī)方程組為第三十三頁，共五十二頁，2022年，8月28日于是可得因而所求擬合多項式為

第三十四頁，共五十二頁，2022年，8月28日多項式擬合＝Hn=span{1,x,...,xn},即i=xi,

則相應(yīng)的法方程為此時

為

f(x)的n

次最小二乘擬合多項式多項式最小二乘曲線擬合第三十五頁，共五十二頁，2022年，8月28日舉例例：求下面數(shù)據(jù)表的二次最小二乘擬合多項式得法方程xi00.250.500.751.00f(xi)1.00001.28401.64872.11702.7183解：設(shè)二次擬合多項式為解得所以此組數(shù)據(jù)的二次最小二乘擬合多項式為(1)

若題目中沒有給出各點的權(quán)值i，默認為i=1

(2)該方法不適合n

較大時的情形（病態(tài)問題）第三十六頁，共五十二頁，2022年，8月28日正交多項式擬合帶權(quán)正交（離散情形）給定點集以及各點的權(quán)系數(shù)，如果函數(shù)族滿足則稱關(guān)于點集帶權(quán)正交若0,1,,n是多項式，則可得正交多項式族第三十七頁，共五十二頁，2022年，8月28日正交多項式擬合用正交多項式做最小二乘設(shè)多項式

p0,p1,,pn關(guān)于點集x0,x1,,xm帶權(quán)0,1,,m正交，則f(x)

在Hn

中的最小二乘擬合多項式為其中k=0,1,…,n誤差離散形式的2-范數(shù)第三十八頁，共五十二頁，2022年，8月28日正交多項式的構(gòu)造給定和權(quán)系數(shù)，如何構(gòu)造正交多項式族可以證明：關(guān)于點集帶權(quán)正交三項遞推公式：k=1,…,n-1其中(k=0,1,…,n-1

)(k=1,2,…,n-1

)第三十九頁，共五十二頁，2022年，8月28日幾點注記可以將構(gòu)造正交多項式族、解法方程、形成擬合多項式穿插進行；

n可以事先給定，或在計算過程中根據(jù)誤差來決定；該方法非常適合編程實現(xiàn)，只用遞推公式，并且當(dāng)逼近次數(shù)增加時，只要將相應(yīng)地增加程序中的循環(huán)次數(shù)即可。該方法是目前多項式擬合最好的計算方法，有通用程序。第四十頁，共五十二頁，2022年，8月28日舉例例：給定數(shù)據(jù)點及權(quán)系數(shù)，求二次最小二乘擬合多項式xi00.50.60.70.80.91.0yi1.001.751.962.192.442.713.00i1111111解：通過直接計算，可得Matlab正交多項式最小二乘擬合函數(shù):polyfit(x,y,n)Matlab曲線擬合工具箱：cftool第四十一頁，共五十二頁，2022年，8月28日非線性最小二乘有時需要其它函數(shù)，如，等擬合給定的數(shù)據(jù)，這時建立的法方程是一個非線性方程組，稱這類擬合問題為非線性最小二乘問題。xi1.001.251.501.752.00yi5.105.796.537.458.46xi0.10.20.30.40.50.60.70.8yi0.61.11.61.82.01.91.71.3例：用指數(shù)函數(shù)擬合下面的數(shù)據(jù)例：用函數(shù)擬合表中的數(shù)據(jù)第四十二頁，共五十二頁，2022年，8月28日可化為線性擬合問題的常見函數(shù)類擬合函數(shù)類型 變量代換 化成的擬合函數(shù)對于一些較特殊的非線性擬合函數(shù)類型，可以通過適當(dāng)?shù)淖兞看鷵Q后化為線性最小二乘問題

第四十三頁，共五十二頁，2022年，8月28日非線性擬合舉例在某化學(xué)反應(yīng)里，根據(jù)實驗所得生成物的濃度與時間關(guān)系數(shù)據(jù)見下表，求濃度y與時間t的擬合曲線y=F(t)：

ti12345678yi(*10-3)

4.006.408.08.809.229.509.709.86ti910111213141516yi(*10-3)10.010.210.3210.4210.5210.5510.5810.6061086422yx1816141210840將數(shù)據(jù)標(biāo)在坐標(biāo)紙上如圖第四十四頁，共五十二頁，2022年，8月28日（1）取擬合函數(shù)為雙曲型

可見y關(guān)于參數(shù)a,b是非線性的為確定a,b可令：

則擬合函數(shù)化為y=a+bt，而將數(shù)據(jù)(ti,yi)相應(yīng)地變，如下表：ti11/21/31/41/51/61/71/8yi(*10-3)0.25000.156250.125600.113640.108460.105260.103090.10142ti1/91/101/111/121/131/141/151/16yi(*10-3)0.101420.098040.096900.095970.095240.094790.094520.09434第四十五頁，共五十二頁，2022年，8月28日（2）取擬合函數(shù)為指數(shù)型

第四十六頁，共五十二頁，2022年，8月28日同擬合函數(shù)為雙曲線型過程類似，先由(ti,yi)算出相應(yīng)的(ti,yi)，然后進行多項式擬合，解得a=