曲線擬合的最小二乘法

關于曲線擬合的最小二乘法曲線擬合問題:

(建立試驗數(shù)據(jù)的模型)

在實際應用中，往往并不需要曲線通過給定的數(shù)據(jù)點，而只要求用曲線(函數(shù))近似代替給定的列表函數(shù)時，其

誤差在某種度量意義下最小。函數(shù)逼近問題:

(連續(xù)函數(shù)的逼近)

在實際應用中常需為解析式子比較復雜的函數(shù)尋找一個簡單函數(shù)來近似代替它，并要求其誤差在某種度量意義下最小?？山y(tǒng)稱為最佳逼近問題§

3.1擬合與逼近問題第2頁,共46頁，2024年2月25日，星期天一.問題的提出插值法是使用插值多項式來逼近未知或復雜函數(shù)的，它要求插值函數(shù)與被插函數(shù)在插值節(jié)點上函數(shù)值相同，而在其他點上沒有要求。在非插值節(jié)點上有時函數(shù)值會相差很大。若要求在被插函數(shù)的定義區(qū)間上都有較好的近似，就是最佳逼近問題。必須找到一種度量標準來衡量什么是最佳逼近.第3頁,共46頁，2024年2月25日，星期天

最佳一致逼近是在函數(shù)空間M中選P(x)滿足

但由于絕對值函數(shù)不宜進行分析運算，常替之以來討論，于是最佳逼近問題變?yōu)樽罴哑椒奖平鼏栴}這即為連續(xù)函數(shù)的最佳平方逼近.對于離散的問題，最佳平方逼近問題為:就是常說的曲線擬合的最小二乘法.

最佳逼近第4頁,共46頁，2024年2月25日，星期天二.預備知識內(nèi)積:第5頁,共46頁，2024年2月25日，星期天常采用的內(nèi)積與范數(shù)第6頁,共46頁，2024年2月25日，星期天第7頁,共46頁，2024年2月25日，星期天第8頁,共46頁，2024年2月25日，星期天1.正交函數(shù)族與正交多項式

定義1

若f(x),g(x)∈C[a,b],ρ(x)為[a,b]上的權(quán)函數(shù)且滿足:

則稱f(x)與g(x)在[a,b]上帶權(quán)ρ(x)正交。

正交多項式

第9頁,共46頁，2024年2月25日，星期天若函數(shù)族ψ0(x),ψ1(x),…,ψn(x),…滿足關系

則稱{ψk(x)}是[a,b]上帶權(quán)ρ(x)的正交函數(shù)族。

例如，三角函數(shù)族

1,cosx,sinx,cos2x,sin2x,…

就是在區(qū)間[-π,π]上的正交函數(shù)族。

第10頁,共46頁，2024年2月25日，星期天定義2

設ψn(x)是[a,b]上首項系數(shù)an≠0的n次多項式,ρ(x)為[a,b]上權(quán)函數(shù)，如果多項式序列

滿足關系式:

則稱為多項式序列

為在[a,b]上帶權(quán)ρ(x)正交，稱ψn(x)為[a,b]上帶權(quán)ρ(x)的n次正交多項式。

第11頁,共46頁，2024年2月25日，星期天

只要給定區(qū)間[a,b]及權(quán)函數(shù)ρ(x),均可由一族線性無關的冪函數(shù)

{1,x,…,xn,…}

利用逐個正交化手續(xù)(Gram-Schmidt正交化方法)：構(gòu)造出正交多項式序列

。第12頁,共46頁，2024年2月25日，星期天2.勒讓德多項式

定義3

當區(qū)間為[-1,1],權(quán)函數(shù)ρ(x)≡1時,由{1,x,…,xn,…}正交化得到的多項式就稱為勒讓德

(Legendre)多項式,并用P0(x),P1(x)，…，Pn(x)，…

表示。這是勒讓德于1785年引進的。1814年羅德利克(Rodrigul)給出了簡單的表達式：

第13頁,共46頁，2024年2月25日，星期天

由于(x2-1)n

是2n次多項式，求n階導數(shù)后得到

于是得首項xn的系數(shù)顯然最高項系數(shù)為1的勒讓德多項式為:

第14頁,共46頁，2024年2月25日，星期天勒讓德多項式有下述幾個重要性質(zhì)：性質(zhì)1.

正交性性質(zhì)2.奇偶性

pn(-x)=(-1)npn(x)

性質(zhì)3.遞推關系

(n+1)pn+1(x)=(2n+1)xpn(x)-npn-1(x)(n=1,2,……)(*)

由p0(x)=1，p1(x)=x，利用(*)就可推出pn(x)的表達式:

第15頁,共46頁，2024年2月25日，星期天性質(zhì)4.

pn(x)

在區(qū)間[-1，1]內(nèi)有n個不同的實零點。

第16頁,共46頁，2024年2月25日，星期天實例：考察某種纖維的強度y與其拉伸倍數(shù)x的關系，下表是實際測定的24個纖維樣品的強度與相應的拉伸倍數(shù)的記錄:一.實例講解3.2曲線擬合(最小二乘法)第17頁,共46頁，2024年2月25日，星期天纖維強度隨拉伸倍數(shù)增加而增加并且24個點大致分布在一條直線附近---------(1)第18頁,共46頁，2024年2月25日，星期天必須找到一種度量標準來衡量什么曲線最接近所有數(shù)據(jù)點.二、問題的提法第19頁,共46頁，2024年2月25日，星期天定義平方誤差(偏差平方和):第20頁,共46頁，2024年2月25日，星期天我們選取的度量標準是---------(2)---------(3)使得第21頁,共46頁，2024年2月25日，星期天第22頁,共46頁，2024年2月25日，星期天三、法方程組由可知因此可假設因此求最小二乘解轉(zhuǎn)化為二次函數(shù)第23頁,共46頁，2024年2月25日，星期天由多元函數(shù)取極值的必要條件得即第24頁,共46頁，2024年2月25日，星期天---------(4)即第25頁,共46頁，2024年2月25日，星期天引入記號則由內(nèi)積的概念可知---------(5)---------(6)顯然內(nèi)積滿足交換律第26頁,共46頁，2024年2月25日，星期天方程組(4)便可化為---------(7)將其表示成矩陣形式-----(8)第27頁,共46頁，2024年2月25日，星期天并且其系數(shù)矩陣為對稱陣.根據(jù)Cramer法則,法方程組有唯一解第28頁,共46頁，2024年2月25日，星期天即是的最小值所以因此第29頁,共46頁，2024年2月25日，星期天作為一種簡單的情況,基函數(shù)之間的內(nèi)積為平方誤差第30頁,共46頁，2024年2月25日，星期天例1.回到本節(jié)開始的實例，從散點圖可以看出纖維強度和拉伸倍數(shù)之間近似與線性關系故可選取線性函數(shù)為擬合函數(shù)，其基函數(shù)為建立法方程組根據(jù)內(nèi)積公式，可得第31頁,共46頁，2024年2月25日，星期天法方程組為解得平方誤差為第32頁,共46頁，2024年2月25日，星期天擬合曲線與散點的關系如右圖:第33頁,共46頁，2024年2月25日，星期天四、加權(quán)最小二乘法各點的重要性可能是不一樣的權(quán):即權(quán)重或者密度，統(tǒng)稱為權(quán)系數(shù).

定義加權(quán)平方誤差為-----(9)第34頁,共46頁，2024年2月25日，星期天使得第35頁,共46頁，2024年2月25日，星期天由多元函數(shù)取極值的必要條件得即第36頁,共46頁，2024年2月25日，星期天引入記號定義加權(quán)內(nèi)積-----(10)第37頁,共46頁，2024年2月25日，星期天矩陣形式(法方程組)為方程組(10)式化為-----(11)---(12)第38頁,共46頁，2024年2月25日，星期天平方誤差為作為特殊情形,用多項式作擬合函數(shù)的法方程組為-----(13)第39頁,共46頁，2024年2月25日，星期天五、最小二乘原理的其他應用1、算術平均：最小二乘意義下誤差最小2、超定方程組的最小二乘解

P103例3.3.3第40頁,共46頁，2024年2月25日，星期天

3.3連續(xù)函數(shù)的最佳平方逼近1.最佳平方逼近問題-----(14)第41頁,共46頁，2024年2月25日，星期天2.解法(法方程)-----(15)第42頁,共46頁，2024年2月25日，星期天第43頁,共46頁，2024年2月25日，星期天第44頁,共46頁，2024年2月25日，星期天最小二乘法方法評注