工程數學0函數擬合-離散數據最小二乘法

實例1：某種下表是實際測定的24個纖維樣品的強度與相應拉伸倍數的記錄拉伸倍數強度kg/mm2拉伸倍數強度kg/mm211.91.4135.05.522.01.3145.25.032.11.8156.05.542.52.5166.36.452.72.8176.56.062.72.5187.15.373.53.0198.06.583.52.7208.07.094.04.0218.98.5104.03.5229.08.0114.54.2239.58.1124.63.52410.08.1第三章最小二乘法與曲線擬和纖維的強度與其拉伸倍數有直接關系，提示：將拉伸倍數作為x,強度作為y,在座

標紙上標出各點，可以發(fā)現什么?9876543210024681012實例2：002222ax

b

sin

xdx

0即022[ax

b

sin

x]

dx達到最小選取常數a,b使202a

bax

b

sin

x

xdx

0I

0,

I

0[ax

b

sin

x]

dx確定a,b使I(a,b)達到最小，必須滿解：設I(a,b)20002000ax

sin

xdxasin

xdx22222x

dx

bx

dx

x

dx

bdx

2

2

3

2

24

a

8

b

1a

b

1

8解得a

0.6644389,

b

0.1147707問題的提出,n)。在科學工程實驗中，常常會遇見很多的函數，但它的解析表達式是未知的，僅能通過實驗觀測的方法得到一系列的數據(xi

,yi

)(i

1,2,而數值方法的目標之一，就是確定一個函數y

g(x,)將這些變量聯系起來。注意現在的問題不同與前面介紹的“插值”。怎樣從一組數據出發(fā)，尋求函數的近似表達式g(x),要求g(x)反映數據的近基本趨勢而又不一定過全部的點(xi

,yi

)，這就是曲線擬合問題，g(x)稱為擬合曲線。用幾何語言來說就是尋求一條曲線g(x)來擬合（平滑）這幾個點。連續(xù)函數最佳平方

近（最小二乘）問題的一般提法nj0在內積空間C[a,b]中，設f

(x)C[a,b],但f

(x),在中尋找一個函數g(x)

c

j

j

(x)

22

(

x

)f

(

x)

(

x)

2使得

f

(

x)

g(

x)

2

min若g(x)存在,則稱其為f

(x)在[a,b]上的最佳平方近函數。需要解決的幾個重要問題：中g(x)的存在唯一性；構造g(x)的具體方法；平方誤差（偏差）||

(x)||2

||

f

(x)

g(x)||2

。(

j

0,1,

...,

n)定理3.1

設內積空間X

C[a,b]中的子空間

span{0

(x),1

(x),...,n

(x)}

X，函數g(x)

是對f

(x充分必要條件是f

(x)

g(x)與所有的

j

(x)(j=0,1,...,n)正交，即滿足(f

(

x)

g(

x),

j

(

x))

0,f

(

x)

g(

x)f

(

x)g(

x)幾何解釋正交投影222

njaj1nj1

b

(

x)

f

(

x)

c

j

(

x)

dxn

n

(

f

c

j

j

(

x),

f

c

j

j

(

x))j1

j1

f

c

j

j

(

x)證明：（必要性）設g(x)是最小二乘解bnkacj

j

(x)]k

(x)dxj1

2

(x)[

f

(x)

ck

1,

2,...,

n根據多元函數極值點的必要條件：

2(

f

(x)

g(x),k

(x))

0從而必要性得證。nj0

c

j

(

j

,k

)

(

f,k

),

(k

0,1,

...,

n)

(1)0

1

0

1

1

1n

1

n

1

(n

,n

)cn

(

f

,n

)(0

,n

)c0

(1

,n

)c1

法

(0

,0

)c0

(1

,0

)c1

方

(

,

)c

(

,

)c

程組

(n

,0

)cn

(f

,0

)正

(

,

)c

(f

,

)規(guī)方程組nj0對于任意(x)

，(x)

j

j

(x),必有(

f

(

x)

g(

x),(

x))

0因為f

(

x)

(

x)

2

f

(

x)

g(

x)

g(

x)

(

x)

2

f

(

x)

g(

x)

2

2(

f

(

x)

g(

x),

g(

x)

(

x))

g(

x)

(

x)

2

f

(

x)

g(

x)

2

g(

x)

(

x)

2

f

(

x)

g(

x)

2所以，g(x)是中對f

(x)的最佳平方

近函數。要證對于任意(

x)

有

f

(

x)

g(

x)

f

(

x)

(

x)(充分性)設g(x)滿足(f

(x)

g(x),k

(x))

0,k

0,1,,n0

1

1

1

n

1

(

,

)

(

,

)

(

,

)

R(n1)(n1)(

,

)

(

,

)(

,

)

0

n

1

n

n n

F

((

f

,0

),(

f

,1

),,(

f

,n

))

RT

n1其中

G

矩陣G稱為關于0

(x)，1

(x)，，n

(x)的Gram（

）矩陣，也常記為G(0

,1,

,n

)由0

(x)，1

(x)，，n

(x)是線性無關的，容易證明Gram矩陣是非奇異的。若記向量C

(c

,c

,

c

)T

Rn1,用矩陣形式表示為GC

F0

1

n稱

GC

F

為法方程(0

,0

)

(1

,0

)

(n

,0

)定理3.2

設j

(x)(j=0,1,...,n)是內積空間中的元素，則其Gram矩陣G非奇異的充分必要條件是0

(x),1(x),...,n

(x)線性無關。證明：充分性：0

(x),1(x),...,n

(x)線性無關

G非奇異。n反證法：設G奇異，則GC

=0有非零解,即：（j

(x)，k

(x)）c

j

=0,k=0,1,...,n有非零解。j=0n

(c

jj

(x)，k

(x))=0,k=0,1,...,n有非零解。j=0n

nj=0

k=0n由上式得(

c

jj

(x)，

ckk

(x))=0

ckk

(x)

0,c0

,c1

,...,cn不全為零。k=0n

解法方程GC=F求出C以后，就可得到最佳平方

近函數g(

x)

c

jj

(

x)j=0所以0

(x),1(x),...,n

(x),線性相關,之亦然。nk=0

ckk

(x)

0,c0

,c1

,...,cn不全為零。T

(1,

,

n

)

0n

n

n

ni

(i

(x),

j

(x))j

(ii

(x),

j

j

(x))

0i1

j1

i1

j1可以證明G是對稱正定的2

(

x)

2

f

(

x)

g(

x)

2

(

f

(

x)

g(

x),

f

(x)

g(x))記

(

x)

fnn

(

f

(

x),

f

(

x))

(g(

x),

f

(

x))

(

f

(

x),

f

(

x))

(c

j

j

(

x),

f

(

x))j0

(

f

(

x),

f

(

x))

c

j

(

j

(

x),

f

(

x))j0平方誤差（偏差）估計2簡稱平方誤差（偏差。）稱||

(x)

||2

為最佳平方

近誤差離散數據最小二乘問題的一般提法2(1)mi

i

i,

xm

,,

f

(

xm

),i

0

(

f

(

x

)

s(

x

))

min及權系數0

,1

,...,m,并已知函數模型s(x,c)。用給定的數據點，按給定的函數模型，構造擬合函數s(x)此問題稱為最小二乘曲線擬合，又稱為離散數據的最佳平方使擬合誤差的平方和最小——最小二乘原理一、問題的提法與計算給定m

1個數據點

xi

x0

,

x1

,f

(

xi

)

f

(

x0

),

f

(

x1

),0

1n1

ns(

x,

c)是關于系數c

(c

,

c

,

,

c

,

c

)T

的非線性函數。如：s(x,c)

c

x

c

ec2

x0

1兩種擬合問題1

00

1nn1

nxn1

c

x

c1.

線性最小二乘曲線擬合如：取s(x,c)

c

xn

cn

n1s(

x,

c)是關于系數c

(c

,

c

,

,

c

,

c

)T

的線性函數。這是多項式擬合。n若取s(

x,

c)

c

e

x

2

c

e

x

c

e

x

c

，這也是2

1

0關于系數的線性擬合。2.

非線性最小二乘曲線擬合a

x

a

x

a

x

b22n

n22

221

1a11

x1

a12

x2

a1n

xn

b1或aN

1

x1

aN

2

x2

aNn

xn

bNnaij

x

j

bi

(i

1,

2,

,

N

)j1矩陣形式為Ax

b一、用最小二乘法求解方程組這由線性代數的理論可知，當系數矩陣的秩與增廣矩陣的秩偏差的絕對值之和N|

i

|i1盡可能的小，為了便于計算和應用，常采用使偏差的平方和N

N

n

i

ij

j

i2

(

a

x

b

)2Q

i

1

i

1

j

1達到最小值，這一條件稱為最小二乘原則，按最小二乘原則來選的解a1

,a2

,…,an

稱為方程組的最小二乘解。不等時，方程組無解，這時上式稱為

樣的方程組在某種意義下的解的求法。nj1說明：求得的

方程組的解

a1

,

a2,…,

an

應使得

bi

(i

1,2,

,

N)偏差：

i

aij

xj定理3.30000122pP1 2

P1

n

P1 2

P0P01

n

P02

n

P0

nP0xk

2

f2

f2

f

x2x

xx

x

f2

f2

f

x2x

xM

x

x2

n

P0

2

f

2

f

x

xx

xx2設n元實函數f

(x1,

x2

,

,

xn

)在點p0

(a1,

a2

,

,

an

)的某個鄰域內連續(xù)，且有一階及二階連續(xù)的偏導數，如果（1

f>

0(2)矩陣,

xn

)2

f

,an

)是n元實函數f

(x1,x2

,是正(負)定矩陣，則f

(a1,a2

,的極小(大)值定理3.41

2

n非齊次線性方程組Ax

b的系數矩陣A

(aij

)N

n，若rank

A

n，則矩陣AT

A是對稱正定矩陣；n階線性方程組AT

Ax

AT

b有唯一解。證明:(1)顯然AT

A為對稱矩陣。設齊次線性方程組Ax

0，其中x

(

x

,

x

,

,

x

)T。因為rank

A

n，所以齊次方程組有唯一解，故對于任意的x

0，有Ax

0，于是

(Ax)T

Ax

xT

(AT

A)x

0故矩陣AT

A是正定矩陣。(2)因為AT

A是正定矩陣，所以rank(AT

A)

n，故線性方程組AT

Ax

ATb有唯一解。定理3.521

1

22

2N

nn

ij

jii

1

j1

a1n

xn

b1a11x1

a12

x2

a

x

a

x

a2n

xn

b2ax

a

x

a

x

b

N

1

1

N

2

2

Nn

n

N

b

)2,

x

)

(a

x設

方程組的系數矩陣A的秩為n，則二次函數Q

f

(

x1

,

x2

,一定存在最小值。,xn的二次函數，因而Q連續(xù)且有連續(xù)的證明易知Q為關于x1

,x2

,一階及二階偏導數nj1n

nj1

j1

2a1k

(a1

j

x

j

b1

)

2a2k

(a2

j

x

j

b2

)xkQ

2aNk

(aNj

x

j

bN

)因為nNNj

jnn1k

2ka

x

b

2(a

a1

j

x

j

b1

j1Nk

j1

j1

2(a1k

,a2k

,,aNk

)(

Ax

b)a2

j

x

j

b2,a

,,a

)

n

x

x

Q

1

Q

x2

2AT

(

Ax

b)

2(

AT

Ax

AT

b)

Q

故0PQ

0

(k

1,

2,

,

n)xkxkrank

A

n

AT

Ax

AT

b

有唯一解令Q

0(k

1,2,,n),即AT

Ax

AT

b又因為Nk

tx

xi

1

a2

ka2

t

2Q

2(a1ka1t

aNk

aNt

)

2aik

ait(k,t

1,2,,n)aa

aa

aa

aTNNNNNNi1

ina

2i1

i

2a

2

2A

A

NM

2

2in

ai

2ain

i1

i

1

i

1

i

1

i

2

in

i

1

i

1

i1

in

i

1

Ni

1Ni

1i

1ai1ai

2

i

2a

a

所以當rank

A

n時，M為對稱正定矩陣，故Q存在極小值點，又由于方程組只有唯一解，故Q的極小值就是最小值,故P0即為最小值點。二、多項式擬和（線性最小二乘法）由測量得到函數y

f

(

x)的一組數據如下x1

x2

xN2N

N2iiiy

(

x)

a

a

x

a

x2

0

1

2

a

xm

(m

N

1)mQ

(

x

)

y

i

1

i

1y1

y2

yN求一個次數低于N

1的多項式使其最好的擬和這組數據，即使得(x)在xi的偏差

i

(

xi

)

yi

(i

1,

2,

,

N

)的平方和達到最小。01

1

2

10

1

2

2

211222m

2

2m

NNmNxay1

xxmxxa

a

x

a

x2

a xm

ym

1

1

a xm

ya

a

x

a

x2

a

a xm

y

0

a

x

a

x

21

N

2

N

1xm

a0

y1

1

A

x

b

y

1

a

N

N

m

矩陣形式為Ax

b，其中

Nmii

i

NiN

Ni

iNiNNmiNx yi

x

y

yi

AT

b

xxmxx

NAT

A

xi

i

1

i

1

i

1

N

i

12mi

1xm

1

i

1m

1

2

i

1i

1

xii

1N

xii

1Ni

1NNNNNi

i

i

i

m

N

NNNm

i

imx

yx

yi

1m

i

i

ii

1

i

1x2m

xm

y

i

1

ii

1a0

xm

ai

1i

1xm1

i

1Ni

1i

1i

1

i

1xm1

aa0

xi

a1

x2

aa0N

a1

xi

a正則方程組為N定理6.4x1

,x2

,

,xN互異，且N

m

1，則上述正則方程組有唯一的解。例6.2試用最小二乘法求一個多項式，使與下列數據相擬和xi1345678yi105421120

1

2

3

4

5

6

7

8

xy

。。。。。。。。解：(1)作草圖,發(fā)現函數圖形近似為拋物線0

a1

x

a2

x2(

x)

a(2)構造，設擬和曲線為次二多項式(3)

寫出方程組，將數據代入擬和曲線2100102108

64aaa24

16aa2

a4aaa590

a

x

a

x21

2(x)

a得(4)寫出正則方程組，并求解

382

25

200

2

8756

a

1288

a1

80

7

34

200

a0

34

2001288AT

Ax

AT

b解得a0

13.4451，a1

3.5850，a2

0.2639故擬和曲線為(

x)

3.4451

3.5850x

0.2639x20

10

10

1a0

a1

10a

3a

5a

4a

4a0

5a1

4a

6a

1a0

7a1

1a

8a

2

0

1若用一次多項式y(tǒng)

a0

a1

x

擬和上述數據，將數據代入擬和曲線用最小二乘法解得所求擬和曲線為(

x)

7.0984

0.6016x擬和曲線均方差最大偏差二次多項式0.93480.6725一次多項式3.53352.1637來判斷擬和曲線的優(yōu)劣。通常用均方差2Ni

i1i

Ni

1與最大偏差ma