工程化學(xué)-第三章_2__最小二乘ppt課件

1、3.1 3.1 問題的提出問題的提出函數(shù)解析式未知函數(shù)解析式未知, ,通過實(shí)驗(yàn)觀測(cè)得到的一組數(shù)據(jù)通過實(shí)驗(yàn)觀測(cè)得到的一組數(shù)據(jù), , 即在某即在某個(gè)區(qū)間個(gè)區(qū)間a, ba, b上給出一系列點(diǎn)的函數(shù)值上給出一系列點(diǎn)的函數(shù)值 yi= f(xi) yi= f(xi)或者給出函數(shù)表或者給出函數(shù)表y=f(x)y=p(x)xx0 x1x2xnyy0y1y2yn 3.2. 3.2. 曲線擬合的最小二乘法曲線擬合的最小二乘法 如果已知函數(shù)如果已知函數(shù)f(x)f(x)在若干點(diǎn)在若干點(diǎn)xi(i=1,2,n)xi(i=1,2,n)處處的值的值yi,yi,便可根據(jù)插值原理來建立插值多項(xiàng)式作為便可根據(jù)插值原理來建立插值多項(xiàng)式

2、作為f(x)f(x)的近似。但在科學(xué)實(shí)驗(yàn)和生產(chǎn)實(shí)踐中，往往會(huì)的近似。但在科學(xué)實(shí)驗(yàn)和生產(chǎn)實(shí)踐中，往往會(huì)遇到這樣一種情況，即節(jié)點(diǎn)上的函數(shù)值并不是很遇到這樣一種情況，即節(jié)點(diǎn)上的函數(shù)值并不是很精確的，這些函數(shù)值是由實(shí)驗(yàn)或觀測(cè)得到的數(shù)據(jù)精確的，這些函數(shù)值是由實(shí)驗(yàn)或觀測(cè)得到的數(shù)據(jù)，不可避免地帶有測(cè)量誤差，如果要求所得的近，不可避免地帶有測(cè)量誤差，如果要求所得的近似函數(shù)曲線精確無誤地通過所有的點(diǎn)似函數(shù)曲線精確無誤地通過所有的點(diǎn)(xi,yi),(xi,yi),就會(huì)就會(huì)使曲線保留著一切測(cè)試誤差。當(dāng)個(gè)別數(shù)據(jù)的誤差使曲線保留著一切測(cè)試誤差。當(dāng)個(gè)別數(shù)據(jù)的誤差較大時(shí)較大時(shí), ,插值效果顯然是不理想的。此外插值效果顯然是

3、不理想的。此外, ,由實(shí)驗(yàn)或由實(shí)驗(yàn)或觀測(cè)提供的數(shù)據(jù)個(gè)數(shù)往往很多觀測(cè)提供的數(shù)據(jù)個(gè)數(shù)往往很多, ,如果用插值法如果用插值法, ,勢(shì)必勢(shì)必得到次數(shù)較高的插值多項(xiàng)式，這樣計(jì)算起來很煩得到次數(shù)較高的插值多項(xiàng)式，這樣計(jì)算起來很煩瑣?，?。為此為此, ,我們希望從給定的數(shù)據(jù)我們希望從給定的數(shù)據(jù)(xi,yi)(xi,yi)出發(fā)出發(fā), ,構(gòu)造一構(gòu)造一個(gè)近似函數(shù)個(gè)近似函數(shù) , ,不要求函數(shù)不要求函數(shù) 完全通過所有的完全通過所有的數(shù)據(jù)點(diǎn)，只要求所得的近似曲線能反映數(shù)據(jù)的基本數(shù)據(jù)點(diǎn)，只要求所得的近似曲線能反映數(shù)據(jù)的基本趨勢(shì)，如圖趨勢(shì)，如圖3.13.1所示。所示。)(x)(x y o x 圖圖3.13.1曲線擬合示意圖曲

4、線擬合示意圖 換句話說換句話說: :求一條曲線求一條曲線, ,使數(shù)據(jù)點(diǎn)均在離此曲線的上方使數(shù)據(jù)點(diǎn)均在離此曲線的上方或下方不遠(yuǎn)處或下方不遠(yuǎn)處, ,所求的曲線稱為擬合曲線所求的曲線稱為擬合曲線, ,它既能反映它既能反映數(shù)據(jù)的總體分布數(shù)據(jù)的總體分布, ,又不至于出現(xiàn)局部較大的波動(dòng)又不至于出現(xiàn)局部較大的波動(dòng), ,更能更能反映被逼近函數(shù)的特性反映被逼近函數(shù)的特性, ,使求得的逼近函數(shù)與已知函數(shù)使求得的逼近函數(shù)與已知函數(shù)從總體上來說其偏差按某種方法度量達(dá)到最小從總體上來說其偏差按某種方法度量達(dá)到最小, ,這就是這就是最小二乘法。最小二乘法。 與函數(shù)插值問題不同與函數(shù)插值問題不同, ,曲線擬合不要求曲線通曲

5、線擬合不要求曲線通過所有已知點(diǎn)過所有已知點(diǎn), ,而是要求得到的近似函數(shù)能反映數(shù)而是要求得到的近似函數(shù)能反映數(shù)據(jù)的基本關(guān)系。在某種意義上據(jù)的基本關(guān)系。在某種意義上, ,曲線擬合更有實(shí)用曲線擬合更有實(shí)用價(jià)值。價(jià)值。 在對(duì)給出的實(shí)驗(yàn)在對(duì)給出的實(shí)驗(yàn)( (或觀測(cè)或觀測(cè)) )數(shù)據(jù)數(shù)據(jù)作曲線擬合時(shí)作曲線擬合時(shí), ,怎樣才算擬合得最好呢？一般希望怎樣才算擬合得最好呢？一般希望各實(shí)驗(yàn)各實(shí)驗(yàn)( (或觀測(cè)或觀測(cè)) )數(shù)據(jù)與擬合曲線的偏差的平方和數(shù)據(jù)與擬合曲線的偏差的平方和最小最小, ,這就是最小二乘原理。這就是最小二乘原理。 兩種逼近概念兩種逼近概念: : 插值插值: : 在節(jié)點(diǎn)處函數(shù)值相同在節(jié)點(diǎn)處函數(shù)值相同. .

6、 擬合擬合: : 在數(shù)據(jù)點(diǎn)處誤差平方和最小在數(shù)據(jù)點(diǎn)處誤差平方和最小), 1 , 0)(,(niyxii 函數(shù)插值是插值函數(shù)函數(shù)插值是插值函數(shù)P(x)P(x)與被插函數(shù)與被插函數(shù)f(x)f(x)在節(jié)點(diǎn)在節(jié)點(diǎn)處函數(shù)值相同處函數(shù)值相同, ,即即 而曲線而曲線擬合函數(shù)擬合函數(shù) 不要求嚴(yán)格地通過所有數(shù)據(jù)點(diǎn)不要求嚴(yán)格地通過所有數(shù)據(jù)點(diǎn) , ,也也就是說擬合函數(shù)就是說擬合函數(shù) 在在xixi處的偏差處的偏差( (亦稱殘差）亦稱殘差） 不都嚴(yán)格地等于零。但是不都嚴(yán)格地等于零。但是, ,為了使近似曲線能盡量反為了使近似曲線能盡量反映所給數(shù)據(jù)點(diǎn)的變化趨勢(shì)映所給數(shù)據(jù)點(diǎn)的變化趨勢(shì), ,要求要求 按某種度量標(biāo)準(zhǔn)按某種度量標(biāo)

7、準(zhǔn)最小。若記向量最小。若記向量 , ,即要求向量即要求向量 的的某種范數(shù)某種范數(shù) 最小最小, ,如如 的的1-1-范數(shù)范數(shù) 或或-范數(shù)范數(shù)即即 )()(iixfxP), 1 ,0(ni)(x),(iiyx)(x)()(iiixfx),1 ,0(niiTne,10eee1eeniiiniixfxe001)()()()(maxmaxiiiiixfxe或或 最小。為了便于計(jì)算、分析與應(yīng)用，最小。為了便于計(jì)算、分析與應(yīng)用， 通常要求的通常要求的2-2-范數(shù)范數(shù) e212021022)()(niiiniixfxe200222)()(niiiniixfxe即即 為最小。這種要求誤差偏向平方和最小的擬為最小

8、。這種要求誤差偏向平方和最小的擬合稱為曲線擬合的最小二乘法。合稱為曲線擬合的最小二乘法。 （1直線擬合直線擬合設(shè)已知數(shù)據(jù)點(diǎn)設(shè)已知數(shù)據(jù)點(diǎn),分布大致為一條直線。作擬分布大致為一條直線。作擬合直線合直線,該直線不是通過所有的數(shù)據(jù)點(diǎn)該直線不是通過所有的數(shù)據(jù)點(diǎn),而是而是使偏差平方和使偏差平方和miyxii,2,1,xaaxy10)(iiyx ,miiiyxaaaaF121010)(),(為最小，其中每組數(shù)據(jù)與擬合曲線的偏差為為最小，其中每組數(shù)據(jù)與擬合曲線的偏差為根據(jù)最小二乘原理，應(yīng)取根據(jù)最小二乘原理，應(yīng)取 和和 使使 有極小有極小值，故值，故 和和 應(yīng)滿足下列條件：應(yīng)滿足下列條件：iiiiyxaayxy

9、10)(mi,2, 10a1a),(10aaF1a0a0)(2),(0)(2),(110110110010imiiimiiixyxaaaaaFyxaaaaaF即得如下正規(guī)方程組即得如下正規(guī)方程組 miiimimiiimiimiiyxxaxayxama1110211110(3.1) 例例3.21 3.21 設(shè)有某實(shí)驗(yàn)數(shù)據(jù)如下：設(shè)有某實(shí)驗(yàn)數(shù)據(jù)如下： 1 2 1 2 3 43 4 1.36 1.37 1.36 1.37 1.95 2.281.95 2.28 14.094 16.844 14.094 16.844 18.475 20.96318.475 20.963iixiy 用最小二乘法求以上數(shù)據(jù)的

10、擬合函數(shù)用最小二乘法求以上數(shù)據(jù)的擬合函數(shù) 解解: :把表中所給數(shù)據(jù)畫在坐標(biāo)紙上把表中所給數(shù)據(jù)畫在坐標(biāo)紙上, ,將會(huì)看將會(huì)看到數(shù)據(jù)點(diǎn)的分布可以用一條直線來近似地描述到數(shù)據(jù)點(diǎn)的分布可以用一條直線來近似地描述, ,設(shè)所求的設(shè)所求的 擬合直線為擬合直線為 記記x1=1.36, x2=1.37, x3 =1.95 x4 =2.28, y1 x1=1.36, x2=1.37, x3 =1.95 x4 =2.28, y1 =14.094, y2= 16.844, y3=18.475, y4=20.963=14.094, y2= 16.844, y3=18.475, y4=20.963則正規(guī)方程組為則正規(guī)方程

11、組為 xaaxy10)(4401114442011114iiiiiiiiiiiaaxyaxaxx y32. 741iix8434.13412iix376.7041iiy12985.13241iiiyx其中其中 將以上數(shù)據(jù)代入上式正規(guī)方程組將以上數(shù)據(jù)代入上式正規(guī)方程組, ,得得12985.1328434.1332. 7376.7032. 741010aaaa0113.9374,7.46262aa解得解得 即得擬合直線即得擬合直線 xy4626. 79374. 3（2 2多項(xiàng)式擬合多項(xiàng)式擬合 有時(shí)所給數(shù)據(jù)點(diǎn)的分布并不一定近似地呈一有時(shí)所給數(shù)據(jù)點(diǎn)的分布并不一定近似地呈一條直條直線線, ,這時(shí)仍用直線

12、擬合顯然是不合適的這時(shí)仍用直線擬合顯然是不合適的, ,可用多項(xiàng)可用多項(xiàng)式擬合。對(duì)于給定的一組數(shù)據(jù)式擬合。對(duì)于給定的一組數(shù)據(jù)尋求次數(shù)不超過尋求次數(shù)不超過n (nm ) n (nm ) 的多項(xiàng)式，的多項(xiàng)式， ,1, 2 ,iixyim2012nnyaa xa xa x來擬合所給定的數(shù)據(jù)，與線性擬合類似，使偏差的來擬合所給定的數(shù)據(jù)，與線性擬合類似，使偏差的平方和平方和210()mnjijiijQya x為最小為最小 由于由于Q Q可以看作是關(guān)于可以看作是關(guān)于 ( j=0,1,2, n) ( j=0,1,2, n)的多元函數(shù)的多元函數(shù), , 故上述擬合多項(xiàng)式的構(gòu)造問題可故上述擬合多項(xiàng)式的構(gòu)造問題可歸結(jié)

13、為多元函數(shù)的極值問題。令歸結(jié)為多元函數(shù)的極值問題。令210()mnjijiijQya x0,0,1, 2,kQkna得得 10()0,0,1,mnjkijiiijya x xkn即有即有 0121011201niniiniiniiinnnniiniiia maxaxyaxaxaxx yaxaxaxx y 這是關(guān)于系數(shù)這是關(guān)于系數(shù) 的線性方程組，通常稱為正的線性方程組，通常稱為正規(guī)方程組。可以證明，正規(guī)方程組有惟一解。規(guī)方程組?？梢宰C明，正規(guī)方程組有惟一解。 ja(3.2)(3.2)例例3.22 3.22 設(shè)某實(shí)驗(yàn)數(shù)據(jù)如下：設(shè)某實(shí)驗(yàn)數(shù)據(jù)如下： 1 2 3 1 2 3 4 5 64 5 6 0 1

14、 2 0 1 2 3 4 53 4 5 5 2 1 5 2 1 1 2 31 2 3iixiy用最小二乘法求一個(gè)多項(xiàng)式擬合這組數(shù)據(jù)用最小二乘法求一個(gè)多項(xiàng)式擬合這組數(shù)據(jù) 解：將已給數(shù)據(jù)點(diǎn)描在坐標(biāo)系中，可以看出這些點(diǎn)解：將已給數(shù)據(jù)點(diǎn)描在坐標(biāo)系中，可以看出這些點(diǎn) 接近一條拋物線，因此設(shè)所求的多項(xiàng)式為接近一條拋物線，因此設(shè)所求的多項(xiàng)式為 2210 xaxaay由法方程組由法方程組3.23.2）, , 經(jīng)計(jì)算得經(jīng)計(jì)算得 m=6, 612616161461361261122,30,14,797,225,55,15iiiiiiiiiiiiiiiiyxyxyxxxx其法方程組為其法方程組為 122979225

15、553022555151455156210210210aaaaaaaaa解之得解之得 5000. 0,7857. 2,7143. 4210aaa25000.07857.27143.4xxy所求的多項(xiàng)式為所求的多項(xiàng)式為 （3一般曲線擬合的 最小二乘法的求法*0101*201110101:(mmn)( )( )( ).( )(,.,)()min,:02()()0: 2()()()0:nnmniiiimnkiikjiikmnmkiiikjjiikiyxxxxaaaayya aayaxxyaxxx 設(shè)近似方程為共有組數(shù)據(jù)且對(duì)函數(shù) 求偏導(dǎo)數(shù)并令其為零 可得得若引入記號(hào)11,()(),()mmiiijkj

16、kjjiiifyxxx nk 0000100011011110101:,(0,1,., ),.,.,.,.,( ),( ),.(kjkjnnnnnnnnnfjnfffxxaaaa 則有可得矩陣可知當(dāng)i0 ),(0,1,., )( )aniiixinxa線性無關(guān)時(shí)存在唯一解就是所求的擬合函數(shù)幾種常見的數(shù)據(jù)擬合情況。圖幾種常見的數(shù)據(jù)擬合情況。圖 ( a ) ( a ) 表示數(shù)據(jù)接近于表示數(shù)據(jù)接近于直線，故宜采用線性函數(shù)直線，故宜采用線性函數(shù) 擬合；圖擬合；圖(b)(b)數(shù)數(shù)據(jù)分布接近于拋物線?？刹蓴M合；二次多項(xiàng)式據(jù)分布接近于拋物線。可采擬合；二次多項(xiàng)式 xaay102210 xaxaay擬合；擬合

17、； y y O x O x (a)(a)(b)(b)圖圖 ( c ) ( c ) 的數(shù)據(jù)分布特點(diǎn)是開始曲線上升較快隨后逐的數(shù)據(jù)分布特點(diǎn)是開始曲線上升較快隨后逐漸變慢漸變慢, ,宜采用雙曲線型函數(shù)宜采用雙曲線型函數(shù) 或指數(shù)型函或指數(shù)型函數(shù)數(shù) 圖圖 ( d ) ( d ) 的數(shù)據(jù)分布特點(diǎn)是開始曲線下降快的數(shù)據(jù)分布特點(diǎn)是開始曲線下降快, ,隨后逐漸變慢隨后逐漸變慢, ,宜采用宜采用 或或 或或等數(shù)據(jù)擬合。等數(shù)據(jù)擬合。bxaxyxbaeybxaxy2bxaxybxaey y y O x O x (c)(d)例例3.13 3.13 設(shè)某實(shí)驗(yàn)數(shù)據(jù)如下設(shè)某實(shí)驗(yàn)數(shù)據(jù)如下: : 1 2 3 1 2 3 4 5

18、64 5 6 0 0.5 1 0 0.5 1 1.5 2 2.51.5 2 2.5 2.0 1.0 0.9 2.0 1.0 0.9 0.6 0.4 0.30.6 0.4 0.3iixiy用最小二乘法求擬合曲線用最小二乘法求擬合曲線 解解: :將已給數(shù)據(jù)點(diǎn)描在坐標(biāo)系中下圖所示將已給數(shù)據(jù)點(diǎn)描在坐標(biāo)系中下圖所示, ,可以看出這些點(diǎn)可以看出這些點(diǎn)接近指數(shù)曲線接近指數(shù)曲線, ,因而可取指數(shù)函數(shù)因而可取指數(shù)函數(shù)作為擬合函數(shù)作為擬合函數(shù). .對(duì)函數(shù)對(duì)函數(shù)兩邊取對(duì)數(shù)得兩邊取對(duì)數(shù)得. . 令令 則就得到線性模型則就得到線性模型 bxaeybxaeybxaylnlnbaaa10,lnxaay10則正規(guī)方程組為則正

19、規(guī)方程組為 6601116662011116lnlniiiiiiiiiiiaaxyaxaxxy其中其中 5 . 761iix75.13612iix043302. 2ln61iiy714112. 5ln61iiiyx將以上數(shù)據(jù)代入上式正規(guī)方程組，得將以上數(shù)據(jù)代入上式正規(guī)方程組，得714112. 575.135 . 7043302. 25 . 761010aaaa解得解得 772282. 0,562302. 010aa由由 得得aaln000.5623021.754708,aaeeba1772282.01ab由由 得得于是得到擬合指數(shù)函數(shù)為于是得到擬合指數(shù)函數(shù)為 xey772282. 075470

20、8. 1 （5 5超定方程組的最小二乘解超定方程組的最小二乘解設(shè)線性方程組設(shè)線性方程組Ax=bAx=b中，中， ,b ,b是是m m維已知向量維已知向量，x x是是n n維解向量，當(dāng)維解向量，當(dāng)m mn n，即方程組中方程的個(gè)，即方程組中方程的個(gè)數(shù)多于未知量的個(gè)數(shù)時(shí)，稱此方程組為超定方程數(shù)多于未知量的個(gè)數(shù)時(shí)，稱此方程組為超定方程組。組。 一般來說，超定方程組無解此時(shí)為矛盾方一般來說，超定方程組無解此時(shí)為矛盾方程組程組),),這時(shí)需要尋求方程組的一個(gè)這時(shí)需要尋求方程組的一個(gè)“最近似的解最近似的解. .記記 , ,稱使稱使 , ,即即 最小的解最小的解 為方程為方程組組Ax=bAx=b的最小二乘解

21、。的最小二乘解。nmijaA)(Axbr2r22r*x定理定理 是是Ax=bAx=b的最小二乘解的充分必要條件為的最小二乘解的充分必要條件為 是是 的解的解. .證明證明: :充分性充分性 若存在若存在n n維向量維向量 , ,使使 任取一任取一n n維向量維向量 , ,令令 , ,那么那么 , ,且且 *xbAAxATT*x*xbAAxATT*xx *xxy0y),(*22*22AyAxbAyAxbAyAxbxAb),(),(2),(*AyAyAxbAyAxbAxb22*22*)(2AyAxbAyAxbTT2222*AyAxb22*Axb 所以所以 是是Ax=bAx=b的最小二乘解。的最小二

22、乘解。 *x必要性必要性:r:r的第的第i i個(gè)分量為個(gè)分量為, , , ,記記knkikiixabr1mi,2 , 1 2112122)(),(knkikiminxabxxxIr由多元函數(shù)求極值的必要條件，可得由多元函數(shù)求極值的必要條件，可得0)(211ijknkikimijaxabxInj,2, 1即即 nj,2, 1imiijknkikmiijbaxaa 111)(由線性代數(shù)知識(shí)知由線性代數(shù)知識(shí)知, ,上式寫成矩陣形式為上式寫成矩陣形式為 bAAxATT它是關(guān)于的線性方程組它是關(guān)于的線性方程組, ,也就是我們所說的正規(guī)方程組或也就是我們所說的正規(guī)方程組或法方程組。可以證明如果法方程組。可

23、以證明如果A A是列滿秩的是列滿秩的, ,則方程組則方程組5.485.48存在惟一解存在惟一解 （5.485.48）例例3.24 3.24 求超定方程組求超定方程組 7262353114221212121xxxxxxxx的最小二乘解的最小二乘解,并求并求誤差平方和。誤差平方和。解解:方程組寫成矩陣形式為方程組寫成矩陣形式為763111221534221xx正規(guī)方程組為正規(guī)方程組為7631112542132122153421254213221xx485146331821xx即即 2418. 1,0403. 321xx解得解得 3224.725239.529119.2530478.11422121

24、2121xxxxxxxx此時(shí)此時(shí) 誤差平方和為誤差平方和為 2222)4324. 77()5239. 56()9119. 23()0478.1111(I34065942. 0 我們已經(jīng)討論了最小二乘意義下的曲線擬合問題我們已經(jīng)討論了最小二乘意義下的曲線擬合問題, ,由于方程比較簡單由于方程比較簡單, ,實(shí)際中應(yīng)用廣泛實(shí)際中應(yīng)用廣泛, ,特別是因?yàn)槿魏翁貏e是因?yàn)槿魏芜B續(xù)函數(shù)至少在一個(gè)較小的鄰域內(nèi)可以用多項(xiàng)式任意連續(xù)函數(shù)至少在一個(gè)較小的鄰域內(nèi)可以用多項(xiàng)式任意逼近逼近, ,因此用多項(xiàng)式作數(shù)據(jù)擬合因此用多項(xiàng)式作數(shù)據(jù)擬合, ,有它的特殊重要性。有它的特殊重要性。 從而在許多實(shí)際問題中從而在許多實(shí)際問題中

25、, ,不論具體函數(shù)關(guān)系如何不論具體函數(shù)關(guān)系如何, ,都可都可用多項(xiàng)式作近似擬合用多項(xiàng)式作近似擬合, ,但用多項(xiàng)式擬合時(shí)但用多項(xiàng)式擬合時(shí), ,當(dāng)當(dāng)n n較大時(shí)較大時(shí)(n7),(n7),其法方程的系數(shù)矩陣的條件數(shù)一般較大其法方程的系數(shù)矩陣的條件數(shù)一般較大, ,所以所以往往是病態(tài)的往往是病態(tài)的, ,因而給求解工作帶來了困難。因而給求解工作帶來了困難。這組基函數(shù)就稱為點(diǎn)集這組基函數(shù)就稱為點(diǎn)集 上的正交函數(shù)集。上的正交函數(shù)集。這種情況下法方程組的系數(shù)矩陣是對(duì)角陣，顯然容易求這種情況下法方程組的系數(shù)矩陣是對(duì)角陣，顯然容易求解。關(guān)于正交函數(shù)下面作簡單介紹解。關(guān)于正交函數(shù)下面作簡單介紹 近年來近年來, ,產(chǎn)生

26、一些直接解線性最小二乘問題的新方產(chǎn)生一些直接解線性最小二乘問題的新方法，例如正交三角化方法。另外法，例如正交三角化方法。另外, ,如果能選取基函數(shù)如果能選取基函數(shù) 使得使得 時(shí)時(shí), , ( )(1,2,)jxjnkj1(,)()()0mkjkijiixxnxxx,21正交多項(xiàng)式 在高等數(shù)學(xué)中介紹付立葉級(jí)數(shù)時(shí)，曾提到函數(shù)系 1,cosx,sinx,cos2x,sin2x,cosnx,sinnx,中，由于任意兩個(gè)函數(shù)乘積在區(qū)間-，+上的積分都等于零，則說這個(gè)函數(shù)系在-，+上是正交的，并稱這個(gè)函數(shù)系為正交函數(shù)系。下面給出正交函數(shù)系定義：設(shè)函數(shù)f(x),g(x)a,b,且則稱f(x)與g(x)在a,b

27、上帶權(quán)(x)正交,0)()()(),(dxxgxfxgfba在a,b上連續(xù)的函數(shù)0(x), 1(x), 2(x),. k(x)., 滿足 則稱該函數(shù)系是在區(qū)間a,b上帶權(quán)(x)正交函數(shù)系.下面介紹與上述定義有關(guān)的幾個(gè)概念，然后引出正交多項(xiàng)的概念，最后再介紹正交多項(xiàng)式的性質(zhì)以及幾種常見的正交多項(xiàng)式。1.權(quán)函數(shù):(1)設(shè)a,b是有限或無限區(qū)間, (x)是定義在a,b上的非零可積函數(shù)，若其滿足則稱(x)是a,b上的一個(gè)權(quán)函數(shù)。kjAkjxdxxxkkbajkj00)()()()(),(baba, 2 , 1)()2(0)( (1)ndxxxdxxn存在2 2 內(nèi)積與范數(shù)內(nèi)積與范數(shù)設(shè)設(shè)f(x),g(x

28、)f(x),g(x)a,b, a,b, (x)(x)是是a,ba,b上的一個(gè)權(quán)函上的一個(gè)權(quán)函數(shù)，稱數(shù)，稱為為f(x)f(x)與與g(x)g(x)在為在為 a,b a,b上以權(quán)函數(shù)上以權(quán)函數(shù)(x)(x)的內(nèi)積。的內(nèi)積。顯然，對(duì)于任意實(shí)數(shù)顯然，對(duì)于任意實(shí)數(shù)a,b,a,b,有有稱稱為為f(x)f(x)的帶權(quán)的帶權(quán)(x)(x)的的22范數(shù)。范數(shù)。dxxgxfxgfba)()()(),(212212)()(),(dxxfxfffba),(),(),(hfbgfabhagf正交多項(xiàng)式的性質(zhì)正交多項(xiàng)式的性質(zhì)定理定理1 a,b1 a,b上帶權(quán)上帶權(quán)(x)(x)的正交多項(xiàng)式系的正交多項(xiàng)式系gn(x)gn(x)一

29、定是一定是a,ba,b上線性無關(guān)的函數(shù)系。上線性無關(guān)的函數(shù)系。定理定理2 2 設(shè)是設(shè)是gn(x)a,bgn(x)a,b上帶權(quán)上帶權(quán)(x)(x)的正交多的正交多項(xiàng)式系，則對(duì)于任何次數(shù)不高于項(xiàng)式系，則對(duì)于任何次數(shù)不高于n-1n-1的多項(xiàng)式的多項(xiàng)式q(x),q(x),總有總有 (q(x), gn(x)=0 (q(x), gn(x)=0 ( n=1,2,( n=1,2,） 定理定理3 n3 n次正交多項(xiàng)式次正交多項(xiàng)式gn(x)gn(x)有有n n個(gè)互異定根，個(gè)互異定根，且全部若在且全部若在(a,b)(a,b)內(nèi)。內(nèi)。0)(),(xgxqn定理4:任何相鄰的三個(gè)正交多項(xiàng)式,都具有下列遞推關(guān)系式 gn+1

30、(x)=(nx-n)gn(x)-n-1gn-1(x)常見的正交多項(xiàng)式常見的正交多項(xiàng)式勒讓德多項(xiàng)式(Legendre)切比雪夫多項(xiàng)式(Chebyshev)拉蓋爾多項(xiàng)式(Laguerre)埃爾米特多項(xiàng)式 (Hermite)勒讓德多項(xiàng)式(Legendre)-1,1 , (x)=1遞推關(guān)系:P0(x)=1, P1(x)=x, 22)1(!21)(xdxdxPnnnn) 13()(2212xxP)35()(3213xxxPnnxPxxPxPnnnnnnn.3 , 2 , 1),()()(111121Tn(x)=cos(narccosx)切比雪夫多項(xiàng)式(Chebyshev),11)(,1 ,12xx遞推關(guān)

31、系:T0(x)=1 , T1(x)=x , T2(x)=2x2-1 , T3(x)= 4x3-3x,nnxTxTxxTxxTxTnnn.3 ,2 , 1),()(,2)()(, 1)(1110拉蓋爾多項(xiàng)式(Laguerre)0,+), (x)=e-x)()(xnnnxnexdxdexL埃爾米特多項(xiàng)式 (Hermite)(- ,+), (x)=e-x222)() 1()(xnnxnnedxdexH本章小結(jié)本章小結(jié) 本章介紹的插值法和曲線擬合的最小二乘法本章介紹的插值法和曲線擬合的最小二乘法都是實(shí)用性很強(qiáng)的方法。它們解決的實(shí)際問題雖都是實(shí)用性很強(qiáng)的方法。它們解決的實(shí)際問題雖然各式各樣，但抽象為數(shù)學(xué)

32、問題卻有它的共性，然各式各樣，但抽象為數(shù)學(xué)問題卻有它的共性，即利用已知的數(shù)據(jù)去尋求某個(gè)較為簡單的函數(shù)即利用已知的數(shù)據(jù)去尋求某個(gè)較為簡單的函數(shù)P(x)P(x)來逼近來逼近f(x)f(x)。插值法和曲線擬合的最小二乘。插值法和曲線擬合的最小二乘法分別給出了尋求這種近似函數(shù)的兩類不同的原法分別給出了尋求這種近似函數(shù)的兩類不同的原則，以及構(gòu)造近似函數(shù)的幾種具體方法。其中插則，以及構(gòu)造近似函數(shù)的幾種具體方法。其中插值法要求近似函數(shù)在已知的數(shù)據(jù)點(diǎn)必須與值法要求近似函數(shù)在已知的數(shù)據(jù)點(diǎn)必須與f(x)f(x)完完全一致，曲線擬合法不要求點(diǎn)點(diǎn)一致而只須滿足全一致，曲線擬合法不要求點(diǎn)點(diǎn)一致而只須滿足一定的整體逼近條件。一定的整體逼近條件。 插值法中的拉格朗日插值多項(xiàng)式是研究數(shù)值插值法中的拉格朗日插值多項(xiàng)式是研究數(shù)值微積分與微分方程數(shù)值解的重要工具。牛頓插值微積分與微分方程數(shù)值解的重要工具。牛頓插值多項(xiàng)式是拉格朗日插值多項(xiàng)式的變形，具有承襲多項(xiàng)式是拉格朗日插值多項(xiàng)式的變形，具有承襲性，比拉格朗日插值多項(xiàng)式節(jié)省