問題的提出函數(shù)解析式未知通過實(shí)驗(yàn)觀測得到的一組 ppt課件

1、3.1 問題的提出問題的提出函數(shù)解析式未知函數(shù)解析式未知,經(jīng)過實(shí)驗(yàn)觀測得到的一組數(shù)據(jù)經(jīng)過實(shí)驗(yàn)觀測得到的一組數(shù)據(jù), 即在某即在某個(gè)區(qū)間個(gè)區(qū)間a, b上給出一系列點(diǎn)的函數(shù)值上給出一系列點(diǎn)的函數(shù)值 yi= f(xi)或者給出函數(shù)表或者給出函數(shù)表y=f(x)y=p(x)xx0 x1x2xnyy0y1y2yn 3.2. 曲線擬合的最小二乘法曲線擬合的最小二乘法 假設(shè)知函數(shù)假設(shè)知函數(shù)f(x)在假設(shè)干點(diǎn)在假設(shè)干點(diǎn)xi(i=1,2,n)處的值處的值yi,便可根據(jù)插值原理來建立插值多項(xiàng)式作為便可根據(jù)插值原理來建立插值多項(xiàng)式作為f(x)的的近似。但在科學(xué)實(shí)驗(yàn)和消費(fèi)實(shí)際中，往往會遇到近似。但在科學(xué)實(shí)驗(yàn)和消費(fèi)實(shí)際中，

2、往往會遇到這樣一種情況，即節(jié)點(diǎn)上的函數(shù)值并不是很準(zhǔn)確這樣一種情況，即節(jié)點(diǎn)上的函數(shù)值并不是很準(zhǔn)確的，這些函數(shù)值是由實(shí)驗(yàn)或觀測得到的數(shù)據(jù)，不的，這些函數(shù)值是由實(shí)驗(yàn)或觀測得到的數(shù)據(jù)，不可防止地帶有丈量誤差，假設(shè)要求所得的近似函可防止地帶有丈量誤差，假設(shè)要求所得的近似函數(shù)曲線準(zhǔn)確無誤地經(jīng)過一切的點(diǎn)數(shù)曲線準(zhǔn)確無誤地經(jīng)過一切的點(diǎn)(xi,yi),就會使曲就會使曲線保管著一切測試誤差。當(dāng)個(gè)別數(shù)據(jù)的誤差較大線保管著一切測試誤差。當(dāng)個(gè)別數(shù)據(jù)的誤差較大時(shí)時(shí),插值效果顯然是不理想的。此外插值效果顯然是不理想的。此外,由實(shí)驗(yàn)或觀測由實(shí)驗(yàn)或觀測提供的數(shù)據(jù)個(gè)數(shù)往往很多提供的數(shù)據(jù)個(gè)數(shù)往往很多,假設(shè)用插值法假設(shè)用插值法,勢必得

3、到勢必得到次數(shù)較高的插值多項(xiàng)式，這樣計(jì)算起來很煩瑣。次數(shù)較高的插值多項(xiàng)式，這樣計(jì)算起來很煩瑣。為此為此, ,我們希望從給定的數(shù)據(jù)我們希望從給定的數(shù)據(jù)(xi,yi)(xi,yi)出發(fā)出發(fā), ,構(gòu)造一構(gòu)造一個(gè)近似函數(shù)個(gè)近似函數(shù) , ,不要求函數(shù)不要求函數(shù) 完全經(jīng)過一切的完全經(jīng)過一切的數(shù)據(jù)點(diǎn)，只需求所得的近似曲線能反映數(shù)據(jù)的根本數(shù)據(jù)點(diǎn)，只需求所得的近似曲線能反映數(shù)據(jù)的根本趨勢，如圖趨勢，如圖3.13.1所示。所示。)(x)(x y o x 圖圖3.13.1曲線擬合表示圖曲線擬合表示圖 換句話說換句話說: :求一條曲線求一條曲線, ,使數(shù)據(jù)點(diǎn)均在離此曲線的上方使數(shù)據(jù)點(diǎn)均在離此曲線的上方或下方不遠(yuǎn)處或下

4、方不遠(yuǎn)處, ,所求的曲線稱為擬合曲線所求的曲線稱為擬合曲線, ,它既能反映它既能反映數(shù)據(jù)的總體分布數(shù)據(jù)的總體分布, ,又不至于出現(xiàn)部分較大的動搖又不至于出現(xiàn)部分較大的動搖, ,更能更能反映被逼近函數(shù)的特性反映被逼近函數(shù)的特性, ,使求得的逼近函數(shù)與知函數(shù)從使求得的逼近函數(shù)與知函數(shù)從總體上來說其偏向按某種方法度量到達(dá)最小總體上來說其偏向按某種方法度量到達(dá)最小, ,這就是最這就是最小二乘法。小二乘法。 與函數(shù)插值問題不同與函數(shù)插值問題不同, ,曲線擬合不要求曲線經(jīng)曲線擬合不要求曲線經(jīng)過一切知點(diǎn)過一切知點(diǎn), ,而是要求得到的近似函數(shù)能反映數(shù)據(jù)而是要求得到的近似函數(shù)能反映數(shù)據(jù)的根本關(guān)系。在某種意義上的

5、根本關(guān)系。在某種意義上, ,曲線擬合更有適用價(jià)曲線擬合更有適用價(jià)值。值。 在對給出的實(shí)驗(yàn)在對給出的實(shí)驗(yàn)( (或觀測或觀測) )數(shù)據(jù)數(shù)據(jù)作曲線擬合時(shí)作曲線擬合時(shí), ,怎樣才算擬合得最好呢？普通希望怎樣才算擬合得最好呢？普通希望各實(shí)驗(yàn)各實(shí)驗(yàn)( (或觀測或觀測) )數(shù)據(jù)與擬合曲線的偏向的平方和數(shù)據(jù)與擬合曲線的偏向的平方和最小最小, ,這就是最小二乘原理。這就是最小二乘原理。 兩種逼近概念兩種逼近概念: : 插值插值: : 在節(jié)點(diǎn)處函數(shù)值一樣在節(jié)點(diǎn)處函數(shù)值一樣. . 擬合擬合: : 在數(shù)據(jù)點(diǎn)處誤差平方和最小在數(shù)據(jù)點(diǎn)處誤差平方和最小), 1 , 0)(,(niyxii 函數(shù)插值是插值函數(shù)函數(shù)插值是插值函

6、數(shù)P(x)P(x)與被插函數(shù)與被插函數(shù)f(x)f(x)在節(jié)點(diǎn)在節(jié)點(diǎn)處函數(shù)值一樣處函數(shù)值一樣, ,即即 而曲線而曲線擬合函數(shù)擬合函數(shù) 不要求嚴(yán)厲地經(jīng)過一切數(shù)據(jù)點(diǎn)不要求嚴(yán)厲地經(jīng)過一切數(shù)據(jù)點(diǎn) , ,也也就是說擬合函數(shù)就是說擬合函數(shù) 在在xixi處的偏向處的偏向( (亦稱殘差亦稱殘差 不都嚴(yán)厲地等于零。但是不都嚴(yán)厲地等于零。但是, ,為了使近似曲線能盡量反為了使近似曲線能盡量反映所給數(shù)據(jù)點(diǎn)的變化趨勢映所給數(shù)據(jù)點(diǎn)的變化趨勢, ,要求要求 按某種度量規(guī)范按某種度量規(guī)范最小。假設(shè)記向量最小。假設(shè)記向量 , ,即要求向量即要求向量 的的某種范數(shù)某種范數(shù) 最小最小, ,如如 的的1-1-范數(shù)范數(shù) 或或-范數(shù)范數(shù)

7、即即 )()(iixfxP), 1 ,0(ni)(x),(iiyx)(x)()(iiixfx),1 ,0(niiTne,10eee1eeniiiniixfxe001)()()()(maxmaxiiiiixfxe或或 最小。為了便于計(jì)算、分析與運(yùn)用，最小。為了便于計(jì)算、分析與運(yùn)用， 通常要求的通常要求的2-2-范數(shù)范數(shù) e212021022)()(niiiniixfxe200222)()(niiiniixfxe即即 為最小。這種要求誤差偏向平方和最小的擬為最小。這種要求誤差偏向平方和最小的擬合稱為曲線擬合的最小二乘法。合稱為曲線擬合的最小二乘法。 1直線擬合直線擬合設(shè)知數(shù)據(jù)點(diǎn)設(shè)知數(shù)據(jù)點(diǎn) ,分布大

8、致為一條直線。作擬合直分布大致為一條直線。作擬合直線線 ,該直線不是經(jīng)過一切的數(shù)據(jù)點(diǎn)該直線不是經(jīng)過一切的數(shù)據(jù)點(diǎn) ,而是使偏而是使偏向平方和向平方和miyxii,2,1,xaaxy10)(iiyx ,miiiyxaaaaF121010)(),(為最小，其中每組數(shù)據(jù)與擬合曲線的偏向?yàn)闉樽钚?，其中每組數(shù)據(jù)與擬合曲線的偏向?yàn)楦鶕?jù)最小二乘原理，應(yīng)取根據(jù)最小二乘原理，應(yīng)取 和和 使使 有極小有極小值，故值，故 和和 應(yīng)滿足以下條件：應(yīng)滿足以下條件：iiiiyxaayxy10)(mi,2, 10a1a),(10aaF1a0a0)(2),(0)(2),(110110110010imiiimiiixyxaaaa

9、aFyxaaaaaF即得如下正規(guī)方程組即得如下正規(guī)方程組 miiimimiiimiimiiyxxaxayxama1110211110(3.1) 例例3.21 設(shè)有某實(shí)驗(yàn)數(shù)據(jù)如下：設(shè)有某實(shí)驗(yàn)數(shù)據(jù)如下： 1 2 3 4 1.36 1.37 1.95 2.28 14.094 16.844 18.475 20.963iixiy 用最小二乘法求以上數(shù)據(jù)的擬合函數(shù)用最小二乘法求以上數(shù)據(jù)的擬合函數(shù) 解解: :把表中所給數(shù)據(jù)畫在坐標(biāo)紙上把表中所給數(shù)據(jù)畫在坐標(biāo)紙上, ,將會看到數(shù)將會看到數(shù)據(jù)點(diǎn)的分布可以用一條直線來近似地描畫據(jù)點(diǎn)的分布可以用一條直線來近似地描畫, ,設(shè)所設(shè)所求的求的 擬合直線為擬合直線為 記記x

10、1=1.36, x2=1.37, x3 =1.95 x4 =2.28, y1 x1=1.36, x2=1.37, x3 =1.95 x4 =2.28, y1 =14.094, y2= 16.844, y3=18.475, y4=20.963=14.094, y2= 16.844, y3=18.475, y4=20.963那么正規(guī)方程組為那么正規(guī)方程組為 xaaxy10)(4401114442011114iiiiiiiiiiiaaxyaxaxx y32. 741iix8434.13412iix376.7041iiy12985.13241iiiyx其中其中 將以上數(shù)據(jù)代入上式正規(guī)方程組將以上數(shù)據(jù)代

11、入上式正規(guī)方程組, ,得得12985.1328434.1332. 7376.7032. 741010aaaa0113.9374,7.46262aa解得解得 即得擬合直線即得擬合直線 xy4626. 79374. 32 2多項(xiàng)式擬合多項(xiàng)式擬合 有時(shí)所給數(shù)據(jù)點(diǎn)的分布并不一定近似地呈一有時(shí)所給數(shù)據(jù)點(diǎn)的分布并不一定近似地呈一條直條直線線, ,這時(shí)仍用直線擬合顯然是不適宜的這時(shí)仍用直線擬合顯然是不適宜的, ,可用多項(xiàng)可用多項(xiàng)式擬合。對于給定的一組數(shù)據(jù)式擬合。對于給定的一組數(shù)據(jù)尋求次數(shù)不超越尋求次數(shù)不超越n (nm ) n (nn，即方程組中方程的個(gè)，即方程組中方程的個(gè)數(shù)多于未知量的個(gè)數(shù)時(shí)，稱此方程組為超

12、定方程數(shù)多于未知量的個(gè)數(shù)時(shí)，稱此方程組為超定方程組。普通來說，超定方程組無解此時(shí)為矛盾方組。普通來說，超定方程組無解此時(shí)為矛盾方程組程組)，這時(shí)需求尋求方程組的一個(gè)，這時(shí)需求尋求方程組的一個(gè)“最近似的最近似的解解.記記 ,稱使稱使 ,即即 最小的解最小的解 為方程為方程組組Ax=b的最小二乘解。的最小二乘解。nmijaA)(Axbr2r22r*x定理定理 是是Ax=bAx=b的最小二乘解的充分必要條件為的最小二乘解的充分必要條件為 是是 的解的解. .證明證明: :充分性充分性 假設(shè)存在假設(shè)存在n n維向量維向量 , ,使使 任取一任取一n n維向量維向量 , ,令令 , ,那么那么 , ,且

13、且 *xbAAxATT*x*xbAAxATT*xx *xxy0y),(*22*22AyAxbAyAxbAyAxbxAb),(),(2),(*AyAyAxbAyAxbAxb22*22*)(2AyAxbAyAxbTT2222*AyAxb22*Axb 所以所以 是是Ax=bAx=b的最小二乘解。的最小二乘解。 *x必要性必要性:r:r的第的第i i個(gè)分量為個(gè)分量為, , , ,記記knkikiixabr1mi,2 , 1 2112122)(),(knkikiminxabxxxIr由多元函數(shù)求極值的必要條件，可得由多元函數(shù)求極值的必要條件，可得0)(211ijknkikimijaxabxInj,2,

14、1即即 nj,2, 1imiijknkikmiijbaxaa 111)(由線性代數(shù)知識知由線性代數(shù)知識知, ,上式寫成矩陣方式為上式寫成矩陣方式為 bAAxATT它是關(guān)于的線性方程組它是關(guān)于的線性方程組, ,也就是我們所說的正規(guī)方程組或也就是我們所說的正規(guī)方程組或法方程組。可以證明假設(shè)法方程組。可以證明假設(shè)A A是列滿秩的是列滿秩的, ,那么方程組那么方程組5.485.48存在獨(dú)一解存在獨(dú)一解 5.485.48例例3.24 3.24 求超定方程組求超定方程組 7262353114221212121xxxxxxxx的最小二乘解的最小二乘解,并求并求誤差平方和。誤差平方和。 解解:方程組寫成矩陣方

15、式為方程組寫成矩陣方式為 763111221534221xx正規(guī)方程組為正規(guī)方程組為 7631112542132122153421254213221xx485146331821xx即即 2418. 1,0403. 321xx解得解得 3224.725239.529119.2530478.114221212121xxxxxxxx此時(shí)此時(shí) 誤差平方和為誤差平方和為 2222)4324. 77()5239. 56()9119. 23()0478.1111(I34065942. 0 我們曾經(jīng)討論了最小二乘意義下的曲線擬合問題我們曾經(jīng)討論了最小二乘意義下的曲線擬合問題, ,由于方程比較簡單由于方程比較簡

16、單, ,實(shí)踐中運(yùn)用廣泛實(shí)踐中運(yùn)用廣泛, ,特別是由于任何特別是由于任何延續(xù)函數(shù)至少在一個(gè)較小的鄰域內(nèi)可以用多項(xiàng)式恣意延續(xù)函數(shù)至少在一個(gè)較小的鄰域內(nèi)可以用多項(xiàng)式恣意逼近逼近, ,因此用多項(xiàng)式作數(shù)據(jù)擬合因此用多項(xiàng)式作數(shù)據(jù)擬合, ,有它的特殊重要性。有它的特殊重要性。從而在許多實(shí)踐問題中從而在許多實(shí)踐問題中, ,不論詳細(xì)函數(shù)關(guān)系如何不論詳細(xì)函數(shù)關(guān)系如何, ,都可都可用多項(xiàng)式作近似擬合用多項(xiàng)式作近似擬合, ,但用多項(xiàng)式擬合時(shí)但用多項(xiàng)式擬合時(shí), ,當(dāng)當(dāng)n n較大時(shí)較大時(shí)(n7),(n7),其法方程的系數(shù)矩陣的條件數(shù)普通較大其法方程的系數(shù)矩陣的條件數(shù)普通較大, ,所以所以往往是病態(tài)的往往是病態(tài)的, ,因此

17、給求解任務(wù)帶來了困難。因此給求解任務(wù)帶來了困難。本章小結(jié)本章小結(jié) 本章引見的插值法和曲線擬合的最小二乘法都本章引見的插值法和曲線擬合的最小二乘法都是適用性很強(qiáng)的方法。它們處理的實(shí)踐問題雖然是適用性很強(qiáng)的方法。它們處理的實(shí)踐問題雖然各式各樣，但籠統(tǒng)為數(shù)學(xué)問題卻有它的共性，即各式各樣，但籠統(tǒng)為數(shù)學(xué)問題卻有它的共性，即利用知的數(shù)據(jù)去尋求某個(gè)較為簡單的函數(shù)利用知的數(shù)據(jù)去尋求某個(gè)較為簡單的函數(shù)P(x)來來逼近逼近f(x)。插值法和曲線擬合的最小二乘法分別。插值法和曲線擬合的最小二乘法分別給出了尋求這種近似函數(shù)的兩類不同的原那么，給出了尋求這種近似函數(shù)的兩類不同的原那么，以及構(gòu)造近似函數(shù)的幾種詳細(xì)方法。其

18、中插值法以及構(gòu)造近似函數(shù)的幾種詳細(xì)方法。其中插值法要求近似函數(shù)在知的數(shù)據(jù)點(diǎn)必需與要求近似函數(shù)在知的數(shù)據(jù)點(diǎn)必需與f(x)完全一致完全一致，曲線擬合法不要求點(diǎn)點(diǎn)一致而只須滿足一定的，曲線擬合法不要求點(diǎn)點(diǎn)一致而只須滿足一定的整體逼近條件。整體逼近條件。 曲線擬合的最小二乘法是處置實(shí)驗(yàn)數(shù)據(jù)的常用方法。曲線擬合的最小二乘法是處置實(shí)驗(yàn)數(shù)據(jù)的常用方法。本章主要引見了最小二乘法的根本原理和線性最小二乘問本章主要引見了最小二乘法的根本原理和線性最小二乘問題的求解方法。多項(xiàng)式擬合是線性最小二乘擬合問題的一題的求解方法。多項(xiàng)式擬合是線性最小二乘擬合問題的一種特殊情況種特殊情況, ,其特點(diǎn)是擬合多項(xiàng)式方式簡單其特點(diǎn)是擬合多項(xiàng)式方式簡單, ,但當(dāng)?shù)?dāng)n n較大時(shí)較大時(shí), ,法方程組往往是病態(tài)的。用離散正交多項(xiàng)式進(jìn)展曲線擬合法方程組往往是病態(tài)的。用離散正交多項(xiàng)式進(jìn)展曲線擬合, ,不用解線性方程組不用解線性方程組, ,只需按遞推式進(jìn)展計(jì)算只需按遞推式進(jìn)展計(jì)算, ,防止了法方防止了法方程組病態(tài)所呵斥的費(fèi)事程組病態(tài)所呵斥的費(fèi)事, ,并且當(dāng)逼近次數(shù)添加一次時(shí)并且當(dāng)逼近次數(shù)添加一次時(shí), ,只需只需在原根底上添加一項(xiàng)在原根底上添加一項(xiàng), ,使計(jì)算程序非常簡單。關(guān)于非線性使