小二乘擬合多項(xiàng)式ppt課件

1、第二節(jié)第二節(jié) 最小二乘擬合多項(xiàng)式最小二乘擬合多項(xiàng)式最小二乘擬合問題：最小二乘擬合問題：？隱藏的函數(shù)關(guān)系用以逼近這組數(shù)據(jù)背后函數(shù)尋求：一個(gè)發(fā)如何從這批實(shí)驗(yàn)數(shù)據(jù)出比較大一般地累了一組數(shù)據(jù)往往會(huì)通過(guò)實(shí)驗(yàn)觀測(cè)積在實(shí)際問題中)()(,),( , 2, 1),( ,xfyxPmmiyxii為什么不能運(yùn)用插值函數(shù)來(lái)逼近？為什么不能運(yùn)用插值函數(shù)來(lái)逼近？由于觀測(cè)數(shù)據(jù)數(shù)目較大，又往往帶有觀測(cè)誤差，對(duì)于這類問由于觀測(cè)數(shù)據(jù)數(shù)目較大，又往往帶有觀測(cè)誤差，對(duì)于這類問題運(yùn)用插值函數(shù)來(lái)逼近，插值函數(shù)會(huì)將這些誤差也包括在內(nèi)，題運(yùn)用插值函數(shù)來(lái)逼近，插值函數(shù)會(huì)將這些誤差也包括在內(nèi)，這是不適當(dāng)?shù)?！這是不適當(dāng)?shù)模Q句話說(shuō)：尋求換句話說(shuō)

2、：尋求 ，使其在某種準(zhǔn)那么下與一切數(shù)據(jù)，使其在某種準(zhǔn)那么下與一切數(shù)據(jù)點(diǎn)最為接近，即曲線擬合得最好。點(diǎn)最為接近，即曲線擬合得最好。)(xP數(shù)據(jù)處置問題數(shù)據(jù)處置問題擬合的含義是：不要求擬合的含義是：不要求 所對(duì)應(yīng)的曲線完全經(jīng)過(guò)一切的所對(duì)應(yīng)的曲線完全經(jīng)過(guò)一切的數(shù)據(jù)點(diǎn)，只需求它可以反映數(shù)據(jù)的整體變化趨勢(shì)。數(shù)據(jù)點(diǎn)，只需求它可以反映數(shù)據(jù)的整體變化趨勢(shì)。)(xP因此，我們需求一種新的逼近原函數(shù)的方法因此，我們需求一種新的逼近原函數(shù)的方法插值與擬合的關(guān)系：插值與擬合的關(guān)系：?jiǎn)栴}：給定一組數(shù)據(jù)點(diǎn)，構(gòu)造一個(gè)函數(shù)作為近似或逼問題：給定一組數(shù)據(jù)點(diǎn)，構(gòu)造一個(gè)函數(shù)作為近似或逼近。近。處理方案：處理方案：1. 假設(shè)要求所求

3、曲線經(jīng)過(guò)給定的一切數(shù)據(jù)點(diǎn)，就是插假設(shè)要求所求曲線經(jīng)過(guò)給定的一切數(shù)據(jù)點(diǎn)，就是插值問題；值問題；2. 假設(shè)不要求曲線經(jīng)過(guò)一切數(shù)據(jù)點(diǎn)，而是要求它反映假設(shè)不要求曲線經(jīng)過(guò)一切數(shù)據(jù)點(diǎn)，而是要求它反映數(shù)據(jù)點(diǎn)的整體變化趨勢(shì)，這就是數(shù)據(jù)擬合，又稱曲線擬數(shù)據(jù)點(diǎn)的整體變化趨勢(shì)，這就是數(shù)據(jù)擬合，又稱曲線擬合，所求出的曲線稱為擬合曲線。合，所求出的曲線稱為擬合曲線。處理方案：處理方案：1. 不要求過(guò)一切數(shù)據(jù)點(diǎn)可以消除誤差影響；不要求過(guò)一切數(shù)據(jù)點(diǎn)可以消除誤差影響；2. 盡能夠地描寫數(shù)據(jù)點(diǎn)的趨勢(shì)，接近這些數(shù)據(jù)點(diǎn)。盡能夠地描寫數(shù)據(jù)點(diǎn)的趨勢(shì)，接近這些數(shù)據(jù)點(diǎn)。曲線擬合問題最常用的解法曲線擬合問題最常用的解法 最小二乘法最小二乘法

4、思索問題：測(cè)得銅導(dǎo)線在溫度思索問題：測(cè)得銅導(dǎo)線在溫度 時(shí)的電時(shí)的電阻阻 如下：如下：xy k 1 2 3 4 5 6 7 溫度 x 19.10 25.00 30.10 36.00 40.00 45.10 50.00 電阻 y 76.30 77.80 79.25 80.80 82.35 83.90 85.10求電阻求電阻 和溫度和溫度 之之間的關(guān)系間的關(guān)系.yx擬合問題的幾何背景是尋求一條近似經(jīng)過(guò)給定離散點(diǎn)的曲線，擬合問題的幾何背景是尋求一條近似經(jīng)過(guò)給定離散點(diǎn)的曲線，故稱曲線擬合問題。故稱曲線擬合問題。205040301) 將變量所對(duì)應(yīng)的點(diǎn)將變量所對(duì)應(yīng)的點(diǎn)(數(shù)據(jù)點(diǎn)數(shù)據(jù)點(diǎn))在坐標(biāo)平面中描畫出來(lái)。這

5、些在坐標(biāo)平面中描畫出來(lái)。這些點(diǎn)組成了變量之間的一個(gè)圖，通常稱這種圖為變量之間的散點(diǎn)組成了變量之間的一個(gè)圖，通常稱這種圖為變量之間的散點(diǎn)圖。點(diǎn)圖。2) 可以看出，電阻隨著溫度添加而增大，并且這可以看出，電阻隨著溫度添加而增大，并且這7個(gè)點(diǎn)大致個(gè)點(diǎn)大致分布在一條直線附近，因此可以為電阻與溫度之間的主要關(guān)分布在一條直線附近，因此可以為電阻與溫度之間的主要關(guān)系是線性關(guān)系。建立適當(dāng)?shù)臄?shù)學(xué)模型。系是線性關(guān)系。建立適當(dāng)?shù)臄?shù)學(xué)模型。bxay問題：如何選擇問題：如何選擇a和和b，使得到的方程與實(shí)踐情，使得到的方程與實(shí)踐情況比較符合況比較符合.電阻溫度. . 7 , 2 , 1),(),( 為殘差通常稱有誤差：與

6、實(shí)測(cè)值次觀測(cè)數(shù)據(jù)中，模型值引入殘差的概念：在第kkkkkkkkkbxayyybayyk易見，在數(shù)據(jù)給定的前提下，誤差的大小僅依賴于易見，在數(shù)據(jù)給定的前提下，誤差的大小僅依賴于a,b的選擇。反過(guò)來(lái)，衡量的選擇。反過(guò)來(lái)，衡量a,b的好壞可以由整體誤差的大小來(lái)確定。的好壞可以由整體誤差的大小來(lái)確定。問題：如何得到參數(shù)問題：如何得到參數(shù)a和和b，使整體誤差，使整體誤差到達(dá)最小？到達(dá)最小？常用的三種準(zhǔn)那么是：常用的三種準(zhǔn)那么是： .|min| 3) |min| )2 |maxminmax ) 12,2,kkbakkkkbakkkkbakk達(dá)到最小，即將使殘差的平方和；達(dá)到最小，即將使殘差絕對(duì)值之和；達(dá)到

7、最小，即的一個(gè)將使殘差絕對(duì)值中最大由于準(zhǔn)測(cè)、含有絕對(duì)值不便于處置，通常采用由于準(zhǔn)測(cè)、含有絕對(duì)值不便于處置，通常采用準(zhǔn)測(cè)，并稱基于準(zhǔn)那么來(lái)選取擬合曲線的方準(zhǔn)測(cè)，并稱基于準(zhǔn)那么來(lái)選取擬合曲線的方法，稱為曲線擬合的最小二乘法。法，稱為曲線擬合的最小二乘法。3) 確定擬合曲線確定擬合曲線. 求解如下的二元函數(shù)極求解如下的二元函數(shù)極值問題值問題. .|min2,kkba. 7 , 2 , 1),(),( kbxayyybakkkkk其中),(min )(),(,712babxaybabakkk，考慮如下問題：令利用極值必要條件，有利用極值必要條件，有7171)(2),(0)(2),(0kkkkkkkxb

8、xaybbabxayaba整理，得到如下線性方程組整理，得到如下線性方程組.17171271717171kkkkkkkkkkkkyxxbxayxba普通地，我們有普通地，我們有問題：?jiǎn)栴}：.)(),( ,)(),( , 2 , 1 ),( 12101001取最小值使即求一組參數(shù)次多項(xiàng)式求一個(gè)設(shè)給定一組數(shù)據(jù)mkknknnnnniixPyaaaaaaaxaxaxPnnmmiyx實(shí)驗(yàn)次數(shù)實(shí)驗(yàn)次數(shù)稱為數(shù)據(jù)的最小二乘擬合多項(xiàng)式！稱為數(shù)據(jù)的最小二乘擬合多項(xiàng)式！0101(,)min(,)nna aaa aamkknknknaxaxayaaa120110)(),( njxaxaxayajkmkknknkj,

9、1 , 0 , )( 0101., 1 , 0 ,1111110njxyxaxaxamkjkkmknjknmkjkmkjkjsju令令1jsnjs0 01 100 11 2110112 n nn nnnnnna sasa sua sasa sua sasa su則上述線性方程組變?yōu)?11mkjkkjmkjkjxyuxs稱為正規(guī)方程組或法方程組。n+1個(gè)方程n+1個(gè)變量011, 0,1, .jjn j nja sasa sujn11102111111121111mmnnkkikkimmmnnkkkiikkkinmmmnnnnnkkkiikkkimxxyaxxxax yaxxxx y法方程組法方程

10、組可寫成以可寫成以下方式下方式: :令令0101(1) (1)111mnnnmnmxxxxxx 01nyyyy111niiniiinmiiiyx yyx y T那么法方程系數(shù)矩陣那么法方程系數(shù)矩陣為：為：常數(shù)項(xiàng)為：常數(shù)項(xiàng)為：00T11111nnnmmxxxxxx Tay T可以證明：當(dāng)可以證明：當(dāng) 互異時(shí)，該方程組有獨(dú)一解，并互異時(shí)，該方程組有獨(dú)一解，并是最小值問題的解。是最小值問題的解。01, nx xx其他類型的擬合問題最小二乘法并不只限于多項(xiàng)式，也可用于任何詳細(xì)給出的最小二乘法并不只限于多項(xiàng)式，也可用于任何詳細(xì)給出的函數(shù)方式。特別重要的是有些非線性最小二乘擬合問題經(jīng)函數(shù)方式。特別重要的是

11、有些非線性最小二乘擬合問題經(jīng)過(guò)適當(dāng)?shù)淖儞Q可以轉(zhuǎn)化為線性最小二乘問題求解。過(guò)適當(dāng)?shù)淖儞Q可以轉(zhuǎn)化為線性最小二乘問題求解。第第3 3節(jié)節(jié) 普通最小二乘逼近問題的提法普通最小二乘逼近問題的提法思索普通的線性無(wú)關(guān)函數(shù)族思索普通的線性無(wú)關(guān)函數(shù)族= 0(x), 1(x), , n(x), ，其有限項(xiàng)的線性組合，其有限項(xiàng)的線性組合 稱為廣稱為廣義多項(xiàng)式義多項(xiàng)式 .定義定義njjjnxxP0)()(常見的廣義多項(xiàng)式：常見的廣義多項(xiàng)式： j(x) = x j 對(duì)應(yīng)代數(shù)多項(xiàng)式對(duì)應(yīng)代數(shù)多項(xiàng)式 j(x) = cos jx 、 j(x) = sin jx j(x), j(x) 對(duì)應(yīng)三角多項(xiàng)式對(duì)應(yīng)三角多項(xiàng)式 j(x) =

12、e kj x , ki kj 對(duì)應(yīng)指數(shù)多項(xiàng)對(duì)應(yīng)指數(shù)多項(xiàng)式式定義定義權(quán)函數(shù)：權(quán)函數(shù)： 離散型離散型根據(jù)一系列離散點(diǎn)根據(jù)一系列離散點(diǎn) 擬合時(shí)，在每一擬合時(shí)，在每一誤差前乘一正數(shù)誤差前乘一正數(shù) ，即，即 誤差函數(shù)誤差函數(shù) ，這個(gè)這個(gè) 就稱作權(quán)，反映該點(diǎn)的重要程度。就稱作權(quán)，反映該點(diǎn)的重要程度。),., 1(),(niyxii 延續(xù)型延續(xù)型在在a, b上用廣義多項(xiàng)式上用廣義多項(xiàng)式 擬合延續(xù)函數(shù)擬合延續(xù)函數(shù) 時(shí)時(shí), 定義定義權(quán)函數(shù)權(quán)函數(shù) (x) Ca, b，即誤差函，即誤差函數(shù)數(shù) 。權(quán)函數(shù)必需。權(quán)函數(shù)必需(x)滿足：非負(fù)、滿足：非負(fù)、可積，且在可積，且在a, b的任何子區(qū)間上的任何子區(qū)間上(x) 0。d

13、xxyxPxnba2)()( )(jnjknkjxPy02)(0j)(xPn)(xf定義定義廣義最小二乘擬合：廣義最小二乘擬合： 離散型離散型給定一組數(shù)據(jù)給定一組數(shù)據(jù) ，和一組權(quán)系數(shù)，和一組權(quán)系數(shù) 下求下求廣義多項(xiàng)式廣義多項(xiàng)式 使得誤差函數(shù)使得誤差函數(shù) 最小。最小。 延續(xù)型延續(xù)型知知 以及權(quán)函數(shù)以及權(quán)函數(shù) ，求廣義多項(xiàng)式，求廣義多項(xiàng)式 使使得誤差函數(shù)得誤差函數(shù) 最小。最小。內(nèi)積與范數(shù)內(nèi)積與范數(shù)bamiiiidxxgxfxxgxfgf)()()()()(),(1離散型離散型延續(xù)型延續(xù)型那么易證那么易證( f, g ) 是內(nèi)是內(nèi)積，而積，而 是是范數(shù)。范數(shù)。),(|fff mkyxkk, 2 ,

14、1),(k)( )(mnxPnnjknkjxPy02)(C)(a,bxfy)(x)(xPnbandxxfxPx2)()()(廣義最小二乘問題可一致地表達(dá)為：求廣義多項(xiàng)式廣義最小二乘問題可一致地表達(dá)為：求廣義多項(xiàng)式使得使得最小，其中最小，其中)(xPn)(.)()()(1100 xaxaxaxPnn n22|),(yPyPyPnnn由于由于),(),(2),( ),(,2, ),(),(2),( ),(),(),(),( ),(000000yyyaaayyyaaayyyPPPyyPyyPPPyPyPknkkrknrrnkknkkknrrrnkkknnnnnnnnn內(nèi)積空間的最正確逼近問題內(nèi)積空間

15、的最正確逼近問題),(),(2),( 000yyyaaaknkkrknrrnkk利用極值必要條件，有利用極值必要條件，有),(2),(2 ),(2),(),(0000yayaaajjknkkjjknkkrjnrrj., 2 , 1 , 0nj即即njyajjknkk, 1 , 0 ),(),( 00),( ),(),( ),( ),( ),( ),( ),( ),(),( ),( ),(1010101111000100yyyaaannnnnnnn法方程組法方程組 1 1矩陣矩陣 方方式式 0(x), 1(x), , n(x) 線性無(wú)關(guān)線性無(wú)關(guān) 它的它的Gram (格格拉姆拉姆)行列式行列式Gn

16、非零，其中非零，其中定理定理00010101110101(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)nnnnnnnnGG 證明：參考證明：參考2 2內(nèi)積內(nèi)積 表表示示njyajjknkk, 1 , 0 ),(),( 00njyajjknkk, 1 , 0 ),(),(0njyPjjn, 1 , 0 ),(),(njyPjn, 1 , 0 , 0),(上式闡明：一切基函數(shù)上式闡明：一切基函數(shù) 都與都與 正交。正交。jyPn的最佳逼近多項(xiàng)式。中對(duì)是)()(1xfHxaPnnijjn特征定理特征定理定理定理jnjjnjjjnnnnnnnnnijjnnfafaffPfffPffPfPP

17、ffPfPfxPxfRxaxPxPxfR,| ,| ),(),( ),( ),(),( ),( |)()(|)()()()(02202222221，則平方誤差為，其中若令定義定義最正確平方逼近誤差的估最正確平方逼近誤差的估計(jì)計(jì)| )()(|max|xPxfRnbxa最大誤差為例例3.1：用：用 來(lái)擬合如下數(shù)據(jù)，來(lái)擬合如下數(shù)據(jù)， i 1xaay10k 1 2 3 4 5x 1 3 4 6 7y -2.1 -0.9 -0.6 0.6 0.9解：解：有，于是由正規(guī)方程組，設(shè)xxx)(1)(10決議問題的決議問題的維數(shù)維數(shù),為為5維！維！),(),(),( ),( ),( ),(10101110010

18、0yyaa其中的內(nèi)積是向量其中的內(nèi)積是向量.9 .06 .06 .09 .01 .2,76431)(11111)(510Ryxx，的標(biāo)量積的標(biāo)量積.因此，得到因此，得到7 . 21 . 2111 12 12 510aa解之解之例：用例：用 來(lái)擬合來(lái)擬合 ， i 12210 xaxaay x 1 2 3 4 y 4 10 18 26 解：解： 0(x) = 1， 1(x) = x， 2(x) = x2622),(182),(581),(354),(301),(30),(101),(100),(411),(241104144122220412411110412412100 yyyyxxxxxxii

19、iiiiiiiiiiii 6221825835410030100301030104210aaa21,1049,23210 aaa23104921)(2 xxxPy7623)(463|484,|1 BcondBB留意：四維問題留意：四維問題第第4 4節(jié)節(jié) 用正交多項(xiàng)式作最正確平方逼近問用正交多項(xiàng)式作最正確平方逼近問題題背景：假設(shè)運(yùn)用普通的廣義多項(xiàng)式背景：假設(shè)運(yùn)用普通的廣義多項(xiàng)式 做基底，求最正確平方逼近多項(xiàng)式，當(dāng)做基底，求最正確平方逼近多項(xiàng)式，當(dāng) 較較大時(shí)，系數(shù)矩陣是大時(shí)，系數(shù)矩陣是“高度病態(tài)的，求法方程組高度病態(tài)的，求法方程組的解，舍入誤差很大。另外，計(jì)算法方程中的的解，舍入誤差很大。另外，計(jì)

20、算法方程中的 以及求解法方程組的計(jì)算量都是很大的。以及求解法方程組的計(jì)算量都是很大的。)(,),(),(10 xxxnn改良：改良：假設(shè)能取函數(shù)族假設(shè)能取函數(shù)族= 0(x), 1(x), , n(x), ，使得恣意一對(duì)，使得恣意一對(duì)i(x)和和j(x)兩兩兩兩帶權(quán)正交，那么系數(shù)帶權(quán)正交，那么系數(shù)(Gram)矩陣可化為對(duì)矩陣可化為對(duì)角陣！角陣！ )(),(xxji常用的正交多項(xiàng)式：常用的正交多項(xiàng)式：上的正交函數(shù)系。是定義在閉區(qū)間三角函數(shù)系,sin,cos,2sin,2cos,sin,cos, 1 nxnxxxxx1.不用解線性方程組不用解線性方程組!2.多項(xiàng)式系Legendre4.上的正交函數(shù)系

21、。是定義在閉區(qū)間系余弦函數(shù)系與正弦函數(shù), 0,sin,2sin,sin ,cos,2cos,cos, 1 nxxxnxxx3.多項(xiàng)式系Chebyshev廣義廣義FourierFourier級(jí)數(shù)展開級(jí)數(shù)展開展開得上按正交多項(xiàng)式系在，將設(shè))(,)(,)(xbaxfbaCxfk0)( )(kkkxcxf右端稱為右端稱為 的廣義的廣義Fourier級(jí)數(shù)，級(jí)數(shù)， 稱為廣義稱為廣義Fourier系數(shù)。系數(shù)。)(xfkc為：它的平方誤差近多項(xiàng)式上的最佳平方逼在，就是則級(jí)數(shù)的部分和22|)()(|.,)()(xPxfRbaxfxPnn之所以運(yùn)用之所以運(yùn)用“結(jié)合符號(hào)是：結(jié)合符號(hào)是：由于還不能斷定由于還不能斷定F

22、ourier級(jí)數(shù)級(jí)數(shù)能否平均收斂于能否平均收斂于f(x)jjnjjjjjjnjjnjjjnnnnnnnnfaffafaffPfffPffPfPPffPfPfxPxfR,| ,| ,| ),(),( ),( ),(),( ),( |)()(|0220220222222 jjnjjjjnjjjafaaf,|,|0222022于是，我們得到于是，我們得到 21022222,|)()(|jjnjjnafxPxfR當(dāng)當(dāng) 時(shí)，期望時(shí)，期望n0|2R jjjjaf,|0222f(x)的的Parseval等式等式!?1 勒讓德勒讓德 (Legendre) 多項(xiàng)多項(xiàng)式式011( ) 1,1( )( ),( ,)21 ( ) ( ).(,)2nnkkkkkkkkf xPxc P xf PkcP x f x dxP P則在上的最佳平方逼近多項(xiàng)式其中系數(shù)為( ) 1,1f x 若C，( ) , f xa b若C， , 1,1a b