矩陣課件第5章

1、第5與值近第5與值近正交函數(shù)族近中的正交函數(shù)族近中的應(yīng)正交多項式簡正交多項式的一些重要性數(shù)據(jù)擬合的最小二乘知道在n維歐式空間中，任意兩個向量x, y的內(nèi) 知道在n維歐式空間中，任意兩個向量x, y的內(nèi) iii如對于ab上的任意兩個連續(xù)函f(x)任a,b的分割之n個分點處的函數(shù)gx2 ,xn x 2 ,fnf將它們也對應(yīng)相乘作和bf,g nx xi xix a也可以定義出a,b上連續(xù)函數(shù)的內(nèi)積那正交多項式簡對于a,b上的連續(xù)函數(shù) f(x正交多項式簡對于a,b上的連續(xù)函數(shù) f(x)、g(x)，定義內(nèi)積 fxgxbf , a其中可積函數(shù)(x)0（xa,b）是權(quán)函數(shù)連續(xù)函數(shù) f(x)、g(x) 和h(

2、x)的內(nèi)積滿足, f 0當且僅當 f0時, f 0）,gg, ff ,gf ,gf ghf hgh若fg)=0f(xg(x在a,b上關(guān)于權(quán)函數(shù)(x)正交若定義在Ca,b上的一個實值函數(shù),記為f, 滿足定（1）非負性 f0若定義在Ca,b上的一個實值函數(shù),記為f, 滿足定（1）非負性 f0并且f=0當且僅（3）三角不等f+g=f+則稱函數(shù)f為Cab上的一個范數(shù)常用的連續(xù)函數(shù)范數(shù)有 a bxfx )ffdx,1abxf2xdxf, f f2a可以證明，連續(xù)函數(shù)的2-范數(shù)與內(nèi)積之間的關(guān)系滿Cauchy-Schwarz不等fg22x 設(shè)函f,fC0,1，權(quán)函數(shù)練2試計算f 1，f f 2解maxx f

3、22x 1x 設(shè)函f,fC0,1，權(quán)函數(shù)練2試計算f 1，f f 2解maxx f22x 1 411x1 2x1dxx1dxf221212002111xx 2 f23200給定線性無關(guān)的函() 0Sidt正交化過程予以正交化,得到一組正規(guī)正交函數(shù)系0給定線性無關(guān)的函() 0Sidt正交化過程予以正交化,得到一組正規(guī)正交函數(shù)系0 x) 0()具體作法如下： LLLL(x)i=1,2,n(5-,ij j ,(i, j 0,1,2,L,(5-易 ij，0,00,11,1Li,10,i 1,i Li,iL 1,0,此(5-1n,iLi,0注) (x)( , ) (x)( , )則101 注) (x)(

4、 , ) (x)( , )則101 (0 )0 , )00,1 ) (0,0, , ( , ) , ( , , 00( , 1LL , 一般地 , , LL0M1,j Mi1,j i,j1,0Mi1,0 i,0MLL1(x )j L)0其中Ai為代。從而，對于A0 1,其中Ai為代。從而，對于A0 1,jA1 Li,i,j 0,0,j 1,j Mi1,j 0,j 1,j Mi1,j 0,0 1,0 Mi1,0 0,1 1,1 Mi1,1 LLLLLi,j i,j i,0 i,1 LL對于j=ii,i 0,i 1,iA1 Li,i0,00,11,1Li,10,i1,i Li,iL1,0iLi,0

5、i 0故由（5-)性無關(guān)性可因為ix(性組不難是)交函數(shù)系0注：對任意jj, ji 0故由（5-)性無關(guān)性可因為ix(性組不難是)交函數(shù)系0注：對任意jj, ji, 00, k ijkkkk, , ,kAAiiiki,i1i i1 i,i 0 (x) (x)0(5-0若進一步 (x)i(x) i 1,2,L,i,那么，2 1 , , iiii 那么，2 1 , , iiii j1(x),ij ij幾種正交函數(shù)系三角函數(shù)系，于-, 上正( 準正交函數(shù)系,余弦函數(shù)系，于0, 上正1cosxcos2x, L,cosnx, 正弦函數(shù)系，于0, 上正1, ,x正交多項式特別取多項式系1xxm正交正交多項

6、式系下面通過idt正交化構(gòu)造正交多項式, 具體作法如下0(x)b令 1正交多項式特別取多項式系1xxm正交正交多項式系下面通過idt正交化構(gòu)造正交多項式, 具體作法如下0(x)b令 1ma1,xi12LxL11xLL0LL( x i1,2n LLLiiLLLi1Li則0(xi (x), i 1,2a, b上關(guān)于(x)的正交多項式系LLL1,xixLxLLLx, xiLxi,xi(x),且i 0,1,L,iLi, (x)(x),i 1,2,L,則標準正交多項式0i0L1xLL xi1,2in L2 ii1求-1,1 上關(guān)于(x)=1二次正交多項式族練111dx 2, dx 0, L1xLL xi

7、1,2in L2 ii1求-1,1 上關(guān)于(x)=1二次正交多項式族練111dx 2, dx 0, 解10112311dx 0, dxx22312011xx 2xx ) 1, x ) 則12023011x2014349493x2 x 0 xx2122323x2下面驗證事實( x )倆相互正交1( ,12x1下面驗證事實( x )倆相互正交1( ,12x1141x2 119d( 32x023x2dx249118dx1( ,x )129練習2 求-1,1 上關(guān)于(x)=x二次正交多項式族1100, x dx 解111113122x 1 練習2 求-1,1 上關(guān)于(x)=x二次正交多項式族1100,

8、 x dx 解111113122x 1 (x )1, 則010 xx11012011x2011 1210 xx 4x2x2124122x23下面舉出兩種著名的正交多項式的例例令T0=1, Tn(x)=cos(narccosx)，x-1,1, 稱Tn(x)為Chebyshev多項式co( 恒下面舉出兩種著名的正交多項式的例例令T0=1, Tn(x)=cos(narccosx)，x-1,1, 稱Tn(x)為Chebyshev多項式co( 恒等式x cos nn) T( xn(T(1,2,nn所以Tn(x)是n次多項式，且具T (x)1,T(x) xT (x)2x21（1）遞歸0121,2TT,43

9、（2）正交n nm012T (x)T (x)T (x),(x) dxnm1nm（3）奇偶Tn (x) 1 Tn （3）奇偶Tn (x) 1 Tn (xnn為偶數(shù)時為偶函數(shù)，n為奇數(shù)時為奇函數(shù)（4）Tn(x)=cos(narccosx)，在（-1, 1）有n個互異實 cos2k 1k 1,2,L,k1所以T (x)是-1,1上以(x) 為權(quán)函數(shù)的正交多項式系n1x而1 (x) T (x)n2n1是首項系數(shù)為1的n次Chebyshev多項式111n=0，1，2，3次Chebyshev多項式的曲例2 設(shè)Ln(x)，x-1,1,是以(x)1為權(quán)函數(shù)的正交多項Ln(x)（n=0,1,）為n次Legend

10、re多項n次Legendre多項式的例2 設(shè)Ln(x)，x-1,1,是以(x)1為權(quán)函數(shù)的正交多項Ln(x)（n=0,1,）為n次Legendre多項n次Legendre多項式的一般表達式1xnLn x2n 2 n! nn其具（1）遞歸性 n1Ln1(x) 2n1xLn (xnLn1(x)123x 1L0(x)1L(x) xL (x)21232LL 34（2）正交n 02n11L (x),L (x)L xxdx nmnmn1（3）奇偶nL (x) 1L (x)nnn為偶數(shù)時為偶函數(shù)，n為奇數(shù)時為奇函數(shù)（4）Ln(x在（-1,（3）奇偶nL (x) 1L (x)nnn為偶數(shù)時為偶函數(shù)，n為奇數(shù)時

11、為奇函數(shù)（4）Ln(x在（-1,1）有n個互異實所以Ln(x)是-1,1上以(x)=1為權(quán)函數(shù)的正交多項式系dnn!x n %L (x)2而nn2n ! 是首項系數(shù)為1的n次Legendre多項式dndnn 2 2 2n2n1Ln1xnLx 121x2n! n!從而，上述n次多項式的首項xn的系數(shù)為 1 1L2x1n=0，1，2，3次Legendre多項式的曲性正交多項式的一些重要性1 n(x性正交多項式的一些重要性1 n(x恰好是n次多項式0(x),1(x), ,n是Pn空間的一組正交基函數(shù)nPn xckkx是n次多項式即n(x)與次數(shù)低于n次的所有多項式正bxn(x)Pm xdx m 即a

12、3 n(x) 在(a有n個互異零性質(zhì)2和性質(zhì)3是構(gòu)造Gauss型求積公式的重要依函數(shù)的最佳平近x) Ca,b設(shè)f(xL2ab(nka (x)Ss (x)a,b上所有平方可積函數(shù)的集合), 若存f函數(shù)的最佳平近x) Ca,b設(shè)f(xL2ab(nka (x)Ss (x)a,b上所有平方可積函數(shù)的集合), 若存f(x)s(x)f (x)s(x)使2s(21 bfminsx2()(5-( x a2近函數(shù)，f(xsx)則稱s*(x)是f(x)在S中的最佳平為平方誤f(x)-s*(x)2 稱為均方誤差n2f, f s, f k, f 22*f (x)s*(x)f且kk2顯然，求解s*(x)等多元函2nEa

13、0 ,a1 ,L,an bkaf (x)(5-kkaa a*L*的最小值01n利用多元函數(shù)求極值的必要條件，i 0,1,L,n(5-即2 nkb(x)akk (x)i0,1,L, f(x)x (5-ian利用多元函數(shù)求極值的必要條件，i 0,1,L,n(5-即2 nkb(x)akk (x)i0,1,L, f(x)x (5-iannbb(x)ax xkkkaak, b(f (x)(i ,(x)d(5-kiiia即(0,0(1,0(n,0)(f,0)La ( , ( , )(f, )( , 1MM1 M MMa ( ,)(f,)( , ( ,)n na a ,La 方程組(5-79)稱為法方程組，

14、求解該方程組得n練0,1上的一次最佳平近多1a ax*p101解法方程組(f, ( , (,a00 (f,1)( , , 練0,1上的一次最佳平近多1a ax*p101解法方程組(f, ( , (,a00 (f,1)( , , a 1 其111xkidx 1k,i 0,dk i1ki001,1x2.02 201212, 10112a 1.147010從0.069a 1 13 0.9340.426x所求一次最佳平近多項式1平方誤差p 0.9340.426x所求一次最佳平近多項式1平方誤差p , f f2f(x) p*(x)11210.934 1f 0.426x, f1dx20均方誤差 f(x)

15、p(x)12由x)的線性無關(guān)性，可知法方程組的矩陣非奇異，故法方程組有唯一解。 但是，如果這組線性無關(guān)函數(shù)族選取的不當將可能產(chǎn)的系數(shù)矩陣，使解失真特別取例為多項式系則不妨設(shè)a, b=0,1,且由x)的線性無關(guān)性，可知法方程組的矩陣非奇異，故法方程組有唯一解。 但是，如果這組線性無關(guān)函數(shù)族選取的不當將可能產(chǎn)的系數(shù)矩陣，使解失真特別取例為多項式系則不妨設(shè)a, b=0,1,且權(quán)函數(shù)(x)=1111xkidx0 0 d ,k1,k i1ki012 1Ln1 ,(M()(010n0111 2 3O1 )O)Ln2 1 M n(111nnnLn2 n為n+1階Hilbert矩陣因此在實際計算中可利用S的正

16、交基，解最佳平近問題S正交基，則法方程組的系數(shù)矩0為非奇異對角陣ffM因此在實際計算中可利用S的正交基，解最佳平近問題S正交基，則法方程組的系數(shù)矩0為非奇異對角陣ffMf)a0 00L)(M0 1, f,k( 則(4-1n( k)kkf,kn ( x s(4-于( kkk若進一是的標準正交基，s*(x)就是 f(x) 在S中的正交展開式n(4-)k0)kk數(shù)據(jù)擬合的最小二乘離散數(shù)據(jù)擬合問題給定一組數(shù)據(jù)擬合的最小二乘離散數(shù)據(jù)擬合問題給定一組數(shù)據(jù)(xii=0,2,ysxaisxi mmin i02xoxi(xiyii=012m)為給定的一組數(shù)據(jù)求一個函s a(xiyii=012m)為給定的一組數(shù)據(jù)

17、求一個函s a使其滿m2min s iii0顯然，求解s(x)等m多元m i0bi 22E a,b ys iiii0的最小值(a*,mi02a E(a,b)iiaa00得令mm0,mi02a E(a,b)iiaa00得令mm0, i0bx biiii0即mmmmabxi i0i0a,i0進一步有i0mmmb 1 a yi0i0i0mmi0m ai0 x b2xii0i即方程組mmi0ai即方程組mmi0ai0m1mmi0mi0bx2xi iii0稱為最小二乘曲線的法方程組可由Gramer法則求解該方程組，即mmm2 mmm mmx yxi 2xiia m可由Gramer法則求解該方程組，即mm

18、m2 mmm mmx yxi 2xiia mmmmm1mm2i2imm1mxi mmmxi mmyx iibmmmmmm1mx 2i2i同理給定的一組數(shù)據(jù)(xi, yi)(i=0,1,m) 求如下函數(shù)形sxa a xa x20同理給定的一組數(shù)據(jù)(xi, yi)(i=0,1,m) 求如下函數(shù)形sxa a xa x2012的最小二乘曲線的法方程組為mmmm1m2xmiimmm23xxmxi iiimm 234x 2一般來說形sxa xLxn01n稱其為線性擬合問題, 即擬合函數(shù)是待定參量的線性函數(shù)做數(shù)據(jù)擬合做數(shù)據(jù)擬合問題的步根據(jù)散點圖中散點的分布情況或根據(jù)經(jīng)確定擬合的曲線的類建立并求解法方程組例求

19、擬合下列數(shù)據(jù)的最小二乘曲031例求擬合下列數(shù)據(jù)的最小二乘曲03124yy x224x一般的擬合數(shù)據(jù)的最小二乘設(shè)(xi,yi)(i=0,1,m)為給定的一組數(shù)據(jù),i0 (i=0,1, 為各點的權(quán)系數(shù), 要求在函數(shù)一般的擬合數(shù)據(jù)的最小二乘設(shè)(xi,yi)(i=0,1,m)為給定的一組數(shù)據(jù),i0 (i=0,1, 為各點的權(quán)系數(shù), 要求在函數(shù)空S sx sxa x,a ,L,a Rn k0n中求一個函kna xsxk使其滿mm2s iiiis(xi0i0s*(x) 為離散數(shù)(xi,yi)(i=0,1,在子空間S中帶權(quán)數(shù)據(jù)擬合的最小二乘法（離散最小二并稱s*(x)為最小二乘解近），簡稱最小二乘法顯然，求

20、s*(x)等m多元函mnEa ,a ,L, (s(x ) y a x2(5-iii01niiki0i0a a 顯然，求s*(x)等m多元函mnEa ,a ,L, (s(x ) y a x2(5-iii01niiki0i0a a ,La 的最小值令naj(j0,1,L,(5-即mniak yijxi(j 0,1,L,(5-i0knmm i0 xi 即(j 0,1,L,(5-kjiji0k定義向量和內(nèi)積xi yx, ,L, ,jm12mmm(k ,j ii0(y,j ) ii0k xiyi (j 0,1,L,即得法方程n,j (y,j(j 0,1,L,(5-kk矩陣形式(0,0 y,0 (1,0(

21、n,即得法方程n,j (y,j(j 0,1,L,(5-kk矩陣形式(0,0 y,0 (1,0(n,0)Ly,( , ( , )( , MM11(5- M MM( ,)a y,( , ( ,)n n*a a ,La 求解該方程組得由nx) 的線性無關(guān)性且滿足Haar條件法方程組的系數(shù)矩陣非奇異，故法方程組有唯一解m2s y,s y *,為最小二乘的平方誤稱iiim2 *稱為均方差iiii0 x時特別地，對于擬合函數(shù)為直線，mmm0 ,0 x時特別地，對于擬合函數(shù)為直線，mmm0 ,0 1i00 ,1, 1 ,1,i0i0mmy,0 , y1xi yi i0i0其法方程組，可直接寫成如下形式mmm

22、1abmi0mm2xi 以的是線性最小二乘擬合問題，即擬合函數(shù)是待定量的線性函數(shù)，法方程組是線性方程組。但有時也會遇到非線情形例如，已知擬合曲線方以的是線性最小二乘擬合問題，即擬合函數(shù)是待定量的線性函數(shù)，法方程組是線性方程組。但有時也會遇到非線情形例如，已知擬合曲線方程的形yy或此時法方程組是非線性方程組（求解比m m2xe iii0和i0mme2n cbx ln i0 x2 c x bxyiiiiiiii0可按如下方式將非線性問題轉(zhuǎn)為線性問題yy或lnyt xa, ln lc 可按如下方式將非線性問題轉(zhuǎn)為線性問題yy或lnyt xa, ln lc c;bxczyc;取，則上述非線性問題就變?yōu)?/p>

23、由觀測數(shù)ln (t或zi,) tii(,xzi,) ix 是個線性問題求最小二乘擬合曲y 例求擬合下列數(shù)據(jù)的最小二乘曲52x1.00 1.50 1.75 iiyiln5y 例求擬合下列數(shù)據(jù)的最小二乘曲52x1.00 1.50 1.75 iiyiln5lnyi 1.629 1.756 1.876 2.0082.135 lnybxlnc，z lny, aln解則上述問題化z abx那么zi=lnyi相應(yīng)的值見表5求最小二乘擬合555abln 55ab即7.50 2x5x ln iiiic ea 3.071b 0.5056a1.122解又y 3.071e0.5056故所求最小二乘曲線又例如，擬合曲線

24、方程的形式1ay 又例如，擬合曲線方程的形式1ay a y 或x yY Y a可，則X ya又，則x用最小二乘法可解超定方程Ax =其中ARmn222AxE首則 nATAxATbATAx AT（法方程組對于數(shù)據(jù)擬合問題例3，也可化成求解超用最小二乘法可解超定方程Ax =其中ARmn222AxE首則 nATAxATbATAx AT（法方程組對于數(shù)據(jù)擬合問題例3，也可化成求解超定方程組，事實mi0mE(a,b) i0222ayAx-s ii02 x10.900 x aMa bAy 其1,b3M1.9 ym 42dAx-ATAx AT則法方程組而01 101 1111213ATA4 230ATAx

25、AT則法方程組而01 101 1111213ATA4 230 341111213y 9.8 41.1 1.9 則求得法方程組a0 yx 例試按最小二乘法原理求解下列超定方程2x4y 3x5y x2y 2x y 解按例試按最小二乘法原理求解下列超定方程2x4y 3x5y x2y 2x y 解按最小二乘法原理求此超定方程組的解等價于線性方程4 3(ATA)Z=ATb的解，其5xz bA 6 7 2 1 y從而4 2 3 2 531312x 1 1 6 121y 7 3x 5146y即得法方程，得x3.04029 y1.24176日(Joseph Louis Lagrange，17361813）,法國數(shù)學家、物理學18世紀最偉大的科學家之一。在數(shù)學、力學和天文學三個領(lǐng)域中都有歷史性的貢獻，其中尤以數(shù)學方面的成就最為