吉林大學(xué)數(shù)值計算方法 曲線擬合的最小二乘法

1、最小二乘法最小二乘法最小二乘解的求法最小二乘解的求法加權(quán)最小二乘法加權(quán)最小二乘法主要內(nèi)容主要內(nèi)容問題的提出問題的提出一、問題的提法一、問題的提法怎樣從給定的一組數(shù)據(jù)出發(fā)，在某個函數(shù)類中怎樣從給定的一組數(shù)據(jù)出發(fā)，在某個函數(shù)類中尋找一個尋找一個“最好最好”的函數(shù)來擬合這組數(shù)據(jù)。的函數(shù)來擬合這組數(shù)據(jù)。二、目二、目 的的在科學(xué)實驗和生產(chǎn)實踐中，經(jīng)常要從一組實驗數(shù)據(jù)在科學(xué)實驗和生產(chǎn)實踐中，經(jīng)常要從一組實驗數(shù)據(jù)出發(fā)，尋找函數(shù)出發(fā)，尋找函數(shù)y=f(x)的一個近似公式（稱為經(jīng)驗公的一個近似公式（稱為經(jīng)驗公式）。已有的多項式插值法解決這類問題有明顯的式）。已有的多項式插值法解決這類問題有明顯的缺陷：實驗數(shù)據(jù)有誤

2、差；實驗數(shù)據(jù)量大等。缺陷：實驗數(shù)據(jù)有誤差；實驗數(shù)據(jù)量大等。三、方三、方 法法曲線擬合方法曲線擬合方法.一、基本概念：殘差一、基本概念：殘差(1,2,)iiieyyiN二、殘差的選取方法（原則）二、殘差的選取方法（原則）1、選取、選取 ，使偏差絕對值之和最小，即，使偏差絕對值之和最小，即)(x11minNNiiiiieyy擬合的目的：使得殘差最小，其中擬合的目的：使得殘差最小，其中 為所要找為所要找的函數(shù)。的函數(shù)。( )yx3、選取、選取 ，使偏差平方之和最小，即，使偏差平方之和最小，即)(x2、選取、選取 ，使偏差最大絕對值最小，即，使偏差最大絕對值最小，即)(x2211minNNiiiiie

3、yymaxmaxminiiiiieyy三、最小二乘原則（方法）三、最小二乘原則（方法）1、定義：使、定義：使“偏差平方和最小偏差平方和最小”的原則的原則稱為最小二乘原則。稱為最小二乘原則。2、定義：按照最小二乘原則選取擬合曲、定義：按照最小二乘原則選取擬合曲線的方法，稱為線的方法，稱為最小二乘法最小二乘法。3、線性最小二乘問題的提法、線性最小二乘問題的提法對給定數(shù)據(jù)表對給定數(shù)據(jù)表要求在某個函數(shù)類要求在某個函數(shù)類 中尋求一個函數(shù)（中尋求一個函數(shù)（線性構(gòu)成線性構(gòu)成）使使 滿足條件滿足條件1212NNx x xxy y yy01( ),( ),( )()mxxxmN *0011( )( )( )(

4、)mmxaxaxax)(*x22( )11 ( )min ( )NNiiiixiixyxy式中，式中， 是函數(shù)類是函數(shù)類 中中任一函數(shù)。任一函數(shù)。0 01 1( )( )( )( )m mxaxaxax滿足上述關(guān)系式的函數(shù)滿足上述關(guān)系式的函數(shù) ，稱為上述最小二乘，稱為上述最小二乘問題的問題的最小二乘解最小二乘解。)(*x如何求解最小二乘問題？如何求解最小二乘問題？22( )11 ( )min ( )(*)NNiiiixiixyxy1、確定函數(shù)類、確定函數(shù)類 原則：根據(jù)實際問題與所給數(shù)據(jù)點的變化規(guī)律；原則：根據(jù)實際問題與所給數(shù)據(jù)點的變化規(guī)律；有兩個基本環(huán)節(jié)有兩個基本環(huán)節(jié)2、求解如下方程：、求解如

5、下方程：一、求解的基本原理：極小值原理一、求解的基本原理：極小值原理點點 是多元函數(shù)是多元函數(shù)的極小值點，從而有的極小值點，從而有 滿足方程組滿足方程組20110(,)( )NmmkkiiikS a aaaxy 01(,)ma aa01,ma aa0,(0,1,)kSkma二、正則（法）方程組二、正則（法）方程組0001000101111101( , ) ( , )( ,)( , )( , ) ( , )( ,)( , )(*)( , ) ( , )( ,)( , )mmmmmmnmafafaf 如果定義如果定義:對任意函數(shù)對任意函數(shù) 和和 ，引入記號，引入記號( )h x( )g x1( ,

6、 )( ) ( )Niiih gh x g x三、定理（最小二乘解的存在唯一性定理）三、定理（最小二乘解的存在唯一性定理）對于給定的一組實驗數(shù)據(jù)對于給定的一組實驗數(shù)據(jù) ( 互異，互異， ）, 在函數(shù)類在函數(shù)類 （ 且且 線性無關(guān)）線性無關(guān)）中，存在唯一的函數(shù)中，存在唯一的函數(shù)使得關(guān)系式（使得關(guān)系式（*）成立，并且其系數(shù)）成立，并且其系數(shù) 可以通過解法方程組（可以通過解法方程組（*）得到。）得到。( ,)iix yix1,2,iN01 ( ), ( ),( )mxxx01( ),( ),( )mxxxmN*0011( )( )( )( )mmxaxaxax*01,ma aa作為一種應(yīng)用，擬合曲線

7、假設(shè)為代數(shù)曲線，即取作為一種應(yīng)用，擬合曲線假設(shè)為代數(shù)曲線，即取:01( )1,( ),( )mmxxxxx則有：則有：11(,)( ,0,1,)NNjkj kjkiiiiix xxj km 11(,)(0,1,)NNkj kkiiiiifx yxkm四、應(yīng)用分析四、應(yīng)用分析于是正則（法）方程組為：于是正則（法）方程組為：11102111111121111NNNmiiiiiiNNNNmiiiiiiiiinNNNNmmmmiiiiiiiiiNxxyaxxxax yaxxxx y五、應(yīng)用舉例五、應(yīng)用舉例說明最小二乘法解決實際問題的具體步驟和某些技巧。說明最小二乘法解決實際問題的具體步驟和某些技巧。例

8、例1(補充補充) 某種鋁合金的含鋁量為某種鋁合金的含鋁量為x(),其熔解溫度為其熔解溫度為y（0C），由實驗測得），由實驗測得x與與y的數(shù)據(jù)如下表左邊的三列。試的數(shù)據(jù)如下表左邊的三列。試用最小二乘法建立用最小二乘法建立x與與y的經(jīng)驗公式。的經(jīng)驗公式。解：解：1、將、將數(shù)據(jù)數(shù)據(jù)進(jìn)行描圖觀察；進(jìn)行描圖觀察；2、確定擬合曲線的形式。這里根據(jù)所描圖形分析，、確定擬合曲線的形式。這里根據(jù)所描圖形分析，擬合曲線接近于一直線，故可用擬合曲線接近于一直線，故可用進(jìn)行擬進(jìn)行擬合這組數(shù)據(jù)；合這組數(shù)據(jù)；3、建立法方程組建立法方程組；4、解法方程組；、解法方程組；5、檢驗擬合值與實測值之間的偏差（、檢驗擬合值與實測值

9、之間的偏差（）：）：616161261616iiiiiiiiiiiyxybaxxx法方程組法方程組3 .10117628.283656 .39614589 .3966baba對應(yīng)的代數(shù)方程組：對應(yīng)的代數(shù)方程組：1、實際問題的解決中測得的數(shù)據(jù)并不都是等精度、等、實際問題的解決中測得的數(shù)據(jù)并不都是等精度、等地位的。顯然，對于精度高、地位重的數(shù)據(jù)應(yīng)該以足夠地位的。顯然，對于精度高、地位重的數(shù)據(jù)應(yīng)該以足夠的重視，在計算時，給以足夠的、更大的權(quán)重，在這種的重視，在計算時，給以足夠的、更大的權(quán)重，在這種情況下，求給定的數(shù)據(jù)的擬合曲線，情況下，求給定的數(shù)據(jù)的擬合曲線，2、利用最小二乘法原則上解決了最小二乘法意義下的、利用最小二乘法原則上解決了最小二乘法意義下的曲線擬合問題，但在實際問題的解決時，曲線擬合問題，但在實際問題的解決時，n往往很大，往往很大，法方程組往往是病態(tài)的，因而給求解帶來了一定的困難，法方程組往往是病態(tài)的，因而給求解帶來了一定的困難，為了解決這一問題，近年來，產(chǎn)生了一些新方法來克服為了解決這一問題，近年來，產(chǎn)生了一些新方法來克服這一困難，利用正交函數(shù)（正交多項式）作多項式的擬這一困難，利用正交函數(shù)（正交多項式）作多項式的擬合。合。小結(jié)小結(jié)曲線擬合的最小二乘法的基本原理、具體的