曲線擬合的最小二乘法

1、第6章  曲線擬合的最小二乘法6.1  擬合曲線通過觀察或測量得到一組離散數(shù)據(jù)序列，當(dāng)所得數(shù)據(jù)比較準(zhǔn)確時(shí)，可構(gòu)造插值函數(shù)逼近客觀存在的函數(shù)，構(gòu)造的原則是要求插值函數(shù)通過這些數(shù)據(jù)點(diǎn)，即。此時(shí)，序列與是相等的。如果數(shù)據(jù)序列，含有不可避免的誤差（或稱“噪音”），如圖6.1所示；如果數(shù)據(jù)序列無法同時(shí)滿足某特定函數(shù)，如圖6.2所示，那么，只能要求所做逼近函數(shù)最優(yōu)地靠近樣點(diǎn)，即向量與的誤差或距離最小。按與之間誤差最小原則作為“最優(yōu)”標(biāo)準(zhǔn)構(gòu)造的逼近函數(shù)，稱為擬合函數(shù)。圖6.1 含有“噪聲”的數(shù)據(jù)圖6.2 一條直線公路與多個(gè)景點(diǎn)插值和擬合是構(gòu)造逼近函數(shù)的兩種方法。插值的目標(biāo)是要插值函數(shù)盡量

2、靠近離散點(diǎn)；擬合的目標(biāo)是要離散點(diǎn)盡量靠近擬合函數(shù)。向量與之間的誤差或距離有各種不同的定義方法。例如：用各點(diǎn)誤差絕對值的和表示：用各點(diǎn)誤差按模的最大值表示：用各點(diǎn)誤差的平方和表示：或     （6.1）其中稱為均方誤差，由于計(jì)算均方誤差的最小值的方法容易實(shí)現(xiàn)而被廣泛采用。按均方誤差達(dá)到極小構(gòu)造擬合曲線的方法稱為最小二乘法。本章主要講述用最小二乘法構(gòu)造擬合曲線的方法。在運(yùn)籌學(xué)、統(tǒng)計(jì)學(xué)、逼近論和控制論中，最小二乘法都是很重要的求解方法。例如，它是統(tǒng)計(jì)學(xué)中估計(jì)回歸參數(shù)的最基本方法。關(guān)于最小二乘法的發(fā)明權(quán)，在數(shù)學(xué)史的研究中尚未定論。有材料表明高斯和勒讓德分別獨(dú)立地

3、提出這種方法。勒讓德是在1805年第一次公開發(fā)表關(guān)于最小二乘法的論文，這時(shí)高斯指出，他早在1795年之前就使用了這種方法。但數(shù)學(xué)史研究者只找到了高斯約在1803年之前使用了這種方法的證據(jù)。在實(shí)際問題中，怎樣由測量的數(shù)據(jù)設(shè)計(jì)和確定“最貼近”的擬合曲線？關(guān)鍵在選擇適當(dāng)?shù)臄M合曲線類型，有時(shí)根據(jù)專業(yè)知識和工作經(jīng)驗(yàn)即可確定擬合曲線類型；在對擬合曲線一無所知的情況下，不妨先繪制數(shù)據(jù)的粗略圖形，或許從中觀測出擬合曲線的類型；更一般地，對數(shù)據(jù)進(jìn)行多種曲線類型的擬合，并計(jì)算均方誤差，用數(shù)學(xué)實(shí)驗(yàn)的方法找出在最小二乘法意義下的誤差最小的擬合函數(shù)。例如，某風(fēng)景區(qū)要在已有的景點(diǎn)之間修一條規(guī)格較高的主干路，景點(diǎn)與主干路之

4、間由各具特色的支路聯(lián)接。設(shè)景點(diǎn)的坐標(biāo)為點(diǎn)列；設(shè)主干路為一條直線，即擬合函數(shù)是一條直線。通過計(jì)算均方誤差最小值而確定直線方程（見圖6.2）。6.2線性擬合和二次擬合函數(shù)線性擬合給定一組數(shù)據(jù)，做擬合直線，均方誤差為     （6.2）是二元函數(shù)，的極小值要滿足整理得到擬合曲線滿足的方程：          （6.3）或             

5、;       稱式（6.3）為擬合曲線的法方程。用消元法或克萊姆法則解出方程：a=例6.1 下表為P. Sale及R. Dybdall在某處作的魚類抽樣調(diào)查，表中為魚的數(shù)量，為魚的種類。請用線性函數(shù)擬合魚的數(shù)量和種類的函數(shù)關(guān)系。13151621222325293031361110111212131312141617404255606264707210013013142214212124172334解：設(shè)擬合直線，并計(jì)算得下表：編號xyxyx21234521131516212213095611101112123434414315017

6、62522644420189131692252564414841690061640將數(shù)據(jù)代入法方程組（6.3）中，得到：解方程得：= 8.2084，= 0.1795擬合直線為：= 8.2084 + 0.1795二次擬合函數(shù)給定數(shù)據(jù)序列，用二次多項(xiàng)式函數(shù)擬合這組數(shù)據(jù)。設(shè)，作出擬合函數(shù)與數(shù)據(jù)序列的均方誤差：   （6.4）由多元函數(shù)的極值原理，的極小值滿足整理得二次多項(xiàng)式函數(shù)擬合的法方程：         （6.5）解此方程得到在均方誤差最小意義下的擬合函數(shù)。方程組（6.5）稱為多項(xiàng)式擬合的法方程，法方程的系數(shù)矩陣是對稱的。當(dāng)擬保多項(xiàng)式階時(shí)，法方程的系數(shù)矩陣是病態(tài)的，在計(jì)算中要用雙精度或一些特殊算法以保護(hù)解的準(zhǔn)確性。例6.2 給定一組數(shù)據(jù)，如下表。用二次多項(xiàng)式函數(shù)擬合的這組數(shù)據(jù)。32101234230125解：設(shè)，由計(jì)算得下表：32101234230125112430141539941014928368301845727810182708116101168196將數(shù)據(jù)代入式（6.5），相應(yīng)的法方程為：解方程得：=0.66