最新-數值計算方法課件CH3插值法與最小二乘法—37數據擬合的最小二乘法-PPT

1、數值計算方法第三章 插值法與 最小二乘法蘇 麗自動化學院3.7 數據擬合的最小二乘法華長生制作1 在科學實驗中，往往要從一組實驗數據 中，尋找自變量x與因變量y之間的函數關系y=f(x),但給出的觀測數據本身不一定完全可靠，個別數據的誤差甚至可能很大，如果用插值法求函數關系近似表達式，曲線通過所有節(jié)點會使曲線保留所有測量誤差的影響，這是我們不希望的.實例：考察某種纖維的強度與其拉伸倍數的關系,下表是實際測定的24個纖維樣品的強度與相應的拉伸倍數的記錄:3.7 數據擬合的最小二乘法可見:纖維強度隨拉伸倍數增加而增加,并且24個點大致分布在一條直線附近.因此可以認為強度S 與拉伸倍數t 的關系近似

2、滿足線性關系 數據擬合法是函數逼近的另一種方法.它與插值法不同，它不要求曲線完全通過所有已知的節(jié)點，而是從給出的一大堆數據中找出規(guī)律，即設法構造一條曲線反映數據點的總的趨勢，以消除其局部波動。這在一定條件下比插值法更能反映客觀實際.數據有誤差往往是難免的，數據擬合法是從總偏差最小的角度來取近似曲線. 根據上述實例圖中測試點的分布情況,可以畫出很多條靠近這些點的直線,其方程都可表示為：一、最小二乘法的基本概念(1)(2)其中: a, b 待定.要從形如(1)式的所有直線中,找出一條用某種度量標準來衡量最靠近所有數據點 的直線.若 a, b 給定,計算值 S(ti) 與測量數據 si 之差為:稱之

3、為誤差, 其大小依賴于 a, b 的選取.(3)注:(1)式是一條直線，但現實生活中的函數關系并不都是線性關系，因此下面將問題推廣到一般情況.一般使用誤差的加權平方和用i 表示測量數據 (ti, si) 的重度,稱為權系數,表示在不同點 (ti, si) 處的數據比重不同.作為衡量 S(t) 與數據點 (ti, si) (i = 0,1,m)偏離大小的度量標準.使 最小的 S(t) 最接近 ,以此為依據可確定(1)式中的待定系數 a, b.問:如何衡量直線與數據點偏離程度?(4)(5)(6)最小二乘解 定義: 設 為給定一組數據, 為各點的權系數 ,要求在函數類中,求一函數使誤差的加權平方和最

4、小,即最小平方誤差其中： 為中任意函數，稱為擬合函數.稱按條件(6)求函數 S*(x) 的方法為數據擬合的最小二乘法,簡稱最小二乘法.數據點數-1基底個數-1已知求條件擬合條件構造問：確定擬合函數 S(x) 后,如何求擬合系數 ,使得 滿足擬合條件(6)？二、法方程組由可知為擬合系數 的函數.因此,可設平方誤差為:由多元函數取極值的必要條件得：移項整理得：轉化求最小二乘解 的問題 取極小值 的問題(7)交換求和號順序得：即顯然(7)式是一個關于 的n+1階線性方程組.定義向量：定義內積：(9)方程組(7)便可化為:(10)(8)這是一個系數為 ,常數項為 的線性方程組.將其表示為矩陣形式：(1

5、1)稱為函數系 在離散點 的法方程組.并且其系數矩陣為對稱陣.坡度矩陣,Hilbert矩陣由于 為函數類的基,因此它們必然線性無關,所以法方程組的系數矩陣非奇異,即根據Cramer法則,法方程組有唯一解：即的最小值.是可以證明, 所對應的 是最小二乘解(證明見109頁).為均方差.稱為最小二乘解 的平方誤差.可以證明:例1. 求擬合下列數據的最小二乘解i01234560.00.20.40.60.81.01.20.91.92.83.34.05.76.5(12)平方誤差的內積表示形式:故有解：1)在坐標平面上描點（參見教材P111） 從散點圖可以看出函數關系近似線性關系，所以選擇線性函數：其基底為

6、3)建立法方程組根據內積公式:計算下列各值：取作為擬合函數,2)根據散點的分布情況，選擇基底（難點）得法方程組：4)解法方程組,求擬合函數系數因此, 為所有的最小二乘解.5)求擬合誤差求得線性函數兩系數:最小二乘擬合的一般步驟:描點(若給定擬合函數形式,這一步驟可以省略);根據數據點的分布情況,確定擬合函數,進一步確定擬合函數的基底;建立法方程組(涉及到一些內積運算);求解法方程組(推薦使用Gauss列主元消去法),得擬合函數的系數;將這組系數代入擬合函數，即為最小二乘解;求擬合誤差:最小平方誤差.例2. 求擬合下列數據的最小二乘解解:其中：a, b, c 為待定參數, 基底為:0.240.6

7、50.951.241.732.012.232.532.772.990.23-0.26-1.10-0.450.270.10-0.290.240.561.00110.80.911110.90.91）在坐標平面上描點2）根據散點的分布情況選擇基底由數據的散點圖,根據經驗判斷,所求函數可用的線性組合表示.故擬合函數類為：3）建立法方程組根據內積公式：計算得法方程組為：4）用Gauss列主元消去法解法方程組,得擬合函數系數:取擬合的平方誤差為：以上兩個例題均屬于線性最小二乘擬合.非線性最小二乘問題 當用非多項式函數 (例如: 指數函數類 或冪函數類 等) 擬合給定的一組數據時, 擬合函數是關于待定參數的

8、非線性函數. 若按最小二乘準則:用極值原理建立的法方程組將是關于待定參數的非線性方程組.稱這類數據擬合問題為非線性最小二乘擬合.簡單的非線性最小二乘擬合問題求解方法: 轉化為線性最小二乘問題求解.例4 給定一組實驗數據如下：1.22.84.35.46.87.92.111.528.141.972.391.4求最小二乘擬合函數.解：2）根據散點分布情況取冪函數由題意知：構造平方誤差函數：求 使1）在坐標平面上描點(圖參見教材P118)作擬合函數. 其中：a, b為待定參數.由極值的必要條件：3）轉化為線性問題求解對 兩邊取對數有：令其中：b, c 是待定系數(1)(2)則有：0.07920.44720.63350.73240.83250.89760.32221.06071.44871.62221.85911.96094）建立法方程組：基底：由 可得相應 的數據表:故法方程組為：解上述方程組得：再由(1)式可得：最小二乘擬合函數為：內容總結 數據擬合法是函數逼近的另一種方法.它與插值法不同，它不要求曲線完全通過所有已知的節(jié)點，而是從給出的一大堆數據中找出