《小二乘法》ppt課件

1、第第5章章 線性參數(shù)的最小二乘法處置線性參數(shù)的最小二乘法處置 最小二乘法是用于數(shù)據(jù)處置和誤差估最小二乘法是用于數(shù)據(jù)處置和誤差估計中的一個很得力的數(shù)學(xué)工具。對于從計中的一個很得力的數(shù)學(xué)工具。對于從事精細(xì)科學(xué)實(shí)驗的人們說來，運(yùn)用最小事精細(xì)科學(xué)實(shí)驗的人們說來，運(yùn)用最小二乘法來處理一些實(shí)踐問題，仍是目前二乘法來處理一些實(shí)踐問題，仍是目前必不可少的手段。必不可少的手段。 第一節(jié)第一節(jié) 最小二乘法原理最小二乘法原理 最小二乘法的開展曾閱歷了200多年的歷史，它最早來源于天文和大地丈量的需求，其后在許多科學(xué)領(lǐng)域里獲得了廣泛運(yùn)用。特別是近代矩陣實(shí)際與電子計算機(jī)相結(jié)合。使最小二乘法不斷地開展而久盛不衰。 最小二

2、乘法的產(chǎn)生是為理處理從一組丈量值中尋求最可信任值的問題。 一、問題背景 在丈量的實(shí)驗數(shù)據(jù)處置中，經(jīng)常需求根據(jù)兩個量的一批觀測數(shù)據(jù)(xi，yi)，i=1，2，n求出這兩個變量Y與X之間所滿足的一個函數(shù)關(guān)系式Y(jié)f(X)。 假設(shè)變量間的函數(shù)方式根據(jù)實(shí)際分析或以往的閱歷曾經(jīng)確定好了，而其中有一些參數(shù)是未知的，那么可經(jīng)過觀測的數(shù)據(jù)來確定這些參數(shù)； 假設(shè)變量間的詳細(xì)函數(shù)方式尚未確定，那么需求經(jīng)過觀測數(shù)據(jù)來確定函數(shù)方式及其中的參數(shù)。 一、問題背景 在多數(shù)估計和曲線擬合的問題中，不論是參數(shù)估計還是曲線擬合，都要求確定某些(或一個)未知量，使得所確定的未知量能最好地順應(yīng)所測得的一組觀測值，即對觀測值提供一個好的

3、擬合。 處理這類問題最常用的方法就是最小二乘法。 在一些情況下，即使函數(shù)值不是隨機(jī)變量，最小二乘法也可運(yùn)用。 設(shè)X和Y兩個物理量之間的函數(shù)關(guān)系為假定此函數(shù)關(guān)系f知，但其中a1，a2，ak等參數(shù)還未求出，現(xiàn)對于X和Y有一批觀測數(shù)據(jù)： xi，yi ，i1，2，,n，要利用這批數(shù)據(jù)在一定法那么之下作出這些參數(shù)a1，a2，ak的估計。 假設(shè)諸觀測值相互獨(dú)立且服從正態(tài)分布。在等精度觀測的情況下，即以為各誤差服從一樣的正態(tài)分布N(0， y)。 如今的問題是一個參數(shù)估計問題：需求給出a1，a2，ak的估計值 ， ， 。 處理這類問題最常用的方法就是最小二乘法。在一些情況下，即使函數(shù)值不是隨機(jī)變量，最小二乘法

4、也可運(yùn)用。 1 a2 aka 普通根據(jù)丈量的實(shí)踐情況，可假設(shè)變量X的丈量沒有誤差(或與Y的誤差相比很小，可略去)，而變量Y的丈量有誤差，故關(guān)于Y的觀測值yi可以寫成這里y0i表示xi對于的Y的變量真值，i表示相應(yīng)的丈量誤差。 二、最小二乘法準(zhǔn)那么與正規(guī)方二、最小二乘法準(zhǔn)那么與正規(guī)方程程 在參數(shù)估計問題中，最小二乘法的法那么是： 所選取的參數(shù)估計值 ， ， 應(yīng)使變量Y的諸觀測值yi與其真值的估計值(又叫擬合值)，即f(xi；a1,a2，ak)之差的平方和為最小。 用式子表示時，記殘差i為1 a2 aka 最小二乘法就是要求 =最小最小在這個條件下，利用數(shù)學(xué)中求極值的方法可以求出參數(shù) ， ， 。這

5、樣求出的參數(shù)叫參數(shù)的最小二乘估計。 1 a2 aka 正規(guī)方程正規(guī)方程 根據(jù)數(shù)學(xué)分析中求函數(shù)極值的條件： =最小最小共得k個方程，稱正規(guī)方程，求此聯(lián)立方程的解可得出諸參數(shù)估計值 (j1，2，k)。ja 不等精度情況下的最小二乘法不等精度情況下的最小二乘法 以上是等精度觀測的情況，假設(shè)諸觀測值yi是不等精度的觀測，即它們服從不同的方差i2的正態(tài)分布N(0，1)，那么也不難證明，在這種情況下，最小二乘法可改為： 選取的參數(shù)估值應(yīng)使諸觀測值yi與其估計值 之差的加權(quán)平方和為最小。用式子表示就是要使 iy =最小最小其中，wi為各觀測值yi的權(quán)。wi2i2，i1，2，n。這里2為任選的正常數(shù)，它表示單

6、位權(quán)方差。 不等精度情況下的最小二乘法正規(guī)方程不等精度情況下的最小二乘法正規(guī)方程同樣地，根據(jù)數(shù)學(xué)分析中求函數(shù)極值的條件：共得k個方程，稱正規(guī)方程，求此聯(lián)立方程的解可得出諸參數(shù)估計值 (j1，2，k)。 ja 最小二乘法的幾何意義最小二乘法的幾何意義 從幾何圖形上可看出,最小二乘法就是要在穿過各觀測點(diǎn)(xi，yi)之間找出這樣一條估計曲線，使各觀測點(diǎn)到該曲線的間隔的平方和為最小。 YX三、最小二乘法與最大似然法的關(guān)系三、最小二乘法與最大似然法的關(guān)系 假設(shè)假定各觀測值是相互獨(dú)立且服從正態(tài)分布，期望值是(xi；a1，a2，ak)，方差是i2, 那么觀測值的似然函數(shù)為 最大似然法要求上式取極大值，這就

7、相當(dāng)于要求指數(shù)項中的=最小最小這就闡明了在觀測值服從正態(tài)分布的條件下，最這就闡明了在觀測值服從正態(tài)分布的條件下，最小二乘估計與最大似然估計是一致的。小二乘估計與最大似然估計是一致的。 觀測值不服從正態(tài)分布時的最小二乘估計觀測值不服從正態(tài)分布時的最小二乘估計 本質(zhì)上，按最小二乘條件給出最終結(jié)果能充分地利用誤差的抵償作用，可以有效地減小隨機(jī)誤差的影響，因此所得結(jié)果具有最可信任性。 假假設(shè)觀測值不服從正態(tài)分布，那么最小二乘估計并不是最大似然估計。但應(yīng)該指出，在有些問題中觀測值雖然不服從正態(tài)分布，但當(dāng)樣本容量很大時，似然函數(shù)也趨近于正態(tài)分布，因此，這時運(yùn)用最小二乘法和最大似然法本質(zhì)也是一致的。 不服從

8、正態(tài)分布時最小二乘法的統(tǒng)計學(xué)性質(zhì)不服從正態(tài)分布時最小二乘法的統(tǒng)計學(xué)性質(zhì) 假設(shè)觀測值是服從正態(tài)分布的，這時最小二乘法和最大似然法實(shí)踐上是一回事。但觀測值不服從正態(tài)分布或其分布未知時，這時用最小二乘法顯得缺乏實(shí)際的驗證。但應(yīng)該指出，作為一種公理來運(yùn)用，最小二乘法依然是可以接受的，而且可以證明，所得到的估計依然具有一些很好的統(tǒng)計性質(zhì)，這些性質(zhì)是： (1)解是無偏的，即(2)解是觀測值的線性組合，且有最小方差。這稱為高斯馬爾可夫定理;(3) 加權(quán)的殘差平方和的期望值是當(dāng)21，即取wi1/i2，這時稱為2 量。期望值為nk。第二節(jié)第二節(jié) 線性參數(shù)的最小二乘法線性參數(shù)的最小二乘法 普通情況下，最小二乘法可

9、以用于線性參數(shù)的處置，也可用于非線性參數(shù)的處置。由于丈量的實(shí)踐問題中大量的是屬于線性的，而非線性參數(shù)借助于級數(shù)展開的方法可以在某一區(qū)域近似地化成線性的方式。 因此，線性參數(shù)的最小二乘法處置是最小二乘法實(shí)際所研討的根本內(nèi)容。 一、線性參數(shù)的丈量方程普通方式一、線性參數(shù)的丈量方程普通方式 線性參數(shù)的丈量方程普通方式為 5-7 相應(yīng)的估計量為5-8 誤差方程誤差方程其誤差方程為5-9 二、線性參數(shù)的誤差方程式的矩陣方式二、線性參數(shù)的誤差方程式的矩陣方式設(shè)有列向量 和nt階矩陣(nt) 那么線性參數(shù)的誤差方程式(59)可表示為 即5-10 等精度丈量最小二乘原理的矩陣方式等精度丈量最小二乘原理的矩陣方

10、式即或5-11 5-12 剩余誤差平方和最小這一條件的矩陣方式為 不等精度丈量最小二乘原理的矩陣方式不等精度丈量最小二乘原理的矩陣方式最小二乘原理的矩陣方式為 或5-14 5-13 式中的P為nn階權(quán)矩陣。 線性參數(shù)的不等精度丈量還可以轉(zhuǎn)化為等精度的方式，從而可以利用等精度丈量時丈量數(shù)據(jù)的最小二乘法處置的全部結(jié)果。三、線性參數(shù)最小二乘法的正規(guī)方程三、線性參數(shù)最小二乘法的正規(guī)方程 為了獲得更可取的結(jié)果，丈量次數(shù)n總要多于未知參數(shù)的數(shù)目t，即所得誤差方程式的數(shù)目總是要多于未知數(shù)的數(shù)目。因此直接用普通解代數(shù)方程的方法是無法求解這些未知參數(shù)的。 最小二乘法那么可以將誤差方程轉(zhuǎn)化為有確定解的代數(shù)方程組(

11、其方程式數(shù)目正好等于未知數(shù)的個數(shù))，從而可求解出這些未知參數(shù)。這個有確定解的代數(shù)方程組稱為最小二乘法估計的正規(guī)方程(或稱為法方程)。 1線性參數(shù)的最小二乘法處置的根線性參數(shù)的最小二乘法處置的根本程序本程序 線性參數(shù)的最小二乘法處置程序可歸結(jié)為：線性參數(shù)的最小二乘法處置程序可歸結(jié)為：1根據(jù)詳細(xì)問題列出誤差方程式；根據(jù)詳細(xì)問題列出誤差方程式；2按最小二乘法原理，利用求極值的方法將誤差方程按最小二乘法原理，利用求極值的方法將誤差方程轉(zhuǎn)化為正規(guī)方程；轉(zhuǎn)化為正規(guī)方程；3求解正規(guī)方程，得到待求的估計量；求解正規(guī)方程，得到待求的估計量；4給出精度估計。給出精度估計。對于非線性參數(shù)，可先將其線性化，然后按上述

12、線性參對于非線性參數(shù)，可先將其線性化，然后按上述線性參數(shù)的最小二乘法處置程序去處置。數(shù)的最小二乘法處置程序去處置。 建立正規(guī)方程是待求參數(shù)最小二乘法處建立正規(guī)方程是待求參數(shù)最小二乘法處置的根本環(huán)節(jié)。置的根本環(huán)節(jié)。2等精度丈量的線性參數(shù)最小二乘法處置等精度丈量的線性參數(shù)最小二乘法處置的正規(guī)方程的正規(guī)方程 線性參數(shù)的誤差方程式為最小二乘法處置的正規(guī)方程為 5-19 這是一個t元線性方程組當(dāng)其系數(shù)行列式不為零時，有獨(dú)一確定的解，由此可解得欲求的估計量 線性參數(shù)正規(guī)方程的矩陣方式線性參數(shù)正規(guī)方程的矩陣方式 正規(guī)方程(519)組，還可表示成如下方式 表示成矩陣方式為 線性參數(shù)正規(guī)方程的矩陣方式線性參數(shù)正

13、規(guī)方程的矩陣方式5-21 又因 有 即 5-22 假設(shè)令 那么正規(guī)方程又可寫成 5-22 5-23 假設(shè)矩陣C是滿秩的，那么有 的數(shù)學(xué)期望 X因式中Y、X為列向量(n 1階矩陣和tl階矩陣) 可見X是X的無偏估計。 其中矩陣元素Y1，Y2，Yn為直接量的真值，而Xl，X2，Xn為待求量的真值。 例例51 在不同溫度下，測定銅棒的長度如下表，試估計在不同溫度下，測定銅棒的長度如下表，試估計0時時的銅棒長度的銅棒長度y0和銅的線膨脹系數(shù)和銅的線膨脹系數(shù)。 解：1列出誤差方程式中, li在溫度ti下銅棒長度的測得值； 銅的線膨脹系數(shù)。 令y0a，y0=b為兩個待估計參量，那么誤差方程可寫為 (2)

14、列出正規(guī)方程為計算方便，將數(shù)據(jù)列表如下： 將表中計算出的相應(yīng)系數(shù)值代人上面的正規(guī)方程得3求出待求估計量求出待求估計量 求解正規(guī)方程解得待求估計量即按矩陣方式解算按矩陣方式解算由正規(guī)方程，有由正規(guī)方程，有那么所以所以4給出實(shí)驗結(jié)果給出實(shí)驗結(jié)果銅棒長度yt隨溫度t的線性變化規(guī)律為3不等精度丈量的線性參數(shù)最小二乘法處置的不等精度丈量的線性參數(shù)最小二乘法處置的正規(guī)方程正規(guī)方程 不等精度丈量時線性參數(shù)的誤差方程仍如上述式(59)一樣，但在進(jìn)展最小二乘法處置時，要取加權(quán)剩余誤差平方和為最小，即 用矩陣表示的正規(guī)方程與等精度丈量情況類似，可表示為 5-27 即上述正規(guī)方程又可寫成5-28 該方程的解，即參數(shù)

15、的最小二乘法處置為5-29 令那么有5-30 例例52 某丈量過程有誤差方程式及相應(yīng)的規(guī)范差如下： 試求x1，x2的最小二乘法處置正規(guī)方程的解。 解：解：1首先確定各式的權(quán)首先確定各式的權(quán)2用表格計算給出正規(guī)方程常數(shù)項和系數(shù)用表格計算給出正規(guī)方程常數(shù)項和系數(shù)3給出正規(guī)方程給出正規(guī)方程4求解正規(guī)方程組求解正規(guī)方程組解得最小二乘法處置結(jié)果為四、最小二乘原理與算術(shù)平均值原理四、最小二乘原理與算術(shù)平均值原理的關(guān)系的關(guān)系為了確定一個量X的估計量x，對它進(jìn)展n次直接丈量，得到n個數(shù)據(jù) l1，l2，ln，相應(yīng)的權(quán)分別為p1，p2，pn，那么丈量的誤差方程為(5-35)其最小二乘法處置的正規(guī)方程為 (5-36

16、)由誤差方程知al，因此有可得最小二乘法處置的結(jié)果 (5-37)這正是不等精度丈量時加權(quán)算術(shù)平均值原理所給出的結(jié)果。對于等精度丈量有對于等精度丈量有 那么由最小二乘法所確定的估計量為此式與等精度丈量時算術(shù)平均值原理給出的結(jié)果一樣。 由此可見，最小二乘法原理與算術(shù)平均值原理是一致的，算術(shù)平均值原理可以看做是最小二乘法原理的特例。 第三節(jié)第三節(jié) 精度估計精度估計 對丈量數(shù)據(jù)最小二乘法處置的最終結(jié)果，不僅要給出待求量的最可信任的估計量，而且還要確定其可信任程度，即應(yīng)給出所得估計量的精度。 一、丈量數(shù)據(jù)的精度估計一、丈量數(shù)據(jù)的精度估計 為了確定最小二乘估計量X1，X2，Xt的精度，首先需求給出直接丈量

17、所得丈量數(shù)據(jù)的精度。丈量數(shù)據(jù)的精度也以規(guī)范差來表示。由于無法求得的真值，因此只能根據(jù)有限次的丈量結(jié)果給出的估計值 ，所謂給出精度估計，實(shí)踐上是求出估計值 。 一等精度丈量數(shù)據(jù)的精度估計一等精度丈量數(shù)據(jù)的精度估計 設(shè)對包含t個未知量的n個線性參數(shù)方程組57進(jìn)展n次獨(dú)立的等精度丈量，獲得了n個丈量數(shù)據(jù)l1，l2，ln。其相應(yīng)的丈量誤差分別為1，2，n，它們是互不相關(guān)的隨機(jī)誤差。由于普通情況下真誤差1，2，n是未知的，只能由剩余誤差l，2，n給出的估計量。 nii122/前面已證明前面已證明是自在度為nt的2變量。根據(jù)2變量的性質(zhì)，有5-39取 5-40可以證明它是2的無偏估計量 由于習(xí)慣上，式5-

18、40的這個估計量也寫成2，即 5-41因此丈量數(shù)據(jù)的規(guī)范差的估計量為5-43例例53 試求例試求例51中銅棒長度的丈量精度。中銅棒長度的丈量精度。知剩余誤差方程為將ti，li，值代人上式，可得剩余誤差為二不等精度丈量數(shù)據(jù)的精度估計二不等精度丈量數(shù)據(jù)的精度估計 不等精度丈量數(shù)據(jù)的精度估計與等精度丈量數(shù)據(jù)的精度估計類似，只是公式中的剩余誤差平方和變?yōu)榧訖?quán)的剩余誤差平方和，丈量數(shù)據(jù)的單位權(quán)方差的無偏估計為5-44 通常習(xí)慣寫成5-45 丈量數(shù)據(jù)的單位權(quán)規(guī)范差為 5-46 二、最小二乘估計量的精度估計二、最小二乘估計量的精度估計 最小二乘法所確定的估計量X1，X2，Xt的精度取決于丈量數(shù)據(jù)的精度和線性

19、方程組所給出的函數(shù)關(guān)系。對給定的線性方程組，假設(shè)知丈量數(shù)據(jù)l1，l2，ln的精度，就可求得最小二乘估計量的精度。 下面首先討論等精度丈量時最小二乘估計量的精度估計。 設(shè)有正規(guī)方程 現(xiàn)要給出由此方程所確定的估計量xl，x2，xt的精度。為此，利用不定乘數(shù)法求出xl，x2，xt的表達(dá)式，然后再找出估計量xl，x2，xt的精度與丈量數(shù)據(jù)l1，l2，ln精度的關(guān)系，即可得到估計量精度估計的表達(dá)式。 設(shè)d11，dl2，dlt；d2l，d22，d2t：； dtl，dt2，dtt分別為以下各方程組的解： 那么各估計量那么各估計量xl，x2，xt的方差為的方差為5-52 相應(yīng)的規(guī)范差為5-53 式中，為丈量數(shù)

20、據(jù)的規(guī)范差。不等精度丈量的情況與此類似。不等精度丈量的情況與此類似。 矩陣方式的結(jié)果表達(dá)矩陣方式的結(jié)果表達(dá)利用矩陣的方式可以更方便地獲得上述結(jié)果。設(shè)有協(xié)方差矩陣(nn階矩陣)式中等精度獨(dú)立丈量假設(shè)l1，l2，ln為等精度獨(dú)立丈量的結(jié)果，即且相關(guān)系數(shù)ij = 0，即Dlij = 0協(xié)方差矩陣 于是估計量的協(xié)方差為 式中各元素即為上述的不定乘數(shù)，可由矩陣(ATA)求逆而得，或由式(551)求得。 各估計量各估計量xl，x2，xt的方差為的方差為不等精度丈量同樣，也可得不等精度丈量的協(xié)方差矩陣 式中 單位權(quán)規(guī)范差。矩陣式中各元素即為不定乘數(shù)，可由(ATPA)求逆得到，也可由式(554)求得。例例54

21、 試求例試求例51中銅棒長度和線膨脹系數(shù)估計量的精度中銅棒長度和線膨脹系數(shù)估計量的精度 知正規(guī)方程為丈量數(shù)據(jù)li的規(guī)范差為解：解：根據(jù)所給正規(guī)方程的系數(shù)，可列出求解不定乘數(shù)方程組 1列出求解不定乘數(shù)方程組，并求解列出求解不定乘數(shù)方程組，并求解分別解得2計算估計量a、b的規(guī)范差可得估計量a、b的規(guī)范差為因3求出y0、的規(guī)范差故有第四節(jié)第四節(jié) 組合丈量的最小二乘法處置組合丈量的最小二乘法處置 所謂組合丈量，是指直接或間接丈量一組被丈量的不同組合值，從它們相互組合所依賴的假設(shè)干函數(shù)關(guān)系中，確定出各被丈量的最正確估計值。 在精細(xì)測試任務(wù)中，組合丈量占有非常重要的位置。例如，作為規(guī)范量的多面棱體、度盤、

22、砝碼、電容器以及其它規(guī)范器的檢定等，為了減小隨機(jī)誤差的影響，提高丈量精度，可采用組合丈量的方法。 通常組合丈量數(shù)據(jù)是用最小二乘法進(jìn)展處置，它是最小二乘法在精細(xì)測試中的一種重要的運(yùn)用。 組合丈量運(yùn)用組合丈量運(yùn)用 為簡單起見，現(xiàn)以檢定三段劃線間距為例，闡明組合丈量的數(shù)據(jù)處置方法。 如圖51所示，要求檢定刻線A、B、C、D間的間隔x1、x2、x3。 1丈量方案及丈量數(shù)據(jù)丈量數(shù)據(jù) 組合丈量的方案2誤差方程誤差方程根據(jù)丈量方案列出誤差方程誤差方程的矩陣方式3寫出誤差方程的相關(guān)矩陣寫出誤差方程的相關(guān)矩陣4求解估計量求解估計量x1、x2、x3的最正確估計值的最正確估計值由式5-24得式中所以最后解得5計算各次的丈量誤差值計算各次的丈量誤差值 1 = 0.013mm2 = 0.002mm3 = 0.007mm4 = 0.005mm5 = 0.015mm6 = 0.008mm將最正確估計值代入誤差方程得6計算各次測得數(shù)據(jù)的規(guī)范差計算各次測得數(shù)據(jù)的規(guī)范差nii12=0.000536mm3 由于是等精度丈