第5章-線性參數(shù)的最小二乘法處理省名師優(yōu)質課賽課獲獎課件市賽課百校聯(lián)賽優(yōu)質課一等獎課件

第5章

線性參數(shù)最小二乘處理1/91教學目標最小二乘法是一個在數(shù)據(jù)處理和誤差預計等多學科領域得到廣泛應用數(shù)學工具。伴隨當代數(shù)學和計算機技術發(fā)展，最小二乘法成為參數(shù)預計、數(shù)據(jù)處理、回歸分析和經(jīng)驗公式擬合中必不可少伎倆，并已形成統(tǒng)計推斷一個準則。經(jīng)過本章學習，掌握最小二乘法基本原理，以及在組合測量問題數(shù)據(jù)處理中應用。2/91教學重點和難點最小二乘法原理等精度測量線性參數(shù)最小二乘處理不等精度測量線性參數(shù)最小二乘處理最小二乘預計量精度預計組合測量最小二乘法處理3/91第一節(jié)最小二乘原理一、問題引入間接測量組合測量直接測量量為Xi，依據(jù)方程求出被測量Y。直接測量量為Y，依據(jù)方程求出被測量Xi。4/91第一節(jié)最小二乘原理一、問題引入為直接測量量和被測量真值；為直接測量量和被測量預計值；為直接測量量測量值；為直接測量量殘余誤差(相對于計算值而言)。注意：不能寫成因為測量值與計算值之間是有誤差。為何？5/91第一節(jié)最小二乘原理一、問題引入問題：怎樣依據(jù)和測量方程解出被測量預計值？可唯一解出討論：沒有唯一解為提升測量結果精度，而增加了測量次數(shù)哪個解好？最可信賴值應使殘余誤差平方和最小6/91第一節(jié)最小二乘原理二、最小二乘原理最小二乘法產(chǎn)生是為了處理從一組測量值中尋找最可信賴值問題。計算值測量值殘差目標：解出最可信賴被測量7/91第一節(jié)最小二乘原理二、最小二乘原理若測量誤差是無偏(不存在系統(tǒng)誤差)，相互獨立并服從正態(tài)分布，標準差分別為，則出現(xiàn)在對應真值附近區(qū)域內概率為由概率乘法定理可知，各測量數(shù)據(jù)同時出現(xiàn)在對應區(qū)域概率為8/91第一節(jié)最小二乘原理二、最小二乘原理最可信賴值出現(xiàn)在P最大時：引入“權因子”：則成：在等精度測量條件下：則成：測量結果最可信賴值應在殘差平方和或加權殘差平方和意義下求得，稱之為最小二乘法。即使是在正態(tài)分布下導出最小二乘法，實際上，按誤差或殘差平方和為最小進行統(tǒng)計推斷已形成一個準則。9/91第一節(jié)最小二乘原理三、等精度測量線性參數(shù)最小二乘原理線性參數(shù)測量方程普通形式和對應預計量為：矩陣形式10/91第一節(jié)最小二乘原理三、等精度測量線性參數(shù)最小二乘原理該方程是否為等精度還是不等精度誤差方程，要視直接測量數(shù)據(jù)是否為等精度測量而定yi僅含有隨機誤差，會使方程不能嚴格成立，故：測量殘差方程組對于11/91第一節(jié)最小二乘原理三、等精度測量線性參數(shù)最小二乘原理設：則殘差方程組矩陣表示式：yi僅含有隨機誤差，會使方程不能嚴格成立，故：測量殘差方程組對于12/91第一節(jié)最小二乘原理三、等精度測量線性參數(shù)最小二乘原理等精度測量：13/91第一節(jié)最小二乘原理四、不等精度測量線性參數(shù)最小二乘原理方法一：直接依據(jù)進行推導其矩陣形式：權因子矩陣：又：14/91第一節(jié)最小二乘原理四、不等精度測量線性參數(shù)最小二乘原理方法二：將不等精度轉換為等精度新殘余誤差列向量新測量值列向量新系數(shù)矩陣15/91第一節(jié)最小二乘原理四、不等精度測量線性參數(shù)最小二乘原理方法二：將不等精度轉換為等精度16/91第二節(jié)正規(guī)方程一、等精度測量線性參數(shù)最小二乘處理正規(guī)方程17/91第二節(jié)正規(guī)方程一、等精度測量線性參數(shù)最小二乘處理正規(guī)方程18/91第二節(jié)正規(guī)方程一、等精度測量線性參數(shù)最小二乘處理正規(guī)方程19/91第二節(jié)正規(guī)方程一、等精度測量線性參數(shù)最小二乘處理正規(guī)方程再觀察其二階偏導數(shù)20/91第二節(jié)正規(guī)方程一、等精度測量線性參數(shù)最小二乘處理正規(guī)方程一階偏導數(shù)為零，二階偏導數(shù)恒為正，可知所求為最小值21/91第二節(jié)正規(guī)方程一、等精度測量線性參數(shù)最小二乘處理正規(guī)方程這就是等精度測量線性參數(shù)最小二乘正規(guī)方程組代數(shù)形式當系數(shù)行列式不為零時，有唯一確定解22/91第二節(jié)正規(guī)方程一、等精度測量線性參數(shù)最小二乘處理正規(guī)方程特點：主對角線分布為平方項系數(shù)，均為正數(shù)相對于主對角線對稱分布各系數(shù)兩兩相等23/91第二節(jié)正規(guī)方程一、等精度測量線性參數(shù)最小二乘處理正規(guī)方程將等精度正規(guī)方程組轉化為矩陣形式看正規(guī)方程組中第r個方程：展開：24/91第二節(jié)正規(guī)方程一、等精度測量線性參數(shù)最小二乘處理正規(guī)方程展開：這就是等精度測量線性參數(shù)最小二乘正規(guī)方程組矩陣形式25/91第二節(jié)正規(guī)方程一、等精度測量線性參數(shù)最小二乘處理正規(guī)方程解矩陣形式正規(guī)方程組將代入：（待測量Ｘ無偏預計）設：若：則有唯一解26/91第二節(jié)正規(guī)方程例5.1

已知任意溫度t時銅棒長度yt

、0℃時銅棒長度y0和銅線膨脹系數(shù)含有線性關系：。現(xiàn)測得不一樣溫度ti下，銅棒長度li以下表，試預計y0和最可信賴值。i123456ti/°c102025304045li/mm.36.72.80.07.48.60解：測量殘差方程發(fā)生改變：將本題方程轉化為線性參數(shù)測量方程普通形式注意：此時，為待測量預計量27/91第二節(jié)正規(guī)方程依據(jù)正規(guī)方程組普通代數(shù)形式：本題，只有兩個待求量28/91第二節(jié)正規(guī)方程110100.363.6220400.7240014.4325625.8050020.0430900.0760032.15401600.4880059.26452025.6090072.017056501.03340201.329/91第二節(jié)正規(guī)方程解方程組得即：30/91第二節(jié)正規(guī)方程按矩陣形式解i123456ti/°c102025304045li/mm.36.72.80.07.48.6031/91第二節(jié)正規(guī)方程32/91第二節(jié)正規(guī)方程所以，銅棒長度隨溫度線性改變規(guī)律為：33/91就是正規(guī)方程代數(shù)形式第二節(jié)正規(guī)方程二、不等精度測量線性參數(shù)最小二乘處理正規(guī)方程最小二乘原理推導時，34/91第二節(jié)正規(guī)方程二、不等精度測量線性參數(shù)最小二乘處理正規(guī)方程這就是不等精度測量線性參數(shù)最小二乘正規(guī)方程組代數(shù)形式特點：主對角線分布為平方項系數(shù)，均為正數(shù)相對于主對角線對稱分布各系數(shù)兩兩相等35/91第二節(jié)正規(guī)方程二、不等精度測量線性參數(shù)最小二乘處理正規(guī)方程將不等精度正規(guī)方程組轉化為等精度形式：其余類推36/91第二節(jié)正規(guī)方程二、不等精度測量線性參數(shù)最小二乘處理正規(guī)方程將不等精度正規(guī)方程組轉化為等精度形式：其中:37/91第二節(jié)正規(guī)方程二、不等精度測量線性參數(shù)最小二乘處理正規(guī)方程將不等精度正規(guī)方程組轉化為矩陣形式：看正規(guī)方程組中第r個方程：展開后可整理得：38/91第二節(jié)正規(guī)方程二、不等精度測量線性參數(shù)最小二乘處理正規(guī)方程將不等精度正規(guī)方程組轉化為矩陣形式：39/91第二節(jié)正規(guī)方程二、不等精度測量線性參數(shù)最小二乘處理正規(guī)方程將不等精度正規(guī)方程組轉化為矩陣形式：將代入：（待測量Ｘ無偏預計）設：若：則有唯一解40/91測量值第二節(jié)正規(guī)方程例5.2

某測量過程有誤差方程式及對應標準差：試求最可信賴值。解：首先確定各式權取權值41/91第二節(jié)正規(guī)方程解：依據(jù)不等精度正規(guī)方程組代數(shù)形式，在本題中111161616166.44103.04103.04212161664328.60137.60275.2031399812710.8197.29291.87414991443613.21118.98475.92515992254515.27137.43687.1559530156594.341833.1842/91第二節(jié)正規(guī)方程解：43/91第二節(jié)正規(guī)方程三、非線性參數(shù)最小二乘處理正規(guī)方程對于非線性方程測量殘差方程求解困難思緒：將非線性方程轉化為線性方程，再按線性情況處理44/91第二節(jié)正規(guī)方程三、非線性參數(shù)最小二乘處理正規(guī)方程取作為待求量近似解將函數(shù)在處作泰勒級數(shù)展開，并只取一次項作為新待求變量為函數(shù)對偏導數(shù)在處值組成新系數(shù)矩陣令：殘差方程：成為線性方程45/91第二節(jié)正規(guī)方程三、非線性參數(shù)最小二乘處理正規(guī)方程殘差方程轉化為線性方程組可利用最小二乘代數(shù)形式或矩陣形式解得再用求出待求量近似值經(jīng)過屢次迭代計算后，可使偏差足夠小46/911）直接測量2）經(jīng)過部分方程式進行計算從誤差方程中選取最簡單t個方程式，再令形成t

元齊次非線性方程，解出第二節(jié)正規(guī)方程三、非線性參數(shù)最小二乘處理正規(guī)方程怎樣求取待求量近似解只用于實際測量中，但不能用于解題過程中47/91第二節(jié)正規(guī)方程四、最小二乘原理與算術平均值原理關系則測量誤差方程為得n個數(shù)據(jù)，對應權分別為為確定一個被測量X預計值x，對它進行n次直接測量，測量方程為系數(shù)矩陣為48/91第二節(jié)正規(guī)方程四、最小二乘原理與算術平均值原理關系依據(jù)不等精度最小二乘正規(guī)方程組由系數(shù)矩陣可知對于等精度測量結論：算術平均值原理是最小二乘法原理特例49/91第三節(jié)精度預計一、測量數(shù)據(jù)精度預計——直接測量數(shù)據(jù)標準差預計(一)等精度測量數(shù)據(jù)精度預計對于線性參數(shù)測量方程進行n次等精度測量，取得n個測量數(shù)據(jù)注意：依據(jù)這n個數(shù)據(jù)，無法利用貝塞爾公式求其標準差解釋：例，出現(xiàn)不一樣測量值，僅僅是因為一些隨機原因造成，能夠用貝塞爾公式(含平均值)求其標準差；例，出現(xiàn)不一樣測量值，不但有隨機原因，更因為是不一樣溫度造成了測量對象也發(fā)生了本質改變，所以不能用貝塞爾公式來計算標準差了。怎樣求取這n個測量數(shù)據(jù)標準差？50/91第三節(jié)精度預計(一)等精度測量數(shù)據(jù)精度預計對于測量殘差方程能夠證實是自由度(n－t)

變量設：每個測量數(shù)據(jù)精度相同，均為測量數(shù)據(jù)有標準差，但不能用貝塞爾公式計算依據(jù)變量性質，有分布自由度為其獨立變量個數(shù)分布數(shù)學期望為其自由度51/91稱為系統(tǒng)偏移，或有偏預計第三節(jié)精度預計(一)等精度測量數(shù)據(jù)精度預計將數(shù)學期望作為推導依據(jù)若取殘余誤差平方平均值作為預計量則因為有偏，此式不妥52/91系數(shù)為1，稱為無偏預計第三節(jié)精度預計(一)等精度測量數(shù)據(jù)精度預計將數(shù)學期望作為推導依據(jù)若取作為預計量則因為無偏，此式很好53/91第三節(jié)精度預計(一)等精度測量數(shù)據(jù)精度預計將數(shù)學期望作為推導依據(jù)若取作為預計量改寫，去掉尖號：或稱為等精度測量數(shù)據(jù)標準差無偏預計量與貝塞爾公式有兩點不一樣：1、殘差計算方法不一樣2、自由度不一樣因為無偏，此式很好當t=1時，相當于貝塞爾公式？形式相同而已54/91第三節(jié)精度預計例5-3試求例5-1中銅棒長度測量精度利用例5-1中計算結果，可知殘余誤差方程為將不一樣溫度下測量值代入：標準差為：這個分散性不是因為溫度不一樣造成，而是因為兩個回歸參數(shù)回歸誤差造成，當然還有隨機原因55/91第三節(jié)精度預計(二)不等精度測量數(shù)據(jù)精度預計用加權殘余誤差平方和表示測量數(shù)據(jù)無偏預計改寫，去掉尖號：或稱為不等精度測量數(shù)據(jù)標準差無偏預計量56/91第三節(jié)精度預計二、最小二乘預計量精度預計——組合測量量標準差預計思緒：測量數(shù)據(jù)精度，經(jīng)過線性方程組，傳遞給間接測量待求量57/91第三節(jié)精度預計(一)等精度測量時，最小二乘預計量精度預計代數(shù)形式正規(guī)方程組：設有不定乘數(shù)矩陣先用第一行各元素乘以正規(guī)方程58/91兩邊相加：第三節(jié)精度預計組成方程組第一個方程相當于解出了59/91將作為未知量，對展開后，系數(shù)與最小二乘正規(guī)方正組系數(shù)一樣。第三節(jié)精度預計令所以，求可借用正規(guī)方程組系數(shù)，只是方程右邊不一樣。將此條件代入上面正規(guī)方程中，得重寫相加后方程60/91第三節(jié)精度預計其中：即由測量值求出了間接測量待求量各系數(shù)就是該函數(shù)誤差傳輸系數(shù)不定乘數(shù)矩陣與測量方程系數(shù)矩陣對應行內積61/91第三節(jié)精度預計因測量值相互獨立，且為等精度測量，測量值標準差為將測量值標準差合成為待求量標準差：62/91第三節(jié)精度預計代入過程較繁，可得：一樣重寫利用63/91第三節(jié)精度預計真正對“將測量數(shù)據(jù)標準差轉換為被測量標準差”有作用，是不定乘數(shù)矩陣對角線上元素。64/91第三節(jié)精度預計(二)不定乘數(shù)矩陣代數(shù)形式求解步驟請觀察：65/91第三節(jié)精度預計(二)不定乘數(shù)矩陣代數(shù)形式求解步驟或：用第一行不定乘數(shù)元素，代替正規(guī)方程組中待求量令第一個正規(guī)方程等于1其余方程等于0可解出不定乘數(shù)矩陣第一行元素66/91第三節(jié)精度預計(二)不定乘數(shù)矩陣代數(shù)形式求解步驟同理：用第二行不定乘數(shù)元素，代替正規(guī)方程組中待求量令第二個正規(guī)方程等于1其余方程等于0可解出不定乘數(shù)矩陣第二行元素67/91第三節(jié)精度預計(二)不定乘數(shù)矩陣代數(shù)形式求解步驟同理：用最終一行不定乘數(shù)元素，代替正規(guī)方程組中待求量令最終一個正規(guī)方程等于1其余方程等于0可解出不定乘數(shù)矩陣最終一行元素68/91第三節(jié)精度預計(三)利用矩陣形式，求最小二乘預計量精度方差定義：設為隨機變量，若存在則稱之為隨機變量方差，用表示。69/91第三節(jié)精度預計設測量數(shù)據(jù)其數(shù)學期望殘差殘差向量平方：70/91第三節(jié)精度預計求方差對角線上元素對角線兩邊元素針對某個詳細方程，或針對某個詳細組合測量方法，作屢次測量，然后用貝塞爾公式計算。71/91第三節(jié)精度預計若為等精度測量，有若相關系數(shù)，有求方差72/91第三節(jié)精度預計依正規(guī)方程組矩陣解則數(shù)學期望兩式相減成殘差協(xié)方差轉置73/91第三節(jié)精度預計協(xié)方差應該為對比后可知：記為對角線上元素關系已經(jīng)證實即不定乘數(shù)計算公式其實在正規(guī)方程解中已經(jīng)算過了。作用：將測量數(shù)據(jù)標準差轉化成待求量標準差有前提74/91第三節(jié)精度預計(四)不等精度測量協(xié)方差矩陣也在不等精度測量正規(guī)方程組解中計算過了75/91第三節(jié)精度預計例5-4：試求例5-1中銅棒長度和線膨脹系數(shù)預計量精度已經(jīng)推導出了正規(guī)方程組：在例5-3中已求出了測量數(shù)據(jù)標準差設不定乘數(shù)矩陣為第一行不定乘數(shù)代入正規(guī)方程組第二行不定乘數(shù)代入正規(guī)方程組76/91第三節(jié)精度預計例5-4：試求例5-1中銅棒長度和線膨脹系數(shù)預計量精度中間預計量a、b

標準差為因為待求預計量、標準差為77/91第四節(jié)組合測量最小二乘法處理組合測量：指直接測量一組被測量不一樣組合值（普通是等精度），從它們相互所依賴若干函數(shù)關系中，確定出各被測量最正確預計值，并求其精度預計。78/91第四節(jié)組合測量最小二乘法處理例：要求檢定絲紋尺0，1，2，3刻線間距離。已知用組合測量法測得下列圖所表示刻線間隙各種組合測量值。試用最小二乘法求及其標準偏差。