第二章、觀測(cè)資料的檢核與數(shù)據(jù)篩選

1、教學(xué)目的： 1.使學(xué)生明確觀測(cè)資料的檢核與數(shù)據(jù)篩選的意義 2.掌握一元線性回歸法進(jìn)行資料的檢核 3.對(duì)于監(jiān)測(cè)網(wǎng)數(shù)據(jù)篩選教學(xué)重點(diǎn)：觀測(cè)資料檢核的方法及監(jiān)測(cè)網(wǎng)數(shù)據(jù)篩選算法教學(xué)方法：講授、習(xí)題21 觀測(cè)資料檢核的意義與方法一、觀測(cè)資料檢核的任務(wù)1.通過(guò)不同方法的驗(yàn)算、不同人員的重復(fù)計(jì)算來(lái)消除觀測(cè)資料中可能帶來(lái)的錯(cuò)誤。2.設(shè)法找出觀測(cè)中較大的誤差（超限誤差） 二、觀測(cè)資料的統(tǒng)計(jì)檢驗(yàn)的必要性 眾所周知，對(duì)于任何測(cè)量，為防止可能的粗差，均制定有一定的觀測(cè)綱要，如：三角測(cè)量中：每一測(cè)站中歸零差、2c互差、測(cè)回差等均有限值 三角形內(nèi)角和與180之差 極條件閉合差 平差后單位權(quán)中誤差 均有限差 大壩水平位移觀測(cè)

2、中，視準(zhǔn)線法測(cè)定各點(diǎn)偏離值時(shí)，均要多次讀數(shù)， 多次讀數(shù)之間也有相應(yīng)的限差，以便進(jìn)行檢核。 盡管觀測(cè)中制定了一系列限差，但是所測(cè)觀測(cè)值中仍可能帶來(lái)較大的誤差。（雖然它們出現(xiàn)的概率較小，但由于觀測(cè)的隨機(jī)性，仍可能在少數(shù)觀測(cè)中出現(xiàn)）。這一點(diǎn)已被測(cè)量實(shí)踐所證實(shí)。如： 每一測(cè)站觀測(cè)均滿足限差要求，但仍然發(fā)現(xiàn)三角形閉合差超限。 三角形閉合差均合格后，還發(fā)現(xiàn)極條件不符值不合格 極條件不符值合格后，還可能發(fā)現(xiàn)單位權(quán)中誤差超限 所以，為了能從觀測(cè)值中盡可能消除較大的誤差，保證測(cè)量的高精度，從而盡可能減少觀測(cè)誤差對(duì)變形分析的影響，對(duì)變形觀測(cè)資料進(jìn)行統(tǒng)計(jì)檢驗(yàn)是十分必要的。三、觀測(cè)資料檢核的方法 一般，任一觀測(cè)元素（

3、高差、方向值、偏離值、傾斜值）在野外觀測(cè)中均具有本身的觀測(cè)檢核方法。進(jìn)一步的檢核必須利用觀測(cè)元素之間的關(guān)系進(jìn)行。如：水準(zhǔn)：閉合差； ：閉合差 各觀測(cè)元素之間關(guān)系可分為兩類：函數(shù)關(guān)系與統(tǒng)計(jì)相關(guān)關(guān)系 函數(shù)關(guān)系：如三角形三個(gè)內(nèi)角 統(tǒng)計(jì)相關(guān)關(guān)系：如：建筑物不同高度處的撓度值Si的影響因素很多，無(wú)法用一種數(shù)學(xué)式來(lái)表達(dá)各撓度值之間的因果關(guān)系。但從另一方面看，各觀測(cè)點(diǎn)在同一建筑物上，處于類似的因素作用下，因而各點(diǎn)所測(cè)撓度值將存在較密切的關(guān)系，即這些撓度值之間是統(tǒng)計(jì)相關(guān)的。如 圖 ， 某 壩1973年三個(gè)壩段水平位移過(guò)程線，由圖看出各壩段之間位移相關(guān)性是非常密切的。 0.98.遠(yuǎn)遠(yuǎn)大于=0.01的 臨界=0.

4、43.因此，建筑物不同部位變形值之間的相關(guān)性，使我們可能利用回歸分析來(lái)對(duì)觀測(cè)資料進(jìn)行檢核。某壩三個(gè)壩段水平位移過(guò)程線22 用一元線性回歸進(jìn)行資料的檢核一、一元線性回歸的數(shù)學(xué)模型00()iiiiiiiyxvvyxv i=1,2,N 是隨機(jī)誤差，一般假設(shè)它們相互獨(dú)立，且服從同一正態(tài)分布N(0, )x y回歸分析 相關(guān)分析2000000-100() min202() 0 0() 0TTvvyxvvyxyx xnxybX XX Ybxxxxy 下，對(duì)、 求微分整理后得 經(jīng)變換后得：00011()TTyxbX XX Yb0(1)()Txx回歸方程：偏離差：回歸方程求因變量估值的中誤差：二、相關(guān)系數(shù) 回歸

5、直線前提：y與x線性相關(guān). 相關(guān)系數(shù)檢驗(yàn)法的臨界值如表所示：00 ybbxbb ， 為回歸方程系數(shù)vyy2vvsN=xyxy 12211()()()()NaaxyaNNxyaaaaxxyySS Sxxyy,yx yx分別為自變量 和因變量 的平均值.自由度置信水平自由度置信水平自由度置信水平515151123456789101112131415160.9970.9500.8780.8110.7540.7070.6660.6320.6020.5760.5530.5320.5140.4970.4820.4681.0000.9900.9590.9170.8740.8340.7980.7650.735

6、0.7080.6840.6610.6410.6230.6060.590171819202122232425262728293035400.4560.4440.4330.4230.4130.4040.3960.3880.3810.3740.3670.3610.3550.3490.3250.3040.5750.5610.5490.5370.5260.5150.5050.4960.4870.4780.4700.4630.4560.4490.4180.39645506070809010012515020030040050010000.2880.2730.2500.2320.2170.2050.1950

7、.1740.1590.1380.1130.0980.0880.0620.3720.3540.3250.3020.2830.2670.2540.2280.2080.1810.1480.1280.1150.087相關(guān)系數(shù)檢驗(yàn)法的臨界值相關(guān)系數(shù)檢驗(yàn)法的臨界值三、用一元線性回歸對(duì)變形資料進(jìn)行檢核的實(shí)例 表1給出了某壩3個(gè)壩段3年的水平位移觀測(cè)資料，為分析它們之間互相進(jìn)行檢核的可能性，首先探討它們之間的相關(guān)程度。1973年 11期觀測(cè)資料1974年 12期觀測(cè)資料1975年 12期觀測(cè)資料據(jù)最小二乘法原理，建立回歸方程根據(jù)回歸方程按10計(jì)算的1976年、1977年壩段11水平位移的估值與實(shí)測(cè)值比較見(jiàn)表2

8、.10-1112 11=0.9860.335(0.05)=0.9710.430(0.01)臨界臨界11101112=-0.013+0.983=-0.004+0.94110111210111219732-13-24-35-46-57-61.77-2.460.10-1.131.98-1.392.23-2.86-0.12-1.032.12-1.552.14-3.090.38-1.242.30-1.9719738-79-810-911-1012-11-0.031.360.192.080.01-0.181.260.682.23-0.050.101.230.352.62-0.2119741-122-13-

9、24-35-46-51.97-1.740.39-2.06-5.414.421.56-1.490.45-2.30-5.304.511.34-1.690.52-2.09-5.494.7119747-68-79-810-911-1012-11-0.86-2.361.291.440.900.83-1.29-2.291.121.411.580.49-0.79-2.651.211.321.592.0519751-122-13-24-35-46-50.090.93-2.540.35-1.01-0.530.480.61-2.49-0.38-0.62-1.01-1.330.78-2.26-0.28-0.70-1

10、.0219757-68-79-810-911-1012-11-1.450.581.15-0.560.406.14-0.680.600.72-0.560.565.83-0.790.620.60-0.361.545.24表1 某壩3個(gè)壩段的水平位移觀測(cè)資料（單位：mm）X(壩段壩段10)y(壩段壩段11)1976X(壩段壩段10)y(壩段壩段11)1977觀測(cè)值計(jì)算值差觀測(cè)值計(jì)算值差0.02-2.27-0.38-1.80-0.570.190-0.041.87-0.210.17-0.03-2.58-0.24-2.41-0.19-0.27-0.020.331.580.560.290.03-2.24-0

11、.37-1.77-0.550.200.01-0.031.86-0.200.19-0.06-0.340.13-0.640.36-0.47-0.030.36-0.280.760.101.78-1.92-0.12-2.960.062.40-2.741.100.701.19-0.641.27-2.220.18-2.130.290.06-4.021.191.540.7301.77-1.89-0.10-2.920.072.39-2.701.100.701.19-0.62-0.50-0.330.280.790.22-2.33-1.320.090.84-0.460.62表2 按10計(jì)算的1976年、1977年

12、壩段11水平位移的估值與實(shí)測(cè)值的比較 單位（mm） 由表2知：絕大多數(shù)差數(shù)均在觀測(cè)精度之內(nèi)，個(gè)別值1977年有2個(gè)觀測(cè)值與計(jì)算值差-2.33，-1.32，超過(guò)觀測(cè)精度之估值中誤差s=0.33mm. 如果當(dāng)時(shí)按11=0.013+0.98310式進(jìn)行統(tǒng)計(jì)檢驗(yàn)，則對(duì)這些觀測(cè)值可立即進(jìn)行復(fù)測(cè)，以免日后分析時(shí)產(chǎn)生疑問(wèn)。23 監(jiān)測(cè)網(wǎng)觀測(cè)資料的數(shù)據(jù)篩選 監(jiān)測(cè)網(wǎng)的觀測(cè)元素之間存在一定的因果關(guān)系，可以用數(shù)學(xué)式把不同觀測(cè)元素聯(lián)系起來(lái)，但由于觀測(cè)中存在偶然誤差，為了檢驗(yàn)觀測(cè)中是否存在超限誤差，需要利用統(tǒng)計(jì)檢驗(yàn)方法. 一、超限誤差的整體檢驗(yàn) 測(cè)量平差的主要任務(wù)是對(duì)一系列帶有偶然誤差的觀測(cè)值，運(yùn)用最小二乘原理求未知量的

13、最或然值并評(píng)定測(cè)量成果的精度。 有超限誤差的觀測(cè)向量， 用表示超限誤差向量。1122lnlln維維對(duì)于參數(shù)平差，數(shù)學(xué)模型為： 整體檢驗(yàn)判斷觀測(cè)向量中是否伴隨有超限誤差：11120222 lVAOXD lQlVAI （1） 0112220,0,0:01(1):2V(,)HHTTbbHlAVXlAVlVA XVP VbVP VFFbbFFFF式 寫(xiě) 為 可 用計(jì) 算 母 體 方 差 估 值 ： （ 2 ） 成 立 拒 絕二、超限誤差的局部檢驗(yàn) 先假設(shè)只有一個(gè)觀測(cè)值伴隨超限誤差(1)式可寫(xiě)為：法方程式為：利用分塊矩陣求逆可解得：()iiXlVAeT(0,0,1,0,0)ie =TTTiTTTiiii

14、iXA PAA PeA Ple PAe Pee Pl-=TiiTiVVie PVe PQ Pe （3）分塊矩陣求逆1-1-111111111111111111+()()()()()()TTiTTiiiABA PAA PeMCDe PAe PeABEFCDGHAA B DCA BCAA B DCA BDCA B CADCA BABD CAA B DCA BCA F檢驗(yàn)法0iiii 12210222022200H003()() ()(1,)()HTdiVViTTidTiVViTiTiVVidQe PQ Pee PVSd Qde PQ PeSe PVFe PQ Pe ,1,0,1,：不是超限誤差，即

15、為此求： 由（ ）式得： 由此得： 構(gòu)造F= FF 拒絕H011 1()LLTBBXXTVVBBQQQNB PBQQBNBB檢驗(yàn)法（u檢驗(yàn)法）00000:i()00(0,1)PHHii iiTiiiTiVViiiv viiHlEie PVWue PQ PevWqWuWu 第 個(gè)觀測(cè)值 不伴隨有超限誤差 對(duì)于一般情況，觀測(cè)值權(quán)陣 為對(duì)角陣， 則: 接受 拒絕VVV=R =QPE=EV =V當(dāng) 僅是偶然誤差，不含粗差時(shí) （ ）0 （ ）0當(dāng) 僅是偶然誤差，不含粗差時(shí)為子態(tài)隨機(jī)變量檢驗(yàn)法t檢驗(yàn)法200=i iTiifv vvV PVfq ( )0i iikv vvtq( )( )20()1TkkV

16、PVf（ ）21-22121-2(1)( )1(1)f tffftf 三、超限誤差的檢驗(yàn)步驟對(duì)變形監(jiān)測(cè)網(wǎng)各周期觀測(cè)值分別進(jìn)行經(jīng)典平差，求得未知數(shù)向量 及其協(xié)因數(shù)陣 ，由此計(jì)算 按(2)式構(gòu)造F統(tǒng)計(jì)量并檢驗(yàn). 當(dāng)檢驗(yàn)結(jié)果認(rèn)為存在超限誤差時(shí)，則計(jì)算利用向量 中元素與矩陣 主對(duì)角線上相應(yīng)元素計(jì)算 ，并取 相應(yīng)的觀測(cè)值 作為可能伴 隨有超限誤差的觀測(cè)值.XT-1XX()Q=(A PA)TTXXXXVAQA PllAQA PI l XXQVVVQi iiv vvqmax()i iiv vvqkl()()TTTTVVXXllXXllXXQAQA PI QAQA PIQAQA利用B檢驗(yàn)法或檢驗(yàn)法、t檢驗(yàn)法對(duì)

17、原假設(shè)進(jìn)行統(tǒng)計(jì)檢驗(yàn).當(dāng)原假設(shè)被接受，則認(rèn)為監(jiān)測(cè)網(wǎng)觀測(cè)值中未包含有超限誤差.否則，觀測(cè)值lk 被認(rèn)為受到超限誤差的影響，應(yīng)予剔除.在原假設(shè)被拒絕時(shí)，剔除lk，重復(fù)步驟13，直至沒(méi)有理由懷疑還有超限誤差存在 (即接受原假設(shè)) .24 數(shù)據(jù)篩選算例1223310142434450.06849.707500.081471.32620.27530.008hhhhhhh00.13,mm 試檢驗(yàn)觀測(cè)向量中是否包含超限誤差。mm（單位：）解：1.組成誤差方程與法方程式設(shè)取12站之水準(zhǔn)測(cè)量誤差為單位權(quán)中誤差，則觀測(cè)值權(quán)陣與協(xié)因數(shù)陣為： 設(shè)點(diǎn)1的高程為H1，點(diǎn)2,3,4之高程為x2，x3，x4，且設(shè)H1=0，則誤

18、差方程可寫(xiě)成：31036063llP10.333100.33330.166700.16670.3333llllQP121223232313131414424243434100110010001101011vhvhxvhVxvhxvhvhVAXl10161178.8471731639.97463152859.582TTNA PAA Pl 法方程系數(shù)陣和常數(shù)項(xiàng)向量為： 2.解法方程式并作整體檢驗(yàn)，求.VVVQ、10.14611870.05022830.06849320.05022830.17351600.05479450.06849320.05479450.1050228XXQN450.48655

19、00.4626470.9258TXXXQA Pl0.41850.26910.38160.40020.16430.4712VAXl 22000=2.82372.8237=55.693 0.13TTV PVV PVFbH計(jì)算求得 拒絕，認(rèn)為觀測(cè)值中包含有超限差觀測(cè)值。3.計(jì)算局部檢驗(yàn)統(tǒng)計(jì)量與假設(shè)檢驗(yàn)0.18720.09590.0502-0.06850.0776-0.01830.78080.12330.0137-0.08220.13700.15980.05480.0046-0.11870.06160.0365-0.05020.05250.03190.1643TVVuXXQQAQA對(duì)稱00()0iii

20、iiiiiv viiv vikv vvBWqvqvttq在檢 驗(yàn) 法 檢 驗(yàn) 法 檢 驗(yàn) 法 ( )000i iiv vkvq其公共部分 不同部分 、1 12 23 34 45 56 64 41234564140.96730.30450.95461.61240.71701.1625maxi iv vv vv vv vv vv viv vv vvvvqqqvvvqqqvvhqq，顯然， 相應(yīng)觀測(cè)值為。014B=0.13 12=0.451.61243.580.45W 檢驗(yàn)法121412140.05,1.963.581.96.uWuh懷疑含超限誤差T140.975V PV =0.976-31.612

21、4=1.660.972,0.05(2)4.30mmft0 檢驗(yàn)法時(shí)查20.9752140143 4.30=1.6453-1+4.30=1.661.645.H ,.h分位值：（3）故拒絕認(rèn)為含超限誤差222014140.975()=2.600() =2.8237-2.600=0.22370.22370.334531.61244.820.334=4.82(2)4.30.kkkkkkTkTkV VkkV VV VTktVV PVV PVqVVqqV PVttt（k）14 檢驗(yàn)法對(duì)此算例，觀測(cè)值間相互獨(dú)立故有 懷疑h 含超限誤差統(tǒng)計(jì)檢驗(yàn)的步驟：統(tǒng)計(jì)檢驗(yàn)的步驟：剔除h14后，需對(duì)其余觀測(cè)值進(jìn)行檢核，對(duì)本

22、算例，檢核成果表明，其余觀測(cè)值不含超限誤差.建立統(tǒng)計(jì)假設(shè)H0（原假設(shè)、零假設(shè)）選一個(gè)合適的統(tǒng)計(jì)量U，并從子樣觀測(cè)值計(jì)算出U的觀測(cè)值u(u也稱統(tǒng)計(jì)量,也常用T、F表示)規(guī)定一個(gè)顯著水平（一般取0.05或0.01）求出在H0成立條件下能使P|u|u0|H0滿足的值u0.(u0稱為分位值)比較觀測(cè)值u(統(tǒng)計(jì)量)和u0(分位值)，如果|u|u0,則拒絕原假設(shè)H0 假設(shè)是否被接受會(huì)受到抽樣隨機(jī)性的影響正態(tài)分布：2分布：t分布：F分布：222( ,)()( )()( )( )XN uE Xxf x dxuD XxE xf x dx 22()21(0,1)( )( ,)2x uxuYNf xeu 221(0

23、,)( )nTiiXNEvX XXn2( ,)( , )TXN u EvX Xn=Tu u2(0,1)( )( )XXNYntt nY n 22()( )/(, )/umvnu mFF m nv n22()( )/( , , )/umvnu mFF m nv n25 監(jiān)測(cè)資料奇異值的檢驗(yàn)與插補(bǔ)“3準(zhǔn)則”剔除奇異值方法一：對(duì)于觀測(cè)數(shù)據(jù)序列x1,x2,xN,描述該序列數(shù)據(jù)的變化特征為 dj=2xj-(xj+1+xj-1) (j=2,3,N-1) 這樣，N個(gè)觀測(cè)數(shù)據(jù)可得N-2個(gè)dj，這時(shí)由dj值可計(jì)算序列數(shù)據(jù)變化的統(tǒng)計(jì)均值 和均方差一、監(jiān)測(cè)自動(dòng)化系統(tǒng)中觀測(cè)數(shù)據(jù)序列的奇異值 檢驗(yàn)d122NjjddN212()3NjdjddN3.jjjdjjdddqqx根據(jù)偏差的絕對(duì)值與均方差的比值當(dāng)時(shí)，則認(rèn)為 是奇異值，應(yīng)予以舍棄方法二：對(duì)觀測(cè)數(shù)據(jù)序列x1,x2,xN,可用一級(jí)差分方程進(jìn)行預(yù)測(cè)，其表達(dá)式為： 設(shè)觀測(cè)數(shù)據(jù)的中誤差為m（m的數(shù)值可根據(jù)長(zhǎng)期觀測(cè)資料計(jì)算得到，也可取經(jīng)驗(yàn)數(shù)據(jù)）112()(3,4,5,)jjjjjjjxxxxjNdxx 實(shí)際值與預(yù)測(cè)值之差 23,.djdjmdx當(dāng)則認(rèn)為 是奇異值，予以舍棄二、監(jiān)測(cè)資料的插