第二章、觀測資料的檢核與數(shù)據(jù)篩選

1、教學(xué)目的： 1.使學(xué)生明確觀測資料的檢核與數(shù)據(jù)篩選的意義 2.掌握一元線性回歸法進(jìn)行資料的檢核 3.對于監(jiān)測網(wǎng)數(shù)據(jù)篩選教學(xué)重點(diǎn)：觀測資料檢核的方法及監(jiān)測網(wǎng)數(shù)據(jù)篩選算法教學(xué)方法：講授、習(xí)題21 觀測資料檢核的意義與方法一、觀測資料檢核的任務(wù)1.通過不同方法的驗(yàn)算、不同人員的重復(fù)計(jì)算來消除觀測資料中可能帶來的錯(cuò)誤。2.設(shè)法找出觀測中較大的誤差（超限誤差） 二、觀測資料的統(tǒng)計(jì)檢驗(yàn)的必要性 眾所周知，對于任何測量，為防止可能的粗差，均制定有一定的觀測綱要，如：三角測量中：每一測站中歸零差、2c互差、測回差等均有限值 三角形內(nèi)角和與180之差 極條件閉合差 平差后單位權(quán)中誤差 均有限差 大壩水平位移觀測

2、中，視準(zhǔn)線法測定各點(diǎn)偏離值時(shí)，均要多次讀數(shù)， 多次讀數(shù)之間也有相應(yīng)的限差，以便進(jìn)行檢核。 盡管觀測中制定了一系列限差，但是所測觀測值中仍可能帶來較大的誤差。（雖然它們出現(xiàn)的概率較小，但由于觀測的隨機(jī)性，仍可能在少數(shù)觀測中出現(xiàn)）。這一點(diǎn)已被測量實(shí)踐所證實(shí)。如： 每一測站觀測均滿足限差要求，但仍然發(fā)現(xiàn)三角形閉合差超限。 三角形閉合差均合格后，還發(fā)現(xiàn)極條件不符值不合格 極條件不符值合格后，還可能發(fā)現(xiàn)單位權(quán)中誤差超限 所以，為了能從觀測值中盡可能消除較大的誤差，保證測量的高精度，從而盡可能減少觀測誤差對變形分析的影響，對變形觀測資料進(jìn)行統(tǒng)計(jì)檢驗(yàn)是十分必要的。三、觀測資料檢核的方法 一般，任一觀測元素（

3、高差、方向值、偏離值、傾斜值）在野外觀測中均具有本身的觀測檢核方法。進(jìn)一步的檢核必須利用觀測元素之間的關(guān)系進(jìn)行。如：水準(zhǔn)：閉合差； ：閉合差 各觀測元素之間關(guān)系可分為兩類：函數(shù)關(guān)系與統(tǒng)計(jì)相關(guān)關(guān)系 函數(shù)關(guān)系：如三角形三個(gè)內(nèi)角 統(tǒng)計(jì)相關(guān)關(guān)系：如：建筑物不同高度處的撓度值Si的影響因素很多，無法用一種數(shù)學(xué)式來表達(dá)各撓度值之間的因果關(guān)系。但從另一方面看，各觀測點(diǎn)在同一建筑物上，處于類似的因素作用下，因而各點(diǎn)所測撓度值將存在較密切的關(guān)系，即這些撓度值之間是統(tǒng)計(jì)相關(guān)的。如 圖 ， 某 壩1973年三個(gè)壩段水平位移過程線，由圖看出各壩段之間位移相關(guān)性是非常密切的。 0.98.遠(yuǎn)遠(yuǎn)大于=0.01的 臨界=0.

4、43.因此，建筑物不同部位變形值之間的相關(guān)性，使我們可能利用回歸分析來對觀測資料進(jìn)行檢核。某壩三個(gè)壩段水平位移過程線22 用一元線性回歸進(jìn)行資料的檢核一、一元線性回歸的數(shù)學(xué)模型00()iiiiiiiyxvvyxv i=1,2,N 是隨機(jī)誤差，一般假設(shè)它們相互獨(dú)立，且服從同一正態(tài)分布N(0, )x y回歸分析 相關(guān)分析2000000-100() min202() 0 0() 0TTvvyxvvyxyx xnxybX XX Ybxxxxy 下，對、 求微分整理后得 經(jīng)變換后得：00011()TTyxbX XX Yb0(1)()Txx回歸方程：偏離差：回歸方程求因變量估值的中誤差：二、相關(guān)系數(shù) 回歸

5、直線前提：y與x線性相關(guān). 相關(guān)系數(shù)檢驗(yàn)法的臨界值如表所示：00 ybbxbb ， 為回歸方程系數(shù)vyy2vvsN=xyxy 12211()()()()NaaxyaNNxyaaaaxxyySS Sxxyy,yx yx分別為自變量 和因變量 的平均值.自由度置信水平自由度置信水平自由度置信水平515151123456789101112131415160.9970.9500.8780.8110.7540.7070.6660.6320.6020.5760.5530.5320.5140.4970.4820.4681.0000.9900.9590.9170.8740.8340.7980.7650.735

6、0.7080.6840.6610.6410.6230.6060.590171819202122232425262728293035400.4560.4440.4330.4230.4130.4040.3960.3880.3810.3740.3670.3610.3550.3490.3250.3040.5750.5610.5490.5370.5260.5150.5050.4960.4870.4780.4700.4630.4560.4490.4180.39645506070809010012515020030040050010000.2880.2730.2500.2320.2170.2050.1950

7、.1740.1590.1380.1130.0980.0880.0620.3720.3540.3250.3020.2830.2670.2540.2280.2080.1810.1480.1280.1150.087相關(guān)系數(shù)檢驗(yàn)法的臨界值相關(guān)系數(shù)檢驗(yàn)法的臨界值三、用一元線性回歸對變形資料進(jìn)行檢核的實(shí)例 表1給出了某壩3個(gè)壩段3年的水平位移觀測資料，為分析它們之間互相進(jìn)行檢核的可能性，首先探討它們之間的相關(guān)程度。1973年 11期觀測資料1974年 12期觀測資料1975年 12期觀測資料據(jù)最小二乘法原理，建立回歸方程根據(jù)回歸方程按10計(jì)算的1976年、1977年壩段11水平位移的估值與實(shí)測值比較見表2

8、.10-1112 11=0.9860.335(0.05)=0.9710.430(0.01)臨界臨界11101112=-0.013+0.983=-0.004+0.94110111210111219732-13-24-35-46-57-61.77-2.460.10-1.131.98-1.392.23-2.86-0.12-1.032.12-1.552.14-3.090.38-1.242.30-1.9719738-79-810-911-1012-11-0.031.360.192.080.01-0.181.260.682.23-0.050.101.230.352.62-0.2119741-122-13-

9、24-35-46-51.97-1.740.39-2.06-5.414.421.56-1.490.45-2.30-5.304.511.34-1.690.52-2.09-5.494.7119747-68-79-810-911-1012-11-0.86-2.361.291.440.900.83-1.29-2.291.121.411.580.49-0.79-2.651.211.321.592.0519751-122-13-24-35-46-50.090.93-2.540.35-1.01-0.530.480.61-2.49-0.38-0.62-1.01-1.330.78-2.26-0.28-0.70-1

10、.0219757-68-79-810-911-1012-11-1.450.581.15-0.560.406.14-0.680.600.72-0.560.565.83-0.790.620.60-0.361.545.24表1 某壩3個(gè)壩段的水平位移觀測資料（單位：mm）X(壩段壩段10)y(壩段壩段11)1976X(壩段壩段10)y(壩段壩段11)1977觀測值計(jì)算值差觀測值計(jì)算值差0.02-2.27-0.38-1.80-0.570.190-0.041.87-0.210.17-0.03-2.58-0.24-2.41-0.19-0.27-0.020.331.580.560.290.03-2.24-0

11、.37-1.77-0.550.200.01-0.031.86-0.200.19-0.06-0.340.13-0.640.36-0.47-0.030.36-0.280.760.101.78-1.92-0.12-2.960.062.40-2.741.100.701.19-0.641.27-2.220.18-2.130.290.06-4.021.191.540.7301.77-1.89-0.10-2.920.072.39-2.701.100.701.19-0.62-0.50-0.330.280.790.22-2.33-1.320.090.84-0.460.62表2 按10計(jì)算的1976年、1977年

12、壩段11水平位移的估值與實(shí)測值的比較 單位（mm） 由表2知：絕大多數(shù)差數(shù)均在觀測精度之內(nèi)，個(gè)別值1977年有2個(gè)觀測值與計(jì)算值差-2.33，-1.32，超過觀測精度之估值中誤差s=0.33mm. 如果當(dāng)時(shí)按11=0.013+0.98310式進(jìn)行統(tǒng)計(jì)檢驗(yàn)，則對這些觀測值可立即進(jìn)行復(fù)測，以免日后分析時(shí)產(chǎn)生疑問。23 監(jiān)測網(wǎng)觀測資料的數(shù)據(jù)篩選 監(jiān)測網(wǎng)的觀測元素之間存在一定的因果關(guān)系，可以用數(shù)學(xué)式把不同觀測元素聯(lián)系起來，但由于觀測中存在偶然誤差，為了檢驗(yàn)觀測中是否存在超限誤差，需要利用統(tǒng)計(jì)檢驗(yàn)方法. 一、超限誤差的整體檢驗(yàn) 測量平差的主要任務(wù)是對一系列帶有偶然誤差的觀測值，運(yùn)用最小二乘原理求未知量的

13、最或然值并評定測量成果的精度。 有超限誤差的觀測向量， 用表示超限誤差向量。1122lnlln維維對于參數(shù)平差，數(shù)學(xué)模型為： 整體檢驗(yàn)判斷觀測向量中是否伴隨有超限誤差：11120222 lVAOXD lQlVAI （1） 0112220,0,0:01(1):2V(,)HHTTbbHlAVXlAVlVA XVP VbVP VFFbbFFFF式 寫 為 可 用計(jì) 算 母 體 方 差 估 值 ： （ 2 ） 成 立 拒 絕二、超限誤差的局部檢驗(yàn) 先假設(shè)只有一個(gè)觀測值伴隨超限誤差(1)式可寫為：法方程式為：利用分塊矩陣求逆可解得：()iiXlVAeT(0,0,1,0,0)ie =TTTiTTTiiii

14、iXA PAA PeA Ple PAe Pee Pl-=TiiTiVVie PVe PQ Pe （3）分塊矩陣求逆1-1-111111111111111111+()()()()()()TTiTTiiiABA PAA PeMCDe PAe PeABEFCDGHAA B DCA BCAA B DCA BDCA B CADCA BABD CAA B DCA BCA F檢驗(yàn)法0iiii 12210222022200H003()() ()(1,)()HTdiVViTTidTiVViTiTiVVidQe PQ Pee PVSd Qde PQ PeSe PVFe PQ Pe ,1,0,1,：不是超限誤差，即

15、為此求： 由（ ）式得： 由此得： 構(gòu)造F= FF 拒絕H011 1()LLTBBXXTVVBBQQQNB PBQQBNBB檢驗(yàn)法（u檢驗(yàn)法）00000:i()00(0,1)PHHii iiTiiiTiVViiiv viiHlEie PVWue PQ PevWqWuWu 第 個(gè)觀測值 不伴隨有超限誤差 對于一般情況，觀測值權(quán)陣 為對角陣， 則: 接受 拒絕VVV=R =QPE=EV =V當(dāng) 僅是偶然誤差，不含粗差時(shí) （ ）0 （ ）0當(dāng) 僅是偶然誤差，不含粗差時(shí)為子態(tài)隨機(jī)變量檢驗(yàn)法t檢驗(yàn)法200=i iTiifv vvV PVfq ( )0i iikv vvtq( )( )20()1TkkV

16、PVf（ ）21-22121-2(1)( )1(1)f tffftf 三、超限誤差的檢驗(yàn)步驟對變形監(jiān)測網(wǎng)各周期觀測值分別進(jìn)行經(jīng)典平差，求得未知數(shù)向量 及其協(xié)因數(shù)陣 ，由此計(jì)算 按(2)式構(gòu)造F統(tǒng)計(jì)量并檢驗(yàn). 當(dāng)檢驗(yàn)結(jié)果認(rèn)為存在超限誤差時(shí)，則計(jì)算利用向量 中元素與矩陣 主對角線上相應(yīng)元素計(jì)算 ，并取 相應(yīng)的觀測值 作為可能伴 隨有超限誤差的觀測值.XT-1XX()Q=(A PA)TTXXXXVAQA PllAQA PI l XXQVVVQi iiv vvqmax()i iiv vvqkl()()TTTTVVXXllXXllXXQAQA PI QAQA PIQAQA利用B檢驗(yàn)法或檢驗(yàn)法、t檢驗(yàn)法對

17、原假設(shè)進(jìn)行統(tǒng)計(jì)檢驗(yàn).當(dāng)原假設(shè)被接受，則認(rèn)為監(jiān)測網(wǎng)觀測值中未包含有超限誤差.否則，觀測值lk 被認(rèn)為受到超限誤差的影響，應(yīng)予剔除.在原假設(shè)被拒絕時(shí)，剔除lk，重復(fù)步驟13，直至沒有理由懷疑還有超限誤差存在 (即接受原假設(shè)) .24 數(shù)據(jù)篩選算例1223310142434450.06849.707500.081471.32620.27530.008hhhhhhh00.13,mm 試檢驗(yàn)觀測向量中是否包含超限誤差。mm（單位：）解：1.組成誤差方程與法方程式設(shè)取12站之水準(zhǔn)測量誤差為單位權(quán)中誤差，則觀測值權(quán)陣與協(xié)因數(shù)陣為： 設(shè)點(diǎn)1的高程為H1，點(diǎn)2,3,4之高程為x2，x3，x4，且設(shè)H1=0，則誤

18、差方程可寫成：31036063llP10.333100.33330.166700.16670.3333llllQP121223232313131414424243434100110010001101011vhvhxvhVxvhxvhvhVAXl10161178.8471731639.97463152859.582TTNA PAA Pl 法方程系數(shù)陣和常數(shù)項(xiàng)向量為： 2.解法方程式并作整體檢驗(yàn)，求.VVVQ、10.14611870.05022830.06849320.05022830.17351600.05479450.06849320.05479450.1050228XXQN450.48655

19、00.4626470.9258TXXXQA Pl0.41850.26910.38160.40020.16430.4712VAXl 22000=2.82372.8237=55.693 0.13TTV PVV PVFbH計(jì)算求得 拒絕，認(rèn)為觀測值中包含有超限差觀測值。3.計(jì)算局部檢驗(yàn)統(tǒng)計(jì)量與假設(shè)檢驗(yàn)0.18720.09590.0502-0.06850.0776-0.01830.78080.12330.0137-0.08220.13700.15980.05480.0046-0.11870.06160.0365-0.05020.05250.03190.1643TVVuXXQQAQA對稱00()0iii

20、iiiiiv viiv vikv vvBWqvqvttq在檢 驗(yàn) 法 檢 驗(yàn) 法 檢 驗(yàn) 法 ( )000i iiv vkvq其公共部分 不同部分 、1 12 23 34 45 56 64 41234564140.96730.30450.95461.61240.71701.1625maxi iv vv vv vv vv vv viv vv vvvvqqqvvvqqqvvhqq，顯然， 相應(yīng)觀測值為。014B=0.13 12=0.451.61243.580.45W 檢驗(yàn)法121412140.05,1.963.581.96.uWuh懷疑含超限誤差T140.975V PV =0.976-31.612

21、4=1.660.972,0.05(2)4.30mmft0 檢驗(yàn)法時(shí)查20.9752140143 4.30=1.6453-1+4.30=1.661.645.H ,.h分位值：（3）故拒絕認(rèn)為含超限誤差222014140.975()=2.600() =2.8237-2.600=0.22370.22370.334531.61244.820.334=4.82(2)4.30.kkkkkkTkTkV VkkV VV VTktVV PVV PVqVVqqV PVttt（k）14 檢驗(yàn)法對此算例，觀測值間相互獨(dú)立故有 懷疑h 含超限誤差統(tǒng)計(jì)檢驗(yàn)的步驟：統(tǒng)計(jì)檢驗(yàn)的步驟：剔除h14后，需對其余觀測值進(jìn)行檢核，對本

22、算例，檢核成果表明，其余觀測值不含超限誤差.建立統(tǒng)計(jì)假設(shè)H0（原假設(shè)、零假設(shè)）選一個(gè)合適的統(tǒng)計(jì)量U，并從子樣觀測值計(jì)算出U的觀測值u(u也稱統(tǒng)計(jì)量,也常用T、F表示)規(guī)定一個(gè)顯著水平（一般取0.05或0.01）求出在H0成立條件下能使P|u|u0|H0滿足的值u0.(u0稱為分位值)比較觀測值u(統(tǒng)計(jì)量)和u0(分位值)，如果|u|u0,則拒絕原假設(shè)H0 假設(shè)是否被接受會受到抽樣隨機(jī)性的影響正態(tài)分布：2分布：t分布：F分布：222( ,)()( )()( )( )XN uE Xxf x dxuD XxE xf x dx 22()21(0,1)( )( ,)2x uxuYNf xeu 221(0

23、,)( )nTiiXNEvX XXn2( ,)( , )TXN u EvX Xn=Tu u2(0,1)( )( )XXNYntt nY n 22()( )/(, )/umvnu mFF m nv n22()( )/( , , )/umvnu mFF m nv n25 監(jiān)測資料奇異值的檢驗(yàn)與插補(bǔ)“3準(zhǔn)則”剔除奇異值方法一：對于觀測數(shù)據(jù)序列x1,x2,xN,描述該序列數(shù)據(jù)的變化特征為 dj=2xj-(xj+1+xj-1) (j=2,3,N-1) 這樣，N個(gè)觀測數(shù)據(jù)可得N-2個(gè)dj，這時(shí)由dj值可計(jì)算序列數(shù)據(jù)變化的統(tǒng)計(jì)均值 和均方差一、監(jiān)測自動化系統(tǒng)中觀測數(shù)據(jù)序列的奇異值 檢驗(yàn)d122NjjddN212()3NjdjddN3.jjjdjjdddqqx根據(jù)偏差的絕對值與均方差的比值當(dāng)時(shí)，則認(rèn)為 是奇異值，應(yīng)予以舍棄方法二：對觀測數(shù)據(jù)序列x1,x2,xN,可用一級差分方程進(jìn)行預(yù)測，其表達(dá)式為： 設(shè)觀測數(shù)據(jù)的中誤差為m（m的數(shù)值可根據(jù)長期觀測資料計(jì)算得到，也可取經(jīng)驗(yàn)數(shù)據(jù)）112()(3,4,5,)jjjjjjjxxxxjNdxx 實(shí)際值與預(yù)測值之差 23,.djdjmdx當(dāng)則認(rèn)為 是奇異值，予以舍棄二、監(jiān)測資料的插