粗差定位及方法分類

1、1、粗差定位及方法分類粗差定位是在平差過程中，自動(dòng)發(fā)現(xiàn)粗差的存在，并正確的指出粗 差的位置，從而將它從平差中剔除。它不僅僅是個(gè)理論問題，而更主要 的是算法上的問題，要針對不同平差系統(tǒng)和可能出現(xiàn)的不同類型的粗差， 進(jìn)行由程序控制的自動(dòng)探測過程。處理觀測值中的粗差有兩種不同的模 型，一種是所謂“數(shù)學(xué)期望平移”模型，另一種是“方差擴(kuò)大”模型。一、數(shù)學(xué)期望平移模型這種方法的思想是在正式進(jìn)行最小二乘平差之前探測和定位粗差， 然后剔除含粗差的觀測值，得到一組比較凈化的觀測值，然后再作最小 二乘平差。含粗差的觀測值可以看作與其它同類觀測值具有相同的方差、不同 的期望的一個(gè)子樣，即：(2)Li N(E(LJ

2、二 2)( 1 )Lj N(E(Lj) pL)Li為正常觀測值，Lj為含粗差的觀測值。它意味著將粗差視為函數(shù)模型的一部分?？梢姡骄颇Ｐ褪菍?含粗差的觀測值Lj看作為與正常觀測值Li有相同方差不同期望。對此模 型，可根據(jù)平差的結(jié)果嚴(yán)格構(gòu)建相應(yīng)的統(tǒng)計(jì)量，在給定得顯著水平：0下，便可與臨界值Ka相比較，從而判斷相應(yīng)的觀測值是否包含粗差。二、方差擴(kuò)大模型含粗差的觀測值可以看作與其它同類觀測值具有相同的期望，但不 同的方差的子樣，含粗差觀測值的方差將異常得大，即：Li N(E(L芒 2)( 3)Lj N(E(Lj),a2二2),a21(4)可見，方差擴(kuò)大模型是將含粗差的觀測值Lj與正常觀測值Li視

3、為有相同的期望， 不同的方差，而且a2通常比1大的多。因此，平均漂移模型可以解釋為將粗差歸入函數(shù)模型，方差擴(kuò)大模 型則解釋為將粗差歸入隨機(jī)模型。2、粗差歸入函數(shù)模型時(shí)的粗差檢測方法當(dāng)粗差歸入函數(shù)模型時(shí)，單個(gè)粗差的檢測方法即知名的數(shù)據(jù)探測法。一、經(jīng)典粗差檢測法對于觀測數(shù)據(jù)中可能存在的粗差進(jìn)行檢驗(yàn)，傳統(tǒng)上大多采用幾何條 件閉合差w。在常規(guī)大地測量中，由于粗差和極限誤差的界限難以清晰的 區(qū)分，因此用W探測粗差存在著一定的困難， 特別是對于那些接近極限誤 差的W，情況更是如此。用殘差(改正數(shù))V檢測粗差對于常規(guī)大地測量、 衛(wèi)星大地測量和航空攝影測量都適用，它不但可以檢驗(yàn)觀測列中存在著的粗差，而且還可以

4、檢驗(yàn)起始數(shù)據(jù)粗差和數(shù)據(jù)傳輸過程中的其它可能出 現(xiàn)的粗差。利用殘差V檢驗(yàn)粗差的經(jīng)典方法是米用 3匚規(guī)則，這里廠-；0，當(dāng)Vj>o時(shí)，則認(rèn)為第i個(gè)觀測值Li存在粗差。這就是傳統(tǒng)上用殘差V檢驗(yàn)粗差的意義。二、數(shù)據(jù)探測法上述方法檢驗(yàn)粗差，在理論上是不嚴(yán)格的。因?yàn)閂N(O"o(l -H)Q )，故對V進(jìn)行標(biāo)準(zhǔn)化，應(yīng)當(dāng)用而不應(yīng)該用6，即wjWi N(0,1)而不是用Wi作為探測粗差的統(tǒng)計(jì)量，是Baarda數(shù)據(jù)探測法理論的核心。采用目前國際上公認(rèn)的 Baarda所選用的顯著水平:=0.001,由正態(tài)分布可查wi = 3.3(6)即以WiN(0,1)作為零假設(shè)Ho，若Vi ：3.3；“，則接受

5、零假設(shè)，也就是 檢驗(yàn)結(jié)果為在該顯著水平下不存在粗差；反之，若Vi卜3.3“則拒絕Ho判斷其有 粗查存在。用W作為探測粗差的統(tǒng)計(jì)量，有三種情況:(1) 在已知單位權(quán)方差的情況下， 有下列正態(tài)變量一標(biāo)準(zhǔn)化殘差:wiVivVi(7)(2) 當(dāng)未知單位權(quán)方差時(shí)，得到下列 t分布的檢驗(yàn)量:tiVi、qvHt i n u -1(8)其中(VPVPiVt2riBaarda粗差探測法每次只能檢驗(yàn)出一個(gè)粗差，當(dāng)存在幾個(gè)粗差時(shí)， 只有逐個(gè)進(jìn)行檢驗(yàn)，即首先剔除超出臨界值最大的那個(gè)觀測值，然后進(jìn) 行下一次平差求出殘差，仿照前述方法再一次進(jìn)行粗差探測，依此繼續(xù) 下去。三、數(shù)據(jù)探測法的缺點(diǎn)數(shù)據(jù)探測法在具體應(yīng)用中存在以下幾

6、點(diǎn)不足：(1)某些情況下單位權(quán)無法預(yù)知。（2） 易9除含粗差觀測值，減少了多余觀測分量，可能造成監(jiān)測網(wǎng)形虧，水準(zhǔn)網(wǎng)出現(xiàn)單線甚至不能平差的情況，某些點(diǎn)的高程無法計(jì)算， 形虧問題可以解決，但大大增加了平差的工作量。（3）由于粗差對每個(gè)觀測值都有影響，統(tǒng)計(jì)檢驗(yàn)中，棄真、納偽的 情況也是存在的，這樣，尤其在存在多個(gè)粗差時(shí)，第一次去掉的殘差最大的觀測值很有可能并不包含粗差，從而造成錯(cuò)誤的判斷。3、粗差歸入隨機(jī)模型時(shí)的粗差定位方法這種定位方法是根據(jù)逐次迭代平差的結(jié)果來不斷的改變觀測值得 權(quán)，使含有粗差的觀測值的權(quán)趨向于零，從而達(dá)到剔除粗差的目的。目 前常用穩(wěn)健估計(jì)的方法進(jìn)行粗差剔除。一、穩(wěn)健估計(jì)原理所謂穩(wěn)

7、健估計(jì)，是在粗差不可避免的情況下，選擇適當(dāng)?shù)墓烙?jì)方法， 是所估參數(shù)盡可能減免粗差的影響，得出正常模式下最佳或接近最佳的 估值。穩(wěn)健估計(jì)一般分為三類：M估計(jì)、L估計(jì)和R估計(jì)。M估計(jì)是一種廣義的極大似然估計(jì)，它是經(jīng)典的極大似然估計(jì)的推廣，易于實(shí)施。所以M估計(jì)在參數(shù)估計(jì)中應(yīng)用的較廣泛。本節(jié)將重點(diǎn)介紹M估計(jì)的概念及應(yīng)用。L估計(jì)是排序統(tǒng)計(jì)量線性組合估計(jì)，它需將觀測子樣按其大小排列。R估計(jì)是秩檢驗(yàn)型估計(jì)，我們只對 L估計(jì)、R估計(jì)的基本概念作一簡單介紹。廣義極大似然估計(jì)（M估計(jì)）最小二乘估計(jì)要求VTPV 二min（ 10）個(gè)別異常大殘差的出現(xiàn)將會導(dǎo)致平方和迅速增大，為了達(dá)到平方和極小 的目的，估值必然要遷就

8、那些異常值。所以，個(gè)別異常值會對整個(gè)估值 產(chǎn)生大的影響，這就啟示人們，如果用增長較慢的極小化殘差函數(shù)代替 平方和函數(shù)，是否可以得到比最小二乘估計(jì)較好的抗粗差性的估計(jì)呢？M估計(jì)正是基于這樣的想法。X進(jìn)行n次觀測，得（11）設(shè)有參數(shù)向量X,是未知的非隨機(jī)量，為了估計(jì) 到觀測向量L的觀測值I，由極大似然估計(jì)有nv In f （h, X）二 maxi =1或nv - In f （h,?）二 min（ 12）i其中f是隨機(jī)量L的密度函數(shù)?？梢杂?5，X）代替函數(shù)-Inf（h,?），使其定義廣泛化，于是可得11乞 p (h , X) = mini =1（13）或n'(h,?廠 0i =1（14）式

9、中cP(l x)' (l,X)(l,X)cX（15）由（13）和（14）出發(fā)，對參數(shù)X進(jìn)行估計(jì)，就是廣義極大似然估計(jì)， 簡稱M估計(jì)。在測量平差中，觀測量的平差為V，M估計(jì)的函數(shù)r可取為“Vi），M估計(jì)準(zhǔn)則為：n' '（Vi）二 min（ 16）i勻或n（Vi） = 0（ 17）i WM估計(jì)中的或t是任意適當(dāng)選取的函數(shù)，M估計(jì)的穩(wěn)健性與（或） 的選擇有關(guān)，例如，當(dāng)5）二 Pi Vi2（ 18）時(shí)，就是最小二乘估計(jì)，但不具有抗粗差性。選取不同的卩（或即），會得出不同的M估計(jì)，穩(wěn)健性也不相同。由于，選擇的不同，M估計(jì)將有不同的形式。所以，M估計(jì)不是指某個(gè)特定的估計(jì)，而是某一類

10、具有穩(wěn)健性的估計(jì)。在假定模型基本正確的前提下，穩(wěn)健估計(jì)具備抗大量隨機(jī)誤差和少 量粗差的能力，使所估參數(shù)達(dá)到最優(yōu)或接近最優(yōu)。抵抗少量粗差對參數(shù) 估值的影響是穩(wěn)健估計(jì)理論的研究重點(diǎn)，而抗粗差干擾強(qiáng)弱的標(biāo)志是能 容然多少個(gè)觀測粗差。因此穩(wěn)健估計(jì)不象最小二乘估計(jì)那樣，追求參數(shù) 估計(jì)在絕對意義上的最優(yōu)， 而是在抗粗差前提下的最優(yōu)或接近最優(yōu)。二、選權(quán)迭代法選權(quán)迭代法的基本思想是：從最小二乘進(jìn)行平差，得到第一組殘差， 在每次平差后，根據(jù)其殘差和有關(guān)的其他參數(shù)，按照所選取得權(quán)函數(shù)， 計(jì)算出下次迭代中觀測值相應(yīng)的權(quán)。而含粗差觀測值的權(quán)將越來越小， 直至趨近于零。迭代中止時(shí)，相應(yīng)的殘差將直接指出粗差的值，而平差

11、的結(jié)果也將不受粗差的影響， 從而實(shí)現(xiàn)粗差的定位剔除。隨著權(quán)函數(shù)的選取不同通常權(quán)是一個(gè)在平差過程中隨改正數(shù)變化的 量，經(jīng)過多次迭代， 從而使含有粗差的奇異觀測的權(quán)為零 （或接近于零） 而相應(yīng)的殘差值在很大程度上反映了其粗差值。這樣一種通過在平差過 程中的變權(quán)實(shí)現(xiàn)參數(shù)估計(jì)的穩(wěn)健性的方法，稱之為選權(quán)迭代法。 2其中權(quán)函數(shù)的選取應(yīng)該滿足下列條件：（1）通過迭代， 含粗差觀測值的權(quán)應(yīng)逐步趨近于零；（2） 測值的權(quán)。不含粗差觀測值的權(quán)， 在迭代中止時(shí)應(yīng)等于該組觀（3）權(quán)函數(shù)的選擇應(yīng)保證迭代過程能以較快的速度收設(shè)M估計(jì)的函數(shù)F可取為F(vJ , M估計(jì)的準(zhǔn)則為通常殘差V為未知參數(shù)的函數(shù)，將上式對未知參數(shù)X求

12、一階導(dǎo)數(shù)，并令其等于零，求出極值點(diǎn)n(20)臣F(v)貞/亠一邁F'(v)字9X只平差中的誤差方程Vi =biX -li(21)bi為b的第i行向量，則根據(jù)(20)式有(22)F'(Vi)ViI令匚凹為權(quán)函數(shù)Pi(Vi)，則上式成為: Vi(23)將(21)代入上式得n、bpg )(dx Tj = 0i d若以矩陣形式表示上式則為:BtP(v)Bx _ BtP(v)I =0( 25)上式與最小二乘估計(jì)中的法方程形式完全一致，只是用權(quán)函數(shù)代替 了觀測權(quán)陣。因此，穩(wěn)健估計(jì)的選權(quán)迭代法可以歸結(jié)為如下模型：V 二 Bx -1權(quán)函數(shù)為P(V)，估計(jì)準(zhǔn)則為VTP(V)V=min( 26)這

13、與最小二乘模型極為相似，不同的是權(quán)函數(shù)計(jì)算前未知，式殘差 的函數(shù)，只能通過給其賦予一定的初值，迭代估計(jì)參數(shù)。1、列立誤差方程，令各觀測權(quán)函數(shù)初值均為 1 ；2、計(jì)算法方程，得出x和V的第一次估值x1 =(BtB) 4Bt|，V1 Hx1 l。3、根據(jù)V1和所選取的權(quán)函數(shù)計(jì)算個(gè)觀測值的權(quán)，再解算法方程，類 似迭代計(jì)算，直至前后兩次解的差值符合限差的要求為止。4、最后的結(jié)果為V =Bxn _l權(quán)函數(shù)的選取有多種不同的形式，比較常用的方法也有多種，下面 我們簡要介紹幾種。1、 Huber法權(quán)函數(shù)為1P (V i )=丿 2 g|V |V |_ 2二|V | 2c(29)由Huber權(quán)函數(shù)可以看出，當(dāng)

14、所有的改正數(shù)均在2二與2匚之間時(shí)，Huber估計(jì)就是經(jīng)典最小二乘估計(jì)。當(dāng)有觀測值的改正數(shù)大于2-時(shí)，對應(yīng)得權(quán)函數(shù)就越小，相應(yīng)的該觀測值對參數(shù)估計(jì)的影響就越小。當(dāng)觀測 值改正數(shù)遠(yuǎn)遠(yuǎn)大于2二時(shí)，其權(quán)就接近于零，則該觀測值對參數(shù)估計(jì)的影 響就變得微乎其微。2、丹麥法丹麥法的出發(fā)點(diǎn)也是經(jīng)典的最小二乘平差。用第一次平差的殘差， 根據(jù)下列的權(quán)函數(shù)計(jì)算各觀測值的權(quán)進(jìn)行下一次迭代：P(V)me*v2當(dāng)V乞2j當(dāng) V -0(30)按經(jīng)驗(yàn)，丹麥法得權(quán)函數(shù)進(jìn)行粗差檢驗(yàn)比較有效。通常要經(jīng)過510次迭代。最后受粗差影響的觀測值的權(quán)變?yōu)榱?，而它們的殘差將直接?出粗差的數(shù)值，平差的結(jié)果也將不受或少受粗差的影響。3、一次范

15、數(shù)最小法（L'估計(jì)） 權(quán)函數(shù)為p(v)- IV |為避免v=o時(shí)出現(xiàn)計(jì)算問題，計(jì)算時(shí)上式取為:1P（V） = （ 32）|V |七，（32）相對于v是一個(gè)很小的值。4、p范數(shù)最小法（LP估計(jì)）(33)P(V)二式中p取值為0,2。目前測繪界出現(xiàn)了很多選權(quán)迭代的方法。這些方法的共同點(diǎn)都是用 殘差的函數(shù)作為觀測值的權(quán)，不同的只是權(quán)函數(shù)的形式。§ 2.4實(shí)例分析一、咼程控制網(wǎng)粗差剔除實(shí)例我們以蘇通大橋北岸高程控制網(wǎng)為例。蘇通長江公路大橋北岸高程 控制網(wǎng)共有13個(gè)首級控制點(diǎn)，記為A1A13,其中A1（即STBM-1）為起算 點(diǎn)，起算高程H=1.6840m,該起算點(diǎn)高程由北岸的狼山巖點(diǎn)

16、聯(lián)測起算一等 水準(zhǔn)得到，布設(shè)情況如圖1所示?？刂凭W(wǎng)采取間接平差法進(jìn)行平差計(jì)算。平差以待定點(diǎn)高程為未知數(shù)， 以測段距離定權(quán)，根據(jù)不同觀測量觀測高差中誤差確定權(quán)系數(shù)比。平差兀素為：等水準(zhǔn)觀測的各測段咼差（咼差施加以下改正：標(biāo)尺長度誤 差改正、正常水準(zhǔn)面不平行改正和重力異常改正）。觀測數(shù)據(jù)如表1所示ST15S3TBR-3STO75STU3STD1S路線觀測值權(quán)路線觀測值權(quán)路線觀測值權(quán)A1-A70.97470.3226A2-A1-1.87460.2703A12-A11-1.75490.7692A7-A83.19305A2-A40.17400.8333A11-A10-0.38210.7692A8-A9-

17、.104610 1A4-A5P -0.09390.7692A7-A1-0.97450.3226 A9-A10-2.25661.4286A5-A6-0.96322.5A8-A7-3.19335A10-A3-1.49431.4286A6-A133.30650.5882A3-A21.56232.5A13-A12-0.35460.7143無粗差情況下各種方法平差的結(jié)果如 2表所示點(diǎn)號A2A3A4A5A6A7A8A9正確結(jié)果3.55861.99623.73263.63872.6755:2.65875.85175.7471Huber 法3.55861.99623.73263.63872.67552.658

18、75.85175.7471一次范數(shù)最小法3.55851.99603.73243.63852.67532.65875.85125.7467p范數(shù)最小法3.55841.996593.73243.63852.67522.65875.85095.7464驗(yàn)后方差估計(jì)法3.55861.99623.73253.63892.67572.65875.85175.7471基于線性規(guī)劃的Huber 法3.55861.99623.73253.63892.67572.65875.85175.7471基于線性規(guī)劃的 一次范數(shù)最小法3.55861.99623.73263.63902.67582.65875.85175.7

19、471最小二乘法3.55861.99623.73253.63892.67572.65875.85175.7471A10A11A12A133.49053.87265.62755.9820 :3.49053.87265.62755.98203.49033.87235.62725.98183.49013.87225.62715.9817 :3.49053.87265.62765.98223.49053.87265.62765.9822 :3.49053.87265.62755.98213.49053.87265.62765.9822 :從上表可以看出，在無粗差的情況下，包括最小二乘法平差在內(nèi)，各 種

20、方法平差的結(jié)果基本一致，與正確結(jié)果基本無差異，說明各種方法在 無粗差情況下平差的正確性和有效性。用數(shù)據(jù)探測法對平差觀測值改正數(shù)進(jìn)行檢驗(yàn)，無粗差存在。為了說明選權(quán)迭代法在粗差剔除中的應(yīng)用，我們在觀測數(shù)據(jù)A8 A7中加入2mm勺粗差，即其觀測值為-3.1910。則各種方法的高程平差結(jié)果 如表2所示，觀測值改正數(shù)如表 3所示。表2高程平差值(m)點(diǎn)號A2A3A4A5A6A7A8A9正確結(jié)果3.55861.99623.73263.63872.67552.65875.85175.7471Huber 法3.55861.99623.73263.63872.67552.65875.85175.7471 :一次

21、范數(shù)最小法3.55851.99603.73243.63852.67532.65875.85125.7468p范數(shù)最小法3.55841.99593.73243.63852.67522.65875.85095.7464最小二乘法3.55811.99573.73203.63812.67492.65895.85095.7463A10A11A12A133.49053.87265.62755.98203.49053.87265.62755.9820 :3.49033.87235.62725.98183.49013.87225.62715.98173.48983.87195.62685.9814表3 觀測值改正數(shù)（mn）路線A1-A7A7-A8A8-A9A9-A10A10-A3A3-A2A2-A1A2-A4正確結(jié)果-0.03-0.010.000.00-0.03-0.01-0.01-0.03Huber 法0.000.00:0.000.000.010.010.00 :0.01一次范數(shù)最小法0.03-0.56