第1章 估計方法和廣義平差

#alnf(x/1)(1-5-2)此方程稱為驗后方程。因為x=Xmaf(1,x)f(X/1)=f(1)2lnf(x/1)=lnf(1,x)—lnf(1)2將上式對x求導(dǎo)，則有alnf(x/1)alnf(1,x)ax

由此可知，[ax

由此可知，[例1-5-1]ax極大驗后估計的準則(1-5-1)式也等價于f(1,x)=max設(shè)有觀測值L=(LL12]t，觀測方程為1-5-3)L=x3+A,(i=l,2,…,n)ii?N(0,b2)，?N(0,b2)，0iA?N(0,b2)，試求x的極大驗后估值X?。AMA解因x和A的概率密度為i由此可得所以f1(x)fA(Ai)1f=exp<—2冗b[:fexP<—Ix1v2冗bAx2I2g2JxA2〕

2g2\Af(l/x)if(l/x)f(1,x)f1(x)2(1—x3)2〕:r2g2iAexp[—L(1—X3)2i7=12g2A1（、:2兀）則由驗后方程得：ax即有或?qū)憺椤?1-x3)21ix21-c/=1r2Q2Q2Ax丿expn+1QnQf(l)Ax2￡(1-x3)2iQ2A￡3x2(x3MAMA2x2Q2xx二xMA-l)2i2x?MA=0Q2x3￡?Ii=iQA丿3.x5Q2MAA解此方程就可得到極大驗后估值x?MA。下面討論X和L均為正態(tài)隨機向量的的情況。x?2MA1?0+x=0Q2MAx因為此時條件概率密度為其中D(X/1)|-2exp<—1(x—E(X/1))TD-1(X/1)(x—E(X/1))1-5-4)1-5-5)E(X/1)=卩+DD-1(L-卩)XLLL-DD-1D(1-5-6)XXLLLX上式中各個符號的意義均與1-3中相同。將(1-5-4)式代入驗后方程(1-5-2)，有—fx-E(X/1))tD-1(X/1)(1-E(X/1))「ax則得=0x=XMA所以(X?-E(X/1))TD-1(X/1)=0MA亦即X=E(X//)MA估值j?X?MA的估計誤差為=E(X/1)=卩+DD-1(L-卩)xXLLL1-5-8)MAA=X—X=X——DD-1(L—)X?MAMAxXLLL].「X1L由協(xié)方差傳播律可得X?的誤差方差陣為=t—DD-1丄XLL+(DD-1卩一卩)XLLLx(1-5-9)D(A)=tXMA

即得：「DD1「E1DD—1XXLXLLDD—DD-1LXLXLLMAD(A)=DXxMA—DD—1D=D(X/l)XLLLX(1-5-10)(1-5-8)和(1-5-10)式就是當X、L為正態(tài)隨機向量時，極大驗后估計求X的估值￡

及其誤差方差的基本公式。MA由(1-5-8)式不難看出，￡是X的無偏估值。[例1-5-2]設(shè)有觀測方程MAL=BX+A也設(shè)X和△為正態(tài)隨機向量，A?N(0,D)，X?N(卩,D)，cov此時有xX(1-5-11)(X,4=0。X=X=BDXa'卩=E(L)=B卩LxD=BDBT+DLDLX將它們代入1-5-8)式即得：=E(X/l)—卩它的誤差方差陣為D(A)=D—DXXXMABT(BDBTXX+D)-1(L—B卩)AxBT(BDBT+D)XXA1BDX1-5-12)(1-5-13)從上面的討論可知，由于極大驗后估計考慮了參數(shù)X的先驗統(tǒng)計特性，因此，當參數(shù)的先驗期望卩和先驗方差D已知時，極大驗后估計改善了最小二乘估計，此時，xX極大驗后估值X?的誤差方差要小于其最小二乘估值￡「J勺誤差方差。MALS1-6最小方差估計最小方差估計是-種以估計誤差的方差為最小作為準則的估計方法，即根據(jù)觀測向量L求得參數(shù)X的估值，如果它的誤差方差比任何其它估值的方差小，就認為這個估值是最優(yōu)枯值。記X的最小方差估值為￡或￡(L)oMVMV設(shè)任-估值為X?，其估計誤差為A=X—X?，而誤差方差陣為D(A)=E■—X)(X—X)tLJg(x—X)(x—X)Tf(x,l)dxdl、—gX—g彳I—g=JgJg(x—x?)(x—x?)Tf(x/l)dxf(l)dl(1-6-1)—g—g2

—g—g當D(A)取最小值時的￡就是最小方差估值X。因(1-6-1)式表示的方差陣是-XMV個非負定對稱陣，所以，為了求得使D(A)取得最小值的￡，只需要求下式的最XMV小值，即得：屮=J?(x一x)(x一x)tf(x/1)dx(1-6-2)由上式可寫出屮二「lx-E(X/1)+E(X/1)-x}{-E(X/1)+E(X/1)-xbf(x/1)dx一?因為J?f(x/1)dx=1-?J?lx-E(X/1)}f(x/1)dx=0-?化簡得-?屮=J?L-E(X/1)}{-E(X/1)}tf(x/1)dx+(E(X/1)-x)(E(X/1)-f)t(1-6-3)-?由于(E(X/1)-x)(E(X/1)-x)t總是-個非負定陣，所以1-6-4)1-6-5)V>J??-E(X/1)}{-E(X/1)}tf(x/1)dx1-6-4)1-6-5)欲使屮取得最小值，就應(yīng)使上式取等號，此時應(yīng)使即得參數(shù)的最小方差估值為XMV=E(X/1)而最小方差估值X的誤差方差陣為MVD(A)=E(X-E(X/1))(X-E(而最小方差估值X的誤差方差陣為MVD(A)=E(X-E(X/1))(X-E(X/1))T}XMV=J?-?-?(x-E(X/1))(x-E(X/1))tf(x/1)dx-f(1)d12它是估計誤差的最小方差陣。D(A)=J?D(X/1)f(1)d1X2-?E(X)=J?E(X/1)f(1)d12MV-?J?J?(x/1)dx}f(1)d12J?xJ?{f(x,1)d1}xJ?xf(x)dx=E(X)11-6-6)1-6-7)因J?f(x,1)d1=f(x)1-?-?可見，￡是X的無偏估計量。MV可以看到，當X和L都是正態(tài)隨機向量時，X的最小方差估值X和它的極大驗后估MV值￡是相等的。然而，當X和L不都是正態(tài)隨機向量時，￡就不-定等于￡了。MA1-7線性最小方差估計MVMA前面所述的極大似然估計、極大驗后估計和最小方差估計，均要求知道觀測向量L和未知參數(shù)向量x的條件概率密度或聯(lián)合概率密度，它們所得到的估計量￡可以是L的任意函數(shù)。而最小二乘估計可以不需要知道任何統(tǒng)計性質(zhì)，所得到的估計量￡是LLS的線性函數(shù)，所以說最小二乘估計是-種線性估計。本節(jié)的線性最小方差估計則是放寬對概率密度的要求，只要求已知L和X的數(shù)學(xué)期望和方差、協(xié)方差，以及限定所求的估計量是觀測向量L的線性函數(shù)，再以估計量的均方誤差達到極小為求最優(yōu)估計量的準則。這樣得到的估計量稱為線性最小方差估計量，并記為J?(L)或。LL設(shè)已知觀測向量L的數(shù)學(xué)期望和方差為y和D，參數(shù)向量X的先驗期望和方差為LLnx1nxny和D，L和X的協(xié)方差為D，又設(shè)估計量X是L的線性函數(shù)xLLX1-7-1)tx1txtnxt1-7-1)X=a+BL式中a和B：只是非隨機常數(shù)向量和系數(shù)矩陣。此時，￡的誤差向量是tx1txn(1-7-2)a=X—X=X-a+BL(1-7-2)X的數(shù)學(xué)期望和方差分別為而A.XE(AXXE(A)=y-a而A.XE(AXXE(A)=y-a+BpXxD(A)=D+BDBtXXL的均方誤差陣為L-D卩tXL-卩DLX(1-7-3)(1-7-4)即得e(aa)=Xxat)=E(A-E(A)+E(A))(A

"(XX"二EIA,-E(A))(A,XXXJ+E(A))T}XXTX-E(A—E(A))tLE(A)E(A)XX八)X

+BDBTLE(A)E(A)T+D(AXXE(A)E(A)T＋DXXx將上式配方，則有E(AAt)=E(A)E(A)tXXXX+(B-DD-1)D(B-DD-1)+D-DD-1DXLLLXLLXXLLLX-DBt-BDXLLX(1-7-5)上式右邊第一、二項都是非負定陣，而第三、四項均與a、B無關(guān)。顯然，為使(1-7-5)式中的E(AAt)達到極小，惟-的解就是選取a、B，使(1-7-5)式右邊的第一、X?X?項等于零，亦即使

(1-7-6)(1-7-7)E(A)=E(X-X)(1-7-6)(1-7-7)X卩=DD-1XLL將(1-7-6)和(1-7-7)兩式代入(1-7-3)式可得：a=p-DD-1p(1-7-8)xXLLL再將(1-7-7)和(1-7-8)兩式代入(1-7-1)式，即得線性最小方差估計量X=p—+DD-1(L-p)(1-7-9)TOC\o"1-5"\h\zLxXLLL因為E(A)=0，所以，A的方差D(A)可由(1-7-5)式得出XXXD(A)=D-DD-1D(1-7-10)XXXLLLX如果把線性最小方差估計的E(AAT)達到最小的準則，改為其跡tr(E(AAt))VVVV達到最小，即tr(E(AAT))=E(ATA)=EfX-a-PL)(X-a-PL)t}=min(1-7-11)XxXX則可按求極值的方法求定a、p。(1-7-12)1-7-13)將(1-7-11)式分別對a(1-7-12)1-7-13)E(X-a-pL)=0Ef(X-a-pL)LT}=0由(1-7-12)式可得：代入(1-7-13)式得：E\X-p-p(L-p)(L-p+p)t}-pE{}-pE{L-p)(L-p)t}L=EtX-p)(L-p)t即有D-D=0XLLp=p=DD-1XLLa=p-DD-1pxXLLL(1-7-14)(1-7-15)此即(1-7-7)、(1-7-8)式，由此可知，這種以方差陣之跡達到最小的準則，與前面以方差陣達到最小的準則所得到的結(jié)果完全相同。有時也稱這種以方差陣之跡達到最小為準則的估計方法稱為最小方差跡估計。不難看到，線性最小方差估計量壬具有以下性質(zhì)：L(1)由(1-7-9)式可得：E(X)=p+DD-1(E(L)—p)=pLxXLLLx所以，J?是X的無偏估計，即J?具有無偏性。LL(2)￡具有有效”，即J?的誤差方差取得最小值。這是顯然的，因E(AJ=0,LX其誤差方差等于其方差陣。

(3)因為估計誤差可表為E(A)=(X—卩)—DD-1(L—p)XxXLLL所以A.與觀測向量L的協(xié)方差陣為Xcov(A)=D—DD-1D=0XXLXLLL可見，估計誤差向量A.與觀測向量L是不相關(guān)的；從幾何的角度看，可以將此性X質(zhì)叫做A.與L正交。X與L本來不是正交的，但從X中減去-個由L的線性函數(shù)構(gòu)成的X隨機向量￡后，即與L正交。因此可以說，￡是X在L上的投影。LL(4)當X,L的聯(lián)合概率密度是正態(tài)時，因為E(X/L)=p+DD-1(L—p)xXLLL所以，此時x的線性最小方差估計量丸就等于最小方差估計量￡mV也等于其極大驗后估計量￡。MA1-8貝葉斯估計在1-5和1-6中介紹的極大驗后估計和最小方差估計，可以說是貝葉斯(Bayes)估計的兩種形式，因此有必要介紹-些關(guān)于貝葉斯估計的概念。仍設(shè)X是被估計的未知參數(shù)向量，L是觀測向量，￡(L)是根據(jù)L給出的X的-個估計量，其估計誤差為A=X-左(L)。X設(shè)有估計誤差A(yù).的-個標量值函數(shù)：X如果它具有性質(zhì)：⑴當llAXl如果它具有性質(zhì)：⑴當llAXl2(2)當||a」卜0時，XC(A)=C(X—X(L))X時，C(AXC(A)>C(A)>0；X2X1)=0；1-8-1)(3)C(—A.)=C(A」。TOC\o"1-5"\h\zXX=(ATA)1/2。，則稱C(A)為估計量￡(L)對X的損失函數(shù)(或代價XXx函數(shù))，并稱其數(shù)學(xué)期望為X(L)的貝葉斯風(fēng)險，記為I0(A)=Et(A)LEC(X—￡(L))*(1-8-2)Xx上述C(A)的第一個性質(zhì)說明它是原點到A的距離的非減函數(shù)；第二個性質(zhì)的含Xx義是，當估計精確時，估計的損失為零；第三個特性說明C(AJ對稱于原點。X所謂貝葉斯估計，就是根據(jù)使貝葉斯風(fēng)險達到最小的準則來求定未知參數(shù)的估計量X(L)，也就是使X(L)滿足1-8-3)0(A)=E{:(A)*=卜卜C(A)f(x,l)dxdl=min1-8-3)XX—8—8衛(wèi)

可以看到，選擇不同形式的損失函數(shù)，就可得到不同的貝葉斯估計方法和結(jié)果。下面來說明極大驗后估計和最小方差估計是貝葉斯估計的兩種形式。1。極大驗后估計設(shè)選擇的損失函數(shù)是0,C(AJ=可以看到，選擇不同形式的損失函數(shù)，就可得到不同的貝葉斯估計方法和結(jié)果。下面來說明極大驗后估計和最小方差估計是貝葉斯估計的兩種形式。1。極大驗后估計設(shè)選擇的損失函數(shù)是0,C(AJ=C(X-￡(L))眾iX—,8上式的損失函數(shù)稱為均勻損失函數(shù)，此時，Ik」<8/2Xb.卜8/2XX.(L)的貝葉斯風(fēng)險為i-8-4)p(A)=E右(A)}=jgjXX-g||X.1—f(x,1)dxdl8A.卜8/2i-8-5)卩(A)=E老(AJ=jg<XX5」j—f(x/1)dx>f(1)d1j—f(x/1)dx>f(1)d11.8/28J2J丄-g81-jf(X/1)dx>fA丄8/2J若設(shè)x的貝葉斯估計量為￡，因B

pl(l)dl2等價于=minX=XBjf(x/1)dx8/2=maxX.=X.BA.當8足夠小(8>0)時，這文等價于f(X/1)1.X.所以，此時壬又是X的極大驗后估計量X.。也就是說，當損失函數(shù)是=miaxX.Bi-8-6)i-8-4)BMA式，且8足夠小時，貝葉斯估計就是極大驗后估計。2。最小方差估計設(shè)選擇的損失函數(shù)是=AtSA(1-8-7)SXX式中S為任意對稱非負定陣，(1-8-7)式的損失函數(shù)稱為二次型損失函數(shù)。此時,C(A=AtSA(1-8-7)SXX式中S為任意對稱非負定陣，(1-8-7)式的損失函數(shù)稱為二次型損失函數(shù)。此時,X.X.的貝葉斯風(fēng)險為(1-8-8)1-8-9)P(A)=E{:(A)}=jgjg(x-X)tS(x-X)f(x,1)dxd1=minX.X(1-8-8)1-8-9)不難看到，上式也可寫y矩陣跡的形式，即有|p(A)=trSjgjg(x-X.)(x-X.)Tf(x,1)dxd1=min-g-gX.-g-g式中的積分就是￡的誤差方差陣E(△.△T)，當取S=E時，選擇二次型損失函數(shù)的xx貝葉斯估計，是以估計量的誤差方差陣之跡達到最小為準則來求X的方法。因此，可以說，它就是最小方差估計。如果將(1-8-8)式寫為)}JX0(A)=以說，它就是最小方差估計。如果將(1-8-8)式寫為)}JX0(A)=EC(AX則它也等價于八八1(x—X)TS(x—X)f(x/1)dxf(l)dl2=min又因為r/\八Jg(x—X)Ts(x—X)f(x/1)dx=min—g1-8-10)所以有由于S是非負定陣,{'}—2S(x—X)f(x/1)dx—g因此下式成立=0x/l)dxJgXf(xx/l)dxB亦即又由于亦即又由于X=Jgxf(x/1)dx=E(X/1)(1-8-11)B—g2S因此，當壬=E(X/1)時，確使0具有最小值。也就是說，根據(jù)(1-8-9)式求得B的￡也是X的最小方差估計量￡。B1-9廣義測量平差原理測量平差的主要任務(wù)，是根據(jù)含有隨機誤差的觀測值來確定被觀測量及其函數(shù)的平差值，也就是求定未知參數(shù)的最佳估值。前面所討論的各種估計方法也就是廣義測量平差的理論基礎(chǔ)。為了進一步說明廣義測量平差原理，下面先討論在正態(tài)分布的情況下，上述估計方法的關(guān)系。從前面的敘述可以看到，對于正態(tài)分布來說，極大驗后估計所得到的結(jié)果，與最小方差估計、線性最小方差估計相同；而在一定的情況下，可以由極大似然估計導(dǎo)出最小二乘估計。因此，本節(jié)主要說明極大似然估計、最小二乘估計與極大驗后估計之間的關(guān)系。由1-3知，對于正態(tài)分布，極大似然估計的準則f(l/x)=max等價于(L—E(L/x))TD-1(L/x)(L—E(L/x))=min(1-9-1)若未知參數(shù)為X~N(r,D)，觀測誤差A(yù)?N(0,D)D=0，并有觀測方程xXAXAL=BX+A(1-9-2)

再記則由1-4知，V=BX—L似然方程等價于最小二乘估計準則1-9-3)再記則由1-4知，V=BX—L似然方程等價于最小二乘估計準則1-9-3)Vtpv=(BX—L)tD-g2(BX—L)=minA=D-92右取b2=1,A00其中PA差方程。又由1-5知，極大驗后估值￡MA(1-9-4)A0則P=D-1。(1-9-3)式也就是觀測值L對應(yīng)的誤AA應(yīng)滿足驗后方程0lnf(x/1)根據(jù)貝葉斯公式可得：x=Xmaf(1,x)f(x/1)=-

f(1)2lnf(x/1)=lnf(1,x)—lnf(1)2將上式對x求導(dǎo)，則有1-9-5)0lnf(x/1)0lnf(1/x)0f(x)

=+—1-9-5)0x0x0x考慮正態(tài)分布的概率密度f(1/x)和fl(x)可知，極大驗后估計準則f(x/1)=min,也等價于(L—E(L/x))TD-1(L/x)(L—E(L/x))+(x—卩)tD-1(x—卩)=min(1-9-6)TOC\o"1-5"\h\zxXx而當有觀測方程(1-9-2)，且D=0時，上式便等價于XA八八八八(BX—L)tD-1(BX—L)+(X—卩)TD-1(X—卩)=min(1-9-7)AxXx下面根據(jù)(1-9-5)和(1-9-7)式來進行討論。在式(1-9-6)中，其左邊第-項就是極大似然估計準則的等價公式(1-9-1)的左邊項。因此，當X是隨機參數(shù)時，極大驗后估計改善了極大似然估計或最小二乘估計。而當X的先驗概率密度f(x)為常數(shù)時，則有11-9-8)0f(x)1-9-8)0x0Inf(x/1)=0Inf(1/x)(199)0x0x所謂先驗概率密度f(x)為常數(shù)，也就是說在-定的范圍內(nèi)，參數(shù)X在驗前取任何值的概1率都相等，亦即X是不具有先驗統(tǒng)計特性的非隨機量。上兩式表明，極大驗后估計在此時便退化為極大似然估計或最小二乘估計。女口果將(1-9-7)式中的未知參數(shù)看成非隨機量，亦記為X*，將此時的觀測向量記為L*；而將X的先驗期望r看成是與L*相互獨立，且方差為D的虛擬觀測值，記為xXL(=r)，相應(yīng)的虛擬觀測誤差記為A，則有觀測方程為xxX

1-9-10)1-9-11)(1-9-12)L=1-9-10)1-9-11)(1-9-12)xXIL*=BX*+AJ若仍以￡表示X*的估值，并記=X-Lxx=BX-L此式也就是誤差方程。于是，(1-9-7)式可寫為TOC\o"1-5"\h\zVtPV+VtPV=minAxxx式中P=D-1b2,P=D-1Q2AA0xX0當取b2=1時，即有P=D-1,P=D-1，它們表示權(quán)矩陣。0AAxX也就是說，在上述情況下，可以對L*和L歹U出誤差方程(1-9-11),按(1-9-⑵式來x求非隨機參數(shù)X*的估計值X。容易看到，(1-9-12)式是1-4中的最小二乘估計準則的擴充，因此，稱(1-9-12)式為廣義最小二乘原理。而將按廣義最小二乘原理進行平差的過程，稱為廣義測量平差。不難理解，在上述情況下，按極大驗后估計(或最小方差估計)求得的壬(或￡“丿MAMV同按廣義最小二乘原理求得的估值￡，在數(shù)值上是完全相等的。同時，由于按廣義最小二乘原理求￡時，X*是非隨機量，因此所得到的估值左的方差(D.)也就等于其X誤差方差D(AJ，當然它也等于壬的誤差方差D(A.)，但一般并不等于壬的攵maXmaMA方差。在以后按廣義最小二乘原理進行平差時，一般不區(qū)分D(AJ和D0Xx以上的討論說明，在正態(tài)分布的情況下，極大驗后估計可以轉(zhuǎn)化為廣義最小二乘估計，實際上，隨機參數(shù)的先驗期望和先驗方差的精確值一般是不可能得到的，往往只能得到它們的估計值。顯然，先驗期望的估計值也就是X的觀測值。因此，在這種情況下，按極大驗后估計求也只能說是近似的；而將此先驗期望的估計值作為方差為MAD的虛擬觀測值，采用最小二乘估計將更為合理。只有在D和R能夠精確得到時,XXx采用極大驗后估計才是合理的。但此時，也可按廣義最小二乘原理求解，得到的結(jié)果與極大驗后估計一致。如果在未知參數(shù)中除包含隨機參數(shù)X外，還包含非隨機參數(shù)Y,則有f(x,y/l)=f(x/l)故此時只要將未知參數(shù)中的隨機部分，即X的先驗期望當作方差為D的虛擬觀測值,X

仍可按（1-9-12）表示的廣義最小二乘原理求估值￡和V。如果全部未知參數(shù)都是非隨機量，則（1-9-12）式中的VtPV就不存在了，也就變成xxx1-4中的最小二乘原理了。上面的廣義最小二乘原理（1-9-12）式，是就正態(tài)分布和線性觀測方程（1-9-2）且D=0的情況導(dǎo)出的。對于非線性觀測方程，可按臺勞級數(shù)化為線性形式；對于非XA正態(tài)分布,也可將它們近似地看成正態(tài)分布;而D豐0的情況亦不多見。因此,（1-9-12）XA式的廣義最小二乘原理具有一定的普遍意義。下面討論D豐0的情況。仍假定X、A為正態(tài)分布，且有（1-9-2）式的線性觀測XA方程。根據(jù)數(shù)學(xué)期望的運算規(guī)則和協(xié)方差傳播律，由（1-9-2）式可得：卩=E（L）=B卩LxD=BDBt+BD+DBt+D\（1-9-11）TOC\o"1-5"\h\zLXXAAXAD=BD+D=DTLXXAXXL由于已知卩，D，并可由（1-9-11）三式得到卩、D、D，因X、L都是服從正xXLLLX態(tài)分布的，故可按極大驗后估計（或最小方差估計和線性最小方差估計）求得X的估值￡為X=E（X/1）=MA1-9-12)=卩+（DBT+D）（BDBT+BD+DBT+D）-1（L—B卩）1-9-12)TOC\o"1-5"\h\zxXXAXXAAXAx它的誤差方差陣為現(xiàn)仍從（1-9-6）式來考慮，因為E（L/x）=卩+DD-1（X-卩）LLXXx(1-9-13)=B卩+（BD+D）D-1（X-卩）(1-9-13)xXAXXx=BX+DD-1（X-