最小二乘估計(jì)理論

1、最小二乘估計(jì)理論(1)隨機(jī)變量的統(tǒng)計(jì)理論加權(quán)最小二乘估計(jì)是衛(wèi)星導(dǎo)航算法的基本工具。 本文檔討論的隨 機(jī)變量默認(rèn)為離散隨機(jī)變量， 對(duì)于一個(gè)隨機(jī)變量，在估計(jì)理論中 常用的統(tǒng)計(jì)特征包括數(shù)學(xué)期望，方差，標(biāo)準(zhǔn)差等等。數(shù)學(xué)期望/均值：隨機(jī)變量取值的加權(quán)平均_ nE(X) = X = ' x-p(x)i =1方差：隨機(jī)變量與其均值的偏離程度var(X) = E(X - E(X)2) = E(X2 E2(X) - 2X E(X)=E(X2) E2(X) -2E2(X) = E(X2) - E2(X)標(biāo)準(zhǔn)差：方差開(kāi)平方根即可得到標(biāo)準(zhǔn)差二,var(X)如果知道隨機(jī)變量X的期望以x和方差仃2，根據(jù)中心極限定

2、理， 可認(rèn)為X近似服從正態(tài)分布X - N(x，12)對(duì)于二維隨機(jī)變量X = Xi, X2T ,除了討論兩個(gè)變量各自的期 望和方差之外，還需要討論兩者之間關(guān)系的數(shù)學(xué)期望一一協(xié)方差 和相關(guān)系數(shù)。Xi和X2的協(xié)方差定義為Cov(X1,X2) = E(Xi - E(X1)-(X2- E(X2)=E(X1-X2 - XE(X2) - X2-E(X1) E(X1)-E(X2)= E(XX2)-E(Xi)-E(X2)=crxx2X1和X2相關(guān)系數(shù)定義為：a:X1X2X1X2 <T gjX1 X2相關(guān)系數(shù)的取值范圍為 卜1,1之間，其絕對(duì)值越小表明兩隨機(jī)變量的相關(guān)性越小。則二維隨機(jī)變量X的均值和方差為：

3、X1E(X1)E(X)=E(| 1 '1X2 一LE(X2)JD(X) = E(X-E(X)-(X-E(X)t)X1 - E(X1)= E(|' 1X2-E(X2)X1-E(X1)X2- E(X2)IE(X1- E(X1)2), E(X1 - E(XJg(X2 - E(X2) LE(X1- E(")&X2 - E(X2), E(X2 - E(Xz)2) 二2 二 % , X1,X2X1,X2 X2 -!同理對(duì)于多維隨機(jī)變量 X =X1,X2,X3.XnT同理有E(X)=X1E(X1)X2、一 ")E( ) -|. I T IXn_E(Xn)Dxx =

4、E(X -E(X)-(X -E(X)t)E(X1 - E(XJ)2), E(X1 - E(X1)XX2 - E(X2).E(X1 - E(X1).(Xn-E(Xn)2E(Xi - E(Xi乂X2 - E(X2), E(X2 - E(X2)2).E(X2 - E)% - E(X)=III_E(Xi - E(Xi)<Xn- E(Xn)E(Xi- E(Xi)2)j二2 二 二Xi , Xi ,X2 , Xi，Xn: 0 2 Xi ,X2 , X2 , X2，XnI.I (實(shí)對(duì)稱矩陣) a仃2j Xi ,Xn , Xn -現(xiàn)在討論多維隨機(jī)變量函數(shù)的期望和方差現(xiàn)在假設(shè)函數(shù)Z = k1gxi + k

5、2 gX2 +kngXn + k0,可令X =Xi，X2,X3XnTK 二ki,k2,k3.kn則函數(shù)值Z可表示為Z = K X k0則隨機(jī)變量Z的期望和方差可表示為E(Z) = E(K X k0) = K E(X) k0Dzz = E(Z- E(Z) (Z- E(Z)t)=E(K(X - E(X) (K(X - E(X)t)= K E(X - E(X) (X - E(X) T) Kt二 Kd-KXX已知隨機(jī)變量的方差，可以求得隨機(jī)變量函數(shù)的方差這個(gè)過(guò)程稱 為誤差傳播定律。需要注意的是協(xié)方差是相對(duì)多個(gè)變量而言的，而方差則是相對(duì)單個(gè)變量而言的進(jìn)一步討論多維隨機(jī)變量函數(shù)間的協(xié)方差在上面一種情景中我

6、們對(duì)隨機(jī)變量X = X1)X2,X3.XnT引進(jìn)了一個(gè)函數(shù)關(guān)系 Z = KgX+k0,其中 K=ki,k2,k3.kn, 現(xiàn)在我們對(duì)X引進(jìn)另外一個(gè)函數(shù)Y =GsX + go ,其中 G =gi，g2，g3g"則有Y和Z是同一多維隨機(jī)變量 X的函數(shù)，它們之間必然存在著相關(guān)關(guān)系由協(xié)方差的定義可知Cov(Y,Z) = E(Y- E(Y) (Z- E(Z)T)=E(G(X - E(X)-(K(X - E(X)t)二 G (E(X - E(X) (X- E(X)t) Kt: G -D -KT xx(2)最小二乘理論公式推導(dǎo)引論：在大多數(shù)情況下，我們所感興趣的變量不能直接得到，得 不到的永遠(yuǎn)在騷

7、動(dòng)，所以我們要想盡一切辦法去求得它，雖然不可以直接得到，但是能夠通過(guò)待求變量和已知量之間的函數(shù)關(guān)系 間接求得。數(shù)學(xué)模型的建立要考慮到觀測(cè)值和待估參數(shù)的確定性關(guān)系和隨機(jī)關(guān)系，用函數(shù)模型表征這種確定性關(guān)系，用隨機(jī)模型表征這種 不確定的關(guān)系。在任何估計(jì)問(wèn)題中，都要考慮函數(shù)模型和隨機(jī)模 型，兩者一起構(gòu)成了高斯-馬爾可夫模型。最小二乘估計(jì)的準(zhǔn)則 是參數(shù)估計(jì)使得觀測(cè)值殘差平方和最小。觀測(cè)方程：4 = NX + % i=i , 2.其中X為待估參數(shù)，一般設(shè)為一個(gè) n維列向量X =Xi，X2，X3.XnT其中hi是一個(gè)n維系數(shù)行向量，*表示第i次觀測(cè)中誤差。假設(shè)經(jīng)過(guò)多次觀測(cè)的方程分別為z1 = h1X1z2

8、= h2X2.Zk = hk X k寫(xiě)成矩陣的形式表示為：函數(shù)模型：Z - H X觀測(cè)誤差的隨機(jī)特征由它的統(tǒng)計(jì)特征來(lái)描述，在大多數(shù)情況下觀測(cè)噪聲服從期望值為零的高斯分布-N(0, D)在函數(shù)模型中H吠為確定的部分，而為隨機(jī)部分，觀測(cè)值的隨機(jī)特性由觀測(cè)誤差來(lái)決定E(Z)= H X隨機(jī)模型：var(z)= D函數(shù)模型：Z = H gX + 馬爾可夫模型YE(Z) = H X隨機(jī)模型：var(z)= d由得到的高斯一馬爾可夫模型， 我們通過(guò)逆推法假設(shè)通過(guò)某種觀g測(cè)得到的參數(shù)估計(jì)為X，代入觀測(cè)方程后可以得到估計(jì)觀測(cè)值 ggZ = H X那么估計(jì)觀測(cè)值和真實(shí)觀測(cè)值的差值一一殘差可表示為 ggv = Z

9、- Z = H X - Z由于參數(shù)估計(jì)要使得殘差平方和最小，數(shù)學(xué)表達(dá)式表示為：- Tmin = (X )= v vg能夠滿足上式的解即為最小二乘解 X ls上式子中所有的觀測(cè)值對(duì)參數(shù)估計(jì)的影響相同，即我們平等看待所有觀測(cè)數(shù)據(jù)，但由于觀測(cè)精度不盡相同， 我們希望精度好的觀測(cè)值能夠比精度差的觀測(cè)值對(duì)參數(shù)估計(jì)產(chǎn)生的影響大，即方差小 的觀測(cè)值對(duì)參數(shù)估計(jì)影響大，于是我們給根據(jù)觀測(cè)值的方差給觀測(cè)值賦予一定的權(quán)重，即觀測(cè)值的權(quán)矩陣W,令W =1 0 D 1其中仃；可以為任意值。那么殘差平方和最小原則變?yōu)榧訖?quán)最小二乘估計(jì)- Tmin = (X ) = v W vT=(H X - Z)t W (H X- Z)=XT H T W H X - XT H T W Z - ZT W H X ZT W Z為了使中(X)最小，兩邊同對(duì)x求導(dǎo)讓其導(dǎo)數(shù)為零取得極小值。則其法方程為T TH T W 二H X - H T W -Z = 0由于H為列滿秩矩陣，且 W為滿秩實(shí)對(duì)稱陣，則HT§WgH必定為滿秩方陣，即一定可逆，由法方程科技估計(jì)出-T-1 TXLS = (H WH) H WZ令Qxls =(Ht W到)稱為xLs的協(xié)因數(shù)矩陣，進(jìn)一步化簡(jiǎn)可以得到-T-1 TXLS = (HT W H ) 1 H T W ZT 211 T 2_1二(Ht -：D -H ) -HT0D 1 Z二(Ht d Lh )1