第2講估計(jì)理論基礎(chǔ)

1、第二講：估計(jì)理論基礎(chǔ)§2.1 基本經(jīng)典估計(jì)問(wèn)題有一組觀察數(shù)據(jù), 估計(jì)一個(gè)未知的確定性參數(shù)q, 估計(jì)器記為:.a. 是一個(gè)隨機(jī)變量。b. 估計(jì)器設(shè)計(jì)依賴(lài)于觀察數(shù)據(jù)的概率密度函數(shù)(PDF)的假設(shè)。例1：, n=0,1,2,N-1是零均值白噪聲，估計(jì)A，一個(gè)直觀的估計(jì)器為：a. 這個(gè)估計(jì)器怎樣接近于真實(shí)值A(chǔ).b. 有沒(méi)有更好的估計(jì)器，怎樣設(shè)計(jì)好的估計(jì)器？·無(wú)偏估計(jì)若估計(jì)器滿足: 則稱(chēng)為無(wú)偏估計(jì), 上例是無(wú)偏的。·有偏估計(jì)對(duì)于不滿足無(wú)偏估計(jì)的估計(jì)器, 定義:為估計(jì)的偏。·最小方差準(zhǔn)則在假設(shè)待估計(jì)量是確定性變量時(shí), 在很多情況下，最小方差估計(jì)是不可實(shí)現(xiàn)例2：假設(shè)在

2、例1的問(wèn)題中,有一個(gè)更好的估計(jì)器為:確定a值, 使該估計(jì)器是最小方差估計(jì), 容易求得令得估計(jì)器表達(dá)式中，包含要估計(jì)的值，因此該估計(jì)器是不可實(shí)現(xiàn)。·最小方差無(wú)偏估計(jì)器（MVU）設(shè)計(jì)一個(gè)無(wú)偏估計(jì)器，令估計(jì)方差最小§2.1Cramer-Rao下界對(duì)于一個(gè)最小方差無(wú)偏估計(jì)器（MVU）, 如下定理確定了它的最好估計(jì)性能.定理一：假設(shè)PDF滿足規(guī)則性條件：對(duì)所有這里期望是針對(duì)取的，則任意無(wú)偏估計(jì)器的方差滿足：這里導(dǎo)數(shù)是在的真實(shí)值處取值的，期望相對(duì)于取得。進(jìn)一步，當(dāng)且僅當(dāng)下式成立時(shí)，一個(gè)估計(jì)器可以達(dá)到下界值這里，g是一個(gè)函數(shù), 估計(jì)器是MVU估計(jì)器，且滿足稱(chēng)為Fisher信息函數(shù)。例：由

3、一組觀察值 n=0,1,2,N-0, 是WGN且方差為，均值為0，估計(jì)未知量A.由于w(n)是WGN (高斯白噪聲), 故有:再由故由定理1得 定理一證明：首先看 意味著什么（1）只要積分和求導(dǎo)次序是可交換的，此式成立，因此,規(guī)則性條件是很松的.再由無(wú)偏性假設(shè)：得：兩邊求導(dǎo)且交換次序：或等價(jià)為：利用（1）式，且注意到與積分變量是無(wú)關(guān)的, 則利用Canchy-schwarz不等式：這里取：代入不等式得注意到左側(cè)第一項(xiàng)就是估計(jì)器的方差定義, 得：容易證明(留做練習(xí)):(注意利用兩邊求導(dǎo)，交換次序)得證：不等式成為等式的條件是：即：這里, 為要求的估計(jì)器, 上式兩邊求導(dǎo)得：兩邊取期望：#利用定理一,

4、 容易證明如下特殊的結(jié)論：（留做練習(xí)）通過(guò)觀察序列是WGN,零均值,方差, 是的函數(shù)并可導(dǎo), 的無(wú)偏估計(jì)器滿足：定理一可以推廣到如下的矢量情況.定理二: 克拉美羅下界（Cramer-Rao）：矢量情況假設(shè)PDF滿足規(guī)則條件：無(wú)偏估計(jì)器的協(xié)方差矩陣滿足：這里的“”是指矩陣為半正定的，F(xiàn)isher信息矩陣定義為：進(jìn)一步，如果下式滿足：最小無(wú)偏估計(jì)器達(dá)到最小下界，估計(jì)器為：。當(dāng)下界可達(dá)時(shí)，估計(jì)器每個(gè)分量的方差為：由定理二可以證明在線性模型下的特例（留做練習(xí)）：如果觀察數(shù)據(jù)能夠表示為線性模型且滿足，則MVU估計(jì)器為：下界可達(dá)且為：（提示：）進(jìn)一步, 如果WN(0,R)，上述結(jié)論變化為：(提示利用)&#

5、167;2.3 充分統(tǒng)計(jì)利用 得到MVU估計(jì)器的方法并不總是可行的，另一種方法是利用充分統(tǒng)計(jì)的方法。充分統(tǒng)計(jì)：對(duì)于觀察矢量x，和PDF:，如果說(shuō)是充分統(tǒng)計(jì)，也就是說(shuō)對(duì)于估計(jì)它是充分的，這時(shí)，條件PDF:不依賴(lài)于，也就是說(shuō)，對(duì)的依賴(lài)關(guān)系完全隱藏在中。定理3: Neyman-Fisher分解定理如果我們能夠分解PDF如下：這里g是僅通過(guò)與x建立聯(lián)系的函數(shù)，則是充分統(tǒng)計(jì)，相反，如果是充分統(tǒng)計(jì)，必可以分解成以上形式。Neyman-Fisher分解定理證明：僅證明前一部分，即若，則是充分統(tǒng)計(jì)由（2）目的是證明上式與無(wú)關(guān)。注意到，由于規(guī)定了的取值曲線，因此，聯(lián)合分布：因?yàn)樯鲜揭?guī)定了x不可能在處存在，因此，

6、x只能在的曲線上取值，這樣，將兩維分布降為一維分布，這引出函數(shù)。又注意到，若，則有：因此，由（2）式得：再帶入分解式到上式，得：（因?yàn)榉e分只在處進(jìn)行）#Rao-Blackwell-Lehmann-Scheffe定理：如果是的一個(gè)無(wú)偏估計(jì)器，是一個(gè)充分統(tǒng)計(jì)，則是:1) 一個(gè)有效估計(jì)器(不依賴(lài)于)2) 無(wú)偏3) 小于或等于的方差，即：并且，若充分統(tǒng)計(jì)是完備的，是MVU估計(jì)器。(充分統(tǒng)計(jì)是完備的：僅存在一個(gè)充分統(tǒng)計(jì)的函數(shù)，它是無(wú)偏的。)例：，n=0,1,2,N-1, 是WGN，估計(jì)A設(shè)可以計(jì)算得(計(jì)算細(xì)節(jié)略)§2.3 最大似然估計(jì)（MLE）最實(shí)用的估計(jì)器，有良好的漸近特性。將PDF中的固定

7、，考慮變化的影響，這時(shí)將稱(chēng)為似然函數(shù)（Likelihood）?；?qū)⒎Q(chēng)為對(duì)數(shù)似然函數(shù)，當(dāng)時(shí)，似然函數(shù)最大，得到估計(jì)器或似然函數(shù)是一個(gè)直觀概念，當(dāng)取值為時(shí)，當(dāng)前這組觀測(cè)數(shù)據(jù)出現(xiàn)的概率最大。例：, n=0,1,2,N-1. 為WGN，方差為，估計(jì)A。得 #當(dāng)下界可達(dá)時(shí)，MLE得到MVU估計(jì)器。由，就是MLE。例：為WGN，方差也為A, 估計(jì)A.整理得：求得：例：，n=0,1,2,N-1, 為WGN，估計(jì)#MLE漸正特性：如果PDF滿足規(guī)則性條件，未知參數(shù)的MLE估計(jì)漸近于如下分布：這里是Fisher信息矩陣，且在的真值處取值，也就是說(shuō)，MLE逼近于一個(gè)無(wú)偏的，最小方差可達(dá)的MVU估計(jì)器。對(duì)于一般的P

8、DF, MLE可以通過(guò)迭代計(jì)算.§2.4Bayesian估計(jì)與經(jīng)典估計(jì)不同，Bayesian估計(jì)假設(shè)所估計(jì)的參數(shù)是一個(gè)隨機(jī)變量，我們估計(jì)的是它的一次實(shí)現(xiàn)。=與經(jīng)典估計(jì)不同，在那里最小約束一般得不到可實(shí)現(xiàn)的估計(jì)器，因?yàn)閝是確定量時(shí), 它不參與慨率空間的運(yùn)算, 即解如上方程, 一般得到：，估計(jì)器中包含待確定量, 所以是不可實(shí)現(xiàn)。現(xiàn)在討論Bayesian估計(jì)問(wèn)題, 現(xiàn)在, q是隨機(jī)量, 它是概率空間的一個(gè)分量,對(duì)求導(dǎo)且令為0，得到：具體計(jì)算如下：因?yàn)閷?duì)所有，故欲使最小，令最小，即：=得到：這是最小MSE Bayesian 估計(jì)器, 在計(jì)算時(shí)，經(jīng)常利用關(guān)系式：·矢量情況：·

9、;高斯情況：如果和是聯(lián)合高斯，是k×1，是矢量，均值矢量為，分塊協(xié)方差矩陣則條件PDF：也是高斯的，且有：（3）（4）這里若y是待估計(jì)參數(shù)，是數(shù)據(jù)矢量，（3）式就是Baysian估計(jì)，（4）式就是估計(jì)方差的表達(dá)式。·一般Bayesian估計(jì)設(shè)表示估計(jì)誤差, 令為消耗函數(shù)，定義：為Beyes風(fēng)險(xiǎn)函數(shù)。令Beyes風(fēng)險(xiǎn)函數(shù)最小，得到各種貝葉斯估計(jì)。1Bayesian MSE這就是前面討論的方差最小準(zhǔn)則的Bayesian估計(jì).2絕對(duì)誤差準(zhǔn)則3“命中或錯(cuò)過(guò)”準(zhǔn)則“Hit-or-Miss”2的解是后驗(yàn)中值估計(jì), 滿足：3的解是最大后驗(yàn)概率（MAP）估計(jì)器再由：或·Bayes

10、ian估計(jì)的性能：設(shè) 如果是高斯的，2.5 線性貝葉斯估計(jì)器由數(shù)據(jù)集估計(jì)標(biāo)量參數(shù)，是隨機(jī)變量的一個(gè)實(shí)現(xiàn)，如果將估計(jì)限制在一個(gè)線性估計(jì)器：(5)選擇系數(shù)集，使Bayesian MSE最小，即：先求解得將表達(dá)式代入中為使其最小，令：得：將和代入(5)：將a代入Bmse表達(dá)式，得最小Bmse為：若有，則上面各式簡(jiǎn)化為：(6)·這組關(guān)系式可以直接聯(lián)系到Wiener濾波問(wèn)題。·線性Bayesian估計(jì)與高斯分布下的一般Bayesian估計(jì)是一致的，在高斯分布下，線性估計(jì)可達(dá)最優(yōu)。注：在以上推導(dǎo)和討論中，（N×1矩陣或列矢量）（1×N矩陣或行矢量）2.6最小二乘估計(jì)（LS）這里只考慮線性最小二乘估計(jì). 首先從解方程觀點(diǎn)來(lái)分析最小二乘問(wèn)題，沒(méi)有一線性方程組設(shè)方程組數(shù)目m不等于變量個(gè)數(shù)n。（1）m>n，方程可能無(wú)解，對(duì)這個(gè)問(wèn)題，找到一個(gè)x，使如下二乘誤差最小令=0得如果A滿秩，存在，稱(chēng)為A的偽逆，這是最小二乘的過(guò)確定問(wèn)題。（2）m<n方程可能有無(wú)窮解，求使最小的解。也可以得到同樣，稱(chēng)為A的偽逆，這是最小二乘的欠確定問(wèn)題。以下從參數(shù)估計(jì)角度分析最小二乘問(wèn)題, 設(shè)信號(hào)矢量，這里是待估計(jì)參數(shù)，A稱(chēng)為觀測(cè)矩陣，A