線性最小均方誤差估計的估計規(guī)則課件

第三章：統(tǒng)計信號估計3.1問題描述3.2隨機參量的Bayes估計3.3ML估計3.4估計量的性質3.5線性最小均方誤差估計3.6最小二乘估計1第三章：統(tǒng)計信號估計3.1問題描述13.1問題描述（信道估計為例）數(shù)字通信數(shù)據(jù)幀結構信道估計：根據(jù)yP、xP以及hP的統(tǒng)計信息，估計hP，即：(yP,xP,stat_info(hP))hP（如yP=hPxP+w)可行性：一般信道都是slowlytimevarying的（相干時間>>時延要求），因此hd≈hp其他估計問題：載波頻率、相位、時延等23.1問題描述（信道估計為例）數(shù)字通信數(shù)據(jù)幀結構2建模估計規(guī)則參量空間觀測空間需要接收端作出估計的參量集合參量空間：觀測空間：接收端收到的觀測信號的集合概率映射：信源發(fā)送信號到接收端過程中，會有噪聲的影響，觀測信號中包含被估計矢量的信息，所以觀測信號是以被估計矢量為參數(shù)的隨機矢量，用來描述。3建模估計規(guī)則參量空間觀測空間需要接收端作出估計的參量集合參量建模本章的核心問題之一就是研究上述函數(shù)的構造方法，評估所構造估計量的優(yōu)劣。估計規(guī)則：利用被估計矢量的先驗知識和觀測信號的統(tǒng)計特性，根據(jù)指標要求，構造觀測矢量的函數(shù)來定義估計量。估計量性能的評估估計量的均值估計量的均方誤差4建模本章的核心問題之一就是研究上述函數(shù)的構造方法，評估所構造3.2隨機參量的貝葉斯估計常用代價函數(shù)貝葉斯估計的概念最小均方誤差估計最大后驗概率估計條件中值估計最佳估計的不變性53.2隨機參量的貝葉斯估計常用代價函數(shù)5代價函數(shù)和貝葉斯估計誤差平方代價函數(shù)誤差絕對值代價函數(shù)均勻代價函數(shù)貝葉斯估計：使平均代價最小的一種估計準則。代價函數(shù)的基本特性：非負性和時的最小性。6代價函數(shù)和貝葉斯估計誤差平方代價函數(shù)誤差絕對值代價函平均代價設被估計的單隨機變量的先驗概率密度函數(shù)為平均代價C為易知代價函數(shù)在給定，選定代價函數(shù)的條件下，使平均代價最小的估計稱為貝葉斯估計。7平均代價設被估計的單隨機變量的先驗概率密度函數(shù)為平均平均代價由是非負值，因此使平均代價最小，就等價于使最小。條件平均代價8平均代價由是非負值，因此使平均代價最小，就等價于使最RelationwithcostinM-aryDetection估計：參數(shù)連續(xù)取值；檢測：參數(shù)取自有限個離散點集合。9RelationwithcostinM-aryDe檢測與估計的聯(lián)系檢測：參量的狀態(tài)是有限的（M-ary檢測）估計：參量的狀態(tài)是連續(xù)的（比如實數(shù)域，復數(shù)域）當M∞時，檢測就變成了估計用檢測做估計：復雜度太高，不合適用估計做檢測：可以，實際上經(jīng)常這樣用比如，在衰落信道y=hx+w的信號檢測中，經(jīng)常對信號先進行估計得到x的估計值x1（復數(shù)域上的任意值），然后將其量化到信號星座上的某個點，即檢測值x2。無線通信中，有時候并不嚴格區(qū)分檢測與估計10檢測與估計的聯(lián)系檢測：參量的狀態(tài)是有限的（M-ary檢測）1最小均方誤差估計選定的代價函數(shù)為使條件平均代價最小的一個必要條件是對上式中求偏導令偏導為零來求得最佳的估計量求解方法11最小均方誤差估計選定的代價函數(shù)為使條件平均代價最小的最小均方誤差估計12最小均方誤差估計12最小均方誤差估計注：1.最小均方誤差估計的估計量實際是條件均值2.最小均方誤差估計的條件平均代價實際是條件方差3.最小均方誤差估計量的另一種形式13最小均方誤差估計注：1.最小均方誤差估計的估計量實際是條件均最大后驗估計選定的代價函數(shù)為使條件平均代價最小，應該使取到最大值當很小時，為保證上式最大，應當選擇估計量，使它處于后驗概率密度函數(shù)最大值的位置。14最大后驗估計選定的代價函數(shù)為使條件平均代價最小，應該最大后驗估計根據(jù)上述分析，得到最大后驗概率估計量為兩種等價形式15最大后驗估計根據(jù)上述分析，得到最大后驗概率估計量為兩種等價形條件中值估計選定的代價函數(shù)為使條件平均代價最小的一個必要條件是對上式中求偏導令偏導為零來求得最佳的估計量求解方法16條件中值估計選定的代價函數(shù)為使條件平均代價最小的一個條件中值估計17條件中值估計17例1研究在加性噪聲中單隨機參量的估計問題。觀測方程為其中nk是均值為零，方差為的獨立同分布高斯隨機噪聲被估計量是均值為零，方差為高斯隨機變量求的貝葉斯估計量(最小均方誤差、最大后驗和條件中值)18例1研究在加性噪聲中單隨機參量的估計問題。觀測方解：根據(jù)最大后驗估計準則，估計量為滿足以下方程的解，即最大后驗估計由題設，可知，給定條件下，觀測信號xk是均值為，方差為的高斯隨機變量19解：根據(jù)最大后驗估計準則，估計量為滿足以下方程的解，即所以最大后驗估計量為滿足以下方程的解20所以最大后驗估計量為滿足以下方程的解20估計量的均方誤差為21估計量的均方誤差為21根據(jù)最小均方誤差估計準則，估計量為最小均方誤差估計由題設，可知，給定條件下，觀測信號xk是均值為，方差為的高斯隨機變量22根據(jù)最小均方誤差估計準則，估計量為最小均方誤差估計由題設23232424上述分布是高斯型的，其均值為估計量的均方誤差為方差為所以最小均方誤差估計量為25上述分布是高斯型的，其均值為估計量的均方誤差為方差為所以最小條件中值估計估計量的均方誤差為所以條件中值估計量為由于26條件中值估計估計量的均方誤差為所以條件中值估計量為由于26結論：如果被估計量的后驗概率密度函數(shù)是高斯型的，在三種典型代價函數(shù)下，使平均代價最小的估計量相同，都等于最小均方誤差估計量，估計量的均方誤差都是最小的——最佳估計的不變性。條件中值估計最小均方誤差估計最大后驗估計27結論：如果被估計量的后驗概率密度函數(shù)是高斯型的，在三種典型代例2研究在加性噪聲中單隨機參量的估計問題。觀測方程為其中n是均值為零，方差為的獨立同分布高斯隨機噪聲被估計量在(-SM,SM)之間均勻分布的隨機變量求的貝葉斯估計量(最小均方誤差和最大后驗)28例2研究在加性噪聲中單隨機參量的估計問題。觀測方解：根據(jù)最大后驗估計準則，估計量為滿足以下方程的解，即最大后驗估計由題設，可知，給定條件下，觀測信號xk是均值為，方差為的高斯隨機變量29解：根據(jù)最大后驗估計準則，估計量為滿足以下方程的解，即所以最大后驗估計量為滿足以下方程的解30所以最大后驗估計量為滿足以下方程的解30由于s在(-SM,SM)之間取值，所以31由于s在(-SM,SM)之間取值，所以31根據(jù)最小均方誤差估計準則，估計量為最小均方誤差估計32根據(jù)最小均方誤差估計準則，估計量為最小均方誤差估計32333334343.3最大似然估計ML估計：先驗等概下的MAP估計出發(fā)點：若先驗概率未知，或者θ為非隨機的未知量，此時MAP不適用。構造：353.3最大似然估計ML估計：先驗等概下的MAP估計35例1如果參量θ的觀測方程為其中nk是均值為零，方差為的獨立同分布高斯隨機噪聲；θ是均值為零，方差為的高斯變量。求并與比較36例1如果參量θ的觀測方程為363737均方誤差38均方誤差383939ML估計的不變性若是一對一變換，有…………….是一對J(J>1)變換，40ML估計的不變性40例2同例1，求的ML估計41例2同例1，求的M由題設，可知，給定條件下，觀測信號xk是均值為，方差為的高斯隨機變量由于是的一對一變換，即是單調(diào)函數(shù)，因此可得解：42由題設，可知，給定條件下，觀測信號xk是均值為所以最大似然估計量為由最大似然估計原理，得最大似然估計量為滿足以下方程的解。43所以最大似然估計量為由最大似然估計原理，得最大似然估計量為滿3.4估計量的性質：無偏性非隨機變量無偏估計有偏估計已知偏差的有偏估計

為無偏估計443.4估計量的性質：無偏性非隨機變量44估計量的性質：無偏性隨機變量無偏估計有偏估計漸近無偏估計45估計量的性質：無偏性隨機變量45有效性對于被估計量的任意無偏估計和，若估計的均方誤差則稱估計量比更有效。如果的無偏估計量小于其他任意無偏估計量的均方誤差，則稱該估計量為最小均方誤差估計量。問題：能否確定一個均方誤差的下界？46有效性對于被估計量的任意無偏估計和一致性則稱估計量是一致收斂的估計量。假設根據(jù)N次觀測量構造的估計量為若則稱估計量是均方一致收斂的估計量。若47一致性則稱估計量是一致收斂的估計量充分性若被估計量的估計量為，x是觀測量。如果以為參量的似然函數(shù)能夠表示為：

則稱為充分估計量。

其中，是通過才與x有關的函數(shù)，并且以為參量。有效估計量必然是充分估計量48充分性若被估計量的估計量為，x是觀Cramer-Rao界：非RV非RV情況：設是非隨機參量的無偏估計，則有當且僅當對任意的和x，均滿足

時，不等式取等號。49Cramer-Rao界：非RV非RV情況：設是非隨證明設是非隨機參量的無偏估計，則有對上式求偏導，得50證明設是非隨機參量的無偏估計，則有對證明上式改寫為51證明上式改寫為51證明根據(jù)柯西-施瓦滋不等式當且僅當時，上式等號成立。52證明根據(jù)柯西-施瓦滋不等式當且僅當證明等號成立條件53證明等號成立條件53證明克拉美-羅不等式的另一種形式求偏導再求一次偏導54證明克拉美-羅不等式的另一種形式求偏導再求一次偏導54證明克拉美-羅不等式的另一種形式所以55證明克拉美-羅不等式的另一種形式所以55Remarks非隨機參量情況下的克拉美-羅不等式的含義和用途(1)非隨機參量的任意無偏估計量的方差，即均方誤差恒不小于(2)若非隨機參量的無偏估計量滿足則估計量的方差取到最小值，即取到克拉美-羅界。56Remarks非隨機參量情況下的克拉美-羅不等式的含義和用途Remarks(3)若非隨機參量的無偏估計量滿足則無偏估計量是有效的，否則是無效的。(4)若非隨機參量的無偏估計量是有效的，則估計量的方差，即均方誤差可由克拉美-羅界取得。57Remarks(3)若非隨機參量的無偏估計量Remarks(5)若非隨機參量的無偏有效估計量存在，它必定是的最大似然估計量，且可由最大似然方程解得。(6)非隨機參量的最大似然估計量不一定是無偏有效的。最大似然估計量為由58Remarks(5)若非隨機參量的無偏有效估計均方誤差若非隨機參量的無偏估計量也是有效的，則其均方誤差為由59均方誤差若非隨機參量的無偏估計量也是有例1如果參量的觀測方程為其中nk是均值為零，方差為的獨立同分布高斯隨機噪聲，試討論估計量的最大似然估計量的無偏性、有效性和一致性。60例1如果參量的觀測方程為其中nk是均值為零，方差由題設，由于61由題設，由于61最大似然估計量是的有效估計量，且估計量的均方誤差為最大似然估計量是一致收斂估計量。最大似然估計量是均方一致收斂估計量62最大似然估計量是的有效估計量，且估計量的均方誤差為Cramer-Rao界：RV設是隨機參量的無偏估計，則有或當且僅當時，上述兩式取等號?？死?羅不等式克拉美-羅不等式取等號的條件63Cramer-Rao界：RV設是隨機參量Remarks(1)由于所以64Remarks(1)由于所以64Remarks(2)隨機參量的任意無偏估計量的方差，即均方誤差恒不小于(3)若隨機參量的無偏估計量滿足則估計量的方差取到最小值，即取到克拉美-羅界。65Remarks(2)隨機參量的任意無偏估計量Remarks(5)若隨機參量的無偏估計量是有效的，則估計量的方差，即均方誤差可由克拉美-羅界取得。(4)若隨機參量的無偏估計量滿足則無偏估計量是有效的，否則是無效的。66Remarks(5)若隨機參量的無偏估計量Remarks(6)若隨機參量的無偏有效估計量存在，它必定是的最大后驗估計量。最大后驗估計量為67Remarks(6)若隨機參量的無偏有效估計量均方誤差若隨機參量的無偏估計量也是有效的，則其均方誤差為由68均方誤差若隨機參量的無偏估計量也是有效例2同例1。試討論估計量的貝葉斯估計量的無偏性、有效性和一致性。69例2同例1。試討論估計量的貝葉斯估計量69由題設，由于70由題設，由于70由于71由于71貝葉斯估計量是的有效估計量，且估計量的均方誤差為貝葉斯估計量是一致收斂估計量。貝葉斯估計量是均方一致收斂估計量72貝葉斯估計量是的有效估計量，且估計量的均方誤差為貝非隨機參量函數(shù)的CRLB設非隨機參量的函數(shù)，其估計量是的任意無偏估計，則有或當且僅當時，上述兩式取等號?？死?羅不等式克拉美-羅不等式取等號的條件73非隨機參量函數(shù)的CRLB設非隨機參量的函數(shù)例3同例1。求的無偏性和有效性，并求估計的均方誤差。74例3同例1。解由于易知根據(jù)最大似然估計的不變性，得到75解由于易知根據(jù)最大似然估計的不變性，得到7576763.5LMMSE估計ModelMMSE、MAP估計：需要后驗概率信息ML估計：需要先驗概率信息若僅已知前二階距信息：觀測信號和被估計隨機矢量的均值矢量、協(xié)方差矩陣和互協(xié)方差矩陣。---采用LMMSE估計773.5LMMSE估計Model77LMMSE估計準則線性最小均方誤差估計準則首先，構造的估計矢量是觀測矢量x的線性函數(shù)，即：

同時要求估計矢量的均方誤差最小，即為

最小，式中表示矩陣的跡。所以，線性最小均方誤差估計的估計規(guī)則，就是把估計量構造成觀測量的線性函數(shù)，同時要求估計量的均方誤差最小。78LMMSE估計準則線性最小均方誤差估計準則78LMMSE估計構造令79LMMSE估計構造令79LMMSE估計構造80LMMSE估計構造80LMMSE估計構造Lemma81LMMSE估計構造Lemma81LMMSE估計構造注意到82LMMSE估計構造注意到82LMMSE估計構造解得所以83LMMSE估計構造解得所以83LMMSE估計的物理解釋均值（先驗）新息（觀測提供的信息）觀測量的信息參量的信息84LMMSE估計的物理解釋均值（先驗）新息（觀測提供的信息）觀LMMSE估計的性質(1)估計矢量是觀測矢量的線性函數(shù)(2)線性最小均方誤差估計矢量是無偏估計所以是無偏估計85LMMSE估計的性質(1)估計矢量是觀測矢量的線性函數(shù)(2LMMSE估計的性質(3)估計的誤差矢量與觀測矢量的正交性被估計矢量與觀測矢量x是正交的，即與線性最小均方誤差估計矢量之間的誤差矢量86LMMSE估計的性質(3)估計的誤差矢量與觀測矢量的正交性被LMMSE估計的性質由于是無偏估計87LMMSE估計的性質由于是無偏估計87LMMSE估計的性質(4)最小均方誤差估計與線性最小均方誤差估計的關系當觀測矢量與被估計矢量是聯(lián)合高斯分布時，最小均方誤差估計與線性最小均方誤差估計兩者相同隨機矢量的最小均方誤差估計矢量可以是觀測矢量的非線性函數(shù)，而線性最小均方誤差估計的估計矢量一定是觀測矢量的線性函數(shù)。88LMMSE估計的性質(4)最小均方誤差估計與線性最小均方誤差例設M維被估計隨機矢量的均值矢量和協(xié)方差矩陣分別為和，觀測方程為求的線性最小均方誤差估計矢量和估計矢量的均方誤差陣且已知解：由89例設M維被估計隨機矢量的均值矢量和協(xié)方差矩陣分別為9090919192的線性函數(shù)的線性MMSE估計矢量為：

線性變換上的可轉換性的線性MMSE估計矢量為證明：隨機矢量函數(shù)的線性最小均方誤差估計9292的線性函數(shù)的93

線性變換上的可轉換性無偏性：均方誤差陣：的線性函數(shù)的線性MMSE估計矢量為：隨機矢量函數(shù)的線性最小均方誤差估計9393線性變換上的可轉換性無偏性：均方誤差陣：的線性函數(shù)

線性MMSE估計的可疊加性若和分別是同維隨機矢量和的線性MMSE估計矢量，

那么的線性MMSE估計矢量為：無偏性：均方誤差陣：隨機矢量函數(shù)的線性最小均方誤差估計94線性MMSE估計的可疊加性若和

線性MMSE估計的可疊加性可以推廣到任意有限L個同維矢量的情況若是隨機矢量的線性MMSE估計矢量，則

線性MMSE估計矢量為隨機矢量函數(shù)的線性最小均方誤差估計95線性MMSE估計的可疊加性可以推廣到任意有限L個同維矢3.6最小二乘估計不需要任何先驗信息，只需知道關于被估計量的觀測信號模型系統(tǒng)模型被估計量的信號模型誤差平方和最小963.6最小二乘估計不需要任何先驗信息，只需知道關于被估計量線性最小二乘估計系統(tǒng)模型最小二乘估計誤差97線性最小二乘估計系統(tǒng)模型97估計量的構造98估計量的構造98線性最小二乘估計誤差99線性最小二乘估計誤差99估計量的性質估計矢量是觀測矢量的線性函數(shù)若噪聲矢量均值為0，LLS估計是無偏估計100估計量的性質估計矢量是觀測矢量的線性函數(shù)100均方誤差矩陣101均方誤差矩陣101例1102例1102解103解103加權估計給觀測噪聲較小的觀測量以較大的權值，以提高估計的精度加權矩陣W：對稱正定矩陣二乘加權估計誤差最小二乘加權估計104加權估計給觀測噪聲較小的觀測量以較大的權值，以提高估計的精度估計量的構造105估計量的構造105估計量的性質估計矢量是觀測矢量的線性函數(shù)若噪聲矢量均值為0，LLS估計是無偏估計均方誤差矩陣106估計量的性質估計矢量是觀測矢量的線性函數(shù)106最佳加權矩陣的設計Lemma：設A和B分別是M*N和N*K的任意兩個矩陣,且AAT的逆矩陣存在，則有矩陣不等式令有因此107最佳加權矩陣的設計Lemma：設A和B分別是M*N和N*K的例2求解：108例2108非線性最小二乘估計參量變換方法109非線性最小二乘估計參量變換方法109非線性最小二乘估計參量分離方法一般模型：目標：使得下式最小算法：對于給定的，計算使上式達到最小的此時的估計誤差為

然后選擇使得上式最小110非線性最小二乘估計參量分離方法110作業(yè)3信道估計問題（Slide2）Rayleigh,slowfadingchannely=hx+w1）分別采用LMMSE估計和LS估計時，給出MSE隨長度P的變化曲線。2）分別采用LMMSE估計和LS估計時，給出BER隨信道估計負載比(P/N）的變化曲線。（不同負載比情況下仍要求每幀傳輸速率相同）111作業(yè)3信道估計問題（Slide2）111第三章：統(tǒng)計信號估計3.1問題描述3.2隨機參量的Bayes估計3.3ML估計3.4估計量的性質3.5線性最小均方誤差估計3.6最小二乘估計112第三章：統(tǒng)計信號估計3.1問題描述13.1問題描述（信道估計為例）數(shù)字通信數(shù)據(jù)幀結構信道估計：根據(jù)yP、xP以及hP的統(tǒng)計信息，估計hP，即：(yP,xP,stat_info(hP))hP（如yP=hPxP+w)可行性：一般信道都是slowlytimevarying的（相干時間>>時延要求），因此hd≈hp其他估計問題：載波頻率、相位、時延等1133.1問題描述（信道估計為例）數(shù)字通信數(shù)據(jù)幀結構2建模估計規(guī)則參量空間觀測空間需要接收端作出估計的參量集合參量空間：觀測空間：接收端收到的觀測信號的集合概率映射：信源發(fā)送信號到接收端過程中，會有噪聲的影響，觀測信號中包含被估計矢量的信息，所以觀測信號是以被估計矢量為參數(shù)的隨機矢量，用來描述。114建模估計規(guī)則參量空間觀測空間需要接收端作出估計的參量集合參量建模本章的核心問題之一就是研究上述函數(shù)的構造方法，評估所構造估計量的優(yōu)劣。估計規(guī)則：利用被估計矢量的先驗知識和觀測信號的統(tǒng)計特性，根據(jù)指標要求，構造觀測矢量的函數(shù)來定義估計量。估計量性能的評估估計量的均值估計量的均方誤差115建模本章的核心問題之一就是研究上述函數(shù)的構造方法，評估所構造3.2隨機參量的貝葉斯估計常用代價函數(shù)貝葉斯估計的概念最小均方誤差估計最大后驗概率估計條件中值估計最佳估計的不變性1163.2隨機參量的貝葉斯估計常用代價函數(shù)5代價函數(shù)和貝葉斯估計誤差平方代價函數(shù)誤差絕對值代價函數(shù)均勻代價函數(shù)貝葉斯估計：使平均代價最小的一種估計準則。代價函數(shù)的基本特性：非負性和時的最小性。117代價函數(shù)和貝葉斯估計誤差平方代價函數(shù)誤差絕對值代價函平均代價設被估計的單隨機變量的先驗概率密度函數(shù)為平均代價C為易知代價函數(shù)在給定，選定代價函數(shù)的條件下，使平均代價最小的估計稱為貝葉斯估計。118平均代價設被估計的單隨機變量的先驗概率密度函數(shù)為平均平均代價由是非負值，因此使平均代價最小，就等價于使最小。條件平均代價119平均代價由是非負值，因此使平均代價最小，就等價于使最RelationwithcostinM-aryDetection估計：參數(shù)連續(xù)取值；檢測：參數(shù)取自有限個離散點集合。120RelationwithcostinM-aryDe檢測與估計的聯(lián)系檢測：參量的狀態(tài)是有限的（M-ary檢測）估計：參量的狀態(tài)是連續(xù)的（比如實數(shù)域，復數(shù)域）當M∞時，檢測就變成了估計用檢測做估計：復雜度太高，不合適用估計做檢測：可以，實際上經(jīng)常這樣用比如，在衰落信道y=hx+w的信號檢測中，經(jīng)常對信號先進行估計得到x的估計值x1（復數(shù)域上的任意值），然后將其量化到信號星座上的某個點，即檢測值x2。無線通信中，有時候并不嚴格區(qū)分檢測與估計121檢測與估計的聯(lián)系檢測：參量的狀態(tài)是有限的（M-ary檢測）1最小均方誤差估計選定的代價函數(shù)為使條件平均代價最小的一個必要條件是對上式中求偏導令偏導為零來求得最佳的估計量求解方法122最小均方誤差估計選定的代價函數(shù)為使條件平均代價最小的最小均方誤差估計123最小均方誤差估計12最小均方誤差估計注：1.最小均方誤差估計的估計量實際是條件均值2.最小均方誤差估計的條件平均代價實際是條件方差3.最小均方誤差估計量的另一種形式124最小均方誤差估計注：1.最小均方誤差估計的估計量實際是條件均最大后驗估計選定的代價函數(shù)為使條件平均代價最小，應該使取到最大值當很小時，為保證上式最大，應當選擇估計量，使它處于后驗概率密度函數(shù)最大值的位置。125最大后驗估計選定的代價函數(shù)為使條件平均代價最小，應該最大后驗估計根據(jù)上述分析，得到最大后驗概率估計量為兩種等價形式126最大后驗估計根據(jù)上述分析，得到最大后驗概率估計量為兩種等價形條件中值估計選定的代價函數(shù)為使條件平均代價最小的一個必要條件是對上式中求偏導令偏導為零來求得最佳的估計量求解方法127條件中值估計選定的代價函數(shù)為使條件平均代價最小的一個條件中值估計128條件中值估計17例1研究在加性噪聲中單隨機參量的估計問題。觀測方程為其中nk是均值為零，方差為的獨立同分布高斯隨機噪聲被估計量是均值為零，方差為高斯隨機變量求的貝葉斯估計量(最小均方誤差、最大后驗和條件中值)129例1研究在加性噪聲中單隨機參量的估計問題。觀測方解：根據(jù)最大后驗估計準則，估計量為滿足以下方程的解，即最大后驗估計由題設，可知，給定條件下，觀測信號xk是均值為，方差為的高斯隨機變量130解：根據(jù)最大后驗估計準則，估計量為滿足以下方程的解，即所以最大后驗估計量為滿足以下方程的解131所以最大后驗估計量為滿足以下方程的解20估計量的均方誤差為132估計量的均方誤差為21根據(jù)最小均方誤差估計準則，估計量為最小均方誤差估計由題設，可知，給定條件下，觀測信號xk是均值為，方差為的高斯隨機變量133根據(jù)最小均方誤差估計準則，估計量為最小均方誤差估計由題設1342313524上述分布是高斯型的，其均值為估計量的均方誤差為方差為所以最小均方誤差估計量為136上述分布是高斯型的，其均值為估計量的均方誤差為方差為所以最小條件中值估計估計量的均方誤差為所以條件中值估計量為由于137條件中值估計估計量的均方誤差為所以條件中值估計量為由于26結論：如果被估計量的后驗概率密度函數(shù)是高斯型的，在三種典型代價函數(shù)下，使平均代價最小的估計量相同，都等于最小均方誤差估計量，估計量的均方誤差都是最小的——最佳估計的不變性。條件中值估計最小均方誤差估計最大后驗估計138結論：如果被估計量的后驗概率密度函數(shù)是高斯型的，在三種典型代例2研究在加性噪聲中單隨機參量的估計問題。觀測方程為其中n是均值為零，方差為的獨立同分布高斯隨機噪聲被估計量在(-SM,SM)之間均勻分布的隨機變量求的貝葉斯估計量(最小均方誤差和最大后驗)139例2研究在加性噪聲中單隨機參量的估計問題。觀測方解：根據(jù)最大后驗估計準則，估計量為滿足以下方程的解，即最大后驗估計由題設，可知，給定條件下，觀測信號xk是均值為，方差為的高斯隨機變量140解：根據(jù)最大后驗估計準則，估計量為滿足以下方程的解，即所以最大后驗估計量為滿足以下方程的解141所以最大后驗估計量為滿足以下方程的解30由于s在(-SM,SM)之間取值，所以142由于s在(-SM,SM)之間取值，所以31根據(jù)最小均方誤差估計準則，估計量為最小均方誤差估計143根據(jù)最小均方誤差估計準則，估計量為最小均方誤差估計3214433145343.3最大似然估計ML估計：先驗等概下的MAP估計出發(fā)點：若先驗概率未知，或者θ為非隨機的未知量，此時MAP不適用。構造：1463.3最大似然估計ML估計：先驗等概下的MAP估計35例1如果參量θ的觀測方程為其中nk是均值為零，方差為的獨立同分布高斯隨機噪聲；θ是均值為零，方差為的高斯變量。求并與比較147例1如果參量θ的觀測方程為3614837均方誤差149均方誤差3815039ML估計的不變性若是一對一變換，有…………….是一對J(J>1)變換，151ML估計的不變性40例2同例1，求的ML估計152例2同例1，求的M由題設，可知，給定條件下，觀測信號xk是均值為，方差為的高斯隨機變量由于是的一對一變換，即是單調(diào)函數(shù)，因此可得解：153由題設，可知，給定條件下，觀測信號xk是均值為所以最大似然估計量為由最大似然估計原理，得最大似然估計量為滿足以下方程的解。154所以最大似然估計量為由最大似然估計原理，得最大似然估計量為滿3.4估計量的性質：無偏性非隨機變量無偏估計有偏估計已知偏差的有偏估計

為無偏估計1553.4估計量的性質：無偏性非隨機變量44估計量的性質：無偏性隨機變量無偏估計有偏估計漸近無偏估計156估計量的性質：無偏性隨機變量45有效性對于被估計量的任意無偏估計和，若估計的均方誤差則稱估計量比更有效。如果的無偏估計量小于其他任意無偏估計量的均方誤差，則稱該估計量為最小均方誤差估計量。問題：能否確定一個均方誤差的下界？157有效性對于被估計量的任意無偏估計和一致性則稱估計量是一致收斂的估計量。假設根據(jù)N次觀測量構造的估計量為若則稱估計量是均方一致收斂的估計量。若158一致性則稱估計量是一致收斂的估計量充分性若被估計量的估計量為，x是觀測量。如果以為參量的似然函數(shù)能夠表示為：

則稱為充分估計量。

其中，是通過才與x有關的函數(shù)，并且以為參量。有效估計量必然是充分估計量159充分性若被估計量的估計量為，x是觀Cramer-Rao界：非RV非RV情況：設是非隨機參量的無偏估計，則有當且僅當對任意的和x，均滿足

時，不等式取等號。160Cramer-Rao界：非RV非RV情況：設是非隨證明設是非隨機參量的無偏估計，則有對上式求偏導，得161證明設是非隨機參量的無偏估計，則有對證明上式改寫為162證明上式改寫為51證明根據(jù)柯西-施瓦滋不等式當且僅當時，上式等號成立。163證明根據(jù)柯西-施瓦滋不等式當且僅當證明等號成立條件164證明等號成立條件53證明克拉美-羅不等式的另一種形式求偏導再求一次偏導165證明克拉美-羅不等式的另一種形式求偏導再求一次偏導54證明克拉美-羅不等式的另一種形式所以166證明克拉美-羅不等式的另一種形式所以55Remarks非隨機參量情況下的克拉美-羅不等式的含義和用途(1)非隨機參量的任意無偏估計量的方差，即均方誤差恒不小于(2)若非隨機參量的無偏估計量滿足則估計量的方差取到最小值，即取到克拉美-羅界。167Remarks非隨機參量情況下的克拉美-羅不等式的含義和用途Remarks(3)若非隨機參量的無偏估計量滿足則無偏估計量是有效的，否則是無效的。(4)若非隨機參量的無偏估計量是有效的，則估計量的方差，即均方誤差可由克拉美-羅界取得。168Remarks(3)若非隨機參量的無偏估計量Remarks(5)若非隨機參量的無偏有效估計量存在，它必定是的最大似然估計量，且可由最大似然方程解得。(6)非隨機參量的最大似然估計量不一定是無偏有效的。最大似然估計量為由169Remarks(5)若非隨機參量的無偏有效估計均方誤差若非隨機參量的無偏估計量也是有效的，則其均方誤差為由170均方誤差若非隨機參量的無偏估計量也是有例1如果參量的觀測方程為其中nk是均值為零，方差為的獨立同分布高斯隨機噪聲，試討論估計量的最大似然估計量的無偏性、有效性和一致性。171例1如果參量的觀測方程為其中nk是均值為零，方差由題設，由于172由題設，由于61最大似然估計量是的有效估計量，且估計量的均方誤差為最大似然估計量是一致收斂估計量。最大似然估計量是均方一致收斂估計量173最大似然估計量是的有效估計量，且估計量的均方誤差為Cramer-Rao界：RV設是隨機參量的無偏估計，則有或當且僅當時，上述兩式取等號。克拉美-羅不等式克拉美-羅不等式取等號的條件174Cramer-Rao界：RV設是隨機參量Remarks(1)由于所以175Remarks(1)由于所以64Remarks(2)隨機參量的任意無偏估計量的方差，即均方誤差恒不小于(3)若隨機參量的無偏估計量滿足則估計量的方差取到最小值，即取到克拉美-羅界。176Remarks(2)隨機參量的任意無偏估計量Remarks(5)若隨機參量的無偏估計量是有效的，則估計量的方差，即均方誤差可由克拉美-羅界取得。(4)若隨機參量的無偏估計量滿足則無偏估計量是有效的，否則是無效的。177Remarks(5)若隨機參量的無偏估計量Remarks(6)若隨機參量的無偏有效估計量存在，它必定是的最大后驗估計量。最大后驗估計量為178Remarks(6)若隨機參量的無偏有效估計量均方誤差若隨機參量的無偏估計量也是有效的，則其均方誤差為由179均方誤差若隨機參量的無偏估計量也是有效例2同例1。試討論估計量的貝葉斯估計量的無偏性、有效性和一致性。180例2同例1。試討論估計量的貝葉斯估計量69由題設，由于181由題設，由于70由于182由于71貝葉斯估計量是的有效估計量，且估計量的均方誤差為貝葉斯估計量是一致收斂估計量。貝葉斯估計量是均方一致收斂估計量183貝葉斯估計量是的有效估計量，且估計量的均方誤差為貝非隨機參量函數(shù)的CRLB設非隨機參量的函數(shù)，其估計量是的任意無偏估計，則有或當且僅當時，上述兩式取等號?？死?羅不等式克拉美-羅不等式取等號的條件184非隨機參量函數(shù)的CRLB設非隨機參量的函數(shù)例3同例1。求的無偏性和有效性，并求估計的均方誤差。185例3同例1。解由于易知根據(jù)最大似然估計的不變性，得到186解由于易知根據(jù)最大似然估計的不變性，得到75187763.5LMMSE估計ModelMMSE、MAP估計：需要后驗概率信息ML估計：需要先驗概率信息若僅已知前二階距信息：觀測信號和被估計隨機矢量的均值矢量、協(xié)方差矩陣和互協(xié)方差矩陣。---采用LMMSE估計1883.5LMMSE估計Model77LMMSE估計準則線性最小均方誤差估計準則首先，構造的估計矢量是觀測矢量x的線性函數(shù)，即：

同時要求估計矢量的均方誤差最小，即為

最小，式中表示矩陣的跡。所以，線性最小均方誤差估計的估計規(guī)則，就是把估計量構造成觀測量的線性函數(shù)，同時要求估計量的均方誤差最小。189LMMSE估計準則線性最小均方誤差估計準則78LMMSE估計構造令190LMMSE估計構造令79LMMSE估計構造191LMMSE估計構造80LMMSE估計構造Lemma192LMMSE估計構造Lemma81LMMSE估計構造注意到193LMMSE估計構造注意到82LMMSE估計構造解得所以194LMMSE估計構造解得所以83LMMSE估計的物理解釋均值（先驗）新息（觀測提供的信息）觀測量的信息參量的信息195LMMSE估計的物理解釋均值（先驗）新息（觀測提供的信息）觀LMMSE估計的性質(1)估計矢量是觀測矢量的線性函數(shù)(2)線性最小均方誤差估計矢量是無偏估計所以是無偏估計196LMMSE估計的性質(1)估計矢量是觀測矢量的線性函數(shù)(2LMMSE估計的性質(3)估計的誤差矢量與觀測矢量的正交性被估計矢量與觀測矢量x是正交的，即與線