平穩(wěn)隨機過程估計理論

平穩(wěn)隨機過程估計理論1第1頁，課件共36頁，創(chuàng)作于2023年2月信號處理的根本任務是要提取有用的信息，有用信息是通過檢測、估計的方法對信號進行處理后提取出來的，所以、檢測、估計的信號處理方法是信號處理技術(shù)的理論基礎(chǔ)，它的應用領(lǐng)域十分廣泛。2第2頁，課件共36頁，創(chuàng)作于2023年2月3第3頁，課件共36頁，創(chuàng)作于2023年2月聲納系統(tǒng)----利用聲波信號確定船只的位置圖象處理----使用紅外檢測是否有飛機出現(xiàn)圖象分析----根據(jù)照相機的圖象估計目標的位置和方向，用機器人抓目標時是必須的生物醫(yī)學----估計胎兒的心率控制----估計汽艇的位置，以便采用正確的導航行為，如Loran系統(tǒng)地震學----檢測地下是否有油田，并根據(jù)油層和巖層的密度，根據(jù)聲反射來估計油田的地下距離。4第4頁，課件共36頁，創(chuàng)作于2023年2月所有這些問題都有一個共同的特點，那就是從含有噪聲的數(shù)據(jù)集中去提取我們所需要的有用信息，這些有用信息可能是“目標出現(xiàn)與否”、“數(shù)字源發(fā)射的是0還是1”或者“目標的距離”、“目標的方位”，或”目標的速度”等，由于噪聲固有的隨機性，因此，有用信息的提取必須采用統(tǒng)計的方法，這些統(tǒng)計方法的基礎(chǔ)就是檢測理論與估計理論，就是本課程后續(xù)章節(jié)學習的內(nèi)容。5第5頁，課件共36頁，創(chuàng)作于2023年2月§5.信號的估計問題5.1估計的基本概念5.2確定性信號處理的最小平方問題5.3隨機信號參數(shù)的最小均方估計5.4最小二乘估計：觀測與估計偏差的平方和最小5.5波形估計6第6頁，課件共36頁，創(chuàng)作于2023年2月估計問題通常是以下三種情況：根據(jù)觀測樣本直接對觀測樣本的各類統(tǒng)計特性作出估計；根據(jù)觀測樣本，對觀測樣本中的信號中的未知的待定參量作出估計，稱為信號的參量估計問題，又分為點估計和區(qū)間估計；根據(jù)觀測樣本對隨時間變化的信號作出波形估計，又稱為過程估計。5.1估計的基本概念7第7頁，課件共36頁，創(chuàng)作于2023年2月信源s(

)P(

)混合P(n)n估計規(guī)則估計(

)z觀測空間信號參量估計的統(tǒng)計推斷模型5.1估計的基本概念8第8頁，課件共36頁，創(chuàng)作于2023年2月估計問題基本要素5.1估計的基本概念概率傳遞機制估計準則9第9頁，課件共36頁，創(chuàng)作于2023年2月5.2確定性信號最小平方估計例1實數(shù)二次型10第10頁，課件共36頁，創(chuàng)作于2023年2月5.2確定性信號最小平方估計11第11頁，課件共36頁，創(chuàng)作于2023年2月5.2確定性信號最小平方估計例2多項式由信號估計尋求12第12頁，課件共36頁，創(chuàng)作于2023年2月5.2確定性信號最小平方估計由可得使E為最小的向量估計的最小平方誤差為13第13頁，課件共36頁，創(chuàng)作于2023年2月5.2確定性信號最小平方估計14第14頁，課件共36頁，創(chuàng)作于2023年2月1、線性最小均方估計(linearminimummeansquareerrorestimation)設(shè)隨機參量與觀測數(shù)據(jù)z有關(guān)，且在觀測過程中不變，根據(jù)N個觀測數(shù)據(jù)｛z:z1,z2,…,zN｝,對參量作線性最小均方估計。規(guī)定估計量具有線性函數(shù)形式：選擇適當?shù)南禂?shù)hk及b，使估計均方誤差最小。5.3隨機信號的線性最小均方估計15第15頁，課件共36頁，創(chuàng)作于2023年2月由上兩式即可求得b及系數(shù)hk。實現(xiàn)線性最小均方估計條件：通常稱為正交條件，即估計誤差與各個觀測數(shù)據(jù)乘積的統(tǒng)計均值等于零。5.3隨機信號的線性最小均方估計16第16頁，課件共36頁，創(chuàng)作于2023年2月性能分析：

線性最小均方估計為無偏估計，即有：線性最小均方估計的均方誤差等于誤差與被估計量乘積的統(tǒng)計均值，即：其中：5.3隨機信號的線性最小均方估計17第17頁，課件共36頁，創(chuàng)作于2023年2月例1、在平穩(wěn)白噪聲背景中，對參量作線性最小均方估計。1)觀測數(shù)據(jù)為：其中a為信號幅值，E[a2]=A，E[a]=0；nk為均值為零、方差為的白噪聲，且信號幅值與噪聲不相關(guān)，求a的最佳線性估計。2)若觀測數(shù)據(jù)為：設(shè)E[s2]=S，E[s]=0；其余條件同(1)，試根據(jù)二個觀測數(shù)據(jù)求s的最佳線性估計。5.3隨機信號的線性最小均方估計18第18頁，課件共36頁，創(chuàng)作于2023年2月1、估計量的性能標準無偏性如果估計量的均值等于非隨機參量或等于隨機參量的均值，則稱估計量具有無偏性。即滿足：對于確定量，有：對于隨機量，有：5.4估計量的性能19第19頁，課件共36頁，創(chuàng)作于2023年2月有效性

對于無偏估計，如果估計的方差越小，表明估計量的取值越集中于真值附近，估計的性能越好。5.4估計量的性能20第20頁，課件共36頁，創(chuàng)作于2023年2月

對于有偏估計，盡管估計的方差很小，但估計的誤差可能仍然很大。5.4估計量的性能21第21頁，課件共36頁，創(chuàng)作于2023年2月有效性

對于無偏估計，如果估計的方差越小，表明估計量的取值越集中于真值附近，估計的性能越好。用估計的方差還不能準確地描述估計的性能，所以我們可以用均方誤差作為評價估計量性能的一個指標。5.4估計量的性能22第22頁，課件共36頁，創(chuàng)作于2023年2月

一致性即對于任意小數(shù)，若有：則估計量為一致估計量。若滿足則稱為均方一致估計量。5.4估計量的性能23第23頁，課件共36頁，創(chuàng)作于2023年2月例1、高斯白噪聲中的直流電平估計-未知參數(shù)。設(shè)有N次獨立觀測zi=A+vi，i=1,2,….N，其中vi~N(0,2)，2已知。5.4估計量的性能24第24頁，課件共36頁，創(chuàng)作于2023年2月2、克拉美－羅限(Cramer-RaoLowbound)

無偏估計量的估計方差的最小值

非隨機參量任何無偏估計量的方差滿足等號成立的條件：克拉美-羅限5.4估計量的性能25第25頁，課件共36頁，創(chuàng)作于2023年2月2、克拉美－羅限(Cramer-Raobound)如果一個無偏估計，它的方差達到CRLB，那么，這個估計必定是最大似然估計。這時最大似然估計是最好的。但如果不存在達到CRLB的估計，最大似然估計就不一定是最好的估計。5.4估計量的性能26第26頁，課件共36頁，創(chuàng)作于2023年2月例2、高斯白噪聲中的DC電平。DC電平的最大似然估計的方差是否達到CRLB？它的估計方差是多少？

5.4估計量的性能27第27頁，課件共36頁，創(chuàng)作于2023年2月2、克拉美－羅限(Cramer-RaoLowbound)

無偏估計量的估計方差的最小值

隨機參量任何無偏估計量的均方誤差滿足等號成立的條件：克拉美-羅限5.4估計量的性能28第28頁，課件共36頁，創(chuàng)作于2023年2月2、克拉美－羅限(Cramer-RaoLowbound)

無偏估計量的估計方差的最小值

隨機參量如果有某個無偏估計達到CRLB,那么該估計必定是最大后驗概率估計.而最小均方估計的均方誤差也是最小的,所以這時最小均方估計與最大后驗概率估計等價.5.4估計量的性能29第29頁，課件共36頁，創(chuàng)作于2023年2月例2高斯白噪聲中的直流電平估計-高斯先驗分布。設(shè)有N次獨立觀測zi=A+vi,i=1,2,….N，其中v~N(0,)，A~，求A的估計的CRLB。5.4估計量的性能30第30頁，課件共36頁，創(chuàng)作于2023年2月1、波形估計參量估計適用于非時變參量，無法解決時變參量估計問題。關(guān)于時變參量甚至時變信號本身的估計稱為時變信號估計或波形估計，因此波形估計又稱過程估計。波形估計其實質(zhì)就是給定有用信號和加性噪聲的混合波形，尋求一種線性運算作用于此混合波形，使信號與噪聲實現(xiàn)最佳分離，最佳的含義是使估計的均方誤差最小，故又稱為最佳線性濾波理論。5.5波形估計31第31頁，課件共36頁，創(chuàng)作于2023年2月波形估計通常分為濾波、平滑、預測三種基本估計。

濾波：根據(jù)當前和過去的觀測值{z(k),k=n0,n0+1,...,n}對信號s(n)進行估計(Filtering)；

預測:根據(jù)當前和過去的觀測值{z(k),k=n0,n0+1,...,nf}對未來時刻n(n>nf)的信號s(n)進行估計，預測也稱為外推；(Prediction)

根據(jù)某一區(qū)間的觀測數(shù)據(jù){z(k),k=n0,n0+1,...,nf}對區(qū)間內(nèi)的某一個時刻n(n0<n<nf)的信號進行估計，內(nèi)插也稱為平滑。(Smoothing)。5.5波形估計32第32頁，課件共36頁，創(chuàng)作于2023年2月2、維納濾波線性最小均方估計是觀測的線性函數(shù)，它可以看作為觀測序列通過離散時間線性系統(tǒng)，即Wiener-Hopf方程

濾波器系數(shù)的選擇：正交原理5.5波形估計33第33頁，課件共36頁，創(chuàng)作于2023年2月假定信號和觀測過程是平穩(wěn)隨機序列，并且是聯(lián)合平穩(wěn)隨機序列，系統(tǒng)為因果的線性時不變離散時間線性系統(tǒng)5.5波形估計34第34頁，課件共36頁，創(chuàng)作于2023年2月維納濾波器信號s(n)與觀測噪聲統(tǒng)計獨立時，維納濾波器為：觀測為白噪聲時，維納濾波器為：5.5波形估計35第35頁，課件共36頁，創(chuàng)作于2023年2月 維納濾波和卡爾曼濾波是實現(xiàn)從噪聲中提取信號，完成信號波形估計的兩種線性最佳估計方法。 維納濾波需要設(shè)計維納濾波器，它的求解要求知道隨機信號的統(tǒng)計特性，即相關(guān)函數(shù)或功率譜密度。當信號的功率譜為有理譜時，采用譜分解的方